L Enseignement. Supérieur. en Europe

U UNESCO UNESCO-CEPES CENTRE EUROPÉEN POUR L ENSEIGNEMENT SUPÉRIEUR L Enseignement Supérieur en Europe Dans ce numéro: Le classement et ses méthodologies dans l enseignement supérieur Volume XXX Numéro 2 Juillet 2005

L enseignement supérieur en Europe VOLUME 30 NUMERO 2 2005 TABLE DES MATIERES Les classements dans l enseignement supérieur: évolution, acceptation et dialogue Jamie Merisotis et Jan Sadlak... 2 Le classement et ses méthodologies dans l enseignement supérieur Vingt ans de registres de résultats universitaires Nina Van Dyke... 7 Le classement académique des universités dans le monde Nian Cai Liu et Ying Cheng... 33 Vers une scène mondiale: une perspective en provenance des médias David Jobbins... 44 L analyse des variables latentes: une nouvelle approche du classement Cassandra Guarino, Greg Ridgeway, Marc Chun, et Richard Buddin... 54 Evaluation, contrôle et autonomie: perspectives macroscopiques Jens-Peter Gaul... 75 Les classements en Pologne: autour de quelques aspects mathématiques Marek Rocki... 80 Des leçons tirées de l évaluation de la qualité en Australie et en Nouvelle-Zélande Marguerite Clarke... 89 Les universités espagnoles et l Initiative Classement 2005 Jesús M. de Miguel, Elizabeth Vaquera, et Jara D. Sanchez... 104 Les classements des universités en Chine Nian Cai Liu et Li Liu... 122 Tribune L emploi et la réussite dans un programme basé sur la résolution de problèmes Marianne M.M. van den Hurk et Henk J.M. van Berkel... 132 Comptes-rendus et études bibliographiques... 140 Notes sur les auteurs...145 1

Les classements dans l enseignement supérieur: évolution, acceptation et dialogue JAMIE MERISOTIS ET JAN SADLAK Partant de l éditorial habituel, Jamie Merisotis, président de l Institut pour les politiques de l enseignement supérieur, et Jan Sadlak, directeur de l UNESCO-CEPES, reflètent sur le contenu de ce numéro de la revue. En même temps, ils mettent en évidence les développements essentiels qui affectent les systèmes et les méthodologies de classement dans l enseignement supérieur. Ces développements ont représenté la thématique principale d une réunion qui a été organisée récemment par l Institut pour le politiques de l enseignement supérieur et l UNESCO-CEPES dans le cadre du projet «Systèmes et méthodologies de classement dans l enseignement supérieur», qui a eu lieu à Washington D.C., aux Etats- Unis, dans la période 10-11 décembre 2004. La plupart des articles présentés dans ce numéro concernent le contexte de la réunion susmentionnée. Les systèmes de classement et les classements représentent un phénomène croissant dans l enseignement supérieur autour du mode. Un numéro antérieur de l Enseignement supérieur en Europe (Volume 27, Numéro 4, 2002), présente les résultats de la première réunion internationale jamais organisée sur les systèmes de classements, tenue en juin 2002 à Varsovie, en Pologne. Environ quarante participants à la table ronde, provenant de douze pays, ont représenté des publications qui produisent régulièrement des classements d universités et d établissements d enseignement supérieur. Des experts de haut niveau issus de corps nationaux responsables du développement de politiques et de questions de la qualité dans l enseignement supérieur ainsi que d organisations gouvernementales et nongouvernementales ont également participé à la réunion de Varsovie. La conclusion évidente de la réunion a été la nécessité d un travail approfondi sur les cadres conceptuels, les méthodologies, les standards déontologiques et les aspects organisationnels des classements. L UNESCO-CEPES et l Institut pour les politiques de l enseignement supérieur ont fait des efforts afin de fournir un forum permanent de discussion et de dialogue sur ce phénomène de plus en lus présent dans les politiques publiques et les débats académiques. Une conséquence de ce partenariat a été la réunion qui a eu lieu en décembre 2004 à Washington, D.C., où ont participé plus de vingt-cinq experts de haut niveau en «production de classements». Certains participants ont représenté les principales organisations média régulièrement impliquées dans la publication de classements, comme U.S. News & World Report et Times Higher Education Supplement. Les autres participants ont inclus des scientifiques et des chercheurs impliqués dans le développement ou l évaluation de systèmes de classement en Australie, au Canada, en Chine, en Allemagne, au Japon, en Nouvelle- Zélande, en Pologne, en Roumanie, dans la Fédération de Russie et en Espagne. Beaucoup de choses ont changé dans le monde des classements d universités dans la courte période comprise entre les réunions de Varsovie et de Washington. Une évolution importante est le lancement des premiers classements mondiaux d universités jamais élaborés: l un produit en 2003 par le projet du Classement académique des universités du monde (Academic Ranking of World Universities - ARWU) de l Université Jiao Tong de Shanghai, suivi en 2004 par Times Higher Education Supplement et d autres classements internationaux pour différents types de programmes d études, en spécial en commerce et gestion. Ces classements internationaux ont suscité un intérêt considérable et une certaine controverse, concernant l inclusion ou l exclusion d établissements et les caractéristiques du 2

statut de «classe mondiale». 1 Une deuxième évolution est que les systèmes de classement nationaux et sous-nationaux continuent à se multiplier. Les classements paraissent désormais dans un grand nombre de publications dans différents pays, et incluent souvent des classements d établissements et de programmes. La troisième évolution et probablement la plus importante est l amélioration visible des méthodologies appliquées; le niveau de sophistication méthodologique continue à augmenter. Les auteurs croient que cela est du en partie à l accroissement de l intérêt international vis-à-vis des classements, et à l attention accordée à ces méthodologies par des chercheurs académiques et des spécialistes en politiques. En bref, même si les établissements d enseignement supérieur n arrivent pas à un consensus au sujet de la désirabilité des classements, on s accorde sur le fat que cette pratique est ici pour y rester. Il y a donc un besoin critique de fournir un care permanent où ceux qui produisent des classements, ainsi que ceux qui les étudient, puissent partager des informations concernant les méthodologies et les approches employés. Un tel forum est le nouvellement créé Groupe international d experts en classements (International Rankings Expert Group - IREG), qui poursuit le travail en collaboration initié à l occasion de la réunion de Washington; ses participants forment le noyau du Groupe d environ vingt experts internationaux, y inclus en provenance de médias et d organisations internationales. 2 Un des rôles importants de l IREG sera celui d offrir du conseil au sujet des futures activités de l UNESCO-CEPES et de l Institut pour les politiques de l enseignement supérieur. Nos activités de recherche ont comme but d assurer que les systèmes de classement reflètent de manière plus efficace la qualité de l enseignement supérieur qu ils l ont fait de par le passé. Celles-ci incluent: Offrir des recherches innovatrices sur un phénomène mondial en rapide évolution qui a reçu relativement peu d attention dans la recherche sur l enseignement supérieur; Contribuer à l élaboration d un cadre et d un processus d évaluation des systèmes de classement et des classements existants; Contribuer à l élaboration d une analyse internationale comparative des classements et de leurs méthodologies; et Développer les classements existants et enrichir par la suite les futures méthodologies de recherche. Ce numéro de l Enseignement supérieur en Europe nous aide à établir le cadre de ces activités. Les articles présentés ici sont issus des conclusions de la réunion de Washington, et nous aident à comprendre comme les systèmes de classement ont évolué dans la direction d une acceptation de plus en plus étendue en tant qu élément du dialogue mondial sur la qualité et la responsabilité de l enseignement supérieur. Ce numéro s ouvre par un quartet de perspectives internationales et comparatives sur des systèmes et des méthodologies de classement, suivi par autres cinq articles traitant des pays spécifiques et/ou des domaines d intérêt. Nina Van Dyke commence avec son article, «Vingt ans de registres de résultats universitaires», une analyse comparative de dix «registres de résultats» d enseignement supérieur, des indicateurs qu ils comportent, des poids qu ils emploient, des avantages des 1 Les idées, les standards, et le contexte international concernant «l université de clase mondiale» font l objet de la Première conférence internationale sur les universités de classe mondiale (WCU-1), organisée par l Université Jiao Tong de Shaghai, tenue à Shanghai, Chine, les 16-18 juin 2005. 2 La prochaine réunion de l IREG aura lieu en mai 2006 à Berlin, Allemagne. Le résultat principal de la réunion de Berlin devrait être: Les critères et les standards pour les classements internationaux des universités de Berlin. 3

regroupements par rapport aux classements, et ainsi de suite. Les annexes de cette excellente étude sont également dignes de toute l attention du lecteur. L article est particulièrement efficace en cela qu il met en évidence de grandes similarités, tout en soulignant les différences perçues au niveau des détails. Van Dyke établit également un registre de résultats composite, intégrant des éléments communs aux dix registres analysés. Elle identifie aussi certaines tendances actuelles, y inclus la nécessité de gérer la nature subjective des pondérations, l apparition de classements internationaux, et la production d évaluations qui répondent aux besoins d une catégorie plus étendue d utilisateurs. Cette analyse concise, claire et académique constitue un excellent compagnon de voyage pour notre sujet. Présentés par les intervenants eux-mêmes, les deux articles qui suivent concernent les classements internationaux auxquels se réfère Van Drake. Dans le premier, «Le classement académique des universités dans le monde», Nian Cai Liu et Ying Cheng présentent la tentative d un «Groupe de classement» de l Institut pour l enseignement supérieur de l Université Jiao Tong de Shanghai de classer les universités de recherche du monde dans le cadre du Classement académique des universités du monde (Academic Ranking of World Universities - ARWU). Les auteurs exposent l approche méthodologique utilisée pour la sélection des universités, y inclus les critères et les poids des classements. Le but final est, évidemment, celui d identifier des mesures claires de positionnement international, même si on ne peut pas éviter un penchant pour les prix, les sciences et la langue anglaise. Malgré ces considérations méthodologiques, une des idées importantes soumises par Liu et Cheng concerne la répartition régionale des établissements occupant les premières places, qui suit un ordre géopolitique prévisible. Une autre idée concerne la distribution des scores, où les premiers 50 établissements forment essentiellement un groupe à part; les premiers 20 établissements (dont 17 sont américains) constituent aussi un peloton 3 exclusif distinct dans la course. Liu et Cheng finissent par identifier quelques sujets à approfondir, comme l accentuation quantitative et de recherche des classements, le penchant implicite contre les sciences sociales et humaines et les établissements qui les cultivent, et la recherche permanente de données comparables au niveau international. Dans le deuxième article de cette paire, «Vers une scène mondiale: une perspective en provenance des médias», David Jobbins défend la cause des classements commerciaux suivant la publication d un classement international de l enseignement supérieur par Times Higher Education Supplement (THES). L auteur soutient que même si la nature de leur intérêt est différente, la méthodologie des classements commerciaux peut être également solide; il réitère l idée que l initiative de THES va dans le sens de l intérêt des consommateurs, et que l accent est posé, justement ou injustement, sur les universités en tant que producteurs. Les forces du marché sont nettes et inévitables, et le marché international des étudiants est une industrie en évidente croissance, mais Jobbins nous rappelle qu il a toujours existé un consensus informel au sujet de la qualité relative des établissements d enseignement supérieur, et qui peut encore être observé dans tout comité universitaire ou commercial: le but de son officialisation est d en élargir la sphère. Il est intéressant de remarquer ici que l article indique des points communs entre les classements de THES et d ARWU. Comme le faisait remarquer Van Dyke, malgré l existence de différences méthodologiques, les classements internationaux produisent des résultats largement comparables. Dans le dernier article comparatif on pose la question de l acceptabilité d une «comparabilité étendue». Dans leur article intitulé «L analyse des variables latentes: une nouvelle approche du classement», Cassandra Guarino, Greg Ridgeway, Marc Chun, et Richard Buddin tentent de voir si des établissements d enseignement supérieur classés de 3 En français dans le texte (ndlr). 4

manière différente sont effectivement distincts du point de vue statistique, et examinent de plus près les différences qui existent entre ceux-ci. Guarino et al. mettent en évidence quelques problèmes méthodologiques persistants des systèmes de classement, et recommandent que la communauté de l enseignement supérieur soutienne activement le développement des méthodes de classement. En utilisant des séries de données de deux classements nationaux reconnus des Etats-Unis et du Royaume-Uni, les auteurs montrent que l application de la méthode bayesienne des variables latentes produit des classements différents, et que ses pondérations placent les universités sur des positions différentes par rapport à l ordre initial. Les auteurs demandent par conséquence une attention accrue lorsqu on affirme que certaines universités sont supérieures qualitativement par rapport à d autres. Allant vers les articles à intérêt plus spécifique, Jens-Peter Gaul avertit également au sujet de l utilisation des classements, cette fois comme une forme de contrôle par les gouvernements. Dans le contexte de l Allemagne et de la Fondation allemande pour la recherche, Gaul affirme dans «Evaluation, contrôle et autonomie: des perspectives macroscopiques» que le rapport entre les évaluations des performances et la sphère des politiques est compliqué, étant caractérisé par une sensibilité aux influences. Etant donné que l élaboration de politiques change plus rapidement que celle d évaluations, quelques questions fondamentales demeurent; Gaul demande à la communauté scientifique et de la recherche d insister sur la convergence internationale des questions liées à l évaluation de la recherche. Marek Rocki présente à la fois la variété formelle et méthodologique des approches de classement en Pologne, dans son «Les classements en Pologne: autour de quelques aspects mathématiques». L auteur analyse certains aspects mathématiques et statistiques de la production de classements, et se demande si il est vraiment possible de réaliser un classement entièrement objectif. Les classements sont essentiellement des compilations d informations, fournies selon une série de critères afin de souligner des différences qualitatives réelles ou perçues. Dans son analyse des méthodes d agrégation, qui traite des pondérations et d autres moyens de classement, Rocki conclut comme d autres auteurs le font ici qu il ne peut pas y avoir de classement «objectif». Venant de l autre côté du globe, l article de Marguerite Clarke, «Des leçons tirées de l évaluation de la qualité en Australie et en Nouvelle-Zélande», présente deux initiatives récentes dans la région Asie-Pacifique de classer la qualité et de mesurer la position internationale. Clarke remarque l apparition de nouvelles tendances concernant l utilisation de classements dans le but d allocation de fonds pour l enseignement supérieur et l émergence de comparaisons internationales; elle remarque également l effet secondaire positif du Fonds pour la recherche selon les performances de Nouvelle-Zélande (Performance-Based Research Fund - PBRF) sur le développement de la qualité de la recherche (se rajoutant à l évolution qualitative des informations pour les consommateurs identifiée par Jobbins). Elle présente la méthodologie du PBRF, qui paraît prometteuse dans ses détails. Dans le cas de l Index de l Institut de Melbourne, le classement australien censé mesurer (et améliorer) la compétitivité internationale des universités du pays, la similitude entre ses conclusions et celles de l ARWU concernant les établissements d enseignement supérieur d Australie est remarquable, une fois de plus. Néanmoins, Clarke affirme que les performances locales requièrent plus de mesures reflétant des contributions régionales et nationales; les classements doivent mieux répondre aux besoins des étudiants, y inclus en matière de la qualité de l enseignement et d autres aspects de l expérience des étudiants, et que les facteurs contextuels nationaux et la comparabilité internationales des données doivent être considérés plus en détail. Avant toute chose, l auteur exprime son inquiétude 5

que l effet différenciateur des classements, une fois incontrôlé, ne fera qu exacerber les différentes inégalités mondiales. Dans «Les universités espagnoles et l Initiative Classement 2005», Jesús de Miguel, Elizabeth Vaquera, et Jara Sanchez analysent les qualités actuelles du système espagnol d enseignement supérieur et fournissent des données récentes et une approche méthodologique actualisée pour leur projet Classement 2005. Le rapport de De Miguel et al. présente aussi une sélection élaborée d indicateurs du groupe de classement (par rapport au premier classement espagnol de 2000), et l élaboration de l index final de 2005. Les auteurs partagent leurs idées concernant les problèmes méthodologiques du projet, ayant trait en particulier à la gamme typologique d établissements (publics et privés, anciens et nouveaux, etc.) du pays. A la fin, mais pas en dernier lieu, la Chine ne possède pas qu un ou deux, mais six classements de l enseignement supérieur; Nian Cai Liu et Li Liu les présentent un par un dans «Les classements des universités en Chine». Dans chaque cas, selon les possibilités, Liu et Liu présentent une brève description des critères, des indicateurs et des poids concernés. Ils établissent aussi un «classement des classements», qui est remarquable parce qu il montre comment des établissements donnés sont relativement avantagés ou désavantagés en fonction du classement employé. Dans le contexte de la Chine, les auteurs mettent en évidence leurs inquiétudes concernant l utilisation massive d indicateurs nationaux spécifiques, posant la question de la pertinence de certains classements et de certaines données et de la mésinterprétation des résultats des classements par le public. Dans la section «Tribune» il réparait le thème de l Enseignement basé sur la résolution de problèmes (Problem-Based Learning - PBL), lié à un article sur le même sujet de notre numéro précédent. Cette fois, Marianne van den Hurk et Henk van Berkel posent le développement de compétences d instruction autodirigées en tant que cadre à travers lequel remettre en question l idée commune que le temps passé à travailler lorsqu on est étudiant porte atteinte à l étude (ou au temps dédié à l étude). Comme ils le mettent en évidence dans «L emploi et la réussite dans un programme basé sur la résolution de problèmes», les auteurs ont découvert que la participation en classe va en effet en augmentant lorsque les étudiants ont un travail rémunéré, et que, pour ce qui est des groupes qu ils ont étudiés aux Pays-Bas, ceux qui travaillaient entre quatre et huit heures par semaine passaient le plus de temps à étudier. Cette conclusion représente sans doute une surprise agréable pour tous sauf les étudiants. L éditeur des études bibliographiques, Eric Gilder, est celui qui clôt ce numéro de l Enseignement supérieur en Europe. 6

Vingt ans de registres de résultats universitaires 4 NINA VAN DYKE Il y a plus de vingt ans, les premiers classements d universités ont suscité l attention publique aux Etats-Unis. Il y a eu depuis de nombreux autres efforts de classer ou d évaluer des universités ou des départements universitaires. Les registres de résultats universitaires sont devenus à la fois populaires au niveau du public et de plus en plus importants pour les établissements universitaires. Une analyse détaillée de dix registres de résultats du monde entier, qui évaluent et concernent le choix universitaire ou la position générale, montre que les différents systèmes partagent des principes et des approches mais se distinguent considérablement au niveau des détails. Beaucoup de ces variations sont le résultat de différences en matière de buts, de systèmes et de cultures d enseignement supérieur, et de la disponibilité et de la fiabilité des données. U.S. News & World Report, 5 un magazine des Etats-Unis, a publié le premier classement d universités en 1983. Depuis lors, les initiatives de classement et d évaluation d universités et de disciplines universitaires se sont largement multipliées. Pour des études sur ces activités au Royaume-Uni, voir Jobbins (2002); Federkeil (2002) en Allemane; Siwiński (2002) en Pologne; Yonezawa et al. (2002) au Japon; Filinov et Ruchkina (2002) en Russie; et Ledesma (2002) en Amérique latine. Une estimation faite en 2002 a compté plus de vingt registres de résultats de ce type (Koźmiński et Sadlak, 2002). 6 A ce jour, ce nombre est certainement encore plus élevé. 7 Ces entreprises ont été souvent reçues avec beaucoup de criticisme. Les universitaires, en particulier, se sont concentrés sur les défauts méthodologiques (Clarke, 2004; Gater, 2002; Crissey, 1997; Mallette, 1995; McGuire, 1995; Kersten, 2000; Eccles, 2002; Carrico et al., 1997; Bowden, 2000; Goldstein et Spiegelhalter, 1996; Provan et Abercromby, 2000). 8 Néanmoins, l immense popularité de ces évaluations comparatives montre qu elles sont clairement de grand intérêt pour les consommateurs et que, par voie de conséquence, les universités doivent les prendre au sérieux. 9 En outre, si ils sont réalisés de manière sérieuse et rigoureuse, les registres de résultats offrent des informations importantes à tous ceux qui sont intéressés et impliqués dans l enseignement supérieur. Une grande partie du débat académique sur ce thème a traité les atouts et (le plus souvent) les faiblesses de registres de résultats spécifiques (les vénérables classements du U.S. News, en particulier) d un seul pays. Aujourd hui, quand il existe un bon nombre de registres de 4 L auteur aimerait remercier Ross Williams pour ses inestimables réflexions sur la conceptualisation initiale de cet article et pour ses commentaires utiles sur les versions originales. L auteur aimerait aussi remercier Dean Goodman pour certaines bonnes idées et pour son aide et compréhension nécessaires afin de finaliser cet article. 5 Voir détails à <http://www.usnews.com/usnews/usinfo/history.htm>. 6 Voir détails à <http://www.cepes.ro/hed/meetings/warsaw.htm>. 7 Gormley et Weimar (1999) parlent collectivement d évaluations comparatives d universités publiées en tant que registres de résultats. 8 Certains doyens qui ont été dérangés par les classements d écoles de Droit établis par le U.S. News & World Report ont lancé une campagne anti-classement (Carter, 1998). 9 Voir Cohen, D. (1999) pour une analyse des réactions vis-à-vis des classements d universités en Asie. Une cause de ce criticisme, se rajoutant aux problèmes méthodologiques et au caractère défensif du monde académique, a été l emploi du terme meilleur par beaucoup de systèmes de classement. On peut affirmer que le meilleur est une question de perspective individuelle ou, dans ce cas, de perspective de l étudiant, et que le fait de soutenir qu un certain nombre d indicateurs rassemblés signifient le meilleur était simplement indéfendable. 7

résultats et un accord trans-national grandissant sur ce qui constitue l excellence universitaire, le moment est propice à effectuer une analyse de ces registres de résultats, à saisir les ressemblances et les différences, et à voir ce qu on peut apprendre au sujet de ces exercices. Les registres de résultats inclus 10 A mesure que le nombre de registres de résultats a augmenté, les buts de ces entreprises ont fait de même. Censés originairement offrir des informations aux futurs étudiants, les registres de résultats évaluent désormais des écoles universitaires et professionnelles (et surtout des programmes de MBA), offrent des indices de classement général, et servent en tant que schémas de financement gouvernementaux. 11 Aussi, même si la plupart de ces registres de résultats ont une étendue nationale, d autres sont trans-nationaux ou même internationaux. Afin de pouvoir gérer cet exercice et de comparer des semblables, nous nous concentrerons sur les registres de résultats qui satisfont les deux critères suivants: (i) ils évaluent des universités d un seul pays ou d une seule région; (ii) présentés dans des publications respectées, ils incluent toutes ou presque toutes les universités du pays ou de la région en cause. Un avantage supplémentaire à ces critères est qu ils représentent les types d évaluations qui ont le plus grand attrait vis-à-vis du public et qui ont fait l objet de la plupart des discussions dans la presse populaire et académique. Le résultat consiste en dix registres de résultats qui concernent le choix universitaire ou le positionnement général, et qui évaluent des universités de cinq pays différents et de deux régions géographiques. 12 Il suit une comparaison assez détaillée entre ces dix structures. 10 Les recherches pour cet article ont commencé à la moitié de 2004; ainsi, les classements analysés sont pour la plupart ceux de 2003. Toute information concernant les détails de ces registres de résultats universitaires provient des sources suivantes, sauf indiqué: Asiaweek <http://www.asiaweek.com/asiaweek/features/universities2000/>; TheCenter <http://thecenter.ufl.edu/>; Clasement d universités du CHE et du Stern <http://www.daad.de/deutschland/en/2.2.9.html>; Federkeil, G. (2002); The Good Universities Guide <http://www.thegoodguides.com.au/>; The Guardian <http://education.guardian.co.uk/universityguide2003>; Maclean s <http://www.macleans.ca/universities/>; The Melbourne Institute <http://www.melbourneinstitute.com/austuniv/austuniv.html>; Siwiński, W. (2002); The Times <http://www.timesonline.co.uk/section/0,,716,00.html>; U.S. News & World Report <http://www.usnews.com/usnews/edu/college/rankings/tankindex_brief.php>. 11 Quelques exemples de ce type sont The Gourman Report: Graduate Programmes (programmes universitaires et professionnels aux Etats-Unis); National Research Council (Etats-Unis), Committee for the Study of Research-Doctorate Programmes des Etats-Unis; U.S. News & World Report. America s Best Graduate Schools; Australian Financial Review Boss (programmes MBA en Australie); B-School Net (un site qui classe les écoles de commerce et les programmes de MBA en Allemagne), Canadian Business (programmes de MBA au Canada); Financial Times (programmes MBA dans le monde); Marr/Kirkwood Side by Side Comparison of International Business School Rankings; Classementw de MBA Université de Pforzheim (les 50 meilleures écoles de commerce du monde); Performance-Based Research Fund de Nouvelle-Zélande (PBRF); Higher Education and Research Opportunities (HERO) au Royaume-Uni (exercice d évaluation de la recherche entrepris par les quatre corps de financement de l enseignement supérieur du Royaume-Uni). 12 Deux registres de résultats représentent l Australie, les Etats-Unis et le Royaume-Uni. 8

TABLEAU 1. Les registres de résultats inclus dans l enquête Auteur Titre du registre de résultats Pays/Région But poursuivi Asiaweek* Les meilleures universités d Asie Asie Honorer l excellence TheCenter CHE/Stern Les meilleures universités de recherche américaines Les classements universitaires du CHE et du Stern Etats-Unis Allemagne Identifier les meilleures universités de recherche Aider les diplômés de lycée à choisir où étudier** Good Guides Le guide des bonnes universités Australie Choix des lycéens The Guardian Le guide des universités Royaume-Uni Choix des lycéens Maclean s Les classements des universités Canada Choix des lycéens Melbourne Institute 13 L index de l Institut de Melbourne du classement international des universités australiennes Australie Classement international des universités australiennes Perspektywy Le classement des universités Pologne Choix des lycéens The Times Le guide des bonnes universités*** Royaume-Uni Choix des lycéens axé sur l enseignement plutôt que sur la recherche U.S. News Les meilleurs collèges des Etats-Unis Etats-Unis Choix des lycéens * Asiaweek a cessé de paraître à compter de décembre 2001; ses archives virtuelles, y inclus ses classements universitaires, sont toujours disponibles. ** Les diplômés de lycée une sous-catégorie des étudiants potentiels, incluant uniquement les étudiants qui vont directement du lycée à l université. *** Remarquez la similarité des titres des registres de résultats publiés par Good Guides et par The Times. Source: L auteur. L analyse des registres de résultats Les producteurs La plupart des registres de résultats inclus dans cette étude sont le produit de magazines, de journaux ou d éditeurs d ouvrages. 14 Même si ces origines peuvent accroître leur visibilité, elles ont également pu soulever des méfiances parmi les universitaires et d autres concernant leur pertinence théorique et méthodologique. En réponse, un nombre de ces publications ont fait de leur mieux pour expliquer leur méthodologie et créer des comités consultatifs qu ils consultent. La meilleure approche est probablement celle de CHE/Stern qui combine le meilleur des deux mondes: le Centre pour le développent de l enseignement supérieur, un groupe de conseil non-profit, est responsable du concept et des données de son registre de résultats, pendant que le magazine hebdomadaire Der Stern est responsable du marketing et de la distribution. 13 L auteur de cet article est également un des réalisateurs du Melbourne Index. 14 Dans le but de la clarté et de la brièveté, les références pour chaque registre de résultats incluent le nom de son producteur ou, dans certains cas, une abréviation de son nom. 9

TABLEAU 2: Les producteurs de registres de résultats Entité média Institut de recherche non-profit Combinaison Asiaweek TheCenter CHE/Stern Good Guides The Guardian Maclean s Perspektywy The Times U.S. News Source: L auteur. Melbourne Institute L approche par université et l approche par discipline Il y a une importante discussion autour de la pertinence de l évaluation des universités comme entier ou par discipline. D un côté, les étudiants peuvent devoir poursuivre une discipline plutôt qu une université, et la qualité dans une université peut varier d une discipline à l autre, ainsi qu une moyenne des départements peut donner une fausse idée de la qualité de l université. De l autre côté, la variabilité entre les disciplines baisse, en particulier dans les meilleures universités; les étudiants ne sont pas toujours quelle est la discipline qui les intéresse le plus lorsqu ils passent en revue les universités; et il existe un indubitable effet de marque des universités comme entier (Toutkoushian et al., 1998). Le rassemblement et l analyse de données par discipline requièrent certainement beaucoup plus de travail, et les questions concernant la validité et la fiabilité représentent toujours un problème. La plupart des registres de résultats inclus dans cette étude évaluent les universités comme entier. Deux traitent à la fois les universités et les disciplines, et un (CHE/Stern) ne concerne que les disciplines. TABLEAU 3: Les registres de résultats qui classent des universités ou de disciplines Producteur Université comme entier Par discipline Les deux Asiaweek TheCenter CHE/Stern Good Guides The Guardian * Maclean s Melbourne Institute Perspektywy The Times ** U.S. News *Le classement par université du The Guardian n inclut qu un seul indicateur, le score d évaluation de l enseignement. **Perspektywy publie également un Classement du prestige par spécialisation, basé seulement sur les opinions de grands employeurs et de jeunes enseignants. Source: L auteur. 10

Les classements et les groupes (clusters) Certaines critiques se sont concentrées sur l usage de classements pour rapporter les résultats d évaluations, parce que des différences entre des établissements ou des disciplines sont souvent le résultat de perturbations statistiques plutôt que de vraies différences (voir, par exemple, Clarke, 2002; Merisotis, 2002). Pour cette raison, certains registres de résultats ont plutôt employé des groupes (i.e., élevé, moyen, bas), en répertoriant les entités alphabétiquement dans les groupes. TABLEAU 4: Les résultats par classements ou par groupes Asiaweek TheCenter CHE/Stern Good Guides The Guardian Maclean s Melbourne Institute Perspektywy The Times U.S. News Source: L auteur. Producteurs Classements Groupes Cette solution n est pas sans ses difficultés méthodologiques, cependant, puisque les points de lien ou de coupure entre les groupes peuvent être plutôt arbitraires, et la même question des vraies différences demeure: la distinction apparente entre l université ou discipline classée le plus bas dans le groupe supérieur, par exemple, et celle classée le plus haut du groupe suivant peut être erronée. En outre, les groupes ne sont pas aussi satisfaisants que les classements. Un possible solution est celle de classer, mais d offrir au consommateur des informations facilement compréhensibles sur le degré de réflexion de vraies différences statistiques par les différences de classement. Tous, sauf deux registres de résultats de cette étude classent des universités ou des disciplines plutôt que de les grouper. Les poids Une autre critique populaire des registres de résultats, en plus de celle concernant le classement, est l établissement par les producteurs des registres de résultats de poids aux différentes mesures incluses dans l évaluation (NORC, 1997; Eccles, 2002; Carrico, 1997; Clarke, 2002). L idée générale est que le choix des poids est subjectif et arbitraire, avec peu ou point de soutien théorique ou empirique. Le problème, évidemment, est de savoir comment rapporter les résultats sans établir des poids, puisque les différentes mesures ne peuvent pas se combiner ensuite dans un classement ou dans un groupe général. Une solution est celle d évaluer séparément des 11

universités ou des disciplines selon chaque mesure, comme le fait Good Guides. 15 Une autre est celle de permettre à l utilisateur d assigner des poids, comme le fait CHE/Stern. 16 Une réponse alternative à certaines des critiques concernant l application de pondérations est de demander à d autres quels poids assigner, comme le fait l Institut de Melbourne. 17 TABLEAU 5: Les registres de résultats assignent des poids aux mesures Asiaweek TheCenter Producteurs Poids assignés Sans poids assignés CHE/Stern * Good Guides The Guardian Maclean s Melbourne Institute Perspektywy The Times U.S. News * Exemples fournis en employant cinq indicateurs clé (supposés à poids égaux). ** Sans poids assignés aux dix-sept catégories employées pour évaluer des universités. Pour les catégories qui incluent plus d un indicateur, les poids ne sont pas expliqués. Source: L auteur. Les indicateurs Les dix registres de résultats incluent 72 indicateurs différents répartis en sept grandes catégories: la Qualité du personnel universitaire/enseignants, la Qualité des étudiants secondaires entrants, la Qualité du programme universitaire, la Qualité du programme postuniversitaire, les Ressources, les Opinions des décideurs, et Autres (veuillez consulter l Annexe A pour un tableau complet d explications détaillées de chaque indicateur). Certains de ces indicateurs sont inclus dans plus d un registre de résultats, mais un nombre considérable d entre eux sont uniques. Aucun indicateur n est employé par tous les dix; le plus proche y arrive le Score à l examen national d admission/résultats au lycée (dans la catégorie Qualité des étudiants secondaires entrants ), qui est employé par huit sur dix. TABLEAU 6. Grandes catégories de mesures Producteurs Qualité du personnel universitair e Qualité des étudiant s entrants Qualité du programme universitaire Qualité du program me postuniversita ire Ressour ces ** Opinion des décideurs Asiaweek TheCenter Autr es 15 Certaines mesures incluent plus d un indicateur, et pour celles-ci il n y a pas d explication concernant les poids assignés à ces indicateurs. 16 CHE/Stern publient également des résultats choisis où ils choisissent cinq indicateurs (qui reçoivent vraisemblablement des poids égaux) et présentent les résultats. 17 L enquête inclut des dirigeants d universités non-australiens et des doyens d universités australiennes. 12

Producteurs Qualité du personnel universitair e Qualité des étudiant s entrants Qualité du programme universitaire Qualité du program me postuniversita ire Ressour ces Opinion des décideurs CHE/Stern Good Guides The Guardian Maclean s Melbourne Institute Perspektywy The Times U.S. News Source: L auteur. Qualité du personnel universitaire Toutes les dix évaluations incluent au moins un indicateur dans la grande catégorie Qualité du personnel universitaire. Trois sur dix n incluent cependant aucune mesure des résultats de la recherche (The Guardian, Perspektywy, et U.S. News); trois n utilisent aucune mesure du prestige des enseignants (CHE/Stern, The Guardian, et The Times). Sept sur dix n incluent point d indicateur de la qualité de l enseignement. Les trois autres sont The Good Universities Guide, The Guardian, et The Times (même si CHE/Stern interroge les étudiants au sujet de la qualité de l enseignement). 18 Un système seulement The Good Universities Guide, inclut au moins une mesure de chacune des trois sous-catégories de la Qualité du personnel universitaire: la recherche, le prestige et la qualité de l enseignement. TABLEAU 7. Les mesures de la qualité du personnel employées Producteurs Recherche Prestige Enseignement Asiaweek TheCenter CHE/Stern Good Guides The Guardian Maclean s Melbourne Institute Perspektywy The Times U.S. News Source: L auteur. Cette variation peut s expliquer partiellement par les différences existantes au niveau des buts poursuivis. TheCenter, par exemple, qui met l accent sur la recherche, ne perçoit 18 L auteur a inclus les enquêtes d opinion dans une grande catégorie intitulée Opinion des décideurs. Autr es 13

vraisemblablement aucun besoin d inclure une mesure de la qualité de l enseignement. The Guardian, par contre, affirme explicitement que son intérêt réside en l enseignement, pas en la recherche; il n est pas surprenant, donc, qu il n inclue aucune mesure des résultats de la recherche. CHE/Stern, toutefois, soutient qu un bon niveau de la recherche implique clairement un bon niveau de l enseignement (Federkeil, 2002) et inclut ainsi une mesure des revenus pour la recherche et des opinions d étudiants concernant la qualité de l enseignement. Le fait d obtenir des évaluations indépendantes, objectives, de la qualité de l enseignement est difficile, coûteux et prenant. Le Royaume-Uni, par exemple, dépense une partie considérable de son budget pour l enseignement supérieur pour réaliser son Exercice d évaluation de la recherche, qui évalue la qualité de l enseignement de chaque discipline dans les universités. Une autre mesure de la qualité de l enseignement moins ardue, quoique également moins rigoureuse et fiable, concerne les opinions des diplômés, comme il est pratiqué par Good Guides et CHE/Stern. D une certaine manière, étant donné la facilité de collection à travers l Internet de ces mesures, comme le nombre de publications, les citations et la participation à des académies, il est relativement surprenant que ces indicateurs ne soient pas plus populaires au niveau des registres de résultats. 19 Pour ce qui est des bourses et des revenus de recherche, ceux-ci peuvent aussi être facilement obtenus, car les universités doivent sûrement enregistrer ces chiffres, mais la moitié des systèmes n incluent aucun de ces indicateurs. La qualité des étudiants entrants Les indicateurs employés par les différents registres de résultats qui font partie de cette catégorie sont: La note obtenue à l examen d admission/les résultats obtenus au lycée Les notes minimum requises pour l admission Le taux d acceptation universitaire/la demande de places La diversité géographique. On a beaucoup critiqué l inclusion de mesures d admission d étudiants (Clarke, 2002; Eccles, 2002), en particulier des notes d admission. Comme une variable d entrée (opposée aux variables de processus ou de sortie), elle n est pas influencée par la qualité de l université. Maclean s soutient que le fait d avoir des étudiants plus intelligents a comme résultat un meilleur milieu éducatif, pendant que d autres affirment qu il n y a point de recherche soutenant cette idée. En outre, ils soutiennent que l inclusion de cette mesure est élitiste les étudiants qui ont de bons résultats à ces tests ont tendance à être les plus avantagés. Enfin, la qualité des lycées diffère largement; ainsi, les meilleures notes au lycée ne garantissent pas nécessairement le fait d avoir les meilleurs étudiants. Toutefois, ces mesures sont populaires dans les systèmes, et uniquement CHE/Stern n inclut aucun indicateur dans cette catégorie, et cette omission est due seulement au fait que les universités allemandes ne sont pas libres de choisir quels étudiants admettre 19 L utilisation de données et de citations de l ISI demande des précautions. A. van Raan (2004) analyse différents problèmes posés par l utilisation de ces données. Van Leeuwen et al. (2001) montrent que le taux de références des articles en langue anglaise est supérieur à celui des articles en autres langues. Conséquemment, si une université publie beaucoup dans une langue autres que l anglais, elle est doublement désavantagée: premièrement parce qu il a moins de journaux non-anglais qui sont inclus, et deuxièmement parce que même pour ceux qui sont inclus, leurs articles sont cités moins fréquemment. 14

(Federkeil, 2002:394). En effet, comme on l a déjà mentionné, le taux d admission d étudiants représente l indicateur qui atteint le niveau maximum d unanimité parmi ces dix registres de résultats. La qualité du programme universitaire Les indicateurs incluent: La classification du diplôme (avec mention, etc.) Les prix universitaires nationaux gagnés par les étudiants Les diplômés qui deviennent doctorants ou qui poursuivent des études approfondis Le taux de finalisation des études/ d attrition de rétention Le taux de chômage des diplômés Le salaire initial moyen Les relations étudiant-enseignant Les relations entre étudiants Le taux de valeur ajoutée De manière assez surprenante, trois des registres de résultats n incluent aucune mesure dans cette catégorie (Asiaweek, TheCenter, et Perspektywy). On pourrait dire que la qualité de l enseignement (une mesure employée par The Guardian) mesure en réalité la qualité du programme universitaire. Aussi, deux registres de résultats incluent des mesures de l opinion des étudiants concernant leur instruction universitaire (CHE/Stern et L institut de Melbourne), qui sont des mesures plus subjectives de la qualité universitaire. Asiaweek inclut une mesure du taux d admission d étudiants (parfois appelée taux de rendement d une université), qui peut être un indicateur de la qualité universitaire. Pour ce qui est des deux registres de résultats restants TheCenter et Perspektywy, aucun d entre eux ne traite le choix universitaire. Néanmoins, on peut dire que même les universités de recherche doivent faire attention à la qualité de leurs programmes universitaires. Des indicateurs de cette catégorie, les taux de finalisation/rétention/attrition sont les plus populaires, avec quatre des registres de résultats incluant au moins une de ces mesures. La qualité du programme post-universitaire Les indicateurs inclus dans les registres de résultats sont: Les diplômés de mastère et de doctorat délivrés Les étudiants internationaux Le taux de réussite/échec aux examens professionnels La préparation à la carrière post-diplôme Etant donné que beaucoup des registres de résultats se concentrent sur les étudiants universitaires futurs plutôt que sur ceux post-universitaires, il n est pas surprenant qu il y a peu d évaluations qui incluent des mesures de la qualité de programmes post-universitaires. On peut dire que des programmes post-universitaire de haute qualité attirent des enseignants de haute qualité, mais on ne devrait alors qu inclure une mesure de la qualité des enseignants. On peut aussi dire que les programmes post-universitaires de haute qualité augmentent le niveau académique général de l université, offrant ainsi un milieu plus stimulateur aux étudiants universitaires, même s il semble y avoir peu de recherches pouvant soutenir ce rapport. 15

Du nombre de cinq registres de résultats qui comportent des mesures de la qualité de programmes universitaires, deux (TheCenter et l Institut de Melburne) n ont pas comme intérêt principal le choix universitaire. Les ressources: le soutien accordé aux étudiants et aux enseignants Cette grande catégorie de mesures comporte le plus grand nombre et les plus différents types d indicateurs. Les évaluations varient énormément au niveau du nombre d indicateurs qu elles incluent, d un palier inférieur de deux pour The Guardian et l Institut de Melbourne à un palier supérieur de vingt pour CHE/Stern. Aucune mesure spécifique n est employée par toutes les évaluations; le taux Etudiants/enseignants est la plus répandue, étant incluse dans sept d entre elles, pendant que Les dépenses totales par étudiant est utilisée par un nombre de cinq. En effet, on s est peu accordé dans les registres de résultats sur le choix de mesures relatives aux Ressources. Par exemple, certains systèmes, comme Maclean s, emploient un nombre de mesures relatives à la bibliothèque taille, dépenses et actualité de la collection, pendant que TheCenter, Good Guides, The Guardian, l Institut de Melbourne, et U.S. News ignorent complètement les bibliothèques. Asiaweek et Perspektywy incluent deux mesures concernant les ordinateurs ou les technologies de l information, pendant que trois autres systèmes comportent un seul indicateur de ce type. Même au niveau des sous-catégories, les différentes évaluations ne s accordent pas sur les types de mesures à inclure; il n y a pas deux registres de résultats qui emploient une même série de mesures. Tous, à l exception de TheCenter, incluent au moins une mesure du soutien accordé aux étudiants: celui universitaire. TABLEAU 8. Mesures relatives aux ressources Producteurs Biblio thèque TI Equipe ments/ Infra structure Soutien étudiants: universita ire Soutien étudiants : nonuniversit aire Dépense s totales par étudiant Soutien enseigna nts Asiaweek TheCenter CHE/Stern Good Guides The Guardian Maclean s Melbourne Institute Perspektywy The Times Revenus / Biens U.S. News Source: L auteur. Ces différences entre les registres de résultats concernant le nombre et les types de mesures relatives aux ressources incluses reflètent probablement, au moins jusqu à un certain point, des différences en matière de systèmes et de cultures d enseignement supérieur et en matière de disponibilité et de fiabilité des données. Les perceptions de l excellence dans les 16

universités d Asie, par exemple, peuvent avoir très peu à voir avec les ressources nonuniversitaires accordées aux étudiants, et c est donc la raison pour laquelle Asiaweek n inclut point d indicateurs dans cette catégorie. Un taux Places/étudiants, employé par Perspektywy, n a simplement rien à voir avec la qualité d universités dans la plupart des autres systèmes. La variabilité existante entre les universités en termes de ressources comme les équipements/l infrastructure et le soutien universitaire accordé aux étudiants est vraisemblablement plus élevée en Allemagne qu au Canada ou qu en Australie, par exemple. La disponibilité et la fiabilité des données sur les ressources universitaires semblent être particulièrement problématiques (Eccles, 2002). Des universités emploient souvent des définitions différentes de termes identiques afin de compiler leurs données, ce qui peut s avérer très difficile à saisir. Asiaweek a une tache encore plus difficile de traiter des données provenant de plusieurs pays. Ailleurs, les données cherchées ne sont simplement pas disponibles. Les opinions des décideurs Cette catégorie n est certainement pas séparée des autres les décideurs peuvent exprimer leurs opinions au sujet de la qualité d l enseignement, du prestige des enseignants, de la qualité de l enseignement universitaire ou post-universitaire, etc. Sept sur dix registres de résultats incluent des opinions de décideurs. Le groupe le plus fréquemment interrogé est celui des universitaires généralement des dirigeants d universités ou des doyens de départements; cinq des évaluations incluent de telles opinions. Trois interrogent des employeurs, et trois interrogent des étudiants. Aucun d entre eux ne collecte des opinions de tous les trois groupes de parties intéressées. Les types d opinions rassemblées vont de réponses à une simple question demandant aux universitaires de classer chaque université sur une échelle spécifique à des réponses à des questions multiples interrogeant des diplômés au sujet d une série de sujets concernant leurs expériences éducatives. CHE/Stern inclut une question particulièrement créative, qui demande aux enseignants où ils enverraient leurs propres enfants. Un problème majeur lié à l inclusion d opinions d universitaires ou d employeurs demandés à classer une longue liste d universités ou de départements est qu ils n ont pas assez de connaissances spécifiques concernant chacune et chacun, et les opinions ne reflètent que des facteurs autres que les critères qu on leur demande d utiliser (Jacobs, 1999; Toutkoushian et al., 1998). Autres Les indicateurs qui ne se rattachent pas aux six autres catégories incluent: La proportion d enseignants à plein temps Les cours universitaires enseignés par des enseignants titularisés ou en voie de titularisation Le taux d admission d étudiants Le nombre ou la proportion d étudiants post-universitaires La diversité des étudiants (autre que celle géographique) Le nombre de cours obligatoires La taille de la classe La flexibilité d admission L envergure des services d assistance Le temps nécessaire pour obtenir un diplôme Le coût de vie/informations générales sur la ville 17

Dans la plupart des cas, le nombre d indicateurs employés par un registre de résultats donné qui ne se rattachent pas à une des six grandes catégories est relativement réduit. Pour Good Guides, toutefois, ce nombre est substantiel (sept sur vingt-six). L explication semble être le but spécifique de cette évaluation, qui est censé élargir son spectre d intérêt au-delà des étudiants classiques, à bons résultats. Il inclut ainsi un nombre d indicateurs ayant trait à la diversité des étudiants, des mesures de la flexibilité d admission, de l envergure des services d assistance, et des informations générales sur la ville ou concernant le coût de vie. Certains des autres indicateurs qui font parti de cette catégorie semblent apparaître dans un registre de résultats du fait de caractéristiques particulières du système d enseignement supérieur du pays respectif. Le temps nécessaire pour obtenir un diplôme, par exemple, est un facteur particulièrement important en Allemagne, où la longueur de la période nécessaire à obtenir un certain diplômé peut enregistrer des différences allant jusqu à deux ans, selon le lieu où la personne fait ses études (Federkeil, 2002). Les seuls indicateurs de cette catégories qui apparaissent dans plus d un registre de résultats sont La taille de la classe, utilisé par Maclean s et U.S. News, Le nombre ou la proportion d étudiants post-universitaires, inclus par Asiaweek et Perspektywy, et Le coût de vie/informations générales sur la ville, utilisé par CHE/Stern et Good Guides. Le nombre d indicateurs Le nombre d indicateurs utilisés par chaque registre de résultats et leur distribution dans les sept grandes catégories varient énormément. Le nombre total varie entre six par The Guardian et 33 par CHE/Stern. 20 Toutes les évaluations incluent un nombre relativement élevé de Mesures relatives aux ressources cette grande catégorie occupe la première ou la deuxième place de chaque registre de résultats. Les mesures relatives à la Qualité du personnel sont aussi relativement nombreuses dans la plupart des cas. Au-delà de ces tendances de base il existe néanmoins peu de point communs entre les registres de résultats concernant le nombre d indicateurs utilisés. TABLEAU 9. Les indicateurs dans chaque grande catégorie (par nombres) Producteurs Qualité du personn el universi - taire Qualité des étudiant s entrants Qualité du program me universita ire Qualité du programme postuniversitaire Ressourc es Opinion des décideurs * Asiaweek 6 2 0 0 8 2 2 20 TheCenter 4 1 0 1 3 0 0 9 CHE/Stern 1 0 2 5 20 2 3 33 Good Guides 5 3 3 0 7 1 7 26 The Guardian 1 1 2 0 2 0 0 6 Maclean s 4 4 3 1 7 1 3 23 Melbourne Index 4 1 2 1 2 2 0 12 Perspektywy 2 0,5 0 0,5 10 2 2 17 Autr es Total 20 Pas tous à la fois, toutefois; chaque discipline inclut sa propre série d indicateurs; l estimation de l auteur a résulté en 25 indicateurs par discipline. Néanmoins, un tel nombre représente le segment supérieur de l échelle. 18

Producteurs Qualité du personn el universi - taire Qualité des étudiant s entrants Qualité du program me universita ire Qualité du programme postuniversitaire Ressourc es Opinion des décideurs * The Times 2 1 3 0 3 0 0 9 U.S. News 1 3 3 0 4 1 3 15 Autr es Total Total 30 16,5 18 8,5 66 11 20 170 *L auteur compte le type de répondant (universitaires, employeurs ou étudiants) plutôt que le nombre de questions posées. Ainsi, le plus grand nombre d indicateurs de cette catégorie pour chaque registre de résultats est trois. Source: L auteur. La taille des poids Les résultats concernant la taille des poids appliqués aux sept grandes catégories de mesures (pour les huit registres de résultats qui pèsent les mesures) sont similaires à ceux relatifs au nombre d indicateurs. Généralement, La qualité du personnel universitaire et Les ressources reçoivent les poids les plus importants, à l exception que la première s impose devant la dernière en tant que la catégorie la plus importante au total. TABLEAU 10. Les poids assignés aux grandes catégories (en pourcents) Qualité du Qualité du Qualité Qualité du programme personnel des Producteurs programme postuniversitair universitair étudiants universitaire e entrants e Ressources Opinion des décideurs* Autres Asiaweek 23 14 0 0 32 20 10 TheCenter 33 11 11 11 33 0 0 CHE/Stern n/a n/a n/a n/a n/a n/a n/a Good Guides n/a n/a n/a n/a n/a n/a n/a The Guardian 40 10 15 0 20 0 15 Maclean s 17 15 10 1 27 16 15 Melbourne 40 11 14 16 11 8 0 Institute Perspektywy 23 2,5 0 0 20 50 5 The Times 37 9 27 0 27 0 0 U.S. News 3 16 23 0 23 25 11 Source: L auteur. Les registres de résultats qui ne suivent pas cette pratique générale d assigner leurs deux poids les plus importants à ces deux catégories (indifféremment de l ordre de classement) sont Perspektywy et U.S. News, les deux assignant leur poids le plus important à L opinion des décideurs, et l Institut de Melbourne, qui place son deuxième poids sur la Qualité du programme post-universitaire. Cependant, lorsqu on partage La qualité du personnel universitaire en Résultats de la recherche, Prestige, et Enseignement, on peut apercevoir des différences entre les registres de résultats, avec The Guardian qui place tout son poids de la catégorie sur L enseignement, The Times qui assigne des poids à la fois à La recherche, Le prestige et L enseignement, et le reste qui placent tout leur poids sur La recherche / Le prestige. 19

TABLEAU 11. Les poids assignés à la qualité du personnel universitaire par sous-catégories (en pourcents) Producteurs Qualité du personnel universitaire: Qualité du personnel recherche/prestige universitaire: enseignement Asiaweek 23 0 TheCenter 33 0 CHE/Stern n/a n/a Good Guides n/a n/a The Guardian 0 40 Maclean s 17 0 Melbourne Institute 40 0 Perspektywy 23 0 The Times 14 23 U.S. News 3 0 Source: L auteur. On observe des différences en ce qui concerne les poids à assigner aux opinions des décideurs qu il s agisse de celles d universitaires, d employeurs qui embauchent des diplômés, ou d étudiants eux-mêmes. Dans l ensemble, TheCenter et The Times, qui n incluent pas de telles mesures, évaluent l opinion des décideurs à zéro pour cent; Perspektywy lui assigne 50 pour cent. D une certaine manière, cette différence illustre une distinction entre la réputation et la performance effective. Si on ne suit que la performance effective, on n a pas besoin de demander des opinions qui, surtout lorsqu elles sont collectées d universitaires et d employeurs, auront comme résultat une mesure de la réputation. De l autre côté, on peut aussi affirmer que la réputation est un acteur légitime à inclure dans une évaluation de la qualité d une université ou d une discipline. Discussion Environ vingt ans de registres de résultats universitaires ont donné des systèmes qui partagent certains principes et approches, mais qui diffèrent considérablement dans les détails. La plupart des registres produits par des entités média incluent des classements d universités qui emploient des poids établis par leurs auteurs. Toutes les approches reconnaissent la contribution de la haute qualité du personnel universitaire, de bons étudiants et de ressources substantielles à l excellence universitaire, même si la décision concernant l accentuation de la qualité du personnel est de la recherche ou de l enseignement, ainsi que l inclusion d indicateurs relatifs aux ressources, diffère considérablement d un système à l autre. Il y a un accord sur l importance de l inclusion de mesures de la qualité des programmes universitaires, même si certaines de ces mesures, par exemple la qualité de l enseignement, les taux étudiants/enseignants, et les opinions des décideurs, sont partagées par d autres catégories. On s accorde moins au sujet de l importance de la qualité des programmes postuniversitaires, alors qu environ la moitié des registres de résultats comportent de telles mesures. Lorsque les quatre systèmes dont le but dépasse le choix universitaire sont omis de l analyse (Asiaweek, TheCenter, l Institut de Melbourne, Perspektywy), on arrive à un plus grand consensus à ignorer les programmes post-universitaires. 21 Les objectifs relativement différents des évaluations, les différences entre les systèmes et les cultures d enseignement supérieur, et la disponibilité et la fiabilité des données semblent expliquer l existence d autres variations entre les registres de résultats. 21 Asiaweek n inclut aucune mesure de la qualité des programmes post-universitaires. 20

Dans certains cas, toutefois, il semble que les différents auteurs ont simplement des idées différentes sur la manière dont il vaut mieux mesurer la qualité d une université. L exemple d un classement est présenté en ce qui suit. Sa construction a utilisé les moyennes des dix registres de résultats inclus dans cette étude. TABLEAU 12. Registre de résultats mixte Catégorie Qualité du personnel universitaire Qualité des étudiants entrants Qualité du programme universitaire Qualité du programme post-universitaire Mesures (en chiffres) Poids (en pourcents) 3 27 2 11 2 14 1 4 Indicateur Diplômes universitaires tenues Nombre de registres de résultats (sur 8) qui incluent cet indicateur Revenus de la recherche 5 Qualité de l enseignement 3 Note à l examen national/ Résultats obtenus au lycée Taux d admission de l université/ demande de places Taux de finalisation/rétention/attrition Taux de chômage des diplômés Diplômes de mastaire/doctorat délivrés Ressources 5* 24 Taux étudiants/enseignants 7 Opinion des décideurs 1 (universitaire s) Dépenses totales par étudiant 5 Donations annuelles 4 Bibliothèque - taille 3 Bibliothèque - dépenses 3 15 Universitaires (une question leur demandant à classer des universités sur une échelle donnée) Autres 2 7 Taille de la classe 2 Coût de vie/ Informations générales sur la ville Total 16** 100**** * Moyenne réalisée sans CHE/Stern, qui inclut 20 indicateurs dans cette catégorie, une évidente exception. ** Le total effectif est de 17 en incluant les Ressources de CHE/Stern. *** Quatre sur cinq posent ce type de question. **** Les pourcentages totaux atteignent en réalité 102, du fait de l arrondissage. Source: L auteur. Conclusion Les registres de résultats universitaires ne sont pas qu extraordinairement populaires parmi les étudiants et les parents, mais sont de plus en plus acceptés (quoique de mauvaise grâce 5 8 3 4 3 3 6*** 2 21

parfois) par le monde académique, en tant qu instrument utiles de jaugeage et poursuite de la performance et de la réputation universitaires. Les critiques ont forcé les auteurs de ces classements à mieux préciser leurs buts, à améliorer leurs méthodologies, à consulter des Conseils consultatifs, et à accroître la transparence de leurs entreprises. En outre, des universités et des gouvernements ont du développer la qualité et la fiabilité des données sur l enseignement supérieur qu ils collectent. Premièrement publiés en Amérique du Nord, ces classements se sont répandus en Europe et dans la région Asie-Pacifique, et sont analysés ou en train d être introduits dans des pays et des régions géographiques comme la Russie, l Amérique latine et le Nigeria, parmi d autres. Il est de plus en plus possible pour les utilisateurs de registres de résultats de choisir, à travers l Internet, les indicateurs qui les intéressent le plus et d établir leurs propres poids et priorités. Une telle approche offre une solution à deux des critiques les plus persistantes des registres de résultats que les résultats sont subjectifs et arbitraires, et que les évaluations ne concernent qu un groupe limité d utilisateurs. Une autre tendance évidente va dans le sens des classements mondiaux d universités, une initiative déjà mise en œuvre par l Université Jiao Tong de Shanghai (SJTU) 22 et par The Times Higher Education Supplement. A mesure que la concurrence entre université augmente de plus en plus au niveau mondial, que les étudiants et les enseignants continuent à regarder au-delà des frontières de leurs propres pays, et qu on s accorde internationalement de plus en plus sur ce qui constitue une université de haute qualité, un tel exercice devient non seulement faisable mais aussi important et nécessaire. Références BOWDEN, R. Fantasy Higher Education: University and College League Tables, Quality in Higher Education 6 1 2000. CARRICO, C.S., HOGAN, S.M., DYSON, R.G., et ATHANASSOPOULOS, A.D. Data Envelopment Analysis and University Selection, The Journal of the Operations Research Society, 48 12 (1997): 1163-1177. CARTER, T. Rankled by the Rankings, ABA Journal, 84 (1998): 46-53. CLARKE, M. Some Guidelines for Academic Quality Rankings, Higher Education in Europe 27 4 (2002): 443-460. CLARKE, M. Weighing Things up: A Closer Look at the U.S. News & World Report Ranking Formulas, College and University Journal 79 3 (2004): 3-9. COHEN, D. Magazine s Rankings of Asian Universities Are Popular with Readers, not Academics, The Chronicle of Higher Education, 45 36 (1999): A51. CRISSEY, M. Changes in Annual College Guides Fail to Quell Criticisms on Their Validity, The Chronicle of Higher Education, 44 2 (1997): A67. ECCLES, C. The Use of University Rankings in the United Kingdom, Higher Education in Europe 27 4 (2002): 423-432. 22 Pour plus de détails sur cette importante université de Chine, voir <http://www.sjtu.edu.cn/www/english/>. 22

FEDERKEIL, G. Some Aspects of Ranking Methodology The CHE-Ranking of German Universities, Higher Education in Europe 27 4 (2002): 389-398. FILINOV, N.B., et RUCHKINA, S. The Ranking of Higher Education in Russia: Some Methodological Problems, Higher Education in Europe 27 4 (2002): 407-422. GATER, D.S. A review of measures used in U.S. News & World Report s America s Best Colleges. Etude circonstancielle. The Lombardi Programme on Measuring University Performance, TheCenter, University of Florida, 2002. GOLDSTEIN, H., et SPEIGELHALTER, D.J. League Tables and Their Limitations: Statistical Issues in Comparisons of Institutional Performance, Journal of the Royal Statistical Society Series A: Statistics in Society, 159 3 (1996): 385-409. GORMLEY JR., W.T., et WEIMAR, D.L. Organisational Report Cards. Cambridge, MA: Harvard University Press, 1999. JACOBS, D. Ascription of Productivity? The Determinants of Departmental Success in the NRC Quality Ratings, Social Science Research, 28 2: (1999): 228-239. JOBBINS, D. The Times/The Times Higher Education Supplement League Tables in Britain: An Insider s View, Higher Education in Europe 27 4 (2002): 383-389. KERSTEN, G. Grading on the Curve: College Ratings and Rankings, Points of Reference, 2000. (Consulté en mars 2005, à <http://www.sls.lib.il.us/reference/por/features/99/collrank.html>. KOZMINSKI, A., et SADLAK, J. Rapport de la réunion, Statistical Indicators for the Quality Assessment of Higher/Tertiary Education Institutions The Methodologies of Ranking and League Tables. Varsovie, Pologne, les 13-15 juin 2002. LEDESMA, J.R. Latin America: A Different Reality, Higher Education in Europe 27 4 (2002): 467-474. MALLETTE, B.I. Money Magazine, U.S. News & World Report, et Steve Martin: What Do They Have in Common?, New Directions for Institutional Research, 88 (1995): 31-44. MCGUIRE, M.C. Validity Issues for Reputational Studies, New Directions for Institutional Research, 88 (1995): 45-60. MERISOTIS, J.P. Summary Report of the Invitational Roundtable on Statistical Indicators for the Quality Assessment of Higher/Tertiary Education Institutions: Ranking and League Table Methodologies, Higher Education in Europe 27 4 (2002): 475-480. NATIONAL OPINION RESEARCH CENTER (NORC). A Review of the Methodology for the U.S. News and World Report s Rankings of Undergraduate Colleges and Universities, 1997. Consulté en août 2004, à <http://www.washingtonmonthly.com/features/2000/norc.html>. PROVAN, D., et ABERCROMBY, K. University League Tables and Rankings: A Critical Analysis, CHEMS paper no. 30, décembre 2000. SIWINSKI, W. Perspektywy Ten Years of Rankings, Higher Education in Europe 27 4 (2002): 399-406. TOUTKOUSHIAN, R.K., DUNDAR, H., et BECKER, W.E. The National Research Council Graduate Program Ratings: What Are They Measuring?, The Review of Higher Education, 21 4 (1998): 427-443. VAN LEEUWEN, T.N., MOED, H.F., TIJSSEN, R.J.W., VISSER, M.S., et VAN RAAN, A.F.J. Language Biases in the Coverage of the Science Citation Index and Its Consequences for 23

International Comparisons of National Research Performance, Scientometrics 51 1 (2001): 335-346. VAN RAAN, A.F.J. Fatal Attraction: Ranking of Universities by Bibliometric Methods. Centre for Science and Technology Studies, Leiden University, 2004. YONEZAWA, A., NAKATSUI, I., et KOBAYASHI, T. University Rankings in Japan, Higher Education in Europe 27 4 (2002): 373-382. 24

Annexe Indicateurs de registres de résultats Indicateurs de registres de résultats Asiaweek 1 Good The Melbourne TheCenter CHE/Stern Maclean s Guides Guardian Institute Perspektywy 2 The U.S. Times News Qualité du personnel universitaire 3 Recherche Publications 4 Citations Présentations de conférence 5 Revenus de la recherche 6 7 8 Bourses de recherche 9 10 Performance de la recherche 11 Prestige Membres d Académies Prix importants gagnés par des enseignants 12 Diplômes universitaires tenus 13 14 15 16 17 Qualité de l enseignement 18 19 Autres mesures du personnel universitaire Proportion d enseignants à plein temps Cours universitaires enseignés par des enseignants titularisés ou en voie de titularisation 20 Qualité des étudiants entrants Note à l examen national d admission/ Résultats au lycée 21 22 23 24 25 25

Indicateurs de registres de résultats Asiaweek 1 Good The Melbourne TheCenter CHE/Stern Maclean s Guides Guardian Institute Perspektywy 2 The U.S. Times News Notes minimum requises pour l admission 26 Taux d admission de l université/ Demande de places Diversité géographique 27 ½ 28 Qualité des programmes universitaires Classification des diplômes (avec mention, etc.) Prix universitaires nationaux gagnés par des 29 étudiants Diplômés qui deviennent doctorants ou qui poursuivent des études approfondies Taux de finalisation/rétention/attritio 30 31 n Taux de chômage des diplômés Salaire initial moyen Rapports étudiant - enseignant Rapports entre étudiants Taux de valeur ajoutée 32 33 Qualité des programmes post-universitaires Diplômes de mastaire ou de doctorat délivrés 34 Etudiants internationaux 35 ½ Taux de réussite/échec aux examens professionnels Préparation pour une carrière post-diplôme 26

Indicateurs de registres de résultats Asiaweek 1 TheCenter CHE/Stern Good Guides The Guardian Maclean s Melbourne Institute Perspektywy 2 The Times U.S. News Autres mesures des étudiants Taux d admission d étudiants Nombre/proportion d étudiants postuniversitaires Diversité des étudiants (autre que géographique) Nombre de cours obligatoires 36 37 Ressources: Soutien accordé aux étudiants et aux enseignants Bibliothèque Bibliothèque taille 38 Nombre de journaux 39 Bibliothèque actualité de 40 la collection Bibliothèque dépenses 41 42 ½ 43 Ordinateurs/TI Dépenses en ordinateurs/ti ½ Nombre d ordinateurs publics et de points de connexion Largeur de bande Internet Envergure du soutien électronique 44 Equipements/Infrastructure Dépenses en équipements 45 Taux places/étudiants Nombre de salles de classe/laboratoires/places de travail, etc. 27

Indicateurs de registres de résultats Asiaweek 1 Good The Melbourne TheCenter CHE/Stern Maclean s Guides Guardian Institute Perspektywy 2 The U.S. Times News Soutien accordé aux étudiants: universitaire Bourses: pourcentage du budget dépensé 46 Taux étudiants/enseignants 47 Envergure des services universitaires/assistance 48 E-learning Cours dispensés Soutien accordé aux étudiants: non-universitaire Services pour les étudiants: pourcentage du budget dépensé Nombre de places résidentielles 49 Services d emploi/carrière/conseil Activités extrascolaires 50 Envergure des services d assistance de vie 51 Dépenses totales par étudiant 52 53 Soutien accordé au personnel Dépenses de laboratoire 54 Equipement média Dépenses totales par enseignant Salaires des enseignants 55 56 Nombre de titularisations post-doctorales permises Revenus/ Biens Taille des actifs de l université/ activités d investissement 28

Indicateurs de registres de résultats Asiaweek 1 Good The Melbourne TheCenter CHE/Stern Maclean s Guides Guardian Institute Perspektywy 2 The U.S. Times News Donations annuelles 57 58 Frais d études 59 Autres mesures institutionnelles 1 Asiaweek a cessé de paraître à compter de décembre 2001. Ses archives virtuelles, y inclus ses classements universitaires, sont toujours disponibles. 2 Inclut également un indicateur, «le potentiel scientifique», qui est présenté comme «la moyenne calculée des catégories assignées à des départements scolaires parle KBN» (State Committee for Scientific Research) (Siwiński, 2002: 401). 3 Ces mesures sont des totaux et/ou des moyennes par membre du personnel. Source: <http://www.usnews.com/usnews/edu/eduhome.htm>. 4 La présence de plus d un point dans une cellule signifie que la publication a inclus plus d un indicateur pour cette variable. 5 Conférences internationales. 6 Dépenses de recherche et de développement financées au niveau fédéral; dépenses totales de recherche et développement. 7 Total et équivalent à plein temps (FTE) du personnel universitaire de recherche. 8 Venant de chacune des trois principales agences fédérales de financement. 9 «La réussite à attirer des bourses de recherche». 10 Venant de chacune des trois principales agences fédérales de financement. 11 Les notes de l Exercice d évaluation de la recherche (RAE) de 2001, entrepris par les conseils de financement, sont converties sur une échelle numérique. Les moyennes des universités sont pondérées en fonction de la proportion de personnel dans les départements obtenant chaque note. 12 Prix nationaux. 13 Chercheurs/enseignants à plein temps. 14 Proportion du personnel ayant un diplôme supérieur par recherche ou un diplôme supérieur par instruction en classe. 15 Pourcentage d enseignants. 16 Nombre de diplômes/titres scientifiques obtenus par les enseignants de chaque établissement au cours de l année précédente; pourcentage d enseignants hautement qualifiés (professeurs assistants ou professeurs) par rapport au nombre total d enseignants. 17 Ou le plus haut diplôme dans leur domaine. 18 A partir de visites effectuées par des inspecteurs de QAA dans des départements durant les dix dernières années. 19 Provenant d évaluations officielles, qui notent les départements sur une échelle à 24 points, pondérées pour chaque université. 29

20 Pourcentage des cours de première année. 21 Deux points supplémentaires si l école limite strictement le nombre de candidats. 22 Score moyen décile dans le Classement d admission tertiaire de 2002. 23 Etudiants entrants; notes moyennes de lycée; proportion de ceux ayant des moyennes de 75 ou plus. 24 Note moyenne de niveau A de nouveaux étudiants ayant moins de 21 ans durant l année universitaire 2001-2002. 25 Notes aux tests des étudiants inscrits au SAT/ACT; proportion de nouveaux étudiants ayant terminé leurs études dans les premiers 10 pour cent de leurs cours de lycée (pour les universités nationales le doctorat, et pour les collèges de sciences humaines la licence), ou dans les premiers 25 pour cent (le mastaire et les catégories compréhensives de collèges). 26 Comparaisons faites dans chaque domaine d étude et ensuite pondérées. 27 Proportion d étudiants non-locaux de première année; proportion d étudiants internationaux de première année; proportion d étudiants internationaux au niveau post-universitaire. 28 Nombre d étudiants étrangers par étudiant (étudiants universitaires et post-universitaires). 29 Durant les cinq dernières années. 30 Pourcentage du nombre d étudiants à plein temps de deuxième année qui finissent leurs études dans l établissement après une année ou moins de la période attendue; pourcentage du nombre d étudiants de première année qui rentrent en deuxième année, à plein temps ou à mi-temps. 31 Taux de finalisation des études (80 pour cent du poids de l indicateur); taux de rétention de première année (20 pour cent du poids de l indicateur). 32 «Les nouveaux étudiants sont rassemblés en des catégories en fonction de leurs notes de niveau A et d autres critères d admission; les catégories sont ensuite pesées, afin que les étudiants qui sont arrivés avec des notes inférieures mais qui ressortent avec des diplômes de deuxième classe supérieure ou de première classe soient mieux côtés.» 33 Taux de finalisation des études sur six ans, tenant compte des dépenses et des aptitudes des étudiants. Cette mesure n inclut qu quatre universités nationales et collèges de sciences humaines. 34 Diplômes de doctorat seulement. 35 Pourcentage du nombre d étudiants internationaux. 36 Participation indigène; inscriptions internationales; proportion des étudiants ayant des origines linguistiques non-anglophones. Sexe. 37 Pourcentage du nombre de cours scientifiques requis par nombre d étudiants internes. 38 Nombre de volumes et équivalents de volumes par nombre d étudiants à plein temps. 39 Nombre d abonnements titres polonnais et étrangers. 40 Pourcentage du budget de la bibliothèque dépensé pour actualiser la collection de la bibliothèque. 30

41 Par étudiant. 42 Pourcentage du budget universitaire alloué aux services de bibliothèque. 43 Dépenses en bibliothèque/ordinateurs est une mesure unique. Dépenses moyennes/par étudiant entre 1999/2000 et 2001/2002. 44 Niveau d informatisation de la bibliothèque et des catalogues; degré d accès à des bases de données à texte entier d articles de périodiques. 45 Dépenses par étudiant; inclut les équipements de sport, de recréation, de santé et de conseil. 46 Pour l ensemble des données de Macleans concernant les dépenses de ressources, les établissements ont déduit toutes les sommes nécessaires afin de rembourser des dettes. 47 Poids du personnel universitaire: Titulaires de doctorat=1, Professeurs assistants=1,5, Professeurs=2. Poids des étudiants: Etudiants à plein temps=1, étudiants externes = 0,3 48 Comme l assistance concernant les compétences d étude, le conseil universitaire, le conseil au sujet des droits des étudiants. 49 Nombre de places dans les résidences par étudiant à plein temps. 50 Nombre d organisations des étudiants, de chœurs et de théâtres par étudiant. 51 Comme des banques, des agences de nouveautés, des librairies, des services religieux, des services informatiques, des facilités de pratique religieuse. 52 Exclut les salaires; inclut les équipements de la bibliothèque centrale et informatiques. 53 Inclut les dépenses relatives à l enseignement, la recherche, les services pour les étudiants et les dépenses éducatives suppleméntaires. 54 Pour les écoles de science et de technologie. 55 Salaire moyen; deux points supplémentaires sont accordés aux universités qui ofrrent des bénéfices non-monétaires comme l hébergement gratuit. 56 Salaire moyen, plus bénéfices, ajusté en fonction des différences régionales du côut de vie. 57 Nombre de donations offertes à l université au cours des cinq dernières années. 58 Pourcentage des anciens étudiants qui ont donné de l argent à leur école durant les deux années précédentes. 59 Etudiants internationaux et locaux. Taille de la classe 1 2 Flexibilité d admission Envergure des services d assistance de vie Le temps nécessaire pour obtenir un diplôme 31

Autres mesures 1 Pourcentage des étudiants de niveau de première et de deuxième année, et de niveau de troisième et de quatrième année, dans des classes dont la taille est de 1-25; 26-50; 51-100; 101-250; 251-500; 501+. 2 Proportion des cours ayant moins de vingt étudiants; proportion des cours ayant plus de cinquante étudiants. Coût de vie/ informations générales sur la ville Informations générales sur l université lxii Opinion des décideurs Universitaires lxiii lxiv lxv lxvi lxvii Employeurs lxviii Etudiants lxix lxx lxxi lxxii Source: L auteur. lxii Loyers moyens; type/taille de la ville. lxiii Chaque université a classé ses semblables sur une échelle allant de 1 à 5. Trente corporations asiatiques et onze universités étrangères ont également classé chaque université. lxiv On a demandé aux professeurs où ils enverraient étudier leurs enfants. lxv Opinions de dirigeants d universités étrangers et de doyens australiens concernant le classement international des universités australiennes. lxvi Opinions d universitaires et d employeurs concernant le prestige des enseignants. lxvii On a demandé à des présidents, des recteurs et des doyens d admission d accorder une note sur une échelle allant de 1 (médiocre) à 5 (remarquable). lxviii Les répondants à l enquête ont classé les universités dans trois catégories: La meilleure qualité, La plus innovatrice, et La meilleure de demain. lxix Maclean s a rajouté cet indicateur dans ses classements de 2004. lxx Opinions d étudiants sur une grande variété de questions. lxxi Opinions de diplômés concernant la qualité de l enseignement, les compétences globales et la satisfaction générale. lxxii Opinion de diplômés concernant le niveau de satisfaction générale par rapport à leur éducation. 32

Le classement académique des universités dans le monde NIAN CAI LIU ET YING CHENG L Université Jiao Tong de Shanghai 23 a publié sur l Internet un Classement académique des universités dans le monde qui a attiré l attention du monde entier. Les établissements sont classés selon leurs performances académiques ou de recherche et les indicateurs de classement incluent les prix internationaux majeurs, les chercheurs très cités dans des domaines importants, les articles publiés dans des journaux de haut niveau et/ou indexés par des indexes de citations importants, et les performances per capita. Les problèmes méthodologiques analysés ici incluent l opposition entre évaluation quantitative et qualitative, l évaluation de la recherche par opposition à l évaluation de l enseignement, la variété des établissements, la langue des publications, le choix des prix, etc. Des problèmes techniques comme la définition et l appellation des établissements, la combinaison et la différenciation des établissements, et la recherche et l attribution de publications y sont également traités. Introduction Afin d évaluer le décalage existant entre les universités chinoises et les universités de classe mondiale, l Institut d enseignement supérieur de l Université Jiao Tong de Shanghai (appelé en ce qui suit le Groupe de classement), a tenté de classer les universités de recherche du monde selon leurs performances académiques et de recherche, à partir de données comparables au niveau international. A la demande de beaucoup de collègues de différents pays, le Groupe de classement a décidé de publier son classement sur l Internet, où il est connu en tant que le Classement académique des universités dans le monde (Academic Ranking of World Universities - ARWU). Depuis la première publication de l ARWU en juin 2003 il y a eu plus d un million de hits venant du monde entier, et une moyenne d environ deux mille visiteurs par jour. Le Groupe de classement a reçu de nombreux messages électroniques; environ un tiers des messages louaient l initiative de l ARWU, et autres 60 pour cent sont positifs et offrent des conseils censés améliorer l ARWU. Seulement 5 pour cent des messages comportent des avis négatifs. Un grand nombre d établissements, d organisations, d agences gouvernementales d envergure, ainsi que des médias ont rapporté ou ont cité les résultats de l ARWU. Les méthodologies de classement Le choix des universités Le Groupe de classement a revu tous les établissements ayant des lauréats du Prix Nobel, des médaillés Fields, des chercheurs très cités, ou des articles publiés dans des journaux comme Nature ou Science. Les grandes universités de chaque pays ayant un nombre significatif d articles indexés dans le Science Citation Index-Expanded (SCIE) 24 et/ou le 23 Pour des informations concernant cette importante université de Chine, veuillez consulter le site <http://www.sjtu.edu.cn/www/english/>. 24 Pour des informations sur le SCIE, voir <http://infotree.library.ohiou.edu/single-records/200.html>. 33

Science Citation Index (SSCI) 25 y ont également été inclues. Au total, plus de deux mille établissements ont été revus, et environ mille ont été effectivement classés. Une liste des cinq cent meilleurs établissements a été publiée sur l Internet. Les critères et les pondérations de classement Comme on vient de le préciser, les établissements d enseignement supérieur sont classés selon leurs performances académiques ou de recherche, à l aide d indicateurs comme le nombre d anciens étudiants et d enseignants ayant gagné des prix Nobel et des médailles Fields, le nombre de chercheurs fréquemment cités dans vingt-et-une catégories de disciplines étendues, le nombre d articles publiés dans Nature et Science, les articles indexés dans SCIE ou SSCI, et les performances académiques en rapport avec la taille de l établissement. Le Tableau 1 présente des détails sur les critères et leurs pondérations. TABLEAU 1. Les critères et les pondérations pour l ARWU 2004 Critère Indicateur Code Poids (en %) Qualité de Anciens étudiants d un établissement qui gagnent l enseignement des prix Nobel et des médailles Fields Anciens 10 Qualité des Enseignants d un établissement qui gagnent des enseignants prix Nobel et des médailles Fields Prix 20 Chercheurs fréquemment cités dans 21 disciplines étendues HiCi 20 Résultats de Articles publiés dans Nature et Science N&S * 20 recherche Articles indexés dans SCIE et/ou SSCI SCI 20 Taille de Performances académiques par rapport à la taille l établissement de l établissement Taille 10 Total 100 * Pour les établissements spécialisés en sciences humaines et sociales, comme la London School of Economics, on n a pas tenu compte de N&S et la pondération a été redistribuée en faveur d autres indicateurs. Source: Les auteurs et <http://ed.sjtu.edu.cn/ranking.htm>. Définition des indicateurs Anciens indique le nombre total d anciens étudiants d un établissement qui ont gagné des prix Nobel et des médailles Fields. Les anciens étudiants sont définis comme étant ceux ayant obtenu des diplômes de licence, de mastaire ou de doctorat de l établissement concerné. On établit différentes pondérations, selon les périodes d obtention des diplômes: le poids est de 100 pour cent pour les anciens étudiants ayant obtenu leurs diplômes dans la période 1991-2000, de 90 pour cent pour les anciens étudiants ayant obtenu leurs diplômes entre 1981 et 1990, 80 pour cent pour ceux qui ont obtenu leurs diplômes entre 1971 et 1980, et ainsi de suite; cela descend jusqu à 10 pour cent pour les anciens étudiants qui ont obtenu leurs diplômes dans la période 1901-1910. Si une personne obtient plus d un diplôme d un établissement, l établissement n est pris en compte qu une seule fois. Prix indique le nombre total de membres du personnel d un établissement ayant gagné des prix Nobel en physique, chimie, médecine et sciences économiques, et des médailles Fields en mathématiques. Par membres du personnel on comprend ceux qui ont travaillé dans l établissement en question au moment de l obtention du prix. On établit ici aussi différentes 25 Vous pouvez lire au sujet du SSCI à <http://www.library.wwu.edu/ref/howtoguides/sscigd.htm>. 34

pondérations selon la période: le poids est de 100 pour cent pour les gagnants entre 2001 et 2003, de 90 pour cent pour les gagnants entre 1991 et 2000, de 80 pour cent pour les gagnants entre 1981 et 1990, de 70 pour cent pour les gagnants entre 1971 et 1980, et ainsi de suite, pour arriver finalement à 10 pour cent pour les gagnants entre 1911 et 1920. Si un gagnant est affilié à plus d un établissement, chaque établissement bénéficie du prix. Pour les prix Nobel, si un prix est partagé par plusieurs personnes, on établit différentes pondérations pour les gagnants selon leur proportion dans la cadre du prix. HiCi indique le nombre de chercheurs fréquemment cités dans vingt et une disciplines étendues en sciences de la nature, médecine, sciences physiques, ingénierie et sciences sociales. Ces personnes doivent se trouver parmi les chercheurs les plus cités dans chaque catégorie. La définition des catégories, ainsi que des informations détaillées concernant la procédure, peuvent être trouvées sur le site Internet de ISI Web of Knowledge 26 de la Corporation Thomson. N&S indique le nombre d articles publiés dans Nature et Science durant les cinq dernières années. Afin de distinguer l ordre de l affiliation de l auteur, un poids de 100 pour cent est attribué à l affiliation d auteur titulaire, 50 pour cent à l affiliation de premier auteur (ou l affiliation d auteur secondaire si l affiliation de premier auteur est identique à l affiliation d auteur titulaire), 25 pour cent à l affiliation d auteur tertiaire, et 10 pour cent pour toute autre affiliation des auteurs. On ne prend en considération que les publications de type article. SCI indique le nombre total d articles indexés par le Science Citation Index-Expanded et/ou le Social Science Citation Index durant l année précédente. Seulement les publications de type article sont considérées. Taille indique les scores totaux des cinq indicateurs antérieurs divisés par le nombre d enseignants titulaires (full-time equivalent - FTE). Si on ne peut pas connaître le nombre d enseignants d un établissement donné on emploie le score total pondéré des cinq indicateurs précédents. Pour l ARWU de 2004, on a obtenu le nombre d enseignants titulaires pour des établissements des Etats-Unis, de la Chine (métropolitaine), de l Italie, des Pays-Bas, de la Suède, de la Belgique, etc. Les procédures d établissement des scores Pour chaque indicateur, l établissement avec le meilleur score reçoit un score de 100, et les scores conséquents des établissements sont calculés sous la forme de pourcentages du meilleur score. La distribution de données pour chaque indicateur est vérifiée afin d éliminer tout effet sensible de distorsion, et des techniques statistiques standardisées sont employées afin d ajuster l indicateur si cela est nécessaire. Les scores pour chaque indicateur sont pondérés afin d obtenir un score final, général, pour un établissement. L établissement avec le meilleur score général reçoit un score de 100, et les autres établissements reçoivent des scores qui sont calculés en tant que pourcentages du meilleur score total. Les scores sont ensuite placés en ordre descendant, ce qui fait que la position d un établissement reflète le nombre d établissements qui la précèdent. 26 <http://www.isiknowledge.com>. 35

Statistiques et analyses Les statistiques du classement Le Tableau 2 présente le nombre et le pourcentage d établissements de haut niveau par région. L Amérique du Nord et du Sud comprennent 85 pour cent des 20 meilleurs établissements, et 55 pour cent des 100 meilleurs établissements. Pour ce qui est des établissements du top 400 et du top 500, le nombre d établissements européens est légèrement supérieur à celui du nombre d établissements d Amérique du Nord et du Sud. Le pourcentage d établissements d enseignement supérieur de la région Asie/Pacifique est inférieur à 20 pour cent dans tous les groupes. TABLEAU 2. Nombre et pourcentage d établissements de haut niveau par région Région Top 20 Top 100 Top 200 Top 300 Top 400 Top 500 Amérique du Nord et du Sud Europe Asie/Pacifique Afrique 17 (85,0%) 2 (10,0%) 1 (5,0%) 55 (55,0%) 37 (37,0%) 8 (8,0%) 101 (50,2%) 79 (39,3%) 21 (10,5%) 138 (45,9%) 125 (41,5%) 37 (12,3%) 1 (0,3%) 164 (40,7%) 171 (42,4%) 66 (16,4%) 2 (0,5%) 200 (399%) 209 (41,6%) 89 (17,7%) 4 (0,8%) Total 20 100 201 301 403 502 Source: Les auteurs et <http://ed.sjtu.edu.cn/ranking.htm>. La distribution des établissements de haut niveau parmi les pays est également intéressante. Comme il est montré dans le Tableau 3 ci-dessus, les meilleurs 500 établissements se trouvent dans 35 pays. Les Etats-Unis occupent une place majeure, avec 85 pour cent des meilleurs 20 établissements, 51 pour cent des meilleurs 100 établissements et 45 pour cent des meilleurs 200 établissements. Le Royaume-Uni est bien placé, avec environ 10 pour cent des meilleurs établissements dans toutes les catégories. Il faut remarquer ici que la plupart des établissements de haut niveau se trouvent dans des pays développés, ce qui démontre l importance du pouvoir économique pour la construction d universités de classe mondiale. TABLEAU 3. Le nombre d établissements de haut niveau par pays Pays Top 20 Top 100 Top 200 Top 300 Top 400 Top 500 1 Etats-Unis 17 51 90 119 139 170 2 Royaume-Uni 2 11 18 29 35 42 3 Japon 1 5 9 13 26 36 4 Allemagne 7 17 27 37 43 5 Canada 4 9 16 19 23 6 France 4 8 13 20 22 7 Suède 4 6 9 9 10 8 Suisse 3 6 6 7 8 9 Pays-Bas 2 7 10 11 12 10 Australie 2 6 8 11 14 11 Italie 1 5 10 16 23 12 Israël 1 3 4 6 7 36

Pays Top 20 Top 100 Top 200 Top 300 Top 400 Top 500 13 Danemark 1 3 4 5 5 14 Autriche 1 1 3 4 5 15 Finlande 1 1 2 4 5 16 Norvège 1 1 1 3 4 17 Russie 1 1 1 2 2 18 Belgique 4 6 7 7 19 Chine 1 6 13 16 20 Corée du Sud 1 2 5 8 21 Espagne 1 2 4 9 22 Brésil 1 1 3 4 23 Singapour 1 1 2 2 24 Mexique 1 1 1 1 25 Nouvelle Zélande 2 2 3 26 Afrique du Sud 1 2 4 27 Hongrie 1 1 3 28 Irlande 1 1 3 29 Inde 1 1 3 30 Argentine 1 1 1 31 Grèce 2 2 32 Pologne 2 2 33 République Tchèque 1 1 34 Chili 1 1 35 Portugal 1 Total 20 100 201 301 403 502 Source: Les auteurs et <http://ed.sjtu.edu.cn/ranking.htm>. Distribution des scores La distribution des scores totaux est présentée dans la Figure 1 ci-dessus. On remarque une rapide baisse du score total d une place à l autre pour les établissements du top 100, et surtout du top 50. Le changement du score total est relativement réduit dans le segment compris entre les places 100 et 500. Cela explique aussi pourquoi les résultats du classement sont publiés dans des groupes de 50 établissements entre les places 100 et 200, et dans des groupes de 100 établissements pour le segment compris entre 200 et 500. FIGURE 1. La distribution des scores totaux en fonction du placement général 37

Source: Les auteurs et <http://ed.sjtu.edu.cn/ranking.htm>. Les coefficients de corrélation Le Tableau 4 montre la corrélation entre les scores des indicateurs pour les établissements du top 500. Tous les coefficients de corrélation entre le score total et le score de chaque indicateur dépassent 0,80. Les scores des différents indicateurs sont aussi bien corrélés entre eux avec des coefficients de corrélation supérieurs à 0,50, ce qui indique que la série d indicateurs est compacte et cohérente. TABLEAU 4. Coefficients de corrélation entre les scores des indicateurs pour 500 établissements Corrélation Score total Score pour Score pour Score pour Score pour Score pour Score pour Anciens Prix HiCi N&S SCI Taille Total Score 1,00 Score pour Anciens 0,80 1,00 Score pour Prix 0,84 0,76 1,00 Score pour HiCi 0,90 0,60 0,65 1,00 Score pour N&S 0,93 0,67 0,70 0,86 1,00 Score pour SCI 0,81 0,55 0,50 0,68 0,74 1,00 Score pour Taille 0,83 0,68 0,73 0,70 0,77 0,56 1,00 Source: Les auteurs et <http://ed.sjtu.edu.cn/ranking.htm>. Valeurs moyennes des indicateurs Le Tableau 5 présente les valeurs moyennes des indicateurs choisis par rapport aux établissements classés dans différents segments. En moyenne, un établissement du top 20 comporte 8,5 anciens étudiants et 4,4 enseignants lauréats du prix Nobel et médaillés Fields, et 56,5 chercheurs fréquemment cités. Un établissement classé dans le segment 101-201 a en 38

moyenne 0,4 anciens étudiants et 0,1 enseignants lauréats du prix Nobel et médaillés Fields, et seulement 5,3 chercheurs fréquemment cités. TABLEAU 5. Valeurs moyennes des indicateurs choisis Segment de classement Top 20 21-100 101-201 202-301 302-403 404-502 Nombre d Anciens 8,5 1,6 0,4 0,2 0,2 0,0 Nombre de Prix 4,4 0,6 0,1 0,0 0,0 0,0 Nombre de HiCi 56,5 13,6 5,3 2,3 1,0 0,8 Nombre de N&S 27,6 6,7 2,7 1,5 0,7 0,4 Nombre de SCI 4316 2390 1578 1062 787 572 Source: Données brutes du Classement académique des universités dans le monde 2004, publié par les auteurs. Problèmes et solutions méthodologiques Qualitatif/quantitatif On se pose la question pertinente si la qualité de l expérience ou des savoirs des étudiants peut être mesurée de manière précise par des scores. Cependant, les universités et les enseignants continuent d accorder des scores à leurs étudiants, et ces derniers sont habituellement informés qu ils ne seront pas jugés uniquement selon leurs scores; l université et les employeurs potentiels peuvent faire d autres jugements sophistiqués, indépendants. De la même manière, il y a toujours la question de savoir si la qualité des universités peut être mesurée de manière exacte par des simples chiffres et scores. Les parties intéressées doivent donc traiter avec prudence tout classement et ne doivent pas se fier exclusivement à un classement, y inclus l ARWU de 2004. Les utilisateurs doivent voir les classements comme un simple outil de référence, et faire leurs propres jugements au sujet des résultats de classement et des méthodologies de classement. Enseignement/recherche Les différentes parties concernées ont des attentes différentes en matière de la qualité, et la qualité des établissements d enseignement supérieur n est pas facilement mesurable ou comparable au niveau international. Il serait impossible de classer la qualité de l enseignement supérieur dans le monde entier, du fait des immenses différences entre les universités et de la grande variété de pays, et du fait des difficultés techniques inhérentes au processus de collection de données comparables sur le plan international. Si on veut mettre en œuvre un classement fiable des universités dans le monde, le seul classement possible consistera en une présentation comparative des performances de recherche. C est la raison pour laquelle le Groupe de classement a choisi de classer les universités de recherche du monde selon leurs performances académiques ou de recherche, à partir de données comparables sur le plan international et facilement vérifiables. On n a pas effectué d évaluations subjectives et aucune donnée ne provient des rapports universitaires. Type et taille des établissements Beaucoup d établissements reconnus spécialisés en sciences humaines et sociales occupent des places relativement inférieures, ce qui est en partie le résultat d un déséquilibre au 39

niveau de la production d articles spécialisés dans les différentes disciplines. Cela explique, par exemple, pourquoi la performance nominale d établissements ayant des facultés de médecine est mieux cotée dans les classements par rapport à celle d établissements spécialisés en sciences humaines et sociales. Le Groupe de classement a essayé longuement, mais toutefois sans succès, à trouver des indicateurs supplémentaires qui soient spécifiques aux sciences humaines et sociales. De cette manière, l indicateur N&S n a pas été pris en compte pour les établissements spécialisés en sciences humaines et sociales dans l ARWU de 2004; son poids a été redistribué à d autres indicateurs. Le Groupe de classement étudie la possibilité de la création de pondérations spéciales pour les articles indexés par le SSCI, ainsi que pour les établissements ayant des facultés de médecine. La pondération de l indicateur Taille est plutôt réduite, mais les grands établissements occupent des places relativement élevées dans le classement. Le Groupe de classement étudie la possibilité d offrir des classements distincts avec et sans l indicateur Taille. Pour ce qui est des classements qui incluent l indicateur Taille, la pondération du nouvel indicateur Taille peut s élever à 50 pour cent. Il y a également des difficultés au niveau de la définition du personnel universitaire et de la collection de données comparables sur le plan international. La langue et le type des publications Etant donné que l anglais est la langue internationale du monde académique, les universitaires d établissements où on parle l anglais sont plus étroitement intégrés dans le milieu académique mondial que ceux qui se trouvent à l extérieur du monde anglophile. Il résulte que les classements des universités qui sont basés sur les performances dans la recherche peuvent mener inévitablement à un contre-courant affectant les établissements qui se trouvent en dehors du monde anglophile. Une possible solution serait celle d accorder une pondération spéciale aux publications en langues non-maternelles. L ARWu de 2004 n a pas pris en compte que les publications de type article original. Les contributions de type communication sont des sources importantes de recherche originale, mais elles n ont pas été prises en compte, étant donné que la plupart des conclusions des communications sont finalement publiés dans des articles. Les ouvrages académiques constituent également des sources importantes de recherche originale, et sont plus fréquents dans certains domaines de recherche que dans d autres. Ces derniers n ont pas été pris en compte du fait des difficultés techniques posées par la collection de données comparables sur le plan international. Le choix des prix et l expérience des gagnants de prix Il y a beaucoup de prix reconnus, comme le prix Nobel, la médaille Fields, le prix Abel et le prix Pulitzer. Néanmoins, le prix Nobel et la médaille Fields sont les plus reconnus au sein de la communauté académique internationale. Il y a certains problèmes relatifs au milieu de travail des gagnants de prix, en cela que ces derniers peuvent recevoir des prix d autres établissements ou dans d autres établissements que ceux où la recherche a été entreprise. De la même manière, les établissements où les gagnants de prix ont obtenu leurs diplômes et ceux où ils ont passé la plupart de leur période d études peuvent être différents. En outre, la formation postdoctorale et d autres formations non-diplômées n ont pas été prises en compte. 40

Problèmes et solutions techniques Définition des établissements Les établissements des systèmes d universités multi-campus des Etats-Unis sont traités en tant qu établissements distincts, selon le Système intégré de données sur l enseignement postsecondaire du Centre national pour les statistiques sur l enseignement et la Classification des établissements d enseignement supérieur de Carnegie. Par exemple, la University of California de Los Angeles (UCLA) est classée en tant qu établissement indépendant; de la même manière, le Imperial College de l Université de Londres est classé à part. Les établissements ou les organisations de recherche affiliés à une université sont traités selon les informations concernant les affiliations des auteurs. Si les auteurs s identifient eux-mêmes en tant que membres d une université, cela sera pris en compte dans le classement. Les exemples typiques incluent l École Polytechnique de Montréal, affiliée à l Université de Montréal (Canada), et les laboratoires du CNRS, affiliés à des universités françaises. Les hôpitaux affiliés à des universités posent un problème complexe dans beaucoup de pays. Certains hôpitaux ne souhaitent pas inclure le nom de l université dans leur affiliation, pendant que d autres universités ne veulent pas inclure les articles publiés par les employés de l hôpital dans leurs statistiques. Ainsi, les hôpitaux affiliés à des universités sont également traités ou inclus selon les affiliations déclarées par les auteurs. Il résulte une fois de plus qu il incombe aux universités et à leurs unités affiliées de préciser les affiliations correctes dans leurs publications, et pas aux créateurs et aux utilisateurs de bases de données. Appellation des établissements Beaucoup d universités ont plus d un nom généralement usité. En France, par exemple, l Université de Paris 6 est également appelée Université Pierre et Marie Curie. Aux Etats- Unis, la Virginia Tech est également connue sou le nom de Virginia Polytechnic and State University. En Chine, l orthographie classique des noms est encore utilisée par un certain nombre d établissements, comme l Université Tsinghua au lieu de l Université Qinghua. Pour les établissements de pays non-anglophones il existe souvent plusieurs noms pour un même établissement ou un même nom pour différents établissements, à la suite du processus de traduction. Par exemple, l Université Libre de Bruxelles et la Vrije Universiteit Brussel de Belgique ont le même nom en anglais, l Université Libre de Bruxelles. La Universittat zu Köln d Allemagne peut se traduire par l Université de Koeln ou par l Université de Cologne. Les appellations abréviées sont fréquemment employées par un grand nombre d établissements. Par exemple, ETHZ est employé pour abréger le nom de l Institut fédéral suisse de technologie de Zurich; UMPC est le raccourci pour l Université de Paris 6 en France. Fusions et scissions des établissements Les noms des établissements changent également de manière significative à la suite de fusions, de scissions, de fermetures et de modifications des appellations. Par exemple, l Université de Berlin a eu plusieurs gagnants du prix Nobel avant la Deuxième guerre mondiale. Aujourd hui, l Université Humboldt de Berlin et l Université libre de Berlin 41

peuvent en égale mesure viser l héritage des prix Nobel de l Université de Berlin, afin de gagner une meilleure position dans les classements. Les noms des établissements continuent changent continuellement; l Université de Manchester et l UMIST du Royaume-Uni ont fusionné afin de former un seul établissement en octobre 2004. L Université de Kwazulu-Natal d Afrique du Sud est le résultat d une fusion entre l Université de Natal et l Université de Durban-Westville en janvier 2004. L Université d Innsbruck d Autriche vient de se séparer en deux universités indépendantes, l Université d Innsbruck et l Université de médecine d Innsbruck. La consultation de la base de données et l attribution de publications Il s impose de faire attention lorsqu on emploie des mots-clé, en particulier ceux concernant des établissements de la même ville. Par exemple, si on recherche simplement l Université de Pékin on peut obtenir des résultats comprenant une douzaine d université de la ville de Pékin. Pour l intégration de chercheurs fréquemment cités, le Groupe de classement a téléchargé la liste complète de la base de données de l ISI et a identifié l affiliation de chaque chercheur, l un après l autre. Les chercheurs d un département, d un institut ou d une école d une université qui n ont pas fait mention de leur université dans leur affiliation ont été soigneusement répartis dans l université pertinente. Pour ce qui est des articles publiés dans Nature et Science, le Groupe de classement a examiné l archive de l ISI pays par pays et a compté les articles un par un. De la même manière, les articles associés à un département, institut ou école d une université ont soigneusement été attribués à l université pertinente. Pour les articles indexés dans SCIE et/ou SSCI, le Groupe de classement a essayé tous les moyens possibles de trouver des solutions aux problèmes existants, et a pu résoudre la plupart d entre eux. Conclusions Tout exercice de classement est controversé, et aucun classement n est entièrement objectif. Cependant, les classements des universités sont devenus populaires dans beaucoup de pays. Même si les universités ou d autres organisations approuvent ou désapprouvent les différents systèmes de classement, il est évident que ces derniers sont ici pour y rester. La question clé est donc celle de savoir comment développer les systèmes de classement au bénéfice de l enseignement supérieur dans son ensemble. L ARWU représente une recherche académique effectuée par intérêt individuel, et a lieu de manière indépendante sans aucun soutien externe. Il utilise des critères soigneusement choisis et non-subjectifs et des données comparables sur le plan international qui peuvent être vérifiées par la plupart des utilisateurs. Il offre des résultats de classement en groupes de 50 ou de 100 pour les établissements occupant les places comprises entre 100 et 500, tenant compte de l importance de la différenciation au niveau des scores. Le Groupe de classement poursuivra ses efforts d actualisation annuelle de l ARWU et d introduction de modifications et de développements nécessaires. Le Groupe de classement est en train d examiner la possibilité de fournir des listes d universités de haut niveau avec une orientation dans le domaine de l ingénierie (de la technologie) ou de la médecine, ainsi que de classer des universités selon des domaines disciplinaires étendus comme les sciences sociales, les sciences physiques, l ingénierie et la technologie, les sciences naturelles et la médecine. 42

Références INSTITUT POUR L ENSEIGNEMENT SUPERIEUR, UNIVERSITE JIAO TONG DE SHANGHAI. Classement académique des universités dans le monde 2004, disponible à <http://ed.sjtu.edu.cn/ranking.htm> (en langue anglaise). 43

Vers une scène mondiale: une perspective en provenance des médias 27 DAVID JOBBINS Le Times Higher Education Supplement a été le premier journal à publier un classement international des universités en novembre 2004. Cet article présente l évolution des classements internationaux de leurs origines en tant qu exercices limités de révision collégiale et jusqu au développement d un classement national basé sur des données publiquement disponibles, vérifiables et acceptées, dans la mesure du possible. L auteur expose la méthodologie du classement international et présente son exemple pour soutenir l intégrité des classements produits commercialement, au niveau national et international, qui peuvent être aussi objectifs, solides et transparents que les initiatives provenant de la communauté universitaire elle-même. Introduction Les classements des universités ont connu un développement progressif au cours des deux dernières années. A partir d un petit nombre de classements nationaux, certains provenant d initiatives commerciales et d autres entrepris par des universitaires et des administrateurs qui veulent voir comment ils évoluent dans un milieu de plus en plus concurrentiel, les classements sont désormais devenus universels et encore plus récemment internationaux. Un des articles antérieurs a déjà présenté l activité innovatrice du Times et de son Times Higher Education Supplement 28 au Royaume-Uni (Jobbins, 2002). Les classements ont évolué d un cycle réduit de révisions collégiales disciplinaires publiés dans le Times Higher durant les années 1980 vers le classement beaucoup plus sophistiqué introduit au début des années 1990, basé autan que possible sur des données objectives et vérifiables provenant de sources officielles (Jobbins, op. cit.). Un facteur déterminant a été la recherche par le Times de nouveaux marchés dans une tentative de rompre avec sa position classique de voix de l Establishment: une demande croissante de conseil destiné aux consommateurs dans une variété de choix de styles de vie, de l acquisition de propriétés aux services financiers. La décision concernant le choix de l université britannique (et du cours) a été importante pour les jeunes gens, dont beaucoup sont les pionniers de l enseignement supérieur pour leurs familles. Cette décision est devenue d autant plus essentielle depuis que l Angleterre évolue vers un régime où les universités pourront demander des frais d études universitaires atteignant jusqu à 3.000 livres par an, dans certaines conditions, à partir de 2006. Avec une mise aussi élevée pour une décision unique dans la vie, avec des conséquences sociales et économiques à long terme, les futurs étudiants ont le droit de 27 Cet article est basé sur une présentation préparée pour la première réunion du groupe de travail sur le projet «Les systèmes et les méthodologies de classement dans l enseignement supérieur: leur fonctionnement et leur activité», organisé par l Institut pour les politiques d enseignement supérieur et le Centre européen de l UNESCO pour l enseignement supérieur, Washington D.C., Etats-Unis, les 10-11 décembre 2004. 28 The Times Higher Education Supplement (qu on appellera par la suite The Times Higher) est un journal hebdomadaire publié séparément par rapport au The Times, mais sous la même direction. Il circule presque exclusivement dans le milieu des universitaires et des administrateurs de haut niveau du Royaume-Uni, avec un tirage total qui approche les 30.000 exemplaires. 44

savoir tout ce dont ils ont besoin afin de pouvoir faire des comparaisons informées entre des universités, en ayant la confiance que les informations qu ils utilisent sont autorisées et basées sur des données uniformes. En réponse à ce besoin, le «Times» Good University Guide (GUG) (Hindmarsh et al, 2004) est apparu dans le but d aider les candidats et leurs parents à s orienter dans le paysage de plus en plus complexe de l enseignement supérieur du Royaume-Uni. Lancé en 1993, le guide et ses classements associés du Times étaient censés être et ont été annuels: le plus récent est paru en mai 2004. La parution du classement unifié du Times est devenue une présence anticipée dans le calendrier universitaire du Royaume-Uni. Les vice-présidents peuvent s y montrer publiquement indifférents, mais leurs subordonnés racontent une toute autre histoire. Le Times Higher a publié, sous la forme de tableaux, les données brutes à partir desquelles le Times a réalisé son classement unifié. Un article antérieur a montré comment ce rapport symbolique a été développé à partir d une volonté d «expliquer» les classements à une communauté académique qui était généralement méfiante, sinon hostile, par rapport à l entreprise dans son ensemble (Jobbins, op. cit.). Dès le départ, le but a été celui d utiliser des données se trouvant déjà dans le domaine public, afin d assurer le plus haut degré de compatibilité dans ce qui était alors un système binaire d universités et de polytechniques quasi-autonomes responsables de façon nominale devant les autorités locales. La plupart de ces données déjà rassemblées a servi à des buts de prise de décisions par les instances de direction et d efficacité institutionnelle plutôt que d être des indices de la «qualité» d une université. Il n est pas certain si cette intervention y a eu un rôle a jouer, mais l opinion de la communauté académique britannique est désormais nettement plus réceptive aux classements, pendant que l hostilité résolue se limite à une petite minorité qui questionne la possibilité de mesurer une chose aussi diverse que l enseignement universitaire. La combinaison initiale comprenait des données rassemblées centralement et d autres informations publiées par des universités dans leurs rapports annuels. La fin de la distinction entre universités et polytechniques du Royaume-Uni en 1992 a rapidement conduit à des séries de données standardisées dans l ensemble de l enseignement universitaire. L introduction des évaluations de la qualité de l enseignement étendues au niveau sectoriel a également déterminé la création d une base de données censée répondre aux critères de l objectivité et de la transparence. 29 Durant les dernières étapes de traitement de l ensemble des données on effectue des vérifications avec les établissements spécifiques, afin de permettre la correction d anomalies et d erreurs faites parfois par les établissements dans leurs propres formulaires d information soumis aux agences officielles de collection. Les indicateurs sont constamment réexaminés afin de saisir leur fiabilité et leur efficacité. Les consultations détaillées avec la communauté de l enseignement supérieur ont été un facteur essentiel assurant le gain d un certain degré de confiance dans le cadre de la communauté académique. A la suite de ces discussions, les listes du Times et du Times Higher ont éliminé certains indicateurs. Dans l ensemble, toutefois, les séries de données sont restées largement inchangées durant les dernières années, permettant une focalisation limitée pour des comparaisons annuelles soigneuses selon certains indicateurs mais pas d autres. 29 Effectuées désormais par la Quality Assessment Agency (http://www.qaa.ac.uk). 45

L objet des classements Le Times classifie annuellement 100 universités générales (qu il considère comme offrant une gamme complète de disciplines). Il exclut les établissements spécialisés, avec un nombre limité de disciplines (art, musique, théâtre et agriculture, par exemple) parce que le journal considère en partie que les étudiants dans ces domaines n auront pas à faire aux mêmes choix que ceux qui cherchent à étudier des disciplines plus généralement disponibles. Il y a eu un nombre d admissions dans la liste une fois que des établissements ont pu démontrer avec succès qu ils offrent une gamme suffisamment variée de programmes universitaires afin de souscrire à ses critères. Les classements du Times Higher Education incluent la même liste, qui est cependant complétée par l addition d environ dix «collèges universitaires» pouvant délivrer des diplômes une curiosité de l enseignement supérieur (anglais) qui sont omis dans la liste du Times pour des raisons de politiques. Le nombre d indicateurs utilisés par le Times s est stabilisé à neuf à la suite de discussions concernant leur solidité et leur usage. En même temps, le Times Higher rajoute trois indicateurs supplémentaires 30 qui permettent aux employeurs de se faire une image de l établissement. Ceux-ci ne sont pas directement relevants pour les classements du Times, du fait qu ils n ont qu un effet limité sur le choix du lieu d étude par l étudiant.. En 2004, les indicateurs du Times ont été les suivants: Standards d admission (basés sur les notes de niveau A) Taux étudiants/enseignants Evaluation de la qualité de l enseignement (score moyen) Evaluation de la recherche (score moyen par membre du personnel académique) 31 Dépenses pour la bibliothèque et le réseau informatique (moyenne sur trois ans) Dépenses pour équipements (par étudiant du jour/moyenne sur trois ans) Efficacité (pourcentage d étudiants prévus pour finir leurs études dans les délais) Diplômes de première et deuxième classe supérieure Destinations des diplômés (pourcentage du nombre de diplômés employés à temps complet ou faisant des études avancées) Le Times a pondéré ces données et les a agrégées sous la forme d un classement. Le Times Higher publie séparément un classement pour chaque série de données neuf tableaux en tout, chacun comportant plus de 110 établissements classés. Le tableau agrégé a une pertinence assez limitée pour les futurs étudiants, qui sont principalement intéressés par les disciplines qu ils veulent étudier. Sa fonction peut être vue comme promotionnelle censée attirer l attention à l exercice et surtout au GUG en version imprimée. En plus de présentations d établissements spécifiques, il contient des listes pertinentes d établissements par disciplines Quelles est la meilleure université pour étudier l ingénierie mécanique, par exemple, ou la philosophie? Le Times les publie également, durant plusieurs numéros, finissant par le classement agrégé. Les évaluations détaillées de la qualité de l enseignement effectuées par la Quality Assurance Agency 32 ont toujours été un point fort des classements, mais elles devenaient de 30 a) Proportion du personnel permanent; (b) Proportion du personnel ayant des obligations contractuelles d enseigner et d effectuer de la recherche; (c) Revenus issus de la recherche. 31 Un exercice d évaluation de la recherche doit avoir lieu tous les cinq ou six ans, en tant qu instrument de distribution des allocations étatiques pour la recherche. Le dernier a eu lieu en 2002 et le suivant est prévu pour 2008. Les établissements sont notés à travers des analyses collégiales et reçoivent un score basé sur un système simplifié d étoiles allant de 1* à 5*+ (exemplaire). 32 Voir le site de la QAA <http://www.qaa.ac.uk> pour des rapports par discipline ou par établissement. 46

manière évidente de plus en plus surannées: l Agence a effectué ses évaluations séparément en Angleterre, en Ecosse et au Pays de Galles, en appliquant des méthodologies différentes à des moments différents dans les différentes régions. Malgré les efforts faits par les organismes de financement, il a été facile pour les réalisateurs des classements de transformer les évaluations en des scores numériques facilement classables. Leur validité à ces buts a été questionnée dès le début, mais cela a représenté le seul choix existant l unique moyen de mesure impartial, qualifié, transparent et publiquement disponible de la qualité de l expérience éducationnelle. La première phase des évaluations anglaises remonte à 1993-95, et la fréquence des nouvelles évaluations et des réévaluations a baissé jusqu à un niveau minimal. Il a été évident, depuis un ou deux ans, que la pertinence d une évaluation pour la performance voir même la composition de départements et d enseignants presque une décennie plus tard est à remettre en question. L exercice de 2004 a écarté cette première série de scores de la qualité considérant qu ils désavantagent des départements qui ne sont pas réévalués au cours des dernières phases, générant une situation perte-perte. Les compilateurs ont reçu des représentations concernant l utilisation d évaluations dépassées qui n avaient que peu à voir avec les réalités actuelles; ils auraient pu ignorer ces représentations, mais ils ont choisi de répondre. Une innovation a été le raffinement en 2003 des données concernant l emploi des diplômés, afin de distinguer plus en détail les occupations moins qualifiées des emplois qui pourraient représenter un chemin direct vers des emplois (des professions) vraiment qualifiés, des emplois qui ont été appelés la voie diplômée. Les résultats ont été intéressants, mais ils n ont pas suivi la ligne de données durant les années suivantes. Au cours des dernières semaines de l année 2004 il y a eu un renouveau de l intérêt pour le sort des sciences fondamentales de niveau universitaire au Royaume-Uni. Plusieurs cours de physique et de chimie à fort recrutement ont été obligés à disparaître à cause d une anomalie du complètement distinct Exercice d évaluation de la recherche qui les a laissé lutter pour obtenir des fonds. Le problème concerne non seulement la science fondamentale l Université de Cambridge a employé le même raisonnement pour menacer de clore son prestigieux département d architecture, suscitant l opposition de la profession ayant finalement gain de cause, pendant que le département de musique de l Université d Exeter est toujours menacé d être fermé à l heure où nous écrivons. Ces preuves de l esquisse d un paysage de l enseignement supérieur dirigé par le marché avec la perspective d autres cours en question - pose un défi pratique aux étudiants. Devraient-ils chercher une place dans un département universitaire susceptible d être fermé? Ils pourraient tenir compte de l attitude que des employeurs potentiels pourraient avoir vis-à-vis d un département qui a été éliminé. Les cours dont l avenir lointain ou même moyennement proche est incertain peuvent enregistrer des baisses du nombre de candidats après avoir failli à atteindre un certain palier prédéterminé de performance de la recherche. Jusqu ici, les évaluations de la recherche n ont pas été un facteur important dans le choix des étudiants, mais leur influence sur la poursuite ou la non-poursuite de cours optionnels ou même de disciplines changera sûrement cela. Le gouvernement britannique a fait de son mieux pour assurer et soutenir la distribution régionale stratégique d une série de disciplines spécifiques, mais il n est pas possible de savoir combien efficace sera cette intervention sans une révision drastique de la formule de financement. L établissement d une liste qui identifie de tels départements problématiques comme le fait le Times/Times Higher facilitera aux potentiels candidats la tâche de saisir ce risque et de faire un choix plus sûr. 47

Cette incertitude, et certainement l avènement imminent d une hausse significative des frais d étude, fait de l intérêt permanent des consommateurs une certitude. Le Times continuera indubitablement a publier son guide annuel sous forme d ouvrage, avec des matériaux supplémentaires/promotionnels dans le journal au moment de la parution du livre. Il se peut, également, que le Times poursuive son rôle symbiotique de déconstruction du classement général pour ses lecteurs du monde académique. Un nombre de journaux de qualité du Royaume-Uni ont suivi l exemple du Times. Chacun d entre eux tente d être le plus exact et le plus autorisé, le plus fiable et le plus pertinent. Certains, et en particulier le Guardian, ont essayé une pondération de la valeur ajoutée la différence apportée par l intervention de l université au processus d instruction. Cela cherche à répondre aux critiques adressées par rapport aux classements, affirmant qu ils récompensent les établissements qui sont à la pointe de l élite plutôt que de reconnaître l efficacité d universités qui prennent effectivement des étudiants ayant des qualifications non-classiques ou des antécédentes scolaires quelconques et transforment avec succès les démunis sociaux et éducatifs en des diplômés. L avenir apportera inévitablement une évolution des classements pour les systèmes nationaux, du fait de l apparition de données très fiables et de modalités sophistiquées de les analyser. Une dimension mondiale Depuis quelque temps, le Times Higher agissant seul cette fois a analysé les moyens de dépasser les complexités posées par la production d un classement mondial des universités. Les obstacles sont nombreux. Si la compatibilité des données dans le cadre d un système national a déjà été un casse-tête, elle devient un obstacle d envergure lorsqu on traverse des frontières nationales et des différences culturelles. Il n y a pas d agences qui examinent de manière générale et consistante la qualité au niveau international. En outre, les Etats ont généralement du retard à compiler et agréger leurs données statistiques pour les agences internationales. Avant l apparition relativement récente de l Institut pour les statistiques de l UNESCO, dont la publication Global Education Digest est la tentative la plus proche d un registre de données mondiales sur l enseignement, les données de l UNESCO étaient notoirement dépassées au moment de leur publication. Les données concernaient souvent des années différentes, ou étaient fournies selon des termes largement variables. Il demeure ensuite un nombre de questions et de problèmes posés aux auteurs de classements internationaux: est-ce la consommation interne ou internationale leur cible? Est-ce le marché cible composé d universitaires mobiles professionnellement ou d étudiants potentiellement nomades? Le Times Higher peut être le premier journal à tenter de réaliser des comparaisons internationales mais il n a pas été le premier initiateur: l Université Jiao Tong de Shanghai (SJTU) 33 a suscité un véritable intérêt mondial avec son Classement des meilleures 500 universités du monde, publié en 2003. Elle a répété cet exercice en 2004 34. Les tentatives de classer des universités au-delà des frontières nationales sont inévitables. De la même façon que chaque Etat a sa propre hiérarchie nationale, basée à l origine sur des échos de professeurs mais incluant des informations sur les flux de fonds de recherche, il y a un classement international informel. Allez dans n importe quelle université dans le monde, ou dans le bureau de direction d une compagnie multinationale, et vous rencontrerez un consensus au sujet des dix ou vingt meilleures universités. Dominé par les Etats-Unis, avec 33 Pour plus de détails sur cette université importante de Chine, voir <http://www.sjtu.edu.cn/www/english/>. 34 Plus de détails à <http://ed.sjtu.edu.cn/ranking.htm>. 48

une pointe de Royaume-Uni et d autres universités européennes, il est aisé à construire mais difficile à justifier méthodologiquement on le sent juste tout simplement. Les classements internationaux ont été monnaie courante depuis quelques années dans des domaines spécifiques, auto-définis et déjà mondialisés, comme l enseignement des affaires, étant effectués par des publications comme The Economist, Financial Times, Business Week, Forbes, et The Wall Street Journal, qui établissent des classements de programmes de MBA. Historiquement, l enseignement est la profession la moins limitée par des frontières nationales. Il y a eu des érudits qui ont parcouru l Europe du Moyen Age et ont influencé la propagation des Lumières alors que les Etats se disputaient des territoires. Le développement rapide des technologies de l information et des communications rapproche encore plus le village mondial, soutenant la mobilité des enseignants. Des agences comme l Organisation pour la coopération et le développement économiques (OCDE, 2003: 275-286) et la Commission Européenne 35 ont identifié le marché international des étudiants qui ne se limite plus à des écoles supérieures spécialisées comme étant une industrie à forte croissance. Les enseignants et les étudiants requièrent à la fois un cadre de référence censé les aider à prendre des décisions informées. Tout montre que la mobilité des étudiants augmentera, mais qu elle deviendra plus diversifiée, avec une diminution de la domination mondiale des Etats-Unis et avec un petit nombre d autres pays hôte traditionnels. A mesure que le volume augmente et les établissements destinataires concurrents se multiplient, le besoin d un guide informé, solide et transparent du réseau complexe de l enseignement supérieur international devient de plus en plus nécessaire. Le 5 novembre 2004, le Times Higher a produit ses propres World University Rankings (Classements mondiaux des universités), présentant un top 200 mondial. 36 Trois autres listes présentent le Top 50 de l Europe, le Top 50 de l Amérique du Nord, et le Top 40 du reste des universités du monde. On ne se propose pas ici de faire des considérations sur des appellations comme la première, l unique ou la meilleure. Le but ici est de mettre en évidence la méthodologie avant de passer aux résultats généraux et de faire quelques comparaisons avec d autres classements internationaux. Une grande partie de l intérêt de l initiative de l Université Jiao Tong de Shanghai a consisté en cela qu elle provenait d un établissement universitaire respectable et respecté. Il est également possible qu une initiative extérieure au domaine universitaire/académique intègre des standards similaires de transparence, de crédibilité et de solidité. Des intérêts commerciaux peuvent suivre une méthodologie saine aussi rigoureuse que celle de l arène académique. Les consommateurs, de leur côté, peuvent se fier au produit comme il le font lorsqu il s agit d une initiative académique. Le classement du Times Higher concerne des universités au sens le plus complet. Il n inclut pas des établissements d enseignement supérieur hautement spécialisés. Le journal a choisi cinq indicateurs censés refléter la valeur de l enseignement, de la recherche et de la réputation internationale. Ceux-ci sont: L analyse collégiale Les enseignants internationaux Les étudiants internationaux Le taux enseignants/étudiants 35 Erasmus Mundus est le programme de la Commission Européenne pour la mobilité des étudiants. Voir <http://www.erasmus.ac.uk/whatis.html>. 36 The Times Education Supplement, le 5 novembre 2004. Disponible en ligne aux abonnés à <http://www.thes.co.uk>. 49

Les citations Le premier élément composant le score de chaque établissement est basé sur l analyse collégiale, effectuée par QS, une compagnie londonienne qui est mieux connue pour ses activités mondiales dans le domaine du recrutement de diplômés MBA. 37 Durant la première étape du processus, QS a questionné 1.300 universitaires de 88 pays. Ce collège électoral a résulté d un échantillon basé sur des listes centralisées d universitaires. La compagnie a cherché ensuite d autre répondants afin d équilibrer les nominations selon les disciplines universitaires et le positionnement géographique, complétant les segments disciplinaires et régionaux. L échantillon total du Times Higher a été composé d universitaires actifs il n y a pas eu de dilution de l intérêt académique à travers l inclusion d administrateurs et d officialités, par exemple. Un cinquième provenait de chacune des disciplines examinées en détail sur une période de semaines/mois dans le Times Higher Education a. Ingénierie et TI b. Autres sciences c. Sciences sociales d. Arts et sciences humaines e. Médecine Proportionnellement, l Asie, l Amérique du Nord et l Europe représentaient des tiers approximativement égaux de l échantillon, avec de moindres représentations de l Afrique et de l Amérique latine. Ce collège électoral a dû ensuite désigner les meilleurs établissements dans les domaines et dans les disciplines sur lesquels il ses sentait capable de faire des jugements informés. L enquête a eu lieu entre août et septembre 2004. Ces données comptent pour la moitié du score total. 20 pour cent du score total était représenté par le classement des effets de la recherche, calculés en mesurant les citations par cadre universitaire. Ces données dérivent de la base de données Essential Science Indicators (Indicateurs scientifiques essentiels), produite par Thomson Scientific 38 à Philadelphie, et analysée pour le Times Higher par Evidence Ltd 39 à Leeds, au Royaume-Uni, sous la licence de Thomson Scientific. Durant l étape suivante, QS a rassemblé une large gamme de données concernant les performances des universités du Top 300 identifiées au cours du processus d analyse collégiale (en éliminant à l occasion un petit nombre d établissements uni-disciplinaires). Le taux enseignants/étudiants pèse 20 pour cent du total. Cela équivaut à une représentation simple et solide de l engagement d une université pour l enseignement, malgré des différences au niveau des pratiques locales et des lois relatives à l emploi qui empêchent une comparabilité absolue. La présence d enseignants et d étudiants internationaux pèse 5 pour cent (pour chaque) du total, le but étant de fournir un indice de l orientation internationale d une université. QS a considéré d autres mesures mais les a rejetées. Par exemple, une enquête de recruteurs diplômés à revisiter dans l avenir a produit un taux de réponse trop réduit pour être fiable. D autres, comme les investissements dans la bibliothèque, étaient trop étroitement liés à la prospérité nationale, pendant que d autres souffraient d un manque de données comparables. 37 Disponible à <http://www.topmba.com>. 38 L ancien Institute of Scientific Information <http://www.isinet.com>. 39 <http://www.evidence.co.uk/highered.html>. 50

Le résultat a été particulièrement valorisant pour les internationalistes de l enseignement supérieur. Comme l écrit Martin Ince dans un article d accompagnement: Aucun pays ne possède un monopole de l excellence dans l enseignement supérieur. Le fait d appliquer une seule gamme de mesures dans l ensemble du monde montre que les meilleures 20 universités sont répandues dans sept pays, et les meilleures 200 sont dans 29 pays (Ince, 2004). Une raison pour laquelle le classement du Times Higher a un avantage par rapport à l approche adoptée par l Université Jiao Tong de Shanghai est qu il reflète des profils d universités d aujourd hui, modérés à travers des jugements collégiaux actuels plutôt qu à travers une perspective historique. John O Leary, l éditeur du Times Higher, présente la différence directe: Les prix Nobel et les medailles Fields comptent pour presqu un tiers des points de la liste des meilleures universités compilée cette année par l Université Jiao Tong de Shanghai. Mais pourquoi compter uniquement ces prix? Et pourquoi recompenser des universités où les gagnants de prix ont étudié, certains à la fin du siècle qui precède celui-ci? Pourquoi, en effet, recompenser des universités où les gagnants ont effectué des recherches, souvent il y a au moins vingt ans, plutôt que l établissement qui bénéficie en ce moment de leur présence? (O Leary, 2004). Comme le fait remarquer Marguerite Clarke, une évolution subséquente évidente est la comparaison faite par des chercheurs de l Institut de recherches économiques et sociales appliquées de Melbourne. Ceux-ci ont établi un classement des universités australiennes en utilisant une série de six critères dont les détails se distinguaient considérablement de ceux employés par l Université Jiao Tong de Shanghai et du Times Higher. Il est intéressant de remarquer qu ils ont également employé une forme d analyse collégiale n impliquant pas des universitaires mais des dirigeants d universités de l étranger et des doyens australiens (mais n ont accordé à ce critère qu un poids de 8 pour cent du total, par comparaison au poids plus important accordé par le Times Higher Education). 40 Il faut remarquer qu il y a eu une ressemblance assez remarquable entre les classements de Melbourne des universités australiennes et leur positionnement dans les classements du Times Higher Education et de Shanghai. Le professeur Ross Williams, l auteur principal de l étude, a affirmé que les quatorze universités australiennes classées parmi les établissements de haut niveau par les chercheurs de Shanghai étaient identiques à ceux de sa liste malgré une correspondance d uniquement 20 pour cent entre les données. Onze universités sur quatorze ont également fait partie des classements du Times Higher Education Supplement. Il est certain qu il existe un taux de correspondance considérable entre les deux classements treize universités apparaissent à la fois dans le Top 20 des classements du Times Higher et de l Université Jiao Tong de Shanghai (Tableau 1). TABLEAU 1: Les universités présentes à la fois dans les classements du THES et de l Université JiaoTong de Shanghai Harvard California - Berkeley MIT 40 L enquête des dirigeants étrangers a concerné 170 des meilleures universités du monde et a reçu 40 réponses, pendant que 80 sur 200 doyens australiens ont aussi répondu. Ils ont tous été priés de noter chaque université australienne par rapport à des universités étrangères et de pondérer ensuite chacune des six catégories selon leur niveau d importance. Les dirigeants et les doyens ont accordé une importance égale aux six mesures utilisées dans l étude, la qualité du personnel étant notée comme le facteur le plus important. Voir <http://www.melbourneinstitute.com>. Voir aussi Clarke, 2005. 51

Source: L auteur. California Institute of Technology Oxford Cambridge Stanford Yale Princeton Tokyo Chicago Columbia California, San Francisco Le Times Higher Education est en train de publier des analyses approfondies concernant des domaines disciplinaires spécifiques incluant les sciences 41, la technologie, la biomédecine, les sciences sociales et les arts et sciences humaines. Une question qui a été posée et qui reste sans réponse concerne la fréquence de cet exercice. Comme il s agit d une organisation ayant des ressources limitées, il s agit de tirer un maximum de profit de l actuelle banque de données avant de redémarrer le processus. En outre, les indicateurs, quoique point inébranlables, ne sont pas susceptibles de changer à brève échéance, c est-à-dire avant deux ou trois ans. Un échantillon réalisé de manière différente aura presque certainement un résultat différent mais il y a des avantages à préserver la continuité. Il est intéressant de prendre en compte les questions posées durant les discussions de Washington du Groupe international d experts en classements en principal celle de considérer l inclusion de publications en autres langues que l anglais. Cela contribuera sans doute à un accroissement de la diversité du classement, à l avantage du profil de cultures non-anglaises. Cela est particulièrement vrai en arts et sciences humaines, où les publications et les citations sont autrement susceptibles d être laissées de côté. Toutefois, il faut se demander si cela est pertinent lorsque l anglais est la langue dominante. Les effets à long terme des classements mondiaux sont incertains. Les prospections initiales du domaine attireront l attention, puisque chaque acteur cherche le contenu adapté à ses propres buts. Les débats concernant la pertinence de méthodologies spécifiques, l usage de données collectées dans d autres buts et ainsi de suite ne disparaîtront toutefois jamais. La quête de la perfection se poursuivra. Certains pourront soutenir qu ils ne devraient pas essayer de s assumer la tâche avant que les instruments méthodologiques et analytiques ne soient perfectionnés. Ils diront avec un peu de raison que l existence même des classements affecte le comportement de la communauté académique. De manière idéale, et certainement dans un cadre académique, cela serait le meilleure solution un moratoire attendant l achèvement d un consensus. Cependant, les journaux et les agences similaires opèrent dans un milieu compétitif et surtout pragmatique. Personne ne peut manquer l opportunité: le meilleur résultat - même imparfait - qui peut être obtenu, étant donné les circonstances, est un accomplissement plus que raisonnable. 41 The Times Higher Education Supplement, le 10 décembre 2004. Les meilleures universités scientifiques le 10 décembre 2004. Les meilleures universités d ingénierie et de TI le 10 décembre 2004. Les meilleures universités d art et de sciences humaines. Les meilleures universités de sciences sociales. 52

Références CLARKE, M. Quality Assessment Lessons from Australia and New Zealand, Higher Education in Europe 30 2 2005: 183-198. HINDMARSH, A. (for.), KINGSTON, B. (for.), et O LEARY, J., réd. The Times Good University Guide. Londres: Trafalgar Square, juin 2004. INCE, M. Elements that Paint a Portrait of Global Powers, The Times Education Supplement, le 5 novembre 2004. JOBBINS, D. The Times/The Times Higher Education Supplement League Tables in Britain: An Insider s View, Higher Education in Europe 27 4 (2002): 383-389. O LEARY, J. Top Performers on the Global Stage Take a Bow, The Times Education Supplement, le 5 novembre 2004. ORGANISATION POUR LA COOPERATION ET LE DEVELOPPEMENT ECONOMIQUES (OCDE). Education Indicators at a Glance. Paris: OECD Publications, 2003. 53

L analyse des variables latentes: une nouvelle approche du classement 42 CASSANDRA GUARINO, GREG RIDGEWAY, MARC CHUN, ET RICHARD BUDDIN Cette étude applique une analyse des variables latentes de Bayes au but de déterminer des classements d universités au Royaume-Uni et aux Etats-Unis, à partir d une série de mesures ayant trait à la qualité. Elle fat une estimation du degré d incertitude des classements et permet l évaluation de différences statistiquement significatives entre des universités. Elle fournit également une méthodologie de détermination des poids de différentes mesures qui est basée sur les modèles intégrés dans les données et compare les classements à variable latente aux classements classiques. Dans l ensemble, la méthodologie contribue à une meilleure compréhension des initiatives de classement et soutient la nécessité d interpréter de manière prudente les distinctions publiées dans le cadre de systèmes classiques de classement. Introduction L intérêt pour les classements d établissements d enseignement supérieur a augmenté au cours des deux dernières décennies. Les initiatives de classement se sont développées considérablement depuis la publication du premier classement annuel de U.S. News & World Report des meilleurs collèges des Etats-Unis (America s Best Colleges) en 1983. En plus de plusieurs systèmes populaires de classement des Etats-Unis 43 et du Royaume-Uni, 44 il existe beaucoup d autres dans d autres pays. 45 A compter de 2003 ils sont apparus deux systèmes de classement à portée internationale le Classement académique des universités du monde de l Université Jiao Tong de Shanghai (SJTU) 46 et les Classements des universités du monde de The Times Higher Education Supplement. 47 Les tendances suggèrent que ces systèmes continueront à proliférer. La plupart des systèmes de classement emploient une approche de type «poids et addition». Ils rassemblent des données sur une série de mesures concernant la qualité éducationnelle, comme la sélectivité de la population étudiante ou le prestige. Ils assignent 42 Les auteurs ont entrepris ce travail dans le cadre de RAND Education, une unité de la Corporation RAND. L activité de recherche a été financée par un contrat offert par le Conseil suprême de l enseignement du Qatar. Les auteurs voudraient exprimer leur gratitude pour ce soutien. Cet article résulte d un projet de recherche censé identifier des établissements d enseignement supérieur de haute qualité, à l attention des étudiants du Qatar qui bénéficient des bourses gouvernementales. Cet article ne représente pas le point de vue officiel de l Etat du Qatar ou de son Conseil suprême de l enseignement. 43 Voir U.S. News & World Report s America s Best Colleges à <http://www.usnews.com/usnews/home.htm>; Profiles of American Colleges de Barron à <http://barronseduc.com/>; The Top American Research Universities, publié par TheCenter à l Université de Floride à <http://thecenter.ufl.edu/research2002.html>, et Avery et al. (2004). 44 Voir The Times Good University Guide à <http://www.timesonline.co.uk/section/0,,716,00.html>; The Guardian University Guide à < http://education.guardian.co.uk/universityguide/0,10085,488282,00.html>, et Sunday Times University Guide à <http://www.timesonline.co.uk/section/0,,8403,00.html>. 45 Voir, par exemple, Maclean s Guide to Canadian Universities à <http://www.macleans.ca/universities/ index.jsp>; Good Universities Guide de Hobsons à <http://www.thegoodguides.com.au/>, et Index of the International Standing of Australian Universities de l Institut de Melbourne à <www.melbourneinstitute.com/ publications/reports/aus_uni/mainpaper.pdf - 22 May 2005>, pour l Australie. 46 Consultable à <http://ed.sjtu.edu.cn/ranking.htm>. 47 Consultable à <http://www.thes.co.uk/worldrankings/>. 54

par la suite des poids à chaque mesure, généralement sur la base d opinions subjectives sur l importance relative de chaque indicateur, et additionnent les mesures pondérées pour chaque établissement. Les sommes pondérées donnent un classement ordinal des établissements. Ces classements, néanmoins, peuvent être relativement trompeurs en cela qu ils peuvent «sur-distinguer» les établissements, en accordant des positions différentes à des établissements qui peuvent être plus ou moins indiscernables. Cet article propose une approche alternative de classement d établissements, selon des dimensions observables de la qualité. L approche requiert l utilisation d une procédure statistique connue sous le nom d analyse des variables latentes. Le résultat est un classement séquentiel d établissements qui comporte des informations qui nous permettent de saisir si des établissements occupant des positions différentes sont statistiquement distinguables. Notre approche proposée peut être employée pour traiter un nombre de questions ayant trait aux systèmes de classement d universités. Dans cette étude, nous répondons aux questions suivantes: 1. Comment est-ce qu on justifie de manière pertinente le doute existant au niveau de l établissement de positions pour différents établissements? 2. Quand est-ce que les différences de qualité mesurées entre les établissements deviennent significatives du point de vue statistique? 3. Quelle est l importance des différentes mesures des données pour le classement général? Les réponses à ces questions ont des implications pratiques pour les étudiants potentiels et pour les établissements d'enseignement supérieur eux-mêmes. Les réponses aux deux premières questions nous permettent d'avoir une image de degré de similitude ou de dissimilitude entre certains établissements et nous donnent la possibilité de distinguer les établissements de manière pertinente. Une réponse à la troisième question peut révéler la nature des facteurs qui créent des ressemblances ou des dissemblances. Toutefois, l approche proposée des variables latentes n est pas une panacée. Comme dans le cas des systèmes de classement de type «poids et addition», l approche est basé sur des indicateurs observables de la qualité et n exclut pas les déficiences inhérentes aux indicateurs eux-mêmes ou à la manière dont ils sont opérationnalisés et mesurés. Une amélioration des mesures des gains obtenus par les étudiants à travers la fréquentation d un établissement contribuerait à une évolution de la précision des méthodes actuelles de classement ainsi que de l approche proposé ici. Faute de meilleures données, nous illustrerons la méthode des variables latentes par des données existantes tirées de deux prestigieux systèmes de classement, The Times Good University Guide et U.S. News & World Report, et nous analyserons les importants avantages de cette approche par rapport à l approche standard de type «poids et addition». Cadre général De route évidence, les classements servent essentiellement à fournir des informations au grand public et comme un moyen de développer la responsabilisation. Shattock (2003: 5) affirme Il n y a pas de doute concernant l intérêt public de ces évaluations, ou le fait qu un tel intérêt est légitime, et que toute évaluation des accomplissements d universités doit prendre leurs conclusions au sérieux. Les classements sont suivis de près par des administrateurs d universités et influencent le choix de politiques. Monks et Ehrenberg (1999) ont trouvé, par exemple, que les politiques d admission et de financement d établissements américains sélectifs 55

d enseignement supérieur étaient liées aux classements publiés par U.S. News & World Report. Les systèmes de classement existants ont fait l objet de moult critiques. Des administrateurs d universités se plaignent parce qu ils doivent lutter à gérer les conséquences des changements de places dans les classements annuels, et certains 48 ont remis en question l intégrité de l entreprise dans son ensemble. Au niveau le plus primaire, les classements ont repositionné l enseignement supérieur en tant que bien de consommation; cela requiert que le participant bien informé pense dans les termes d un meilleur modèle abstrait, ainsi qu en fonction du rendement financier, comme il est mis en évidence par U.S. News & World Report. Des études récentes donnent du crédit à cette idée. Brewer et al., (1999), Hoxby (2001), et Black et al. (1997) ont vu que les revenus des étudiants d établissements prestigieux ou hautement classés sont sensiblement supérieurs à ceux d étudiants à origines sociales communes qui étudient dans des collèges moins prestigieux. Mettant de côté la question normative de savoir si les classements doivent vraiment être faits, les classements sont handicapés dès le départ par des problèmes méthodologiques. Premièrement et plus essentiellement, il n y a aucune mesure de la qualité dans l enseignement supérieur claire ou universellement acceptée. Dans l absence de tout consensus, chaque système de classement combine une série disponible d indicateurs observables dont chacun sert en tant que correspondant approximatif d un facteur lié à la qualité dans une formule qui peut être questionnée à la fois sur la base de ses éléments et de la manière dont ces éléments sont combinés. Deuxièmement, lorsqu on analyse plusieurs systèmes de classement il devient incertain s il existe des différences significatives entre les établissements. Une forte et remarquable critique des systèmes de classement est qu il n apparaît pas généralement de différence importante entre des universités classées sur des positions adjacentes ou même entre des universités qui occupent des positions assez éloignées dans les classements (Clarke, 2002a, 2002b). Troisièmement, les systèmes de classement ne sont pas neutres aux établissements qu ils étudient mais arrivent à les influencer. Beaucoup de systèmes de classement accordent un poids important aux indicateurs de réputation, par exemple. Etant donné que les classements eux-mêmes affectent de manière significative la réputation, la nature circulaire de ces entreprises les rend une force auto-perpétuée particulièrement puissante. Ainsi, il est important de savoir si cette force agit dans le meilleur intérêt des étudiants et de la société. Si les universités doivent être jugées selon des standards établis par des systèmes de classement et sont motivées à se conformer à ceux-ci, est-ce que l avancement dans cette direction nous rapproche ou nous éloigne de la vraie qualité éducative? Et, si l avancement dans cette direction est inévitable, peut-on assurer que les classements soient établis de manière responsable? Du fait des conséquences potentiellement importantes que les classements ont en matière d influence des choix des étudiants et des attitudes institutionnelles, la communauté de l enseignement supérieur devrait encourager le développement des méthodologies de classement et la collection de meilleures mesures de la qualité. Dans cet article, nous présentons un nouvel instrument méthodologique d analyse de différences qualitatives existantes entre des établissements et nous illustrons l efficacité de l instrument en employant des mesures de données existantes. Cette nouvelle approche peut s ajouter aux méthodologies de classement existantes et offrir des perspectives sur la nature des distinctions existantes entre les établissements. 48 Par exemple, le président Gerhard Casper de l Université Stanford. Pour plus de détails voir <http://newsservice.stanford.edu/news/1997/april23/usnstatement.html>. 56

Les données Les données de cette étude sont puisées de données primaires employées dans la construction de systèmes de classement au Royaume-Uni et aux Etats-Unis. La première série de données provient de The Times Good University Guide 2005, et la deuxième de U.S. News & World Report. Les données de The Times Good University Guide The Times a publié des classements d établissements depuis 1992. Neuf indicateurs sont utilisés dans le calcul des classements. Ils sont basés sur des données rassemblées par l Association pour les statistiques sur l enseignement supérieur (Higher Education Statistics Association) afin d informer les décisions d allocation de ressources des Conseils de financement de l enseignement supérieur. Le Tableau 1 présente les indicateurs et leurs poids assignés. 49 Plus d explications détaillées concernant les indicateurs peuvent être trouvées dans The Times Good University Guide 2005. 50 TABLEAU 1. Indicateurs et poids utilisés par The Times Good University Guide 2005 Caractéristique de l université Poids Description Enseignement 2,5 Moyenne universitaire des scores de l Evaluation de la qualité des enseignants dans des départements individuels. Le score maximum possible est de 24 Recherche 1,5 Moyenne universitaire des scores de l Exercice d évaluation de la recherche dans des départements individuels Standards d admission 1 Score moyen de niveau A (ou Meilleur score en Ecosse) de nouveaux étudiants de moins de 21 ans. Le score maximum possible est de 30 Taux étudiants/enseignants 1 Nombre d étudiants à équivalents de temps complet (full-time equivalents -FTE) par nombre d enseignants FTE Dépenses de bibliothèque et en 1 Dépenses en personnel et en fonds de bibliothèque et en matériel et programmes informatiques par étudiant FTE matériel informatique Dépenses en 1 Dépenses en équipements par étudiant FTE équipements Pourcentage de diplômes à hautes mentions 1 Pourcentage de diplômés obtenant des diplômes de première classe et de deuxième classe supérieure Destinations des diplômés 1 Proportion de diplômés qui poursuivent des études approfondis ou une carrière de diplômé supérieur Taux de finalisation 1 Le temps nécessaire aux étudiants pour finaliser leurs études par comparaison à la durée attendue des études s ils finissent leurs cours normalement. Source: The Times Good University Guide 2005. Le Tableau 2 présente les moyennes, les déviations standard, et les valeurs minimales et maximales des indicateurs de la qualité concernant les 99 établissements d enseignement supérieur représentés dans la série de données du Royaume-Uni. Une rapide analyse de ce tableau suggère que certaines de ces variables ont un degré de variabilité supérieur à d autres. Les variables relatives aux équipements, à la bibliothèque et à la recherche, en 49 Données utilisées avec la permission de The Times. 50 Voir surtout pages 13-18. 57

particulier, présentent une gamme ample de valeurs. 51 Il faut remarquer que toutes les variables sont bien corrélées les unes par rapport aux autres, et beaucoup des corrélations sont élevées. Seulement les variables relatives à la bibliothèque, aux équipements et aux destinations affichent des corrélations avec d autres variables qui sont inférieures à 0,5. TABLEAU 2. Statistiques descriptives des caractéristiques de 99 universités du Royaume-Uni 52 Caractéristiques des universités Moyenne Déviation standard Minimum Maximum Enseignement 21,48 0,82 18,8 23,1 Recherche 4,01 1,52 0,5 6,6 Standards d admission 18,68 4,84 11,5 29,5 Pourcentage de diplômes à hautes mentions 59,52 10,53 39,3 89,3 Destinations 71,57 6,87 54,9 89,8 Taux de finalisation 85,29 6,53 65,0 98,0 Taux étudiants/enseignants 0,06 0,02 0,04 0,14 Bibliothèque 565,61 215,15 321 1,552 Equipements 196,07 79,46 11 460 Source: Les auteurs. Les données de U.S. News & World Report U.S. News & World Report (appelé en ce qui suit U.S. News) établit une base de données pour sa publication annuelle des Meilleurs collèges des Etats-Unis (America s Best Colleges). 53 U.S. News propose des classements individuels pour plusieurs catégories d établissements d enseignement supérieur: universités nationales de recherche, collèges de sciences sociales, établissements délivrant des mastères, et collèges généraux. Afin d être concis, nous n employons dans cette étude que des données concernant les universités nationales de recherche. En outre, même si U.S. News offre des données sur 249 universités de recherche, il ne classe que les meilleures 129 universités et présente peu de données concernant les autres. Ainsi, nous avons limité nos analyses à ces 129 établissements. Les classements de U.S. News utilisent dix-sept mesures considérées relevantes pour la qualité institutionnelle. Celles-ci sont présentées dans le Tableau 3. 54 Seulement quatorze de ces dernières ont été disponibles sur le site Internet. U.S. News emploie un système double de pondération, où des sous-facteurs sont combinés à des poids assignés afin de former des facteurs agrégés, et les facteurs agrégés sont combinés avec des poids assignés afin de former le score total. 51 Cela peut être vu à la fois au niveau de la gamme et des coefficients de variation, c est-à-dire de la déviation standard divisée par la moyenne. Pour les variables relatives aux équipements, à la bibliothèque et à la recherche, les coefficients de variation sont de 0,41, 0,38, et 0,38, respectivement. 52 Statistiques calculées en utilisant des données tirées du The Times Good Universities Guide 2005. 53 Données obtenues le 30 novembre 2004, de <http://www.usnews.com/usnews/home.htm>. Données utilisées avec la permission de U.S. News & World Report. 54 Plus de détails à <http://www.usnews.com/usnews/edu/college/rankings/about/weight_brief. php#giving>. 58

TABLEAU 3. Indicateurs et poids employés dans les classements d universités de U.S. News & World Report Poids de Poids du la sousfacteur Catégorie catégorie Sous-facteur Description agrégée (pour (pour cent) cent) Enquête d évaluation collégiale Taux de finalisation et de rétention Ressources en enseignants Sélectivité des étudiants 25 Taux effectif de finalisation de 6 ans 20 Taux moyen de rétention des nouveaux étudiants Proportion de petites classes Proportion de grandes classes Compensations 20 15 Ressources financières ** 10 Résultats relatifs au taux 5 de finalisation Taux de donations des anciens étudiants 5 Enquête des présidents, recteurs et doyens d admission dont les écoles sont notées entre 1 (qualité inférieure) et 5 (meilleure qualité) Proportion d étudiants admis entre 1994 et 199è qui ont fini leurs études en 6 ans Proportion des étudiants admis en 1999-2000 qui sont rentrés l année suivante Proportion des classes ayant moins de 20 30 étudiants Proportion des classes avec 50 étudiants ou 10 plus des enseignants * Salaire moyen des enseignants plus bénéfices 35 Pourcentage Pourcentage des enseignants ayant un doctorat 15 d enseignants ou le plus haut diplôme possible dans leur ayant des domaine diplômes de très haut niveau * Taux étudiants/ enseignants Proportion d enseignants à temps complet Scores SAT/ACT Proportion des meilleurs 10 pour cent des étudiants Taux d acceptation 100 Taux d étudiants FTE par enseignants FTE 5 Proportion des enseignants FTE à temps complet en 2003-2004 25 e et 75 e centiles de la distribution universitaire des scores au Scholastic Aptitude Test (examen d admission au collège) des étudiants entrants Proportion des étudiants de première année ayant fini leurs études secondaires parmi les meilleurs 10 pour cent de leur classe Taux d étudiants admis par nombre total de candidats Dépenses éducationnelles moyennes par étudiant Différence entre le taux effectif de finalisation de 6 ans et le taux prévu à partir des caractéristiques de l établissement et des étudiants entrants. Total 100 * Mesure indisponible. ** L indicateur Dépenses par étudiant a été indisponible sur le site Internet, mais la position de l université selon cette mesure y était mentionnée. Source: U.S. News & World Report 2005. 80 20 5 50 40 10 100 100 100 59

Le Tableau 4 présente des statistiques descriptives pour ces mesures pour la sous-catégorie des 129 universités de recherche. On peut y remarquer une considérable variation entre écoles au niveau des indicateurs. 55 Comme dans le cas des variables associées aux universités du Royaume-Uni, la plupart de ces variables sont hautement et considérablement corrélées. TABLEAU 4. Statistiques descriptives pour les caractéristiques de 129 universités de recherche des Etats-Unis 56 Déviation Caractéristiques des universités Moyenne Minimum Maximum standard Evaluation collégiale 3,5 0,6 2,5 4,9 Taux d acceptation 0,57 0,22 0,10 0,93 Proportion d étudiants du top 10 0,53 0,26 0,16 0,99 Score SAT au 25 e centile 1136 116 840 1460 Score SAT au 75 e centile 1335 104 1170 1590 Proportion d enseignants à temps complet 0,90 0,07 0,69 1,00 Taux enseignants/étudiants 0,09 0,04 0,05 0,33 Proportion de classes de moins de 20 0,48 0,14 0,19 0,75 Proportion de classes de moins de 50 0,12 0,07 0,01 0,31 Taux moyen de rétention de nouveaux étudiants 0,89 0,06 0,77 0,98 Taux effectif de finalisation de 6 ans 0,74 0,12 0,48 0,98 Performance du taux de finalisation 0,73 0,12 0,50 0,94 Position des ressources financières 75,40 50,3 1,0 200,0 Taux de donation des anciens étudiants 0,21 0,10 0,05 0,61 Source: Les auteurs. Les méthodes Nous avons employé une technique statistique afin d estimer la «qualité» d une université a partir d une série de caractéristiques observables. Cette technique est un modèle bayesien de variables latentes. Des méthodes bayesiennes ont été utilisées pour le classement dans d autres études liées à l enseignement. Lockwood et al. (2002: 255 270) analysent l incertitude des classements d enseignants et d écoles à partir de résultats d étudiants individuels. Laird et Louis (1989: 29 46) emploient une approche empirique de Bayes afin de classer des écoles selon leur capacité d influencer la réussite des étudiants. Goldstein et Spiegelhalter (1996: 385 443) militent en faveur de l analyse bayesienne pour le classement d individus et d établissements et utilisent l intégration Monte Carlo à Chaîne Markov pour calculer l incertitude dans les classements. Ces études impliquent toutes des unités de classement sur une seule mesure (l effet des enseignants, par exemple). Par contraste, nous classons les universités simultanément en intégrant plusieurs mesures. Notre modèle à variable latente applique essentiellement ces mesures à un seul facteur à partir duquel nous pouvons établir des classements. La technique à variable latente se distingue des classements standard à poids et addition parce qu elle (a) détermine l importance relative de différentes caractéristiques d universités en utilisant des informations incluses dans les données plutôt que des opinions subjectives, et (b) détermine simultanément le degré d incertitude qui entoure les 55 Les coefficients de variation pour le pourcentage d étudiants compris dans les premiers 10 pour cent de leur classe et pour les donations des anciens étudiants sont supérieurs à 0,60. 56 Statistiques calculées en utilisant des données de l USNWR, America s Best Colleges 2005. 60

classements. Si un établissement est nettement supérieur aux autres à pratiquement toutes les caractéristiques mesurées, notre méthode trouvera très peu de variation au niveau de sa position et le classera en première position avec un haut degré de certitude. De même, si un établissement comporte des caractéristiques qui ne le distinguent que faiblement d autres établissements (son taux de finalisation est moyen, par exemple), alors il y aura beaucoup d établissements similaires. Puisque nous permettons de la variabilité au niveau de l influence de caractéristiques spécifiques sur la mesure de la qualité générale de l école, de moindres changements au niveau de l influence du taux de finalisation peuvent permuter l ordre des écoles vers le milieu. De manière analogue, dans les approches à poids et addition beaucoup d universités finissent regroupées au milieu, ayant toutes des scores généraux très similaires. Une légère perturbation du poids de variables importantes peut déplacer la position d une université de ce groupe de vingt ou plusieurs places. Dans une telle situation, notre méthode établirait un classement mais ce classement serait accompagné par un haut degré d incertitude. Ainsi, elle serait classée, disons, en 50 ème position, mais nous ne pourrons pas affirmer qu elle a été statistiquement supérieure à l université classée en 51 ème position. Dans les prochains paragraphes nous offrirons une explication technique concise de la méthodologie. Dans le modèle, nous supposons que chaque université a une caractéristique de la «qualité» inobservée, latente, notée avec [z i ]. Même si nous n observons pas directement le [z i ] de chaque université, ses caractéristiques observables expriment la qualité de l université. Plus précisément, nous employons un modèle linéaire afin d associer les caractéristiques observées, [x 1,,x J] ], à [z i ]. Pour les universités du Royaume-Uni, pour lesquelles nous avons neuf cotations par école, nous aurons un système de neuf modèles de régression du type: (1) (1 ) (1) (1) 2 enseigneme nt = β + β z + ε, ε ~ N (0, σ ) i 0 1 ( 2 ) ( 2 ) ( 2 ) ( 2 ) 2 recherche i = β 0 + β 1 z i + ε i, ε i ~ N (0, σ 2 ) M ( 9 ) ( 9 ) ( 9 ) ( 9 ) 2 équipement i = β 0 + β 1 z i + ε i, ε i ~ N (0, σ 9 ) Il faut remarquer qu il y a neuf termes d interception différents, [β 0 s], neuf coefficients différents de [z i ], les [β 1 s], et que chaque modèle de régression a sa propre variation résiduelle. Il n est pas besoin de changer et de proportionner à nouveau les caractéristiques observées, puisque cela fait partie du modèle. Ce modèle est similaire à une analyse de facteurs à un seul facteur. Nous prenons l approche bayesienne, obtenant une distribution postérieure pour la latente [z i s] et nous calculons la distribution des positions des universités. En bref, l approche bayesienne est censée calculer la distribution commune de toutes les quantités inconnues les paramètres de régression et les [z i s] dépendant des quantités observées les caractéristiques des universités. Cette distribution postérieure capte toute l incertitude concernant les quantités inconnues. Ce cadre est particulièrement utile pour le classement d établissements. Non seulement nous pourrons décrire l incertitude en estimant les [z i s], mais aussi l incertitude de leurs positions par rapport aux autres. Afin de compléter la spécification du modèle, nous mettons des préalables noninformatives sur les paramètres de régression et une préalable gaussienne sur [z i s], avec une moyenne de 0 et une variation de 1. Il faut remarquer que le placement et la taille de [z i s] ne sont pas identifiables ni d intérêt puisque tout changement de [z i s] peut être compensé par un changement de [β 0 ], et tout repositionnement de [z i s] peut être compensé par un positionnement de [β 1 ]. Même si la distribution commune postérieure complète des {z i s], [βs], et [σ 2 s] est complexe, la moyenne postérieure [z i ], étant donné tous les autres paramètres et données i i i 1 61

observables, est une simple combinaison linéaire des caractéristiques observées de l université [ i s]. La moyenne postérieure [z i ], étant donné tous les autres paramètres, est: J ( j) β x j μ j (1) 1 E( zi ) = a + b σ σ j=1 où [a] et [b], respectivement, changent et se proportionnent à nouveau afin que, collectivement, [z i s] aie une moyenne [0] et une variation [1]. Il faut remarquer que la taille absolue de [z i ] n est pas importante seulement sa position relative à d autres universités compte. La moyenne estimée de [z i ] est ainsi calculée à travers une méthode de type poids et addition avec chaque caractéristique standardisée [j] ayant le poids [w j = β 1 (j) /σ j]. Ainsi, à la différence d autres approches de type poids et addition qui assignent des poids déterminés de manière subjective aux caractéristiques observables, cette méthode estime simultanément les positions et les poids. Nous rapportons des estimations de [w j s], qui nous informent au sujet de la contribution relative des la caractéristique spécifique à la détermination de la position. Les paramètres de régression et les [z i s] sont estimés ensemble. Les algorithmes d estimation itèrent entre le calcul de la distribution conditionnelle des [z i s] et le calcul de la distribution conditionnelle des paramètres de régression. Si les [z i s] sont connus alors les paramètres restants sont facilement estimables à travers la régression linéaire standard. A la fois l algorithme EM et l échantillon de Gibbs fonctionnent de cette manière. Nous avons utilisé un échantillon de Gibbs, implémenté dans OpenBUGS 57 afin de puiser des échantillons de la distribution des [z i s], étant donné les caractéristiques observées des universités. Après chaque prélèvement de cette distribution nous obtenons une série de [z i s], et en mettant en ordre ces [z i s] nous pouvons dériver des positions. Ce processus est répété plusieurs fois. A partir de 10.000 prélèvements, nous pouvons avoir une estimation correcte de la distribution de la position de [z i ] pour chaque université. Pour chaque université, nous rapportons la position médiane ainsi que les positions en 2,5 et en 97,5 centiles, calculées à travers les 10.000 prélèvements. Les 2,5 et 97,5 centiles associent un intervalle de probabilité postérieure de 95 pour cent, similaire à un intervalle de confiance. Nos découvertes Cette section présente nos analyses des classements d universités au Royaume-Uni et aux Etats-Unis. L analyse est structurée en trois étapes pour chaque pays: 1. La mesure de la variable latente est utilisée afin de classer des établissements et de révéler le degré d incertitude ou de variation associé à chaque classement. 2. Les résultats montrent l importance relative de différentes mesures des entrées de la qualité pour le classement général à variables latentes. 3. Le nouveau classement à variables latentes est comparé aux classements existants partant des mêmes mesures de données. Les résultats pour les universités du Royaume-Uni La Figure 1 montre les nouveaux classements par université pour les 99 universités du Royaume-Uni. L axe horizontal représente la position obtenue en employant la méthode de la variable latente. Les universités sont rangées sur l axe vertical selon leur position, avec l école la mieux classée à la pointe du graphique. Ainsi, chaque point qui correspond au nom j j 57 Voir <http://mathstat.helsinki.fi/openbugs/>. 62

d une université représente la position médiane dans la distribution postérieure de positions de cette université, et les lignes qui s étendent des deux côtés de ce point représentent l intervalle dans lequel la position devrait s inscrire avec une probabilité de 95 pour cent. FIGURE 1. La distribution des positions des universités du Royaume-Uni Oxford Cambridge Imperial College London School of Economics Bristol Warwick Edinburgh St Andrews Nottingham University College London York Durham Bath Sheffield King's College London Birmingham Leeds Manchester Cardiff Glasgow Southampton Queens, Belfast Exeter Sussex Royal Holloway Newcastle SOAS Strathclyde Loughborough East Anglia Aston Liverpool Lancaster Reading Leicester Dundee Surrey Queen Mary Stirling Kent City Goldsmiths College Aberdeen Brunel Heriot-Watt Keele Aberystwyth Swansea Essex Ulster University of the Arts Bournemouth Robert Gordon Glasgow Caledonian Bradford Oxford Brookes Bangor Hull Brighton Nottingham Trent Northumbria Plymouth Sheffield Hallam Leeds Metropolitan UWIC, Cardiff Manchester Metropolitan Salford West of England Surrey Roehampton Central England Lampeter Portsmouth Gloucestershire Lincoln Liverpool John Moores Central Lancashire Coventry Hertfordshire Huddersfield Westminster De Montfort Paisley Anglia Kingston Staffordshire Abertay Dundee Teesside Sunderland Glamorgan Derby UWCN, Newport Napier London South Bank Middlesex Wolverhampton Greenwich Luton East London Thames Valley Source: Les auteurs. 0 20 40 60 80 100 Ranks La ligne verticale solide qui a été dessinée à la dixième position aide à illustrer l incertitude associée à ces classements. Seulement quatre universités ont des positions qui sont statistiquement supérieures à 10 selon les mesures spécifiques employées afin d évaluer la qualité dans cette analyse. Cela peut être observé sur le graphique en remarquant que seulement quatre écoles se trouvant à gauche de la ligne verticale ont des intervalles de probabilité qui ne la croisent pas. Si nous voulons comparer des écoles spécifiques, disons Sussex, Swansea, et Northumbria, nous pouvons vérifier si leurs intervalles se superposent. A partir des traits verticaux pointillés qui entourent l intervalle concernant Swansea, nous pouvons voir que Sussex occupe une position statistiquement supérieure par rapport à Swansea et à Northumbria, mais que les deux dernières universités 63

ne sont pas statistiquement distinguables. Ces exemples montrent qu il n est généralement pas possible d affirmer qu un établissement d un système de classement ordinal est de meilleure qualité que tous ceux qui le suivent. Egalement importante est la taille des intervalles de probabilité. Au sommet même des classements nous voyons que les intervalles sont sensiblement plus réduits que vers le milieu ou vers le bas des classements. Cela nous dit que les positions de ces écoles sont plus certaines que celles du milieu et du bas. L incertitude augmente à mesure qu on avance vers le bas des classements et ensuite commence à diminuer faiblement vers le bas. Le Tableau 5 montre l influence relative des différentes mesures utilisées en tant qu entrées afin de déterminer le classement. Le tableau présente les poids estimés et les statistiques t associées aux coefficients des équations de régression reliant chaque mesure d entrée à la variable latente. Nous pouvons voir que la mesure des standards d admission comporte beaucoup plus de poids que les autres mesures. TABLEAU 5. L importance relative des caractéristiques des universités du Royaume-Uni pour la détermination du classement 58 Variable Poids (w j ) Intervalle de 95 pour cent β 1 /se(β 1 ) Standards d admission 0,778 (0,098,3,818) 56,41 Pourcentage de hauts diplômes 0,053 (0,043,0,064) 19,24 Recherche 0,051 (0,042,0,063) 18,54 Taux de finalisation 0,033 (0,025,0,040) 12,05 Enseignement 0,023 (0,017,0,030) 8,42 Taux étudiants/enseignants 0,022 (0,016,0,028) 8,11 Destinations des diplômés 0,018 (0,012,0,024) 6,69 Equipements 0,012 (0,006,0,017) 4,38 Bibliothèque 0,010 (0,003,0,018) 3,39 Source: Les auteurs. La Figure 2 montre le rapport entre les nouvelles positions et les positions originales présentées dans The Times Good University Guide. Dans cette figure, l axe horizontal représente toujours les positions, mais cette fois les universités sont positionnées sur l axe vertical en fonction de leur classement dans The Times. Les nouvelles positions sont identifiées toujours par les points et par les intervalles associés, pendant que les positions de The Times sont identifiées par les courtes lignes verticales (certaines de ces lignes verticales sont plus longues que d autres afin d indiquer les liens). Si les nouvelles positions avaient été identiques à ceux de The Times, tous les points auraient tombé sur les lignes. 58 Analyse des variables latentes employant des données de The Times Good Universities Guide 2005. 64

FIGURE 2. Une comparaison entre les nouvelles positions et celles de The Times pour les universités du Royaume-Uni. Oxford Cambridge Imperial College London School of Economics Warwick University College London York Durham St Andrews Loughborough Bath Bristol Edinburgh Nottingham Royal Holloway King's College London Manchester Newcastle SOAS Birmingham Cardiff Glasgow Aston Lancaster Southampton Sheffield Essex Dundee Leicester Reading Exeter Keele Queens, Belfast Leeds Aberdeen East Anglia Strathclyde Stirling Sussex Surrey Liverpool Queen Mary Brunel Kent UWIC, Cardiff Heriot-Watt Bradford Northumbria Aberystwyth Swansea Oxford Brookes Hull Plymouth Ulster City Bangor Nottingham Trent Robert Gordon Goldsmiths College Hertfordshire Lampeter Glamorgan Brighton Surrey Roehampton Kingston Abertay Dundee West of England Sheffield Hallam Salford Lincoln Portsmouth University of the Arts Manchester Metropolitan Luton Leeds Metropolitan Glasgow Caledonian Westminster Sunderland Central Lancashire Huddersfield De Montfort Coventry Bournemouth Middlesex Liverpool John Moores Staffordshire Central England Paisley Wolverhampton Gloucestershire Napier UWCN, Newport Anglia Greenwich Derby Teesside London South Bank East London Thames Valley Source: Les auteurs. 0 20 40 60 80 100 Ranks Il est évident que les deux systèmes de classement sont assez différents. Presque tous les points et plusieurs intervalles entiers de probabilité du nouveau système de classement restent en dehors des lignes. La différence entre les deux séries de positions est due aux différents systèmes de pondération employés. 65

Les résultats pour les universités de recherche des Etats-Unis La suivante série de figures reproduit l analyse antérieure, en utilisant cette fois des données concernant les 129 universités nationales de recherche de «haut niveau» des Etats-Unis, classées par U.S. News. La Figure 3 présente les positions et les intervalles de probabilité produits par l analyse des variables latentes, et révèle un modèle d incertitude similaire à celui constaté dans le cas des universités du Royaume-Uni. Du fait de la taille du dessin, nous avons laissé de côté les noms. Ceux-ci peuvent être trouvés dans l Annexe. Nous voyons une fois de plus que les intervalles pour les universités du haut des classements sont plus serrés que ceux pour les universités de la zone médiane, avec un rétrécissement relatif vers la partie inférieure. FIGURE 3. Distribution des positions pour les universités de recherche des Etats-Unis 1 25 University ordered by median rank 50 75 100 125 129 1 25 50 75 100 125 Ranks Source: Les auteurs. 66

Le Tableau 6 montre l importance relative des différentes mesures des entrées pour la détermination des classements généraux. Les scores SAT sont les vecteurs les plus importants des classements. Prises ensemble, les mesures concernant la sélectivité des étudiants (scores SAT, taux de refus, et la proportion d étudiants du top 10) représentent une grande partie du poids. TABLEAU 6. Importance relative des caractéristiques des universités des Etats-Unis pour l établissement du classement Variable Poids [w j ] Intervalle de 95 pour cent [β 1 /]se[β 1 ] SAT au 75 e centile 0,264 (0,204,0,351) 51,44 SAT au 25 e centile 0,165 (0,138,0,195) 38,74 Rétention de nouveaux étudiants 0,099 (0,082,0,117) 19,89 Taux de refus 0,097 (0,081,0,114) 19,75 Taux effectif de finalisation en 6 ans 0,095 (0,078,0,112) 19,40 Proportion d étudiants du top 10 0,077 (0,063,0,091) 16,37 Evaluation collégiale 0,073 (0,060,0,088) 15,16 Taux de donation d anciens étudiants 0,056 (0,044,0,067) 11,61 Taux enseignants/étudiants 0,051 (0,040,0,063) 10,61 Proportion de petites classes 0,044 (0,033,0,056) 8,89 Finances -0,013 (-0,022,-0,005) -3,60 Performance du taux de finalisation -0,007 (-0,016,0,003) -1,40 Proportion de grandes classes -0,006 (-0,015,0,004) -1,19 Proportion d enseignants à temps complet 0,005 (-0,004,0,014) 1,08 Source: Les auteurs. La Figure 4 montre la divergence existante entre les nouveaux classements et le classement des 50 meilleurs établissements de U.S. News. Une fois de plus, les nouvelles positions diffèrent sensiblement des anciennes, et plusieurs intervalles ne croisent pas les lignes verticales. Ainsi, nous voyons que le système de pondération déterminé par la méthode des variables latentes place beaucoup d universités sur des positions différentes par rapport à celles qu elles occupaient dans les classements de U.S. News. 67

FIGURE 4. Une comparaison entre les nouvelles positions et celles du classement des 50 meilleures universités de recherche de U.S. News Harvard University (MA) Princeton University (NJ) Yale University (CT) University of Pennsylvania Massachusetts Inst. of Technology Stanford University (CA) Duke University (NC) California Institute of Technology Dartmouth College (NH) Columbia University (NY) Washington University in St. Louis Northwestern University (IL) Brown University (RI) University of Chicago Cornell University (NY) Johns Hopkins University (MD) Rice University (TX) University of Notre Dame (IN) Vanderbilt University (TN) Emory University (GA) University of California Berkeley * Carnegie Mellon University (PA) University of Virginia * University of Michigan Ann Arbor * Georgetown University (DC) Univ. of California Los Angeles * Wake Forest University (NC) Tufts University (MA) U. of North Carolina Chapel Hill * Univ. of Southern California College of William and Mary (VA)* Brandeis University (MA) New York University Univ. of Wisconsin Madison * Case Western Reserve Univ. (OH) Univ. of California San Diego * Univ. of California San Diego * Boston College University of Rochester (NY) Lehigh University (PA) U. of Illinois Urbana - Champaign * Georgia Institute of Technology * University of California Davis * Tulane University (LA) University of California Irvine * Univ. of California Santa Barbara * Rensselaer Polytechnic Inst. (NY) University of Texas Austin * Yeshiva University (NY) University of Washington * Source: Les auteurs. 0 20 40 60 80 Ranks Discussion En employant la méthode des variables latentes, nous avons pu compresser les informations contenues dans une série de mesures en un seul chiffre qui saisit le rapport entre ces mesures et une construction sous-jacente de la «qualité». Ce chiffre est la meilleure expression de l interconnexion existante entre l ensemble des mesures de la série. Le modèle accorde un chiffre à chaque établissement et une série de poids, ainsi que si on perdait les valeurs effectives des mesures observables pour un établissement donné, nous pourrions les reconstruire de manière optimale. 68

Dans une approche de type poids et addition, l inclusion de plusieurs mesures hautement corrélées de construction sous-jacente identique peut accroître l importance de cette construction et altérer le classement général si le poids total assigné à ces mesures redondantes est trop grand. La méthode des variables latentes traite ces corrélations de manière différente essentiellement, en assignant les poids aux différentes mesures des entrées dans son estimation simultanée de leurs coefficients. De cette manière, elle est moins susceptible d être accusée de «fausser les cartes», pour ainsi dire, à travers l addition de mesures inutiles. La méthode montre que la sélectivité des étudiants est une composante majeure de la «qualité», comme il est illustré par la série de mesures employées pour classer des universités au Royaume-Uni et aux Etats-Unis. Le poids accordé à la sélectivité est sensiblement supérieur aux poids permis par The Times et U.S. News. Les deux systèmes de classement n accordent pas assez de poids à l existence d un corps d étudiants ayant de très bons résultats et à son rapport général avec les autres mesures de la qualité. Les Etats-Unis et le Royaume-Uni ont également des systèmes universitaires sélectifs, toutefois. Il est possible que dans un pays disposant d un système universitaire moins sélectif (l Allemagne, par exemple), ce type de mesure ne reçoive pas un poids élevé dans le cadre de l analyse à variables latentes. On pourra dire que certaines mesures doivent être sous-pesées. Si nous avons des informations subjectives concernant la valeur de mesures spécifiques en rapport avec la vraie qualité, le cadre bayesien peut facilement intégrer ces informations en les codifiant dans son choix de distributions antérieures sur les coefficients qui forment une partie essentielle des poids. 59 Ainsi, si besoin est de sous-peser l influence de la sélectivité (par exemple), la méthode proposée est en mesure de réaliser cela. Toutefois, il est important de savoir, en tant que question normative, sur quelles bases théoriques on doit faire ces suppositions préalables. Conclusions L application de l approche des variables latentes au but de différenciation d établissements d enseignement supérieur offre des perspectives qui mènent à une compréhension approfondie de l hétérogénéité qui existe entre les établissements et peut-être à un accroissement du degré de précaution lorsqu on affirme que certains établissements sont de meilleure qualité que d autres. L approche des variables latentes est utile pour plusieurs raisons. Elle met en évidence le degré d incertitude qui existe au niveau du classement ordinal d universités et permet de saisir des différences statistiques significatives entre les établissements. Elle met en évidence l importance relative de mesures spécifiques des entrées pour l établissement de la position générale. A travers ses différences par rapport aux classements de type poids et addition, elle révèle le degré auquel les différents systèmes de pondération affectent les classements. La méthodologie fait aussi l objet de limitations. Comme les systèmes de classement de type poids et addition, elle dépend d une série d indicateurs observables de la qualité qui peuvent être imparfaits ou incomplets. Même si cette approche ne nous ramène pas plus près d une évaluation véritable de la qualité relative de l enseignement dispensé par différents établissements d enseignement supérieur, elle représente une amélioration des systèmes classiques par sa capacité de révéler l incertitude qui se trouve derrière les classements et d identifier les distinctions pertinentes qui peuvent être faites entre un établissement et un 59 N oublions pas que notre analyse a employé des précédents non-informatifs. 69

autre selon une série donnée de mesures. De cette manière, elle reste un instrument utile pour ceux qui publient des classements, leur permettant de saisir plus en détail la nature des distinctions qu ils promulguent. Références AVERY, C., GLICKMAN, M., HOXBY, C., et METRICK, A. A Revealed Preference Ranking of U.S. Colleges and Universities. National Bureau of Economic Research Working Paper 10803, Cambridge, MA, 2004. BLACK, D., DANIEL, K., et SMITH, J. College Quality and the Wages of Young Men. Manuscrit non publié, University of Maryland, 2003. BREWER, D., EIDE, E.R., et EHRENBERG, R.G. Does It Pay to Attend an Elite Private College? Cross-Cohort Evidence on the Effects of College Type on Earnings, The Journal of Human Resources, 34 1 (1999): 104-123. CLARKE, M. Some Guidelines for Academic Quality Rankings, Higher Education in Europe 27 4 (2002a): 443-459. CLARKE, M. Quantifying Quality: What Can the U.S. News & World Report Rankings Tell Us about the Quality of Higher Education?, Education Policy Analysis Archives, 10 16 (2002b). GOLDSTEIN, H., et SPIEGELHALTER, D. League Tables and Their Limitations: Statistical Issues in Comparisons of Institutional Performance (with discussion), Journal of the Royal Statistical Society Series A, 159 (1996). HOXBY, C.M. The Return to Attending a More Selective College: 1960 to the Present, Forum Futures. Exploring the Future of Higher Education, 2000 Papers, Forum Strategy Series, Vol. 3, Jossey-Bass, 2001. LAIRD, N., et LOUIS, T. Bayes and Empirical Bayes Ranking Methods, Journal of Educational Statistics 14 (1989). LOCKWOOD, J., LOUIS, T., et MCCAFFREY, D. Uncertainty in Rank Estimation: Implications for Value-Added Modeling Accountability Systems, Journal of Educational and Behavioral Statistics 27 3 (2002). MONKS, J., et EHRENBERG, R.G. The Impact of U.S. News & World Report College Rankings on Admissions Outcomes and Pricing Policies at Selective Private Institutions. National Bureau of Economic Research Working Paper 7227, Cambridge, MA, 1999. SHATTOCK, M. Managing Successful Universities. Berkshire (U.K.): Open University Press, décembre 2003. The Times Good University Guide 2005. Londres: Times Books in Association with PricewaterhouseCoopers, 2004. U.S. News & World Report. America s Best Colleges 2004. 70

Annexe: La liste complète des positions des 129 universités de recherche des Etats-Unis California Institute of Technology Harvard University (MA) Yale University (CT) Princeton University (NJ) Massachusetts Inst. of Technology Stanford University (CA) Dartmouth College (NH) Duke University (NC) Rice University (TX) University of Pennsylvania Columbia University (NY) Brown University (RI) University of Chicago Washington University in St. Louis Northwestern University (IL) Cornell University (NY) Georgetown University (DC) Johns Hopkins University (MD) University of Notre Dame (IN) Emory University (GA) Carnegie Mellon University (PA) College of William and Mary (VA)* Tufts University (MA) University of California Berkeley * University of Virginia * Brandeis University (MA) Univ. of Southern California Vanderbilt University (TN) Univ. of California Los Angeles * Boston College Wake Forest University (NC) Case Western Reserve Univ. (OH) Georgia Institute of Technology * New York University U. of North Carolina Chapel Hill * University of Rochester (NY) Lehigh University (PA) Tulane University (LA) Rensselaer Polytechnic Inst. (NY) University of Michigan Ann Arbor * George Washington University (DC) Univ. of California San Diego * Univ. of California San Diego * 0 20 40 60 80 100 120 Ranks 71

Boston University U. of Illinois Urbana - Champaign * Stevens Institute of Technology (NJ) Univ. of Maryland College Park * Worcester Polytechnic Inst. (MA) Univ. of Wisconsin Madison * University of Florida * University of Texas Austin * Syracuse University (NY) Yeshiva University (NY) SUNY Binghamton * University of Miami (FL) Pepperdine University (CA) Univ. of California Santa Barbara * University of California Irvine * Illinois Institute of Technology University of California Davis * ennsylvania State U. University Park * Miami University Oxford (OH)* Rutgers New Brunswick (NJ)* University of Pittsburgh * American University (DC) University of Georgia * University of Missouri Rolla * University of Washington * Brigham Young Univ. Provo (UT) Clemson University (SC)* Southern Methodist University (TX) Fordham University (NY) Texas A&M Univ. College Station * North Carolina State U. Raleigh * University of Delaware * Clark University (MA) Northeastern University (MA) Virginia Tech * St. Louis University Drexel University (PA) Howard University (DC) University of Connecticut * University of San Diego Baylor University (TX) Marquette University (WI) University of the Pacific (CA) 0 20 40 60 80 100 120 Ranks 73

Ohio State University Columbus * SUNY Stony Brook * Univ. of California Santa Cruz * University of Tulsa (OK) Catholic University of America (DC) Purdue Univ. West Lafayette (IN)* Texas Christian University University of Colorado Boulder * University of Dayton (OH) Florida State University * Univ. of Missouri Columbia * University of Denver University of Oklahoma * University of Vermont * Univ. of Minnesota Twin Cities * e Environmental Science and Forestry * Univ. of South Carolina Columbia * Michigan State University * Michigan Technological University * University of New Hampshire * University of San Francisco Indiana University Bloomington * Univ. of Massachusetts Amherst * University of Arkansas * University at Buffalo SUNY * University of Iowa * University of St. Thomas (MN) Auburn University (AL)* Iowa State University * Loyola University Chicago Univ. of California Riverside * University of Kentucky * Univ. of Nebraska Lincoln * University of Arizona * University of Kansas * University of Oregon * Ohio University * Seton Hall University (NJ) University of Alabama * Colorado State University * University of Tennessee * University of Utah * Washington State University * 0 20 40 60 80 100 120 Ranks Source: Les auteurs. 74

Evaluation, contrôle et autonomie: perspectives macroscopiques JENS-PETER GAUL Les évaluations comme les exercices de classement éclairent le terrain de jeu pour toutes les parties impliquées. L assurance de la qualité peut demeurer un défi pour les consommateurs, mais les évaluations «publiques» comportent un caractère nominal d indépendance ou d autonomie. Cet article met en évidence, à partir d une perspective allemande, la manière dont les évaluations de la recherche font fréquemment l objet d influences provenant d une variété de sources. Il propose quelques perspectives de développement en matière d évaluation comme travail organique en évolution pour la communauté scientifique et de la recherche. Le point de départ La Commission Européenne a récemment créé un réseau virtuel intitulé SINAPSE. 60 L acronyme vient de Scientific INformAtion for Policy Support in Europe (Informations scientifiques soutenant les politiques en Europe), et représente une plateforme de communication basée sur l Internet qui permettra une consultation rapide et informelle entre la Commission Européenne et la communauté scientifique. Ce projet est intéressant parce qu il reflète de manière subtile une tendance générale au niveau du rapport entre la science et la prise de décisions (politiques). Cette tendance est caractérisée par le financement extrabudgétaire de services publics et l utilisation accrue de l expertise privée, et pourrait illustrer une discussion plus étendue dans les pays occidentaux industrialisés concernant la modernisation de l administration publique. Même si le modèle susmentionné est généralement accepté comme un projet progressif, il encourt également le danger de précipiter à moyen terme une réduction ou une perte totale d expertise dans le cadre de l administration publique. Un contrecoup partiel est que les autorités publiques tentent désormais de mettre en œuvre de nouveaux mécanismes afin de garder les pas avec un milieu administratif en changement. Le projet SINAPSE dont l utilité ne sera d ailleurs pas contestée ici élimine les obstacles séparant les décideurs politiques et les scientifiques en apportant des savoirs dans les rangs de l administration. La nature intentionnellement informelle du processus de consultation est cependant susceptible d éliminer toute forme d assurance de la qualité par la partie scientifique impliquée. Cela aura comme conséquence une hausse du degré d indépendance de l administration en matière de traitement et d interprétation de conclusions ou de conseils scientifiques. Deuxièmement, la possibilité d anticiper les évolutions ayant lieu au niveau de la communauté scientifique et des groupes de pression conséquents renforce cet élément d autonomie. De par la conception ou pas, tout est dans le contrôle. Qu est-ce qu on peut comprendre à partir de cette dernière évolution? Pour la communauté de la recherche scientifique, la tendance implicite des décideurs politiques à acquérir des capacités autonomes d expertise et de prise de décisions basées sur le dialogue informel est d une importance particulière. En tant que voix de la méta-science, et même si elle présente de manière transparente les performances de ses unités de recherche ou de ses domaines d activité, la communauté de la recherche fait constamment l objet de contrôles de ses méthodes, résultats et établissements. Les influences externes ne sont pas toutes 60 Pour plus d informations sur SINAPSE, voir <http://www.sinapse.org/>. 75

recherchées, et ne proviennent pas toutes de la sphère politique, mais elles englobent clairement un grand nombre de problèmes. Les problèmes inhérents de l évaluation L influence des politiques n est pas toujours aussi évidente que dans le cas de l intérêt (légitime) des médias pour les classements des universités. L évaluation de la recherche scientifique se confronte plutôt à un nombre de facteurs d influence plus subtils en provenance d une multitude de sources, dont on donnera quelques exemples en ce qui suit. Exemple 1 Le plus ancien système d évaluation de la recherche au niveau institutionnel en Allemagne est le processus employé par la Fondation allemande pour la recherche (Deutsche Forschungsgemeinschaft - DFG) 61 dans la sélection de ses établissements membres. 62 Le développement de ce processus d évaluation durant 80 ans reflète les changements correspondants en particulier, la scientification de l évaluation de la recherche. Aujourd hui, les corps constitutifs de la DFG évaluent les performances de recherche de l établissement bénéficiaire en employant une série très détaillée d indicateurs, basée sur presque trente facteurs, et en combinant des éléments issus de méthodes de classification, de notation et de benchmarking dans une construction hybride. Même si ce système a déjà produit des résultats fiables et vérifiables, il n a aucunement été libre de toute intervention externe. Les aléas politiques, comme l intégration de la DFG dans le cadre du régime nazi à la fin des années 1930 et ensuite dans la réunification allemande, il y a une décennie et demie, ont eu comme conséquence des changements stochastiques subis par la série d indicateurs. Les influences qui résultent de changements qui sont plus graduels dans le système universitaire sont généralement moins évidentes. Toutefois, la création de nouvelles formes d enseignement et la marche vers le développement d universités privées de la dernière décennie ont conduit à une abolition relativement rapide des indicateurs classiques de performance substantielle de la recherche. Aujourd hui, les changements en cours de l idée de l université en tant que fournisseur de structures éducatives internationales, interdisciplinaires et de haut niveau mènent à une réévaluation et à un regroupement permanents des indicateurs. Exemple 2 Actuellement, à travers une double identification, la communauté scientifique et de la recherche influence elle-même les différents aspects des exercices d évaluation: premièrement, la majorité des scientifiques considèrent en principe l évaluation de la recherche comme étant une évaluation purement quantitative. Deuxièmement, il y a une tendance dans le cadre de la communauté scientifique d aborder l évaluation pertinente des performances de la recherche uniquement à travers une méthode basée sur des jugements, de laisser le processus d évaluation libre de toute influence politique et le mettre en rapport avec un milieu consultatif idéal dans un système autogouverné. 61 Voir plus à <http://www.dfg.de/en/index.html>. 62 Le système employé par la Association of American Universities (AAU), fondée en 1900, est encore plus ancien mais assez similaire. Voir Vaughn (2002): 438-439. 76

Cette influence est généralement atténuée par une définition stricte des procédures d évaluation de la recherche. Dans la mesure où les scientifiques et les chercheurs doivent décider au sujet de l institutionnalisation des structures d évaluation, ils peuvent également influencer les processus correspondants de planification et de mise en œuvre. Néanmoins, ils popularisent en premier lieu l approche très efficace, indubitablement de ce qu on appelle l évaluation (collégiale) informée, qui est perçue comme un équilibre entre l autoréférence et les entrées externes. L approche de l évaluation collégiale constitue cependant une marginalisation sociale délibérée des résultats de la recherche. Exemple 3 Comme partie du débat actuel lancé en Allemagne autour de la création de classements des universités, les autorités politiques du pays ont exprimé leur volonté d adopter un concept simple et efficace. Cela s oppose cependant aux demandes de la communauté scientifique d un classement complexe et hautement différencié, basé sur les évaluations collégiales. Le contrôle n est probablement pas la seule question en jeu, et en fait les systèmes d évaluation de la recherche posent une question fondamentale d intention: est-ce qu ils sont un mécanisme de financement, ou un instrument de gestion ou stratégique? Cette distinction comporte une forte influence sur le cadre international de l évaluation, et la réponse qui lui correspond renvoie aux structures d évaluation mêmes. Cette boucle de la réaction est devenue particulièrement évidente dans le cadre de l Exercice d évaluation de la recherche au Royaume-Uni, qui a lieu depuis presque vingt ans. Ce très efficace mécanisme de financement, qui est unique au niveau mondial, est caractérisé par un processus d optimisation permanente qui ne fait pas que tenir compte des différentes réactions officielles et officieuses de la communauté britannique de la recherche, mais les met également en œuvre en termes de conception, d exécution, de pondération des indicateurs et d allocation de fonds. Exemple 4 Les données bibliométriques constituent généralement les fondements des rapports de performance de la recherche, et la validité de ces données requiert des vérifications fréquentes. La Fondation allemande pour la recherche met traditionnellement l accent sur le nombre et la qualité des publications scientifiques à un niveau hautement agrégé (comme celui des établissements d enseignement supérieur), même si elle manifeste une attention extrême pour la manière dont elle traite les indicateurs citations et facteur d impact. Jusqu à ce jour, la DFG n a pas employé ces caractéristiques en tant qu indicateurs dans le processus de considération de nouveaux établissements membres. La DFG a dernièrement utilisé des facteurs d impact pondérés en juillet 2004, comme partie de ses Recommandations pour l allocation en fonction des performances de fonds pour la recherche aux facultés de médecine d Allemagne (2004), mais cela a été fait avec une attention extrême et dans un but précis. Dans le contexte, le scepticisme général concernant ces paramètres est en fait justifié, étant donné qu il n y a eu jusqu ici aucun instrument véritable d assurance de la qualité. Maintenant, cependant, un marché vient de naître en provenance de deux directions, qui n étaient même pas prévues il y a quelques années. D un côté, le mouvement de l Accès libre est censé poser des défis sérieux aux méthodes classiques de publication à moyen terme, et peut modifier fondamentalement les règles de citation dans la communauté 77

académique. En même temps, Elsevier 63 a posé un défi à l Institut pour l information scientifique (ISI) Thompson 64 avec sa plateforme Scopus 65, qui ouvre le débat sur les méthodes dans un processus concurrentiel. A partir de ces évolutions, il semble que la question des citations et de leur pertinence se présente désormais dans une toute nouvelle lumière. Les perspectives de développement Les exemples susmentionnés montrent comment l évaluation de la recherche scientifique rassemble une série diffuse d intérêts, et comment l évaluation est constamment assujettie à des influences internes et externes, par coïncidence ou intention, concernant son fonctionnement et ses méthodes. En vérité, les réactions des scientifiques et des spécialistes n ont pas toujours été professionnelles. Une affirmation radicale du domaine discret d activité, point atypique dans les sciences sociales, est souvent combinée avec une sorte de déclaration d indépendance, selon laquelle le travail constitue une fin en soi. Parfois, cette lutte pour l indépendance est accompagnée par une tendance d expansion du processus de recherche afin d y inclure des aspects plus pratiques ou techniques, comme ceux de l introduction et de la mise en œuvre. Enfin, presque comme un acte désespéré, mais aussi comme une remarquable tentative d éliminer les obstacles entre les intérêts scientifiques et non-scientifiques, on peut témoigner d un certain niveau d auto-nomination en tant que créateur de politiques. Les politiques d évaluation de la recherche continuent à changer plus rapidement que l évaluation de la recherche scientifique en elle-même. Un nombre de questions se profile déjà à l horizon et demande à âtre examiné de manière systématique, incluant des questions fondamentales comme: La base légale de l évaluation de la recherche; L équilibre entre la délégation et la centralisation; Les modèles de financements supplémentaires et les effets d accumulation conséquents; La catégorisation de l évaluation de la recherche en tant qu instrument stratégique; Les évaluations en tant qu instrument de gestion ou en tant que mécanisme de financement; L évaluation des évaluateurs; La légitimité des personnes qui évaluent des établissements. Devant ces lourdes responsabilités il s impose que la communauté scientifique et de la recherche serre ses rangs, afin d assurer un plus haut degré de transparence pour les débats et d intensifier et d enrichir le dialogue avec les parties impliquées. Afin de réaliser cela, ceux qui sont impliqués dans la construction d évaluations doivent se baser en toute confiance sur l incontestée convergence internationale des aspects et des méthodes d évaluation au cours de la dernière décennie. 63 Elsevier maison d édition académique. Son très utile site Internet contient des listes de publications dans des domaines comme les politiques de la recherche, à <http://www.elsevier.com/wps/find/homepage.cws_home>. 64 ISI Web of Knowledge SM Une plateforme de recherche complètement intégrée. Pour plus de détails voir <http://www.isinet.com/>. 65 Scopus une base de données abstraites et indexées, qui offre l accès à 14.000 titres d évaluations collégiales de plus de 4.000 éditeurs internationaux. Voir plus à <http://www.info.scopus.com/>. 78

Références DFG - SENATSKOMMISSION FÜR KLINISCHE FORSCHUNG [The Senate Commission on Clinical Research]. Empfehlungen zu einer "Leistungsorientierten Mittelvergabe" (LOM) an den Medizinischen Fakultäten [Recommandations pour l allocation en fonction des performances de fonds pour la recherche aux facultés de médecine d Allemagne]. Disponible à <http://www.dfg.de/aktuelles_presse/redden_stellungnahmen/2004/download/ stellungnahme_klinische_forschung_04.pdf> (En allemand uniquement). VAUGHN, J. Accreditation, Commercial Rankings, and New Approaches to Assessing the Quality of University Research and Education Programmes, Higher Education in Europe 27 4 (2002): 433-441. 79

Aspects statistiques et mathématiques des classements: l exemple de la Pologne MAREK ROCKI Cet article présente à la fois la variété formelle et méthodologique des approches de classement, et se pose la question s il est possible d obtenir un classement vraiment objectif. Un classement représente une compilation d informations, obtenues selon un critère ou une série de critères. Son but est celui de souligner des différences réelles ou perçues au niveau de la qualité. La méthodologie de classement se réfère à ses critères, les caractéristiques qui permettent d être mesurées. Les méthodes d agrégation, qui se concentrent sur les pondérations, et les différents moyens de classification, suggèrent qu un simple classement objectif ne peut pas exister. Introduction Cet article est censé explorer la grande variété de possibles approches du classement. Il soutient jusqu à un certain point la thèse évidente pour beaucoup qu il n y a point de classement réellement objectif. Selon une définition généralement employée, et cependant informelle, les classements compilent des informations sur un sujet (dans ce cas des établissements d enseignement supérieur), selon un critère ou une série de critères spécifiques; les auteurs de classements d établissements d enseignement supérieur affirment généralement que leur but est de distinguer les établissements en termes qualitatifs. Une grande réputation, une force d attraction, des dotations importantes, un statut d élite, une haute qualité, les meilleurs enseignants possibles, tels sont les attributs caractérisant les établissements qui occupent les premières places des classements. Le rôle des auteurs de classements est de rassembler, vérifier et conserver les informations et à un moment ultérieur les traiter et les disséminer. Les résultats publiés par les auteurs sont d intérêt capital pour les candidats universitaires et leurs parents, mais aussi pour les employeurs et les établissements d enseignement. Les classements offrent aux candidats une source d informations sur le positionnement des universités, ou de leurs unités ou programmes d enseignement, par rapport à ceux d établissements ayant un profil similaire. Les classements peuvent aussi offrir parfois quelques indices concernant les chances d admission d un candidat en fonction de ses résultats préalables. Les employeurs, à leur tour, peuvent utiliser les classements en tant que base de recrutement. Les administrateurs universitaires peuvent apprendre comment les atouts et les faiblesses de leurs établissements sont perçus par d autres, et peuvent employer ces informations afin d améliorer la qualité ou la compétitivité. Un but similaire caractérise tous ceux qui réalisent des évaluations, des accréditations et des classements d établissements d enseignement supérieur, il s agit de la stimulation de la qualité. Les classements sont une conséquence naturelle de l émergence de marchés de l enseignement et de la massification de l enseignement supérieur. De manière corrélée, les relations publiques deviennent également de plus en plus importantes. La manifestation de changements démographiques et législatifs régionaux accorde une importance accrue à l image et à au «nom de marque» des établissements d enseignement supérieur. 80

Les classements et l évaluation, la certification et l accréditation Un classement est une forme spécifique d information concernant un établissement d enseignement supérieur, notamment comment il se compare à d autres selon des règles et des critères établis. Un classement n est pas un type d évaluation, de certification ou d accréditation. L évaluation est la plus simple forme d appréciation, et détermine la qualité d une université selon une série de critères établis. En pratique, on peut effectuer à la fois des évaluations internes faites par exemple à partir d enquêtes interrogeant les étudiants et externes. Comme un exemple d évaluation externe, l Association de l université européenne (EUA) a formé une équipe qui a comme tâche d effectuer des évaluations au niveau de l Europe. Une analyse SWOT 66 est un instrument analytique pertinent, où la position stratégique et l avantage compétitif sont des critères pertinents. Enfin, l évaluation représente souvent une étape préliminaire du processus d accréditation. Les résultats d une évaluation consistent en un rapport sur l établissement (qui ne le positionne pas nécessairement par rapport à d autres), ou en une certification comme le certificat ISO 9000. 67 Le rating, caractérisant en spécial les établissements financiers, permet le classement par groupe. Par exemple, en Finlande, les chaires universitaires sont classées sur une échelle allant de 1 à 7; un rating de 7 situe la chaire parmi les meilleurs dix pour cent en Europe. Le Comité polonais pour la recherche scientifique [Komitet Badań Naukowych] applique un rating similaire, avec une échelle de 1 à 5. Toutefois, qui peut-il être le bénéficiaire de ces ratings: ceux qui ont les meilleurs résultats ou ceux qui font preuve de l évolution la plus importante? Les ressources devraient-elles être allouées afin de soutenir les pires classés? L accréditation représente une autorisation à dérouler une activité éducative. La American Association of Collegiate Schools of Business (AACSB), créée en 1916, est la plus ancienne agence d accréditation connue. Entre 1916 et 1999, l Association a accrédité un nombre de 374 programmes dans le domaine de l administration des affaires et de la comptabilité. L équivalent (et le concurrent) européen de l AACSB est la Fondation européenne pour le développement du management (European Foundation for Management Development - EFMD), qui accorde des accréditations à travers son Système européen de développement de la qualité (European Quality Improvement System - EQUIS). Jusqu ici, l accréditation de l EQUIS a été accordée à 73 établissements, dont 52 se trouvent en Europe. L accréditation en soi peut prendre plusieurs formes. L accréditation peut concerner à la fois des établissements (comme dans le cas de l EQUIS) et des programmes (comme dans le cas de la Commission polonaise d accréditation de l Etat, présentée ci-dessous). Dans le cas de la Pologne, une Commission d accréditation de l Etat [Państwowa Komisja Akredytacyjna] évalue la qualité de l instruction dans l enseignement supérieur et offre des avis concernant les demandes faites par de nouvelles facultés ou universités. Le reste des tâches de la Commission d accréditation de l Etat concernent l autorisation. Les évaluations effectuées par les autres commissions traitent de l accréditation du milieu universitaire. Le fait de passer par la procédure d évaluation effectuée par les 66 La révision du milieu interne et externe constitue une partie importante du processus de planification stratégique. Les facteurs de milieu internes peuvent être généralement caractérisés en tant qu atouts strengths- (S) ou points faibles weaknesses- (W), et ceux externes peuvent être classés en tant qu opportunités opportunities- (O) ou dangers threats- (T). Une telle analyse du milieu stratégique porte le nom d analyse SWOT. Pour plus de détails voir <http://www.quickmba.com/strategy/swot/>. 67 Veuillez bien visiter le site de l Organisation internationale pour la standardisation (ISO) à <http://www.iso.org/iso/en/isoonline.frontpage>. 81

commissions de milieu universitaire est facultatif, étant initié à la demande de l établissement concerné. Les universités publiques de différents types peuvent établir une commission de milieu universitaire. La plus ancienne et la mieux connue en Pologne d entre ces dernières est la Commission d accréditation des universités [Uniwersytecka Komisja Akredytacyjna]. En outre, des personnes ou des associations peuvent créer leurs propres commissions d accréditation, comme la Commission d accréditation de l Association pour l enseignement managérial FORUM [Komisja Akredytacyjna Stowarzyszenia Edukacji Menadżerskiej FORUM] ou la Commission d accréditation des Associations des recteurs et des fondateurs d universités non-publiques [Komisja Akredytacyjna Stowarzyszenia Rektorów i Założycieli Uczelni Niepaństwowych]. Les critères et les éléments caractéristiques des classements Les classements et les méthodologies qu ils intègrent font l objet principal de cette étude. Quels sont les critères qui sont appliqués? Comment sont-ils mesurés? Quelle est la méthode de calcul qui mène à la classification? Les critères sont des caractéristiques définies de manière générale qui typifient le sujet investigué. Ceux-ci peuvent être de nature complexe, comme les conditions d étude, décrits selon des points détaillés pertinents. Les critères peuvent également être mesurés; le classement du Newsweek mesure «la réussite professionnelle des diplômés» en calculant un «pourcentage de diplômés ayant trouvé un emploi dans le cadre des compagnies examinées». En général, le point de départ pour la création de toute sorte de classement est une série de données caractérisant N objets à l aide de caractéristiques S, appelées éléments de diagnostique. Considérons que le sujet de notre analyse est N [(n=1,..., N)] objets et que chacun d entre eux est décrit par S [(s=1,..., S)] éléments de diagnostique. Autrement dit, nous analysons N variables et S informations qui ont été rassemblées afin d effectuer l analyse (une variable et un objet peuvent remplacer l un l autre dans les analyses; une variable peut être remplacée par la valeur caractéristique dans un objet donné). Supposons que: [X sn ] = la réalisation [s] de la variable [n] (autrement dit, une valeur de [s] éléments de diagnostique dans [n] objet. Exemple 1 Considérons le classement de N lycées, en fonction des taux d entrée dans S universités ([s] nombre d universités, et [n] nombre de lycées, dans une année donnée). Les variantes suivantes d évaluation peuvent ainsi être obtenues: [X sn ] = le nombre de candidats de [n] lycée admis dans [s] université; [X sn ] = le nombre de candidats de [n] lycée admis dans [s] université par rapport au nombre de diplômés du lycée; [X sn ] = le nombre de candidats de [n] lycée admis dans [s] université par rapport au nombre total de candidats passant des examens d entrée à l université; [X sn ] = le nombre de candidats de [n] lycée admis dans [s] université par rapport au nombre de diplômés du lycée. Exemple 2 Prenons le classement de N universités caractérisées par S indicateurs (s élément caractéristique de la qualité; [n] université). Dans ce cas spécifique, [X sn ] est la valeur [s] d un indicateur typique pour [n] université. 82

Les éléments qualitatifs et quantitatifs peuvent être à la fois analysés. Les éléments quantitatifs peuvent être de valeur absolue, comme le nombre de membres du personnel ayant des doctorats, employés à temps complet, ou le nombre de volumes de la bibliothèque universitaire. Ou ils peuvent être de valeur relative comme, par exemple, le nombre de candidats en rapport avec le taux d admission à l université ou le nombre d étudiants étrangers par rapport à la population étudiante totale. De l autre côté, les éléments qualitatifs sont une propriété incalculable, dont la variation établie est une partie intégrale ou n existe point dans une unité communautaire donnée, étant donné que les éléments qualitatifs peuvent être à la fois bipartites ou multipartites. Il est possible parfois de rencontrer des éléments de classement (quasi-qualitatifs) qui expriment la magnitude de l élément analysé dans l objet sous examen. Par exemple, le partenariat avec la communauté locale peut être faible, moyen, fort, etc. Il faut aussi distinguer entre les variables qui comportent un caractère cursif et celles qui sont de type ressource. Les premières concernent, par exemple, le nombre de postes de professeur titulaire accordés par an à des membres du personnel, pendant que les dernières peuvent représenter le nombre total de professeurs universitaires employés par une université, à un jour donné (le plus souvent le 31 décembre). La plupart des données utilisées dans les classements concernent une évaluation actuelle d établissements d enseignement supérieur. Cependant, dans certains cas, les auteurs du classement peuvent prendre en compte différentes projections pour l université sous examen. Par exemple, des prévisions concernant les opportunités de travail pour les diplômés d une certaine université peuvent être un élément de classement essentiel. Un tel critère est appliqué, parmi d autres, dans les classements du Wall Street Journal (une question de l enquête concerne les deux ans à suivre), de Perspektywy (un hebdomadaire polonais) et de Rzeczpospolita (un quotidien polonais). Dans certains critères de classement, une valeur élevée correspond à une évaluation positive; dans d autres une valeur basse décide d une évaluation positive. Dans d autres encore, les valeurs approchent un niveau défini. Lorsqu on emploie un critère qui est difficilement classifiable, certaines méthodes de différenciation peuvent s avérer utiles. Grabiński (1984) a étudié les procédures appropriées. Les sources d information, et les valeurs conséquemment attribuées aux critères de classement, se partagent généralement en deux catégories selon le type d établissement d enseignement supérieur: exogènes et endogènes. Par exemple, les données pour un classement de programmes de MBA publié par le Wall Street Journal sont exogènes: elles ont été rassemblées à partir de plus de 200.000 agences de placement et, selon les auteurs du classement, les universités n ont eu aucune influence sur le choix des agences de placement impliquées. De l autre côté, les données obtenues d enquêtes effectuées dans des universités sont endogènes. Cela est fréquent dans les classements polonais (comme ceux des hebdomadaires Perspektywy, Polityka, et Wprost), même si les données obtenues font l objet de vérifications ultérieures à l aide des publications du Ministère de l éducation et des sports (MENiS) et du Ministère de la science et des technologies de l information (MNiI). Dans le cas des classements de Perspektywy et de Rzeczpospolita, les données principales sont exogènes et les données endogènes obtenues d enquêtes internes sont traitées en tant que supplément. Certains auteurs de classements sont sceptiques au sujet de données endogènes, et minimisent leur influence sur le résultat final. C est la raison pour laquelle un classement (Federkeil, 2002: 389-398) catégorise certaines données comme des «faits solides» et d autres comme des «opinions subjectives». Toutefois, ce type de données sont régulièrement employées par Asaki Shimbun (Yonezawa et al., 2002: 373-382), tant qu elles sont prélevées tous les deux ou trois ans. 83

U.S. News & World Report 68 évalue la satisfaction des étudiants par rapport à leurs études d une façon unique, en calculant un pourcentage du nombre d étudiants qui font des donations à leurs universités et un autre pourcentage du nombre d étudiants admis qui finissent leurs études dans un nombre d années donné. Dans le cas des classements, les fondements des calculs ne sont pas toujours directement vérifiables. Dans le processus d élaboration d un classement, il est d autant plus nécessaire de rendre les variables comparables et de définir une forme analytique d une agrégation. Pour ce qui est du premier point, plusieurs possibilités s appliquent: Le classement, c est-à-dire le remplacement de la valeur des éléments de diagnostique par leurs positions (par exemple, la positions d un objet donné dans des classements provisoires à critère unique; voir Rocki, 2001). La transformation en quotient, où les données sont présentées par rapport à une valeur moyenne, minimum ou maximum. Perspektywy, Rzeczpospolita, et Polityka appliquent cette méthode dans leurs classements des universités. Comme il est mentionné par Filinov et Ruchkina (2002), la Directive sur le classement du Ministère de l éducation de la Fédération de Russie inclut également cette méthode. La méthode est développée de la manière suivante: [ v sn = xsn xn, max ] établir une valeur d éléments caractérisés par un maximum (autre que zéro), ou: [ v sn = xsn xn, min ] établir la valeur d éléments caractérisés par un minimum (autre que zéro), ou: [ v sn = xsn xn ] La standardisation, c est-à-dire la transformation des valeurs afin que leur moyenne soit égale à zéro, et la déviation standard soit égale à un: xsn xn [ vsn = ] S x x 2 / S ( sn n ) s= 1 Transformer les valeurs primaires des variables en valeurs relatives tout en préservant une gamme de variation constante, unitaire : [ vsn = xsn ( xn, max xn,min )] [ vsn = ( xsn xn ) ( xn, max xn,min )] [ vsn = ( xsn xn, min ) ( xn,max xn,min )], Cette transformation est employée dans le classement des universités de la Fédération de Russie (Filinov et Ruchkina (2002: 407-422). La transformation isotonique (Pluta, 1986), où les données primaires sont transformées comme il suit: v sn = x sn S s= 1 La valeur [r sn ] représente une partie de l élément [s] de [n] éléments d un objet. A la suite d une telle transformation, la longueur d un vecteur d observation pour des objets distincts (objet = variables) est égale à un (la somme des valeurs transformées est une unité pour un objet donné). Exemple 1 68 Voir America s Best Colleges par U.S. News & World Report à <http://www.usnews.com/usnews/home.htm>. x sn 84

Prenons le classement de N lycées par rapport aux taux d admission dans S universités ([s] nombre d universités, [n] nombre de lycées) dans une année donnée. Les variantes suivantes d évaluation peuvent ainsi être poursuivies: [X sn ] le nombre de candidats de [n] lycée admis dans [s] université; [X sn ] le nombre de candidats de [n] lycée admis dans [s] université par rapport au nombre de diplômés du lycée; [X sn ] le nombre de candidats de [n] lycée admis dans [s] université par rapport au nombre total de candidats passant des examens d entrée à l université; [X sn ] le nombre de candidats de [n] lycée admis dans [s] université par rapport au nombre de diplômés du lycée. Pour développer l Exemple 1 présenté ci-dessus, le classement de N lycée par rapport au taux d admission dans S universités, la transformation isotonique donne des valeurs [r sn ] pour chaque variante d évaluation du lycée dans le processus d admission. Les valeurs sont dérivées d une comparaison entre le nombre de diplômés de [n] lycée admis pour toutes sortes d études. Les valeurs transformées font partie de la variable [s] (les candidats admis dans [s] université) dans [n] objet (parmi l ensemble des candidats admis dans [s] université) dans [n] objet (parmi l ensemble des candidats de [n] lycée). Dans d autres mots, un vecteur d observation concernant la série de données n lycée représente les admissions dans l ensemble des universités S, indifféremment du nombre de candidats de N. Si aucun candidat de N lycée n a été admis dans une université de la gamme S étudiée, alors ce lycée sera exclu du classement. Pour continuer avec l Exemple 2, le classement de N universités caractérisées par S indicateurs (s élément caractéristique de la qualité, [n] université) avec [x sn ] comme valeur [s] de l indicateur typique pour [n] université, considérant que la transformation isotonique [r sn ] est une partie de la valeur [s] qui est caractéristique à [n] université. Selon le type d éléments de diagnostique employés, les valeurs transformées peuvent avoir ou ne pas avoir des interprétations logiques. Le type de recherche qui produit des sous séries de données, dont les éléments sont similaires quant au niveau de la valeur des variations, est appelé recherche isotonique. Un vecteur de [n s ] composantes qui donne des sommes [r sn ] après [n] N N xsn w s = vsn = S n= 1 n= 1 xsn s= 1 est appelé un compteur isotonique (Pluta, 1986). Ce compteur offre des informations concernant une seule composante de la valeur des variables, plus particulièrement de la position typique pour un élément donné dans la série d objets sous révision. Dans ce cas, un classement représente la classification d objets en fonction de la hausse des valeurs du compteur. L agrégation de critères et leurs éléments L agrégation de variables dans le but de classer des objets (établissements) est un défi méthodologique. Dans un classement digne de ce nom, les établissements sont classés accompagnés par une analyse des variables utilisées dans la différenciation. La définition d une mesure synthétique, qui permette le classement, constitue un problème caractéristique au classement multicritères; une telle mesure synthétique doit être représentative pour un méta-élément (ou méta-critère) inobservable, qui est la base du meilleur objet possible. 85

Dans un classement multicritères, l agrégation de données renvoyant à beaucoup d éléments est réalisée afin d établir une seule mesure synthétique et de permettre la classification (la maximisation de moyennes pondérées d indicateurs à partir de l évaluation multicritères). La méthode employée le plus fréquemment dans les classements polonais (Polityka, Perspektywy, Rzeczpospolita, Wprost) consiste en l addition d une valeur convertie à travers un système de pondération établi a priori (c est-à-dire de manière subjective). Une alternative à cette méthode d addition des valeurs pondérées d éléments standardisés pourrait être la catégorisation des objets sans la nécessité de construire un élément synthétique (Nykowski, 2001). Il est également possible de créer un élément synthétique (une variable de diagnostique agrégée), employant la méthodologie du modelage doux (voir Jőreskog et Wold (1982); Rogowski (1986), ou le classement de Perspektywy des lycées de Varsovie 1997-2004). L importance des classements est censée varier, qu il s agisse de classements à critère unique, de classements à pseudo-critère unique (où une évaluation multicritères est remplacée par un méta-critère ordinal), ou de classements multicritères véritables. Le premier, le classement à critère unique, établit une liste selon un critère spécifique. Des exemples de ce type incluent le classement de spécialisations d étude entrepris par le mensuel polonais Eurostudent en novembre 1999, les classements des lycées français par L évènement du Jeudi, ou les classements dans le domaine de l enseignement supérieur du Newsweek. Dans ces classements on a tenu compte des facteurs suivants: Le nombre de candidats par rapport à celui de places de première année dans une année donnée (Eurostudent). Les taux de passage prévu et réel aux examens de fin des études secondaires (L évènement du Jeudi). Le nombre de diplômés de l université concernée occupant des postes administratifs par rapport au nombre total de diplômés durant la période examinée (Newsweek, numéros du 6 avril 2003 et du 21 mars 2004). Ce classement est apparemment à multicritères, mais en pratique il mesure une seule chose: combien de diplômés ont des postes bien payés (Wróblewski, 2002). Les avoirs de l établissement (comme dans le classement de Gazeta Bankowa des 200 plus grandes firmes financières polonaises). En ce qui concerne les classements polonais en particulier, qui emploient des méta-critères de la qualité, il y a d autres qui sont dignes d être mentionnés. Ceux-ci sont les suivants: Les conditions d étude (Perspektywy), le classement axé sur l étudiant (Polityka), et les conditions sociales d étude (Wprost). Le prestige et le potentiel des enseignants (Perspektywy), la position concurrentielle par rapport à d autres universités (Polityka), et la formation académique des enseignants (Wprost). Les suivantes caractéristiques exogènes sont également dignes d être mentionnées: La position institutionnelle du Comité pour la recherche scientifique; L attribution de titres et de diplômes d honneur, et/ou le nombre de diplômes de doctorat et de procédures de habilitation entreprises; L adhésion aux procédures d accréditation et la réussite dans ce sens; La proportion d étudiants de mastaire par rapport au nombre total d étudiants à temps complet; Le nombre de candidatures par rapport au nombre d admissions; Le nombre d étudiants à temps complet et celui d étudiants à temps partiel; La capacité des dortoirs, par rapport au nombre d étudiants nécessitant un hébergement; 86

Les perspectives de travail des diplômés. Enfin, les éléments endogènes employés dans le contexte polonais incluent les suivants: Le nombre de bourses accordées; Le nombre de publications par enseignant; Les ressources de bibliothèque, représentées par le nombre d ouvrages et de périodiques; Le nombre d associations scientifiques et d organisations des étudiants; L activité du bureau de carrière et/ou de placement d étudiants; L étendue du réseau de bibliothèque et de TI en général. Les éléments de diagnostique susmentionnés sont pris en considération, même avec différentes pondérations, en tant que mesures d évaluation. Par exemple, le classement de Polityka mesure son indicateur position de l université avec une pondération attribuée inférieure à.25 (les auteurs n en offrent pas des détails), pendant que pour Perspektywy l indicateur potentiel intellectuel reçoit une pondération de.10 dans le classement final. Conclusion La variété de méthodologies, et donc de critères employés, suggèrent qu il ne peut pas y avoir un unique classement objectif. Même si on considère tous les postulats concernant les critères appliqués à chaque étape, le résultat final reflète le système de pondération adopté et la méthode de standardisation de données. Il n est pas surprenant de voir tous les ans des débats enflammés, des discussions publiques et des vérifications éditoriales internes au sujet des derniers classements en date. Parfois, les résultats peu flatteurs d un classement déterminent des établissements évalués publiquement à s opposer ou à boycotter l initiative dans son ensemble. Comme le fait remarquer Eccles (2002: 423-432), il n y a pas de preuve évidente du fait que les classements influencent les modèles de comportement de leurs utilisateurs; il est clair que les classements représentent un concept relativement jeune, dans la mesure où ils remettent en question les traditions séculières de certaines universités. Cependant, l émergence des classements est le résultat de changements qualitatifs profonds dans nos systèmes d enseignement supérieur et en tant que tels leur développement durable semble assuré. Les auteurs de classements qui veulent préserver l intégrité et la pertinence de leur implication doivent être capables de prouver leur crédibilité et leur impartialité, ainsi que la transparence de leur travail et de leurs méthodes. Références ECCLES, C. The Use of University Rankings in the United Kingdom, Higher Education in Europe, 27 4 (2002): 423-432. GRABINSKI. T. Wielowymiarowa analiza porównawcza w badaniach dynamiki zjawisk ekonomicznych [Une analyse comparative multidimensionnelle de la recherche en sciences économiques], Zeszyty Naukowe Akademii Ekonomicznej w Krakowie, 61, 1984. JORESKOG, K.G., et WOLD, H. Systems under Indirect Observations. Causality-Structure- Prediction. Amsterdam: North-Holland Publishing Company, 1982. 87

FEDERKEIL, G. Some Aspects of Ranking Methodology The CHE Ranking of German Universities, Higher Education in Europe, 27 4 (2002). FILINOV, N.B., et RUCHKINA, S. Ranking of Higher Education Institutions in Russia, Higher Education in Europe, 27 4 (2002): 407-421. NYKOWSKI, I. O rankingach skończonego zbioru obiektów ocenianych wielokryterialnie [Du classement de nombres finis de séries multicritères], Séries de conférences du recteur de l Académie de sciences économiques de Cracovie, No. 49, 2001. PLUTA, W. Wielowymiarowa analiza porównawcza w modelowaniu ekonometrycznym, [Une analyse comparative multidimensionnelle du modelage économétrique], Biblioteka Ekonometryczna, Varsovie: PWN, 1986. ROCKI, M. Ranking liceów w rekrutacji do SGH [Le classement d écoles secondaires dans le choix des étudiants de l Ecole de sciences économiques de Varsovie], Informator dla kandydatów na studia, Varsovie: SGH, 2001. ROGOWSKI, J. Kilka uwag o miękkim modelowaniu ekonometrycznym [Quelques observations sur le modelage économétrique doux ], Przegląd Statystyczny, No. 4, 1986. WROBLEWSKI, T. Artykuł wstępny do rankingu uczelni [Editorial Du classement des établissements d enseignement supérieur], Newsweek, 31 mars 2002, édition polonaise. YONEZAWA, A., NAKATSUI, I., et KOBAYASHI, T. University Rankings in Japan, Higher Education in Europe, 27 4 (2002): 373-382. 88

Des leçons tirées de l évaluation de la qualité en Australie et en Nouvelle-Zélande 69 MARGUERITE CLARKE Cet article présente deux efforts récents de classement de la qualité d établissements d enseignement supérieur d Australie et de Nouvelle-Zélande. Après une brève analyse des buts, des méthodes et des résultats, l auteur évalue chaque classement à travers les questions suivantes: est-ce que cette approche méthodologique accomplit son but? Est-ce que d autres pays peuvent utiliser la méthodologie par extension? Que peut-on apprendre au sujet du système d enseignement supérieur d un pays en employant cette approche? Le but est d offrir aux lecteurs un cadre de réflexion critique sur les classements et sur le rôle qu ils peuvent jouer pour mesurer et influencer la qualité de l enseignement supérieur à l échelle mondiale. Introduction Les classements de la qualité d établissements d enseignement supérieur constituent un phénomène mondial en rapide évolution. Cet article présente deux des initiatives de classement de la région Asie-Pacifique: l évaluation de la qualité de la recherche dans les organisations d enseignement tertiaire de Nouvelle-Zélande du Performance-Based Research Fund, et l Index de l Institut de Melbourne 70 du classement international des universités australiennes. Les classements révèlent deux tendances importantes de l évaluation de la qualité de l enseignement supérieur: l usage de classements afin de déterminer les allocations destinées aux établissements, et l apparition de classements internationaux (censés être des listes des meilleures universités dans le monde). Ainsi, l analyse des méthodologies employées par ces classements spécifiques peut nous apprendre beaucoup de leçons générales. L article est structuré de la manière suivante: après une brève présentation des buts, des méthodes et des résultats, l auteur évalue chaque classement à travers les questions suivantes: 71 est-ce que cette approche méthodologique accomplit son but? Est-ce que d autres pays peuvent utiliser la méthodologie par extension? Que peut-on apprendre au sujet du système d enseignement supérieur d un pays en employant cette approche? L article se clôt par des considérations concernant le rôle que les classements peuvent jouer pour mesurer et influencer la qualité de l enseignement supérieur à l échelle mondiale. Les sources de données utilisées incluent les classements et les publications susmentionnés (y inclus les rapports des médias), valables en décembre 2004. 69 Cet article est basé sur une communication présentée durant la première réunion du groupe de travail sur le projet «Les systèmes et les méthodologies de classement dans l enseignement supérieur», organisée par le Institute for Higher Education Policy et le Centre européen de l UNESCO pour l enseignement supérieur, à Washington D.C., Etats-Unis, les 10-11 décembre 2004. L auteur remercie la Fondation Spencer et la Fondation William et Flora Hewlett pour leur soutien financier, à travers le Programme de bourses d études avancées de l Université Brown, pour son travail sur les classements et sur d autres questions concernant la qualité dans l enseignement. La responsabilité pour les données présentées, les idées exprimées et les conclusions tirées incombe entièrement à l auteur. 70 Vous pouvez visiter l Institut de recherches économiques et sociales appliquées de Melbourne <http://melbourneinstitute.com/>. 71 Les questions sont basées sur celles stipulées dans la présentation de la réunion du susmentionné groupe de travail sur les classements. 89

Le Performance-Based Research Fund de Nouvelle-Zélande 72 La Tertiary Education Commission (Commission pour l enseignement tertiaire - TEC) est un corps nommé par le gouvernement responsable du financement de l ensemble de l enseignement et de la formation post-obligatoire en Nouvelle-Zélande. Un de ses buts principaux est la mise en œuvre du Performance-Based Research Fund (Fonds pour la recherche selon les performances - PBRF), le nouveau mécanisme d évaluation et de financement de la recherche pour les organisations d enseignement tertiaire de Nouvelle- Zélande. Le PBRF a comme but le développement de la qualité de la recherche académique en Nouvelle-Zélande. Cela requiert une «évaluation des performances de recherche d organisations d enseignement tertiaire en ensuite leur financement en fonction de leurs performances» (TEC, 2004a: 1). Les membres de la TEC ont conçu l exercice d évaluation du PBRF pour réaliser le double objectif de la recherche dans le domaine de l enseignement tertiaire: «afin de développer les savoirs et la compréhension entre tous les domaines d activité humaine; et d assurer que l instruction, et surtout la formation en recherche de niveau post-universitaire, ont lieu dans un cadre caractérisé par une activité de recherche solide et de haute qualité» (TEC, 2004a: 1). A ce but, le PBRF s appuie sur trois sources de données: la qualité des résultats de recherche d universitaires, le nombre d accomplissements de diplômes de recherche atteint par chaque organisation d enseignement tertiaire, et le revenu externe pour la recherche de chaque établissement d enseignement tertiaire. Les trois sources ont une pondération de 60/25/15 respectivement, et elles déterminent le quantum des allocations que chaque établissement reçoit du PBRF. Selon les documents de la TEC, le processus d évaluation du PBRF a été développé en consultation avec le domaine de l enseignement tertiaire de Nouvelle-Zélande (TEC, 2004a). Même s il y a quarante-cinq établissements qui sont éligibles pour les allocations du PBRF, seulement la moitié (incluant toutes les huit universités, deux polytechniques et quatre collèges pédagogiques) ont pris part à l évaluation de 2003. La méthodologie de classement La composante principale de l évaluation du PBRF et celle sur laquelle sont basés les classements est l Evaluation de la qualité. Cette composante a eu deux étapes au cours de l évaluation de 2003. Durant la première étape, les établissements participants ont examiné les Dossiers justificatifs préparés par leur personnel éligible pour le PBRF. Chaque Dossier, contenant des publications et d autres conclusions de recherche, a reçu une des quatre catégories qualitatives possibles: A, B, C, ou R. Selon la documentation de la TEC, A indique «une recherche de niveau mondial», B indique «une recherche de très bonne qualité», C indique «une recherche de bonne qualité», et R indique que «le Dossier justificatif n a pas satisfait les critères» requis pour obtenir un C (TEC, 2004a: 6). Uniquement les dossiers qui reçoivent un A, B, ou C arrivent à la deuxième étape du processus d évaluation: l analyse collégiale externe. 73 Du nombre total de 8.013 individus éligibles pour le PBRF dans les établissements participants, 5.771 ont eu leurs dossiers évalués par un comité externe d analyse collégiale. 72 Des détails sur le Performance-Based Research Fund sont disponibles à <http://www.minedu.govt. nz/index.cfm?layout=document&documentid=7503&indexid=1216&indexparentid=1028>. 73 Les établissements sont tenus d informer la TEC concernant les dossiers ayant reçu un R. 90

Les comités ont été composés par 165 experts académiques (dont 33 de l étranger), organisés en 12 groupes selon les disciplines. Chaque comité a du analyser un nombre donné de Dossiers justificatifs. Les membres des comités ont évalué les trois composantes suivantes de chaque dossier: les résultats de la recherche, la réputation collégiale, et la contribution au milieu de la recherche. Les évaluateurs ont noté chaque composante sur une échelle allant de 0 à 7. Les scores ont été ensuite pesées (avec les résultats de la recherche pesant 70, la réputation collégiale 15, et la contribution au milieu de la recherche 15), et utilisées afin d obtenir une Catégorie indicative de la qualité. Les limites des catégories ont été établies à 200 (R/C), 400 (C/B), et 600 (B/A). Les comités ont ensuite fait un jugement général afin de placer les Dossiers justificatifs dans des Catégories finales de la qualité. 74 Les comités d analyse collégiale ont accordé une Catégorie qualitative A à 5,7 pour cent (selon FTE 75 ) des 8.013 membres du personnel dont la recherche pouvait être évaluée. Environ deux cinquièmes (selon FTE) du personnel éligible au PBRF ont été considérées comme ne remplissant pas encore les standards requis pour obtenir un C, et ont reçu une Catégorie qualitative R. Les scores qualitatifs par disciplines et établissements basés sur les Catégories qualitatives finales des membres du personnel individuels 76 ont servi à classer de manière comparative des disciplines (comme l anthropologie et l éducation, par exemple) et des établissements (l Université d Auckland et l Université de Canterbury), en fonction de la qualité perçue de la recherche effectuée. Pour ce qui est des décisions relatives au financement, les scores qualitatifs des établissements ont été combinés avec des données concernant le taux de finalisation des diplômes de recherche et les revenus externes pour la recherche afin de calculer le montant des allocations futures pour la recherche. Validité et fiabilité Le processus d évaluation de la qualité avait compris un nombre de mesures de protection censées accroître la fiabilité et la pertinence des résultats. Au niveau du comité, les évaluateurs ont été conseillés de tenir compte de circonstances spéciales, comme l emploi à mi-temps, lorsqu ils examinent un dossier académique. Les évaluateurs ont également eu à suivre des indications spécifiques concernant les potentiels conflits d intérêts, intervenant lorsqu un membre du comité connaissait la personne dont le dossier était évalué. Un comité de modération, composé par 12 membres des comités et un membre indépendant, a supervisé la consistance intra- et inter-comités et la pertinence du processus d évaluation. En dehors de ces vérifications, la TEC et le Ministère de l éducation de Nouvelle- Zélande a audité l Evaluation de la qualité. A partir des résultants, la TEC est arrivée à la conclusion que les résultats de l Evaluation de la qualité de 2003 donnent une image pertinente de la qualité de la recherche qui est effectuée dans le domaine de l enseignement tertiaire (néo-zélandais] (TEC, 2004a: 3). 74 Peu avant la fin de ce processus d évaluation, les membres des comités ne connaissaient pas encore les Catégories de la qualité nominalisées par des organisations d enseignement tertiaire. 75 FTE - full time equivalent (durée équivalente au plein temps). 76 Le calcul des scores qualitatifs a requis d assigner des poids aux quatre Catégories qualitatives: A (10), B (6), C (2), et R (0). Le système de pondération a été appliqué à l ensemble du personnel éligible au PBRF. Les membres du personnel éligibles au PBRF qui n ont pas soumis leurs Dossiers justificatifs à l analyse collégiale ont reçu un R (0). Les scores qualitatifs ont été calculés à la fois sur la base d une durée pondérée FTE et non-fte (c est-à-dire sans ajuster des fonctions fractionnelles). 91

Résultats Les résultats de la première Evaluation de la qualité se sont matérialisés dans le rapport Evaluating Research Excellence: The 2003 Assessment (L évaluation de l excellence dans la recherche: l évaluation de 2003), publié en 2004. Le rapport (qui inclut également des données sur le taux de finalisation de diplômes de recherche, les revenus externes pour la recherche, et les allocations financières estimées pour 2004) peut être téléchargé sur le site de la TEC, <http://www.tec.govt.nz>. Les résultats de l Evaluation de la qualité incluent des données sur la distribution générale de Catégories qualitatives et des scores qualitatifs pour chacun des 22 établissements participants, 12 comités d analyse collégiale, et 41 domaines. Les établissements, les comités, et les domaines ont été classés selon leurs scores qualitatifs. Le Tableau 1 présente les classements d établissements. L ordre suit le score qualitatif pondéré selon le FTE de chaque établissement, à partir d un score maximum possible de 10. Il inclut également des données concernant le nombre d enseignants FTE évalués dans chaque établissement. TABLEAU 1. Classements du PBRF des établissements d enseignement tertiaire de Nouvelle-Zélande Etablissement d enseignement tertiaire Score qualitatif Enseignants FTE évalués University of Auckland 3,96 1.411,8 University of Canterbury 3,83 590,1 Victoria University of Wellington 3,39 579,3 University of Otago 3,23 1.174,9 University of Waikato 2,98 536,3 Lincoln University 2,56 195,3 Massey University 2,11 1.225,8 Carey Baptist College 1,16 8,6 Anamata 1,00 2,0 Bible College of New Zealand 0,83 17,9 Auckland University of Technology 0,77 567,7 Unitec Institute of Technology 0,71 345,8 Auckland College of Education 0,39 174,2 Whitecliffe College of Arts and Design 0,36 16,29 Te Whare Wananga o Te Pihopatanga o Aotearoa 0,35 11,5 Waikato Institute of Technology 0,32 108,0 Te Wananga o Aotearoa 0,32 67,2 Dunedin College of Education 0,27 66,4 AIS St Helens 0,22 18,2 Christchurch College of Education 0,20 170,4 Wellington College of Education 0,03 109,7 Bethlehem Institute of Education 0,00 17,2 Source: TEC (2004a: 49). MOYENNE 2,59 L Université d Auckland, l établissement le plus grand et le plus prospère du pays, occupe la première place. Les auteurs du rapport mettent en évidence le fait que l Université d Auckland obtient le meilleur score qualitatif et qu elle a la plus grande proportion de chercheurs de catégorie A (35,9 pour cent, pondéré selon FTE). En général, les scores qualitatifs des établissements de Nouvelle-Zélande paraissent assez bas, étant compris entre 3,96 pour l Université d Auckland et zéro pour l Institut pédagogique de Bethlehem. Les auteurs de ce rapport montrent toutefois que «il n est nullement indiqué qu un score qualitative inférieur à 5 constitue un échec» (TEC, 2004a: 92

38). Ils expliquent qu il est déraisonnable de demander à un établissement d atteindre un score qualitatif maximum possible de 10 dans la mesure où tous les enseignants éligibles au PBRF devraient obtenir une Catégorie qualitative A afin que cela arrive. Les auteurs remarquent également que de grandes différences de score au niveau des établissements participants «doivent être prévues, et de certaine manière reflètent un état positif de différenciation et de spécialisation dans le cadre du secteur de l enseignement tertiaire» (TEC, 2004a: xii). L évaluation Est-ce que cette approche méthodologique atteint son but? Le ministère néo-zélandais de l éducation et la TEC ont requis une analyse de l évaluation du PBRF de 2003. La TEC a rendu disponibles des documents pour des consultations dans le cadre du secteur, ainsi que l évaluation du PBRF proposée pour 2006. L idée générale de ces rapports est celle de l affirmation des processus utilisés, accompagnée par des suggestions allant dans le sens du raffinement et du développement. Par exemple, le rapport d évaluation observe que «aucune partie impliquée dans cette évaluation n a requis un remaniement fondamental du PBRF ou du processus d évaluation de la qualité» (WEB Research, 2004: 8). Les auteurs de ce rapport et d autres rapports font remarquer que les personnes interrogées ont souligné certains aspects du processus d évaluation du PBRF, y inclus le modèle mixte de l analyse collégiale et des indicateurs quantitatifs de performance, pour l exercice général, et le principe d une évaluation globale, basée sur des standards, de la qualité de la recherche. En même temps, les interviewés ont identifié plusieurs domaines nécessitant des améliorations. Ceux-ci incluent des inconsistances visibles dans l interprétation et/ou l application des critères d éligibilité du personnel, le potentiel discriminatoire du processus d analyse collégiale, et les stigmates rattachés à certaines Catégories qualitatives. Le rapport d évaluation a traité la question de l éligibilité du personnel comme il suit: La détermination du nombre d enseignants éligibles au PBRF est essentielle pour une [organisation d enseignement tertiaire] parce tous les enseignants éligibles au PBRF sont inclus dans le dénominateur afin de calculer le score qualitatif. Néanmoins, dans le cadre actuel des politiques, [un établissement] se confronte à des pressions contradictoires dans l application des directives d éligibilité. D un côté, il est motivé à réduire le nombre d enseignants éligibles (et en particulier les enseignants susceptibles de recevoir un R ) dans le but de réduire l envergure de son dénominateur et d augmenter son score qualitatif potentiel. De l autre côté, si il exclut des enseignants qui ont la possibilité d obtenir au moins un C, il court le risque de voir diminuer les allocations auxquelles il a droit (WEB Research, 2004: 18). Les auteurs recommandent une analyse et une révision des critères d éligibilité du personnel et que les règles «soient appliquées de manière systématique» (WEB Research, 2004: 19). Des inquiétudes concernant l application de critères d éligibilité du personnel ont également été exprimées par les médias au moment de la publication du rapport de 2004, relatives à des différences visibles entre les proportions d enseignants soumises à l analyse collégiale externe par chacune des huit universités néo-zélandaises (see, Cohen, 2004b: 22). Le potentiel discriminatoire de l Evaluation de la qualité de 2003 a représenté un problème spécialement en rapport avec les nouveaux chercheurs. Plusieurs observateurs ont attribué cela à... une conséquence anticipée du système de notation, qui rendait difficile la tâche des jeunes chercheurs censés apporter des preuves afin d obtenir des notes [pour la contribution au milieu de la recherche et pour l estime collégiale] qui les permettent de dépasser «le palier R/C» (WEB Research, 2004: 29). 93

Le rapport d évaluation a suggéré de traiter ce problème en permettant aux nouveaux chercheurs de faire le choix entre deux voies différentes d évaluation. Le rapport du comité de modération a également fait référence aux «effets potentiellement démoralisateurs de l Evaluation qualitative de 2003 sur les nouveaux chercheurs» et a recommandé à la TEC de créer une nouvelle Catégorie qualitative pour ce groupe spécifique (TEC, 2004b: 3). Un problème cotangent a été le stigmate posé sur certaines des Catégories qualitatives, en particulier sur la dénomination R. Des cadres du TEC ont expliqué la signification de la catégorie R de la manière suivante: La réception d un R ne signifie pas que le membre du personnel en question est nécessairement un chercheur inactif ou qu aucun des résultats de recherche produits n est de bonne (ou de très bonne) qualité. Cela signifie plutôt que le Dossier justificatif n a pas satisfait les critères requis pour obtenir un C (TEC, 2004a: 44). Cependant, le rapport d évaluation de WEB Research a remarqué que «malgré de nombreuses explications de la TEC concernant la Catégorie qualitative R, le constat de l évaluation a été que cette dernière a été généralement comprise comme signifiant inactive du point de vue de la recherche» (WEB Research, 2004: 29). Le rapport du comité de modération a recommandé à la TEC de bien informer les établissements au sujet de la catégorie R et des autres catégories qualitatives (TEC, 2004b). D autres ont proposé de renommer les catégories afin de réduire les connotations négatives qui leur sont rattachées (par ex. TEC, 2004c). Est-ce que d autres pays peuvent employer la méthodologie par extension? Peu après la publication des classements du PBRF, la TEC a demandé au Groupe de conseil Allen d analyser l opportunité d une tentative d évaluation internationale de la qualité de la recherche dans le secteur de l enseignement tertiaire de Nouvelle-Zélande, et d identifier des méthodologies pouvant être employées à ce but. 77 Dans son rapport, International Comparison of Research Quality in the New Zealand Tertiary Education System (Une comparaison internationale de la qualité de la recherche dans le système d enseignement tertiaire de Nouvelle-Zélande), le Groupe de conseil Allen identifie quatre raisons pour une évaluation comparative internationale de la qualité de la recherche en Nouvelle-Zélande, et arrive à la conclusion que la méthodologie de l analyse collégiale du PBRF offre les moyens nécessaires pour comparer la qualité de la recherche au niveau international. Le rapport propose deux scénarios. Dans le premier il s agit de faire des comparaisons en utilisant des données issues des analyses collégiales d autres pays (par exemple, l Exercice d évaluation de la recherche du Royaume6uni et le PBRF de Nouvelle- Zélande). Les auteurs mettent en évidence le fait que même si certaines différences entre chaque processus d analyse collégiale «compliquent indubitablement toute tentative de comparer les résultats», il serait possible de faire des ajustements à travers d autres données disponibles relatives aux performances «afin de créer un certain degré de conversion entre les catégories de classement sur une base commune entre les deux exercices» (Groupe de conseil Allen, 2004: 18). Le deuxième scénario présuppose l utilisation d un système trans-national d analyse collégiale fait sur mesure. Les auteurs proposent cela comme un moyen de vaincre les problèmes méthodologiques associés au premier scénario. Cependant, ils mettent en évidence le fait que les problèmes associés à une telle approche coûteuse, consommatrice 77 Au début de l année 2004, l Université d Auckland et l Université Victoria de Wellington ont gagné une action en justice temporaire contre la publication du rapport d évaluation du PBRF. Les deux universités voulaient qu on élimine du rapport ce qu elles considéraient être une comparaison «erronée du point de vue analytique» entre un nombre d universités britanniques et néo-zélandaises (Cohen, 2004a: 035). Cette section a du être éliminée de la version finale du rapport final. 94

de temps, et nécessitant un degré considérable de coopération trans-nationale sont d envergure. Que peut-on apprendre sur le système d enseignement supérieur d un pays en employant cette approche? Les classements du PBRF analysent le niveau général et la distribution de la qualité de la recherche dans le secteur néo-zélandais de l enseignement supérieur. Dans les mots du rapport de 2004, les résultats montrent qu il y a un nombre considérable d universitaires néo-zélandais «effectuant des recherches de niveau mondial», ainsi qu une «force de recherche importante dans beaucoup de disciplines, et dans la plupart des universités du pays» (TEC, 2004a: xi). Les auteurs remarquent, toutefois, qu à cause du fait que moins de la moitié des établissements éligibles ont participé à l Evaluation de la qualité de 2003, les résultats n offrent pas une perspective complète sur la qualité ou sur la quantité d activités de recherche existants dans le secteur de l enseignement supérieur du pays. En outre, les classements ne s intéressent pas à la qualité de la recherche effectuée dans d autres endroits, comme les instituts de recherche, par exemple. Ils ne s intéressent pas non plus à la qualité de la formation dans les établissements d enseignement tertiaire. Le positionnement international des universités australiennes Même s il n existe pas de classements officiels en Australie, il y a un intérêt grandissant pour une évaluation de la qualité relative des établissements d enseignement supérieur australiens (Illing et Cooper, 2004: 028). Le 24 novembre 2004, Ross Williams et Nina Van Dyke de l Institut de recherches sociales et économiques appliquées de Melbourne ont publié un rapport intitulé The International Standing of Australian Universities (Le classement international des universités australiennes). Ce classement, qui représente la toute première évaluation du positionnement mondial de toutes les universités australiennes, est désormais connu sous le nom de L index de l Institut de Melbourne. Les buts de l exercice de classement a été de «mesurer le positionnement international de chaque université australienne» et d offrir des conseils «concernant les attributs qui déterminent le positionnement international d une université» (Williams et Van Dyke, 2004a: 2). Les auteurs mettent en évidence qu il est important de savoir où se placent les universités australiennes dans l ordre mondial parce que cela peut aider les universités «à améliorer leur statut et à attirer plus efficacement les meilleures étudiants et scientifiques» (id.). La méthodologie de classement Les chercheurs ont abordé l exercice de classement sur deux axes: (a) une enquête impliquant des vice-recteurs d universités étrangères hautement classées et des doyens d universités australiennes, et (b) des données quantitatives non-publiées sur les universités australiennes. Les deux approches ont été reliées en demandant aux répondants des enquêtes de proposer des poids afin de combiner les mesures en un seul index. Le but de l enquête a été de mesurer le positionnement par réputation de chaque université australienne par rapport aux autres et sur la scène mondiale. Les auteurs ont envoyé des enquêtes aux dirigeants exécutifs de 172 des «meilleures» universités étrangères du monde (identifiées à l aide des classements de l Université Jiao Tong de Shanghai), ainsi qu aux doyens de 39 universités australiennes. Les auteurs ont reçu des réponses valides de 40 dirigeants exécutifs de l étranger, dont la moitié provenaient d établissements européens. Même si ce taux de réponse peut sembler réduit, Williams et Van Dyke font remarquer que cela s accorde avec leur écart prévu, à cause du fait qu ils ont 95

sur-échantillonné (anticipant un taux élevé de non-réponses). Au niveau national, ils ont reçu des réponses de 8à doyens d universités australiennes. On a demandé aux répondants internes et étrangers de noter chaque université australienne par comparaison à des universités étrangères sur une échelle à cinq points. 78 Les réponses venues de personnes hors Australie ont reçu le poids de,5. Celles venues de l intérieur ont reçu,25. Des doyens australiens et des vice-recteurs néo-zélandais ont également du classer les meilleures 10 universités d Australie en fonction du critère du positionnement international. Ces données ont reçu un poids de,25. En plus de l enquête selon la réputation, les auteurs ont employé cinq catégories de données quantitatives de performance: le positionnement international des enseignants, la qualité des programmes post-universitaires, la qualité des entrants universitaires, la qualité des programmes universitaires, et les ressources des universités. Les auteurs ont déterminé le positionnement international des enseignants selon leur activité de recherche et ses effets; en particulier, les publications, les citations de ces publications, la reconnaissance par les collègues, et les revenus de recherche. Les indicateurs des autres catégories (concernant les étudiants, les programmes et les ressources) ont inclus les taux de progression et de finalisation des étudiants, les notes d admission à l université, les évaluations des étudiants, les taux enseignants/étudiants, la poursuite d études avancées, les ressources par étudiant, et les ressources par universitaire. Le rapport de Williams et Van Dyke offre des détails supplémentaires sur les indicateurs utilisés, y inclus une description des sources de données et de leur traitement. Les deux approches l enquête selon la réputation et les données quantitatives de performance ont été reliées en demandant aux répondants de proposer des poids afin de corroborer les mesures en un index unique, ayant comme critère «le positionnement international».les dirigeants d universités étrangères et les doyens australiens ont accordé des poids très similaires aux six classes d attributs. Les poids finaux des auteurs, qui représentent ces jugements, sont: le positionnement international des enseignants (40 pour cent), la qualité des programmes post-universitaires (16 pour cent), la qualité des entrants universitaires (11 pour cent), la qualité des programmes universitaires (14 pour cent), les ressources (11 pour cent), et l avis des collègues (8 pour cent). Il est intéressant de remarquer que les répondants ont accordé le moindre poids à leurs propres avis. Les auteurs ont trouvé une corrélation accrue entre les résultats de l enquête et les données quantitatives de performance. L introduction de l index composite a maximisé cette corrélation. Les ajustements faits selon la teille de l université se reflètent aussi dans cet index. Les universités australiennes ont été classées en fonction de leurs scores indexés. La validité et la fiabilité Williams et Van Dyke ont cherché à accroître la solidité et la pertinence de leurs classements en traitant deux aspects généralement critiqués dans d autres classements. Ils ont répondu à une critique fréquente d autres classements internationaux que les indicateurs employés se concentrent trop sur l activité de recherche en étendant leur couverture pour inclure des 78 Les dirigeants exécutifs étrangers «ont été priés de comparer le positionnement international de chaque université australienne au positionnement d universités de leur continent respectif. On a employé une échelle à cinq points, avec des catégories calibrées pour chaque continent (Amérique du Nord, Europe et Asie)» (Williams et Van Dyke, 2004a: 14). Les doyens australiens et les vice-recteurs néo-zélandais ont du faire des comparaisons avec des universités nord-américaines. 96

mesures de l enseignement et de la formation en recherche. 79 Ils ont répondu à une critique des classements des études en général le fait que les chercheurs choisissent de manière arbitraire les poids employés en sollicitant aux répondants de l enquête d accorder des poids aux six grands groupes d indicateurs. Williams et Van Dyke ont employé leurs propres poids dans chacune des six catégories. Les auteurs ont remarqué que puisque les positionnements généraux seront plus sensibles au choix des poids des six grandes catégories qu ils le seront par rapport aux poids assignés aux variables individuelles dans le cadre des catégories (Williams et Van Dyke, 2004a: 8) ils ont réussi à réduire de cette manière l importance de leurs «perceptions subjectives» (id.). En guise de vérification externe de la validité, les chercheurs ont comparé leurs résultats à d autres classements internationaux (voir Tableau A3, dans le rapport). Il s agit en particulier d un classement de 2004 des meilleures 500 universités du monde élaboré par des chercheurs de l Université Jiao Tong de Shanghai, 80 et d un classement des meilleures 200 universités publié dans The Times Higher Education Supplement en novembre 2004. 81 Williams et Van Dyke ont trouvé un haut degré de similitude avec les eux, et en spécial avec les classements de l Université Jiao Tong de Shanghai. Les 14 premiers établissements de l étude de l Institut de Melbourne sont les mêmes que les 14 universités australiennes qui apparaissent dans les classements de Shanghai, même si leur ordre est légèrement différent. Les résultats Les classements, qui portent le nom de Index de l Institut de Melbourne du positionnement international des universités australiennes (Index de l Institut de Melbourne, en bref), peuvent être téléchargés à <http://melbourneinstitute.com/>. Les auteurs actualiseront les classements tous les ans, et l enquête des dirigeants étrangers et des doyens australiens aura lieu tous les trois ans. Le Tableau 2 présente les classements. La première colonne indique le groupe dont l université fait partie. Vingt-neuf des trente-neuf universités examinées appartiennent à un des quatre groupes suivants: le Réseau australien de la technologie, le Groupe des huit, les Universités innovatrices de recherche d Australie, et les Universités de nouvelle génération. La deuxième colonne contient le nom de chaque université. La troisième colonne inclut les scores pondérés, et la quatrième contient la position dans le classement. TABLEAU 2. Le positionnement international des universités australiennes (la moyenne pondérée des niveaux et de la taille a été ajustée) Groupe Université Score pondéré Place Go8 Australian National University 100 1 Go8 University of Melbourne 100 1 Go8 University of Sydney 95 3 Go8 University of Queensland 87 4 Go8 University of New South Wales 85 5 Go8 Monash University 76 6 Go8 University of Western Australia 76 6 79 Les auteurs écrivent: «dans beaucoup de domaines comme le financement, l activité de recherche, et les méthodes d enseignement, il existe une différence majeure entre les départements basés sur la sciences/les laboratoires et les autres départements». Ainsi, ils ont intentionnellement choisi des indicateurs afin de «réglementer ces différences afin de réduire toute favorisation d établissements qui soient, par exemple, plus forts en sciences» (Williams et Van Dyke, 2004a: 7). 80 Disponible à <http://ed.sjtu.edu.cn/ranking.htm>. 81 Disponible à <http://www.thes.co.uk>. 97

Groupe Université Score pondéré Place Go8 University of Adelaide 70 8 IRUA Flinders University of South Australia 56 9 IRUA La Trobe University 55 10 IRUA Macquarie University 54 11 University of Tasmania 53 12 IRUA University of Newcastle 52 13 IRUA Murdoch University 51 14 University of Wollongong 50 15 ATN Curtin University of Technology 49 16 IRUA Griffith University 49 16 ATN Queensland University of Technology 49 16 Deakin University 47 19 University of New England 47 19 ATN University of Technology, Sydney 47 19 James Cook University 46 22 Swinburne University of Technology 46 22 ATN University of South Australia 44 24 ATN RMIT University 43 25 NGU University of Canberra 42 26 Charles Darwin University 41 27 NGU Edith Cowan University 41 27 NGU Victoria University 41 27 Charles Sturt University 39 30 NGU Southern Cross University 39 30 NGU University of Western Sydney 39 30 NGU University of Ballarat 38 33 NGU Australian Catholic University 37 34 NGU Central Queensland University 37 34 NGU University of Southern Queensland 36 36 University of Notre Dame, Australia 32 37 NGU University of the Sunshine Coast 32 37 Note. Go8 = Groupe des huit; IRUA = Universités innovatrices de recherche d Australie; ATN = Réseau australien de la technologie; NGU = Universités de nouvelle génération. Source: Williams et Van Dyke (2004a: 25). Les universités du Groupe des huit (semblable à la Ivy League des Etats-Unis, ou au Russell Group en Grande-Bretagne) occupent les huit premières places du classement. Le groupe des Universités innovatrices de recherche d Australie suit le Groupe des huit, et les Universités de nouvelle génération se retrouvent en bas du tableau. Présentant leurs résultats, les auteurs mettent en évidence le fait que: Les universités formant les quatre regroupements nationaux [Groupe des huit, Universités innovatrices de recherche d Australie, Réseau australien de la technologie, et Universités de nouvelle génération] sont classées dans ce même ordre. Ce résultat peut être interprété comme reflétant l idée que chaque groupe a une mission distincte, tandis que dans le cadre des groupes les missions des universités sont similaires (Williams et Van Dyke, 2004a: 19). Les auteurs mettent en évidence le fait que les nouvelles universités sont désavantagées dans ce classement à cause du poids important accordé aux résultats de la recherche au cours de la dernière décennie. Cependant, remarquent-ils, «la réduction de la période peut avoir comme effet une limitation des relativités» (Williams et Van Dyke, 2004a: 19). 98

L évaluation Est-ce que cette approche méthodologique atteint son but? Jusqu ici, il y a eu beaucoup de réactions positives vis-à-vis de l Index de l Institut de Melbourne. Cela est au moins partiellement du à sa nature relativement sans conséquences (c'est-à-dire que les résultats n ont pas de conséquences sérieuses, au niveau du financement ou autres). En même temps, certaines questions ont été soulevées (voir, par exemple, Perry, 2004: 37-38). Les plus importants représentent des inquiétudes au sujet de la manière dont les données subjectives et objectives ont été utilisées afin de créer les classements, et le fait que les auteurs ont choisi d ignorer (ou au moins de marginaliser) les distinctions de type université/département dans leur évaluation des positionnements internationaux relatifs. En rapport avec cette dernière inquiétude, dans un commentaire publié en décembre 2004 dans The Australian, Simon Marginson de l Université Monash caractérise l Index de l Institut de Melbourne comme «un exercice supérieur» (p. 30). Cependant, il critique l utilisation par les auteurs de «jugements selon la réputation», affirmant que les classements «ne devraient pas mélanger des mesures subjectives de la réputation et des mesures de choses réelles. C est comme mélanger de la craie et du fromage» (p. 30). Il s attaque aussi au fait que les répondants de l enquête ont spécifié des poids pour les six grandes catégories d indicateurs, soutenant que ceux-ci «auraient du être théorisés par les chercheurs eux-mêmes» (p. 30). Ce point de vue s oppose non seulement aux raisons de Williams et de Van Dyke pour permettre aux répondants de choisir les poids, mais aussi à beaucoup de critiques des classements de type poids et addition qui sont basés sur des poids sélectionnés par les développeurs (voir Clarke, 2004). En ce qui concerne l autre question, celle de l exclusion de la distinction université/département, Williams et Van Dyke précisent que leur méthodologie tient compte d un «effet de marque» de l université dans son ensemble. Tout en reconnaissant que il y a aussi des conséquences des disciplines: la position d une discipline donnée parmi les universités peut être différente de la position occupée par un établissement pris en tant qu entité unique (Williams et Van Dyke, 2004a: 2) ils soutiennent que la variabilité de la qualité des départements d un établissement est exclue du fait du développement de la recherche interdisciplinaire et de contrôles de la qualité des départements et des universités (id.). Ainsi, ils voient leurs classements comme représentant non seulement le positionnement international de chaque université australienne, mais aussi (au moins à un certain degré) le positionnement international des départements de ces universités. Plusieurs observateurs ont critiqué cette perspective. Par exemple, dans un commentaire du 1 er décembre 2004 dans The Australian, le vice-recteur de l Université de technologie de Queensland rejette l idée d une évolution dans le sens de l uniformisation de la qualité parmi les départements académiques des universités, en expliquant que: Le positionnement national et international varie selon les différentes parties d une université. Même les membres de l ancien rassemblement du Groupe des huit universités, qui se sont proposés d étendre la recherche à toutes leurs activités, sont forcés de concentrer leurs ressources et d être sélectifs au sujet des priorités de la recherche, pendant que l existence d un intérêt similaire dans d autres universités signifie que les comparaisons au niveau institutionnel nous disent peu au sujet des mérites relatifs d atouts spécifiques de la recherche (Coaldrake, 2004: 43). Il faut préciser ici que si la théorie de Williams et de Van Dyke de la variation limitée de la qualité des départements tient dans le cas des universités australiennes, il n y a aucune garantie d un résultat similaire au cas où l exercice serait appliqué à d autres systèmes d enseignement supérieur, comme les auteurs ont l intention de faire. Par exemple, les 99

classements de U.S. News and World Report des collèges et des écoles universitaires des Etats-Unis montrent que le positionnement relatif peut varier considérablement dans la mesure où l évaluation concerne l établissement dans son ensemble ou une école spécifique de l établissement. Est-ce que d autres pays peuvent employer la méthodologie par extension? Etant donné que les auteurs souhaitent développer cet exercice de classement afin d inclure des universités de Nouvelle-Zélande et d Asie, ils ont choisi de manière délibérée des mesures qui «proviennent de bases de données internationales ou qui ont des contreparties conceptuelles dans d autres pays» (Williams et Van Dyke, 2004a: 8). La description du processus concerné suit ci-dessous. En choisissant des indicateurs de réputation du personnel académique, les auteurs mettent en évidence le fait que les indicateurs généralement employés pour mesurer la qualité des enseignants, comme la quantité et la qualité des publications, les citations de ces publications, les revenus de la recherche, et les diplômes ténues «se traduisent au-delà des frontières nationales» (Williams et Van Dyke, 2004a: 6). Les auteurs manifestent une préférence pour les résultats de la recherche aux dépens des diplômes tenus parce que les premiers arrivent à mieux mesurer les performances effectives. Pour ce qui est de la qualité des programmes post-universitaires, ils proposent de mettre l accent sur le programme de doctorat (sélectivité des examens d admission, taux de progression, et évaluations des étudiants) parce que celui-ci est reconnu internationalement. Ils remarquent des problèmes concernant les comparaisons trans-nationales de certaines des mesures les plus communes de la qualité de programmes universitaires (par exemple, la taille de la classe suppose une technologie de l enseignement donnée, et le taux d emploi suivant la finalisation des études dépend de variations nationales), mais semblent avaliser l utilisation de taux de progression des étudiants et du nombre d étudiants qui poursuivent des études avancées. En ce qui concerne les ressources, les auteurs remarquent qu elles sont mesurées en unités physiques (le nombre d ouvrages dans la bibliothèque, par exemple) ou monétaires (comme le revenu total par étudiant), mais qu uniquement les premières facilitent les comparaisons internationales. Les deux approches (physique et monétaire) sont entravées par des problèmes relatifs à la disponibilité de données. Enfin, en rapport avec les mesures ayant trait à la réputation ou à d autres mesures subjectives, les auteurs affirment que, même si la population potentiellement prospectable va des universitaires employés dans des universités à d anciens étudiants, des employeurs, des décideurs clé de la société, et au grand public (Williams et Van Dyke, 2004a: 6-7). ce sont les opinions de ceux provenant d autres pays (comme] des universitaires étrangers, des employeurs mondiaux, et des clients dans le domaine de la recherche comme les agences internationales [qui] sont les plus pertinentes (id.). Que peut-on apprendre sur le système d enseignement supérieur d un pays en employant cette approche? L Index de l Institut de Melbourne présente les performances des universités australiennes comparées au niveau local et international. En ce qui concerne les déterminantes des positionnements internationaux, les auteurs écrivent que «il y a des preuves empiriques que lorsqu on combine la taille, les résultats globaux et la diversité avec la qualité les premiers comptent pour la reconnaissance internationale» (Williams et Van Dyke, 2004b: 30-31). Les chercheurs reconnaissent ouvertement que puisque l étude ne se concentre que sur le positionnement international des universités australiennes et sur ce que détermine le positionnement international, celle-ci n offre que peu d informations sur l établissement qui 100

a les meilleurs enseignants ou qui offre la meilleure expérience aux étudiants. Les auteurs reconnaissent aussi que les classements ignorent la contribution locale des universités, observant que il y a un besoin de développer d autres mesures des performances qui se concentrent plus sur la dimension locale, comme les contributions au développement régional, [et] les contributions au progrès national (Williams et Van Dyke, 2004a: 21). Conclusion et implications Cet article a examiné deux initiatives récentes d évaluation de la qualité de l enseignement supérieur en Australie et en Nouvelle-Zélande. 82 Cette section fait un choix des questions analysées en termes d implications pour le rôle des classements dans l évaluation et l influence de la qualité de l enseignement supérieur à l échelle mondiale. L auteur propose trois implications à titre d avertissement. Le contexte comme force de modération Les deux classements montrent un lien puissant entre la mission de l organisation et les positions finales des établissements, avec des universités qui se portent mieux que l ensemble des établissements d enseignement tertiaire examinés dans l exercice de Nouvelle-Zélande, et le Groupe des huit universités se portant mieux que tous les autres groupes d universités des classements australiens. Ce modèle pose des problèmes importants lorsqu il est question d inclure plusieurs pays dans les classements, surtout au niveau de la manière dont ces derniers reflètent la variété de rôles joués par les organisations (et par les domaines) d enseignement tertiaire dans les différents pays; ces rôles sont influencés par des contextes et par des nécessités économiques, sociaux, culturels et historiques. Si on veut que les classements trans-nationaux offrent des évaluations pertinentes de la qualité internationale, leurs créateurs doivent reconnaître et intégrer le rôle joué par des missions et des rôles assignés sur le plan local. Le coût, la complexité et la validité L analyse collégiale semble être la méthode la plus viable d évaluation de la qualité des résultats de la recherche académique. Néanmoins, cette validité reconnue implique des coûts élevés et des procédures complexes, rendant cette méthodologie difficile à employer pour des comparaisons internationales. Les indicateurs de la qualité de la recherche, comme les citations, le nombre de publications, et d autres mesures quantitatives, offrent une alternative moins coûteuse et plus complexe de traitement de telles comparaisons. Les critiques qui soutiennent que ces mesures donnent une image appauvrie de la qualité de la recherche sont justes. Des observateurs ont également remarqué que l utilisation de ces indicateurs dans le cadre d exercices d évaluation de grande envergure a généré des situations où les publications et les citations «sont devenues plus importantes que la recherche en soi», ainsi qu une corruption concomitante de la signification de ces indicateurs (Steele, 2004: 030). Si on veut que les classements internationaux offrent des mesures pertinentes de la qualité internationale (et du fait des coûts potentiellement prohibitifs de méthodes d analyse collégiale pour de telles comparaisons), il est dans le meilleur intérêt de tous d apprendre comment on peut améliorer l usage des indicateurs. 82 L auteur remercie Geoff Maslen et Ross Williams d Australie et Richard Thomson de Nouvelle-Zélande pour leurs suggestions concernant les réactions et les critiques des parties impliquées vis-à-vis de ces classements. 101

Les conséquences pour les systèmes Le rapport du PBRF de 2004 précise que les classements apportent «une nouvelle motivation puissante pour [les organisations néo-zélandaises] pour concentrer leur recherche sur des domaines d excellence» (TEC, 2004a: xii). Dans la même ligne, des commentateurs de l étude de l Institut de Melbourne ont remarqué que les résultats se concentreront sur la question de savoir si toutes les universités australiennes doivent aspirer à une position internationale (qui, comme le montre l étude, est liée à une recherche de haut niveau) ou si certaines d entre elles doivent se concentrer principalement, voir uniquement, sur l enseignement (Moodie, 2004: 28). Il faut envisager si les comparaisons internationales encourageront de même la différentiation et la spécialisation des systèmes nationaux, surtout en ce qui concerne le renforcement ou la favorisation de certains systèmes nationaux d enseignement supérieur (ou de certains types d établissements de ces systèmes). Un exemple récent dans ce sens est la décision de la Trésorerie britannique de renoncer aux conditions requises pour l obtention de visas pour les diplômés des cinquante meilleurs programmes de MBA du monde (choisis principalement à partir des classements établis par le Financial Times), afin que ceux-ci puissent travailler en Grande Bretagne (Cohen, 2005: 44). Si on veut que les classements internationaux aient des conséquences positives sur la qualité de l enseignement supérieur à l échelle mondiale (avec des effets conséquents sur les économies nationales), l utilisation de données de classements doit être vérifiée attentivement, et si nécessaire réglementée, puisqu elle a le pouvoir d exacerber des inégalités au niveau du capital humain et monétaire existantes entre les pays. Références CENTRE FOR RESEARCH ON WORK, EDUCATION AND BUSINESS LIMITED (WEB RESEARCH). Phase 1. Evaluation of the Implementation of the PBRF and the Conduct of the 2003 Quality Evaluation. Wellington, Nouvelle Zélande: Auteur, juillet 2004. Consultée le 21 novembre 2004 à <http://www.tec.govt.nz/>. CLARKE, M. Weighing Things up: A Closer Look at U.S. News and World Report s Ranking Formulas, College and University 79, no. 3 (hiver 2004): 3-9. COALDRAKE, P. Rankings Designed to Bring out the Best, The Australian, 1 décembre 2004. COHEN, D. NZ Unis Block Rankings, The Australian, 24 mars 2004a. COHEN, D. NZ Researchers Queried, The Australian, 26 mai 2004b. COHEN, D. Salaries Put Paid to Rankings, The Australian, 16 février 2005. ILLING, D., et COOPER, D. Getting Over the Ratings Barrier, The Australian, 31 mars 2004. MARGINSON, S. Why Rankings Don t Always Rate, The Australian, 8 décembre 2004. MOODIE, G. Research and Status in Tandem, The Australian, 24 novembre 2004. PERRY, L. Ruction over Global Ranking, The Australian, 1 décembre 2004. STEELE, C. Ranking Mania Reflects Distortion of Priorities, The Australian, 10 novembre 2004. 102

TERTIARY EDUCATION COMMISSION (TEC). Performance-Based Research Fund Evaluating Research Excellence: The 2003 Assessment. Wellington, Nouvelle Zélande: Auteur, avril 2004a. Consultée le 21 novembre 2004, à <http://www.tec.govt.nz/>. TERTIARY EDUCATION COMMISSION (TEC). Performance-Based Research Fund Quality Evaluation: Moderation Panel The 2003 Assessment. Wellington, Nouvelle Zélande: Auteur, avril 2004b. Consultée le 21 novembre 2004, à <http://www.tec.govt.nz/>. TERTIARY EDUCATION COMMISSION (TEC). Performance-Based Research Fund: 2006 Quality Evaluation Assessment Framework Consultation Paper. Wellington, Nouvelle Zélande: Auteur, 15 novembre 2004c. Consultée le 21 novembre 2004, à <http://www.tec.govt.nz/>. THE ALLEN CONSULTING GROUP. International Comparison of Research Quality in the New Zealand Tertiary Education System. Etude de travail commandée par la Commission pour l enseignement tertiaire de Nouvelle Zélande. Melbourne, Australie: Auteur, 8 novembre 2004. Consultée le 21 novembre 2004, à <http://www.tec.govt.nz/>. WILLIAMS, R., et VAN DYKE, N. The International Standing of Australian Universities. Melbourne, Australie: Melbourne Institute of Applied Economic and Social Research, University of Melbourne, 24 novembre 2004a. Consultée le 25 novembre 2004, à <http://melbourneinstitute.com/>. WILLIAMS, R., et VAN DYKE, N. Globalisation Puts Rankings at Top of List, The Australian, 24 novembre 2004b. 103

Les universités espagnoles et l Initiative Classement 2005 JESUS M. DE MIGUEL, ELIZABETH VAQUERA, ET JARA D. SANCHEZ Cet article représente une évaluation de la qualité du système espagnol d enseignement supérieur, traitant principalement les problèmes méthodologiques posés par l existence d universités publiques et privées concernant l établissement de classements mondiaux de l enseignement supérieur. Des chercheurs de l Université de Barcelone et de l Université de Pennsylvanie ont établi le premier classement des établissements d enseignement supérieur d Espagne, connu sous le nom Classement 2000, il y a quelques années. Le rapport «Excelencia, calidad de las universidades españolas» [Excellence: la qualité des universités espagnoles] (de Miguel et al., 2001), avait compris une description détaillée de presque cent indicateurs employés, les données venant de toutes les universités, et les corrélations entre tous les indicateurs. Dans ce Classement 2005, les auteurs présentent des données plus récentes et une analyse méthodologique actualisée, terminant par une section étendue sur les indicateurs, accompagnant l index final perfectionné. Le système universitaire espagnol L Espagne se trouve à un carrefour où les différences éducationnelles existantes au niveau de sa population sont les plus grandes de son histoire. 83 Deux tiers de la population n ont pas reçu d éducation formelle ou n ont terminé que le cycle primaire. Seulement une personne sur cinq a terminé le cycle secondaire, et environ 13 pour cent de la population ont des diplômes universitaires. Le quantum total des dépenses pour l enseignement tertiaire (ou supérieur) représente 1,2 pour cent du PNB, qui est réduit selon les standards européens, et très réduit par comparaison à celui des Etats-Unis (2,7 pour cent). Pour ce qui est des dépenses, le système espagnol d enseignement supérieur est public à 75 pour cent, ce qui est dans la moyenne européenne (82 pour cent en France, 90 pour cent en Allemagne), mais beaucoup plus élevée par rapport aux Etats-Unis (seulement 33 pour cent des dépenses sont publiques) ou au Japon (45 pour cent). Cependant, comme il y a beaucoup d étudiants d université en Espagne, les dépenses publiques par étudiant comme pourcentage du PNB per capita ne sont que de l ordre de 22,5 pour cent, par comparaison à 42,9 en Allemagne ou 42,6 en Suède (UNESCO, 2004). A présent, l Espagne est un des pays européens avec le plus grand taux d étudiants dans l enseignement supérieur: le taux brut d inscription est de 83 Une version préliminaire de cet article a été présenté à l occasion de la Première réunion du Groupe de travail sur le projet «Systèmes et méthodologies des classements d enseignement supérieur», tenue à Washington DC, les 10-11 décembre 2004. Veuillez contacter les auteurs pour des commentaires ou une version étendue de cet article. La plupart des calculs et des analyses ont été effectués par Elizabeth Vaquera (Université de Pennsylvanie) et Jordi Caïs (Université de Barcelone), tant pour le premier Classement 2000 et pour le Classement 2005. Nous remercions Jan Sadlak (UNESCO-CEPES) et Jamie Merisotis (Institut pour les politiques de l enseignement supérieur), Juan Salcedo (Laureate, Inc.), Marga et Pau Marí-Klose (Université de Barcelone et Université de Chicago, respectivement), Diana V. Sancho (Université Rey Juan Carlos), Grover C. Jones (Université Columbia), et Ramón Sánchez. Les recherches ont été possibles grâce au Département de sociologie, au Centre pour les études européennes, et au Real Colegio Complutense, les trois faisant partie de l Université Harvard. Ángel Sáenz Badillos, directeur de Real Colegio Complutense, nous a continuellement aidé et encouragé; le fait que l Université de Complutense occupe la première place est une coïncidence. La plupart des données originales proviennent d enquêtes officielles entreprises par Instituto Nacional de Estadística, de Madrid, Espagne. 104

59 pour cent. 84 Comme dans beaucoup d autres pays développés, il y a plus de femmes inscrites dans l enseignement supérieur espagnol que d hommes, environ 120 femmes pour 100 hommes. 85 L Espagne est caractérisée par un grand nombre d inscriptions dans l enseignement supérieur, le fait que seulement la moitié des étudiants terminent leurs études, et la grande taille des universités: l université espagnole moyenne a 22.351 étudiants, n étant dépassée en Europe que par l Italie (23.537 étudiants) et étant 3,5 fois plus grande que l université moyenne de l Union Européenne (6.322 étudiants) ou des Etats-Unis (8.490 étudiants). En Espagne il y a 67 universités (et plusieurs autres en construction), dont 19 sont privées; il n y a pas de distinction nette entre les universités à but non lucratif et celles à but lucratif. Les universités privées ont 8 pour cent des étudiants du pays, avec une moyenne d environ 7.000 étudiants. Toutes les universités ont en moyenne plus de cent ans, certaines étant parmi les plus anciennes du monde. L Université de Salamanque, par exemple, a été fondée en 1218. Presque tous les établissements offrent des études universitaires et postuniversitaires. Les données les plus récentes montrent que l Espagne a 1,6 millions d étudiants, 86 et dans la nouvelle Union Européenne un étudiant sur neuf est espagnol; un enseignant sur huit est espagnol. Tous les ans, environ 232.000 étudiants d université reçoivent des diplômes en Espagne, dont 14.000 sont des diplômes de doctorat les derniers représentant le double du nombre, per capita, du système des Etats-Unis. Comme dans d autres pays d Europe, le système universitaire de l Espagne est principalement public: 92 pour cent es étudiants fréquentent une université publique, payant des frais d études symboliques d environ 600 dollars (USD) par an. Le système universitaire a été élitiste jusqu en 1959, lorsqu il a été converti en une structure d enseignement supérieur de masse. Il est en train de se transformer, une fois de plus, en un système universalisé d enseignement supérieur pour la majorité de la population jeune. En 1960, seulement 17 pour cent des 5.000 diplômés universitaires du pays étaient des femmes. A présent, le nombre de diplômés est cinquante fois plus élevé, et les femmes représentent plus de la moitié de ceux-ci (même si elles ne représentent encore que le tiers des enseignants). Les Espagnols qui ont des diplômes d enseignement supérieur enregistrent un taux de chômage 50 pour cent plus réduit par rapport à la population générale, et des revenus deux à trois fois plus élevés. Il y a deux classements fiables de l enseignement supérieur en Espagne, effectués en 200 et en 2005. 87 Le manque de classements d universités en Espagne est dû en partie aux 84 Les autres pays de l Union Européenne qui ont des taux supérieurs sont: le Finlande avec 85 pour cent, la Suède avec 76 pour cent, la Lettonie avec 64 pour cent, la Slovénie avec 61 pour cent, la Grèce avec 61 pour cent, l Estonie avec 60 pour cent, le Danemark avec 59 pour cent, et le Royaume-Uni avec 59 pour cent. Ces taux d inscription bruts doivent être comparés aux 81 pour cent des Etats-Unis, aux 70 pour cent de la Fédération de Russie, aux 65 pour cent de l Australie, ou aux 59 pour cent du Canada. Les données proviennent de la base de données de l UNESCO. 85 En Espagne, 53 pour cent des étudiants dans l enseignement supérieur sont des femmes, approchant la moyenne de 54 pour cent des 25 pays de l Union Européenne. Aux Etats-Unis et au Canada, le taux a déjà atteint les 56 pour cent, et dans la Fédération de Russie il est de 57 pour cent. En Suède, le taux est de 59 pour cent. Certains des nouveaux pays membres de l UE dépassent les 60 pour cent (comme l Estonie, la Lettonie et la Lituanie). La proportion d enseignants femmes est de 37 pour cent en Espagne, beaucoup d autres pays de l UE ayant une proportion supérieure (plus de 50 pour cent en Lettonie et en Lituanie). Aux Etats-Unis ou au Canada, les femmes représentent 41 pour cent des enseignants. 86 Pour les données comparatives, nous utilisons la publication de l UNESCO Recueil de Données Mondiales sur l'éducation 2004: Statistiques comparées sur l'éducation dans le monde (2004), disponible en version imprimée et à travers la base de données en-ligne de l Institut de statistique de l UNESCO (UIS). 87 Le premier, qui concerne l année 2000, a été publié dans de Miguel et al. (2001). Il s agit du premier classement des universités d Espagne, utilisant environ cent indicateurs. Le Classement 2000 figure à la page 335, Tableau 4.6. Le deuxième, le Classement 2005, est analysé dans cet article. 105

possibilités limitées de sélectivité au niveau des consommateurs, à cause du fait que la plupart des étudiants fréquentent une université publique locale de leur région d origine. Il n y a pas de systèmes de stratification basés sur la qualité. Seulement les régions de Madrid et de Barcelone offrent une certaine possibilité de choisir entre différents programmes et établissements, chacune ayant environ 11 universités (don la moitié privées). Plus de la moitié des cinquante provinces (régions) du pays n ont qu un fournisseur d enseignement supérieur public. A Madrid et Barcelone, l offre inclut quatre universités publiques: une université classique, une université polytechnique, une université soi-disant «autonome», et une nouvelle université plus petite de haute qualité (l Université Carlos III de Madrid, et l Université Pompeu Fabra de Barcelone). 88 Pour ce qui est de Madrid, il y a une nouvelle université publique, du Roi Juan Carlos. En plus de ses sept universités publiques, Madrid a aussi cinq universités privées (12 pour cent des étudiants); Barcelone a trois universités privées (10 pour cent des étudiants). Environ un étudiant espagnol sur quatre étudie dans une de ces deux villes. Il y a également une université ouverte, la Universidad Nacional de Educación a Distancia (UNED) [Université nationale pour l enseignement à distance], qui est la plus grande université du pays, avec 133.000 étudiants (même si seulement 12 pour cent d entre eux terminent en effet leurs études). Un étudiant espagnol sur dix est inscrit dans un programme d enseignement à distance. Le système espagnol d enseignement supérieur est public: 75 pour cent des dépenses sont publiques, 84 pour cent des universités sont publiques, et 92 pour cent des inscriptions sont dans le secteur public. Dans 93 pour cent des cas, ces universités ont des étudiants postuniversitaires et offrent des diplômes de doctorat. Il y a environ 1,6 millions d étudiants dans le pays, y inclus 60.000 étudiants post-universitaires. A présent, le système espagnol comprend environ 134.000 enseignants, avec une moyenne de 14 étudiants par enseignant. Cette moyenne est similaire à celle de la nouvelle UE et des Etats-Unis, même si la France a sept étudiants par enseignant, l Allemagne huit, et le Royaume-Uni 21 (UNESCO 2004). En moyenne, chaque université espagnole comporte 21 écoles ou départements, 23.000 étudiants, 1.500 enseignants, et une bibliothèque de 450.000 volumes. Mais les différences entre les universités peuvent être immenses: six universités du pays sont parmi les plus anciennes du monde (Salamanque, fondée en 1218; Valladolid, 1346; Barcelone, 1430; Saragosse, 1474; Santiago, 1495, et Valence, 1500). L actuelle Université Complutense de Madrid a été créée (sous un nom différent) en 1508. Celles-ci se trouvent toutes dans la moitié nord du pays, dans les anciens royaumes chrétiens, et elles font partie des plus grands établissements d enseignement supérieur d Europe. Les universités les plus anciennes sont surpeuplées, ce qui explique le coefficient négatif de corrélation entre la taille et la proportion d enseignants (-0.36). Toutefois, l âge de l établissement représente encore un indicateur qualitatif, et de cette manière les universités médiévales attirent les meilleurs étudiants. La majorité des étudiants d université proviennent de familles où les parents ne sont pas des diplômés d université; 41 pour cent des parents n ont que des études primaires. Seulement une mère sur dix a un diplôme universitaire, et 60 pour cent sont des mères au foyer. Seulement 7 pour cent des étudiants sont inscrits dans une université dans une autre région que celle où se trouve le foyer de leurs parents. Les universités privées sont moins homogènes que celles publiques. Toutefois, même si la proportion d inscriptions dans les universités publiques a augmenté de 9 pour cent au cours des cinq dernières années, le nombre d inscriptions dans le secteur privé a doublé. La 88 Nous avons préservé le nom espagnol des universités, traduisant uniquement «Université de», afin de permettre une identification aisée des universités. Parfois, lorsqu on fait référence à une ville, nous avons employé dans le texte la traduction française type, comme pour Navarre (au lieu de l espagnol «Navarra»), Saragosse (au lieu de Zaragoza), ou Séville (au lieu de Sevilla). 106

proportion d étudiants dans les universités privées est encore moindre, de l ordre d environ 7,6 pour cent du nombre total d inscriptions, mais il y a cinq ans elle n atteignait que 3,9 pour cent. Le nombre d inscriptions dans les universités privées a augmenté de 59.000 à 117.000 étudiants durant les cinq dernières années. Les universités privées sont principalement dédiées à l enseignement universitaire, même si leurs programmes postuniversitaires de moindre envergure sont plus productifs en termes de diplômes de recherche (3,4 pour cent des étudiants post-universitaires mais 5,8 pour cent de diplômes de doctorat). Il faut remarquer que l Université privée de Navarre, de l organisation Opus Dei, délivre 54 pour cent des diplômes doctoraux en Espagne. Les universités publiques ont plus de femmes (53,2 pour cent) que les universités privées (50,7 pour cent), et la proportion de femmes en tant qu étudiants dans des universités privées baisse, tout en augmentant du côté public; au total, les femmes ont un taux de réussite supérieur à l université. Seulement un étudiant sur quatre travaille à mitemps, même si les aides financières pour les étudiants sont rares; il y a très peu de bourses, et celles-ci sont limitées. De cette manière, les étudiants espagnols sont très dépendants de leurs parents, avec lesquels ils habitent généralement; cela explique aussi le taux réduit de mobilité géographique, et l intérêt limité pour les systèmes de classement. Les étudiants sont principalement jeunes, en particulier dans les universités privées, où 72 pour cent des étudiants ont moins de 25 ans. Pour résumer, le système universitaire espagnol est majoritairement public, local, et endogène. Il comprend peu d étudiants étrangers, qui représentent moins de 0,7 pour cent du nombre total d inscriptions (la moitié sont européens), et 11 pour cent des étudiants postuniversitaires (70 pour cent sont latino-américains). 89 Le système espagnol n est pas très productif, puisque seulement 14 pour cent des étudiants finissent leurs études dans quatre ans. Dans les écoles techniques, le nombre moyen d années est double par rapport à celui établi pour la finalisation des études. «L abandon complet», défini comme la non obtention du diplôme dans une période de dix ans, est cinq fois plus fréquent dans le secteur public que dans le secteur privé. Seulement une minorité d étudiants espagnols poursuivent des études postuniversitaires, représentant 4 pour cet du nombre total d inscriptions. Les programmes postuniversitaires sont sous-financés, et seulement 6 pour cent des étudiants post-universitaires obtiennent des bourses d études. L enseignement post-universitaire est encore moins productif que celui universitaire, avec seulement un ou deux diplômés sur dix qui finissent leur doctorat. Toutefois, la proportion d étrangers qui concluent leurs études doctorales a augmenté par un facteur de 3,5 durant les cinq dernières années. 89 Les statistiques officielles espagnoles du Ministerio de Educación y Ciencia [Ministère de l éducation et de la science] ne s accordent pas avec les chiffres internationaux. Selon les dernières données de l UNESCO, l enseignement supérieur espagnol a déjà 2 pour cent d étrangers (un total de 44.860), dont 62 pour cent sont européens. Au Royaume-Uni ou en Allemagne, la proportion d étudiants étrangers est cinq fois plus élevée, et la proportion d Européens est inférieure à 50 pour cent. En France, la proportion d étudiants étrangers est quatre fois plus grande qu en Espagne, mais seulement 28 pour cent sont européens (plus de la moitié viennent de l Afrique). Aux Etats-Unis, les étrangers ne s élèvent qu à 4 pour cent, mais ils représentent environ six cent mille étudiants, dont 14 pour cent viennent d Europe et 62 pour cent d Asie. Dans l «ancienne» Union Européenne à 15 membres, l Espagne a le taux le moins élevé d étudiants étrangers. L intégration récente (2004) de dix nouveaux pays membres, dont beaucoup de l Europe de l Est, changera cela: la Pologne, par exemple, a 0,4 pour cent d étudiants étrangers, dont 73 pour cent sont européens; la Hongrie a 3 pour cent d étudiants étrangers, dont 81 pour cent sont européens. 107

Le Classement 2005 Le Classement 2005 est le classement le plus élaboré produit à ce jour en Espagne, suivant la première tentative (de Miguel et al., 2001). Le classement final est présenté dans le Tableau 1 et inclut 47 universités publiques, concentrant environ 92 pour cent du nombre total d étudiants d Espagne. Employant les plus récentes données disponibles, le tableau présente l ordre de classement des universités, leur nom complet en espagnol (sans inclure la mention «Université de»), et le score précis sous la forme d un chiffre décimal. Là où le score est identique, les auteurs rangent les universités selon des chiffres plus précis. TABLEAU 1. Le Classement 2005 des universités publiques d Espagne 90 Ordre de classement Universités publiques Score 1 Complutense de Madrid 9,6 2 Autónoma de Madrid 9,5 3 Barcelona 9,2 4 Pompeu Fabra 9,0 5 Autónoma de Barcelona 8,9 6 Santiago 8,4 7 Alcalá de Henares 7,9 8 Salamanca 7,8 9 Valencia 7,8 10 Rey Juan Carlos 7,8 11 La Laguna 7,8 12 Córdoba 7,6 13 Miguel Hernández de Elche 7,4 14 Granada 7,2 15 Las Palmas 6,9 16 Sevilla 6,9 17 Murcia 6,8 18 Cantabria 6,8 19 Valladolid 6,8 20 Politécnica de Cataluña 6,8 21 Oviedo 6,7 22 Pública de Navarra 6,7 23 Politécnica de Madrid 6,7 24 Carlos III 6,6 25 Zaragoza 6,5 26 Cádiz 6,5 27 País Vasco 6,4 28 Extremadura 6,2 29 Rovira i Virgili 6,2 30 Islas Baleares 6,1 31 Lleida 6,1 32 Politécnica de Valencia 6,1 33 Girona 6,0 34 Castilla-La Mancha 5,8 35 León 5,8 36 Málaga 5,7 37 La Coruña 5,7 38 Jaume I de Castellón 5,5 39 Alicante 5,4 40 Almería 4,9 41 Vigo 4,8 42 Pablo de Olavide 4,7 90 Vous pouvez obtenir plus d informations sur ce classement des universités publiques en nous contactant à l adresse: demiguel@fas.harvard.edu. 108

Ordre de classement Universités publiques Score Source: L auteur. 43 La Rioja 4,7 44 Jaén 4,6 45 Huelva 4,4 46 Burgos 4,3 47 UNED 3,6 Les systèmes d enseignement supérieur et les calculs sont hautement dépendants des données publiées et disponibles. Lorsqu il y a des données officielles et comparables, il s agit de distinguer entre des facteurs et des variables possibles; le classement de 2000 a été basé sur une étude détaillée d environ cent indicateurs. L équipe de recherche a réduit ce nombre à 71 indicateurs, à partir desquels elle a effectué ses calculs. Le premier classement comporte donc une analyse du secteur de l enseignement supérieur et de l organisation des ressources universitaires, et une analyse détaillée de l ensemble des indicateurs et de leur validité et fiabilité. Les indicateurs ont été classés en six groupes: développement, structure organisationnelle, ressources, caractéristiques de genre, études post-universitaires, et productivité. Le classement de 2000 a illustré le rapport entre les indicateurs de chaque groupe, et en général. Le rapport a également offert une analyse finale incluant quelques indicateurs supplémentaires, arrivant près de la centaine. 91 On a tenu ici compte de l ensemble des données, des indicateurs, des hypothèses, des résultats et des recommandations de l entreprise de 2000. Le but de l équipe a été de mieux définir les facteurs et les indicateurs employés, de raffiner l index du classement final, et d utiliser les données les plus récentes. Dans le Classement 2005, les auteurs ont tenu compte de quatre différents facteurs: Le contexte: on comprend par cela les variables structurelles concernant les ressources économiques et sociales disponibles dans chaque université, la dépendance institutionnelle, et l organisation. Il y a beaucoup de variables ou d indicateurs différents, comme le développement économique, l âge de l université, le niveau général d éducation de la population, ainsi que la structure démographique et sociale de chaque région, etc. Le défi méthodologique est de relier correctement les établissements à leurs contextes. Les ressources: celles-ci incluent le capital humain, le personnel, les ressources physiques, les bâtiments et l équipement, et les ressources économiques. Une description du budget général est parfois nécessaire. Les ressources incluent aussi les enseignants et le personnel non-académique. Les ressources de bibliothèque sont essentielles. Cependant, l équipe de recherche croit que le premier classement a accordé trop d attention aux ressources et moins d attention aux deux facteurs qui suivent. L organisation: Comment est-ce un établissement d enseignement supérieur organisé et comment fonctionne-t-il? L aspect le plus difficile est de mesurer le degré réel de modernité et d innovation d un établissement. Il est important de mesurer les efforts 91 Le rapport a inclus l analyse de treize hypothèses différentes concernant le processus de classement, et a proposé d autres indicateurs pour future référence. Certaines des recommandations ont été intégrées dans le deuxième projet de classement. La section méthodologique finale est importante parce qu elle comporte trois analyses: (1) le problème de l évaluation de la productivité des études universitaires (carreras, en espagnol); (2) l analyse détaillée d une université donnée (dans ce cas, de l Université de Barcelone) afin de démontrer le potentiel du système de classement; et (3) le traitement méthodologique des données ou des indicateurs manquants pour lesquels les auteurs n ont pas pu calculer un chiffre exact. Des recommandations spécifiques ont été faites dans chaque cas. Le classement inclut une liste d abréviations, avec les acronymes de tous les indicateurs. La bibliographie du rapport est la plus compréhensive en ce qui concerne l enseignement supérieur jamais publiée en Espagne. 109

faits afin d améliorer la qualité de l enseignement, ainsi que l intégration sociale dans le cadre de l établissement. Il est relativement aisé d obtenir des données concernant la participation de femmes, mais on requiert aussi des données sur la classe sociale et l intégration ethnique. Il est difficile de mesurer ces facteurs en Espagne. La performance: Plus essentiellement que les ressources utilisées, quels sont les résultats obtenus? Il existe une corrélation entre les ressources et les résultats, qui n est pas toujours étroite. Il est donc nécessaire de mesurer les résultats en fonction de certains objectifs de l université ainsi qu à différents niveaux de l enseignement (indicateurs de la productivité des études universitaires par comparaison à celles post-universitaires, évaluation de la qualité des thèses doctorales, etc.). Dans le cas de l Espagne, en particulier, la productivité devrait être mesurée à la fois pour les études universitaires et post-universitaires, en termes de durée des études, etc. Cette étude tient compte des cent indicateurs définis dans le Classement 2000, qui peuvent être mesurés en employant des statistiques officielles sur les universités espagnoles publiques et privées. Le Classement 2005 comporte onze indicateurs considérés les plus importants, qui constituent les fondements pour le calcul des scores de classement: Indicateurs de contexte PIB: développement économique de la province ou de la région selon le produit interne brut. AGE: âge, ou date de création ou de la fondation de l établissement en années. La moyenne est de 109 ans, mais le taux de dispersion est élevé. DPP: dépendance publique ou privée de l établissement. Dans ce cas, il s agit d une dichotomie, avec 47 universités publiques et 16 universités privées. NEC: nombre d écoles ou de centres - facultades et escuelas técnicas comme mesure indirecte de la gamme des études offertes dans l établissement. La moyenne est de 15 écoles, mais les universités privées n ont que sept. Indicateurs de ressources ENS: nombre d enseignants par nombre d étudiants, calculé habituellement pour 100 étudiants. La moyenne est de six enseignants pour 100 étudiants, mais dans les universités privées la moyenne est de neuf. Les indicateurs ne doivent pas être isolés, parce qu il est important de comprendre la structure générale du capital académique humain. PER: personnel non-académique [en espagnol, personal de administración y servicios ou PAS]. La moyenne est de 2,5 personnes pour 100 étudiants. Dans les pays développés, la proportion est d environ sept fois le nombre d enseignants. NOE: l importance des bibliothèques mesurée selon le nombre d ouvrages par étudiant. La moyenne est de 17 ouvrages par étudiant. Cela doit être comparé à une moyenne de plusieurs centaines d ouvrages par étudiant dans les universités de recherche des pays les plus développés. 110

Indicateurs d organisation ECL: proportion d étudiants suivant des cycles longs d études universitaires (de quatre ou cinq ans), connus comme des diplômes de deuxième cycle, licenciado ou ingeniero. La moyenne est de 64 pour cent. Le reste de la population étudiante suit des études de premier cycle de trois ans (diplomado). PFE: proportion de femmes parmi les enseignants. La moyenne est de 34 pour cent. Il s agit d un indicateur de la qualité, même si dans le Classement 2000 il y a eu une longue discussion autour des corrélations négatives avec les autres indicateurs de la qualité. Toutefois, l équipe de recherche croit toujours que cet indicateur est essentiel au Classement 2005. Indicateurs de performance EOD: productivité de l établissement, mesurée en fonction de la proportion d étudiants qui obtiennent leurs diplômes universitaires (et finissent leurs études durant la même année universitaire) dans le nombre prévu d années. Environ 64 pour cent des étudiants finissent en effet leurs études à temps. PDD: productivité des études post-universitaires mesurée en fonction de la proportion de dissertations doctorales délivrées par un établissement durant une années universitaire, par rapport à sa taille. La moyenne est de 3,8 pour mille étudiants (tous niveaux confondus) inscrits dans l université. Les auteurs considèrent que ces onze indicateurs mesurent, avec une relative précision, la qualité générale de chaque université espagnole. Il serait idéal d avoir des informations concernant d autres indicateurs potentiels, mais les données existantes sont limitées. Dans le premier classement (de Miguel et al., 2001) il y a une liste de 108 indicateurs idéaux. Le Tableau 2 résume les données concernant les onze indicateurs de Classement 2005, pour les 63 universités du pays (47 publiques et 16 privées). Les universités privées se trouvent dans les régions les plus riches de l Espagne, principalement dans le nord, qui bénéficient d un PIB qui dépasse d environ 20 pour cent la moyenne nationale. Les universités publiques ont environ 138 ans, pendant que les universités privées ont en moyenne 23 ans: l âge est un atout, mais il ne garantit pas une position finale supérieure pour l université. Les universités privées sont plus jeunes, plus petites, et ont moins d écoles. Cependant, elles ont 48 pour cent d enseignants de plus (par étudiant) et plus du double du nombre d ouvrages dans leurs bibliothèques (par étudiant). La productivité est de 63 pour cent dans les universités publiques, et de 89 pour cent dans les universités privées; une différence de 41 pour cent en faveur des universités privées. Les universités privées sont plus récentes, et pour cette raison elles ont une proportion plus élevée d enseignants femmes (37 pour cent) que les universités publiques (33 pour cent). Néanmoins, les universités privées produisent moins de diplômes de doctorat (3,5 pour mille étudiants, par opposition aux 3,8 des universités publiques). 111

TABLEAU 2. Indicateurs fondamentaux du classement des universités espagnoles Universités Contexte Ressources Organisation Performance PIB AGE DPP NEC ENS PER NOE ECL PFE EOD PDD Universités 15,3 138 1 17,9 5,8 2,5 15,7 64 33 63 3,8 publiques Alcalá de 18,9 25 1 9 8,3 2,8 15,2 70 35 79 5,8 Henares Alicante 11,9 23 1 6 5,2 2,5 13,0 58 31 63 1,7 Almería 11,5 9 1 5 6,2 2,5 8,5 42 34 51 2,1 Autónoma de 17,0 34 1 12 8,9 3,5 19,1 74 37 71 7,3 Barcelona Autónoma de 18,9 34 1 7 7,6 2,8 15,8 86 36 63 12,4 Madrid Barcelona 17,0 572 1 21 6,9 2,9 26,9 75 41 71 6,5 Burgos 16,0 8 1 5 5,6 2,5 7,9 27 34 63 0,6 Cádiz 10,0 23 1 10 7,6 2,7 14,2 41 34 77 3,2 Cantabria 13,4 30 1 8 7,8 3,2 15,4 58 26 58 4,3 Carlos III 18,9 13 1 3 6,8 2,7 21,3 66 33 78 2,3 Castilla-La 11,2 20 1 19 4,4 2,6 17,2 47 33 67 0,8 Mancha Complutense de 18,9 494 1 29 6,2 3,0 21,6 79 37 97 6,1 Madrid Córdoba 9,8 30 1 8 6,1 3,3 19,2 67 29 71 5,9 La Coruña 12,1 13 1 14 5,0 1,7 16,3 55 32 59 1,6 Extremadura 9,1 29 1 10 5,6 2,5 14,6 47 33 82 2,7 Girona 19,9 10 1 5 7,0 2,9 17,0 45 34 69 2,3 Granada 9,2 471 1 17 5,5 2,6 13,2 71 32 73 4,5 Huelva 10,4 9 1 6 4,8 2,6 11,7 33 35 54 0,8 Islas Baleares 15,9 24 1 9 6,2 2,6 27,9 51 34 40 1,9 Jaén 9,7 9 1 4 5,0 2,2 11,7 41 30 59 1,2 Jaume I de 15,8 11 1 3 6,5 2,5 17,3 54 35 42 2,4 Castellón La Laguna 13,3 301 1 18 8,5 2,9 19,3 68 39 61 3,5 La Rioja 15,7 10 1 2 5,7 2,8 21,2 33 36 46 0,4 León 12,0 23 1 9 5,0 2,8 19,1 46 34 52 2,7 Lleida 15,9 10 1 6 6,7 2,0 16,0 45 38 72 3,0 Málaga 10,8 30 1 11 4,7 2,9 12,1 61 32 53 2,7 Miguel 11,9 5 1 5 9,6 4,6 49 27 5,1 Hernández de Elche Murcia 11,5 87 1 15 5,3 2,4 14,9 58 30 65 4,8 Oviedo 12,0 398 1 15 6,6 2,3 17,1 53 35 57 3,8 Pablo de 10,6 5 1 4 3,7 1,5 6,7 39 33 Olavide País Vasco 17,1 34 1 16 6,0 1,9 14,3 62 35 68 2,3 Las Palmas 13,5 23 1 13 6,7 3,2 18,5 58 34 59 3,5 Politécnica de 17,0 31 1 9 8,3 3,5 11,4 49 18 68 45 Cataluña Politécnica de 18,9 31 1 15 7,4 1,6 11,9 61 19 64 4,0 Madrid Politécnica de 13,8 31 1 10 6,2 3,5 7,6 56 21 64 3,4 Valencia Pompeu Fabra 17,0 12 1 7 11,8 5,6 38,5 56 33 79 2,3 112

Universités Contexte Ressources Organisation Performance PIB AGE DPP NEC ENS PER NOE ECL PFE EOD PDD Pública de 17,9 15 1 4 6,9 3,1 26,6 50 37 70 2,5 Navarra Rey Juan Carlos 18,9 5 1 2 12,0 5,9 23,4 31 46 Rovira i Virgili 18,4 10 1 9 8,4 2,5 16,9 45 33 54 2,6 Salamanca 11,3 784 1 18 6,3 3,0 26,1 58 36 70 4,0 Santiago 12,1 507 1 19 5,0 22,7 72 36 97 4,8 Sevilla 10,6 497 1 20 5,4 2,8 14,8 69 30 58 3,5 UNED 14,0 30 1 10 0,8 0,8 4,0 93 44 12 0,8 Valencia 13,8 502 1 14 6,3 3,0 17,7 73 35 66 5,7 Valladolid 14,4 656 1 11 6,5 2,4 17,9 55 36 73 3,5 Vigo 11,2 13 1 10 4,0 1,5 8,7 54 34 59 1,4 Zaragoza 15,0 528 1 9 5,9 2,5 16,8 54 37 61 4,3 Universités 17,8 23 0 6,8 8,6 2,4 34,5 64 37 89 3,5 privées Alfonso X El 18,9 8 0 4 9,6 0,5 3,2 60 51 Sabio Antonio de 18,9 7 0 6 14,1 2,5 15,2 78 42 48 Nebrija Católica San 11,5 4 0 1 12,6 2,0 39 35 Antonio de Murcia Católica de 12,0 5 0 1 15,4 11,7 51 44 Ávila Deusto 15,8 116 0 9,36 1,6 44,8 72 36 [100] 3,4 Europea de 18,9 7 0 11 10,4 4,0 9,8 79 43 44 Madrid Internacional de 17,0 5 0 5 17,5 6,5 77 29 Cataluña Mondragón 17,8 5 0 3 2,1 31 Navarra 17,9 50 0 12 18,9 4,2 43,5 88 37 74 14,4 Oberta de 17,0 7 0 1 1,9 4,5 45 12 Catalunya Pontificia de 18,9 67 0 6 11,6 3,1 56,9 72 29 85 4,8 Comillas Pontificia de 11,3 62 0 7 6,6 29,7 52 25 69 4,6 Salamanca Ramón Llull 17,0 11 0 9 6,6 3,0 89,7 47 32 [100] 1,5 SEK 13,8 5 0 5 12,2 4,6 68 39 San Pablo-CEU 18,9 9 0 4 9,4 1,6 8,9 83 44 62 0,9 Vic 17,0 5 0 4 9,4 2,5 18,9 18 46...... Total 16,0 109-15,1 6,0 2,5 16,9 64 3,4 64 3,8 NOTE PIB produit interne brut de la province ou de la région où se trouve l université; AGE nombre d années depuis la création de l établissement; DPP propriété publique ou privée de l université; NEC nombre d écoles ou de centres de l université; ENS nombre d enseignants pour cent étudiants; PER proportion du personnel non-académique pour cent étudiants; NOE nombre d ouvrages de bibliothèque par étudiant; ECL proportion d étudiants inscrits dans des programmes universitaires de longue durée; PFE proportion d enseignants femmes; EOD performance des études universitaires mesurée en fonction de la proportion d étudiants qui obtiennent leurs diplômes dans le nombre prévu d années 113

PDD performance des études post-universitaires mesurée en fonction de la proportion de dissertations doctorales délivrées au cours d une année universitaire pour mille étudiants. Source: Les auteurs. Le taux de dispersion est aussi supérieur: il y a plusieurs types d universités privées, donc elles ne peuvent pas être considérées comme un groupe homogène. Une hypothèse émergeante est que les auteurs nécessitent des indicateurs légèrement différents pour établir les positions d universités publiques et privées, afin de mieux comprendre comment les systèmes respectifs fonctionnent et ce qu ils font. Deux indicateurs essentiels, PER et ECL, aident à mesurer les différences qualitatives des universités d aujourd hui et sont pris en compte dans le Classement 2005. Une caractéristique des universités espagnoles est qu elles ont un rapport enseignants/étudiants qui est très bas: seulement 2,5 personnes pour cent étudiants, alors qu il devrait être supérieur à 30. Même s il y a de grandes différences entre les universités privées et celles publiques en ce qui concerne le personnel universitaire, il n y a pas de différences au niveau du personnel non-académique. Les nouvelles universités ont un PER élevé. Parmi les universités publiques, celles qui enregistrent les taux les plus élevés sont Rey Juan Carlos, Pompeu Fabra, et Miguel Hernández; ces trois universités ont un taux qui est double par rapport à la moyenne. Pour ce qui est de l indicateur ECL, les universités de recherche se spécialisent en des cycles longs d études, et cela fait que les utilisateurs du classement doivent faire des distinctions entre les établissements. L Université de Navarre, par exemple, a un ECL de 88 pour cent et l Université Autonome de Madrid 86 pour cent, par comparaison à la nouvelle et locale Université de Vic, qui n a que 18 pour cent des étudiants dans des programmes de diplôme de longue durée. La structure de ces deux types d universités est différente, et pour cette raison les établissements qui ont un ECL élevé ont tendance à être des universités de recherche, alors qu un ECL inférieur indiquerait une structure de collège. Il est intéressant de remarquer qu à cet égard il n y a pas de différences entre le secteur public et celui privé: les deux ont environ deux tiers des étudiants encadrés dans des programmes de diplôme de longue durée (64 pour cent dans les deux cas). Les deux nouveaux indicateurs PER et ECL ne sont pas censés distinguer des différences entre les universités publiques et privées, mais ils mesurent la qualité. Notre hypothèse est qu ils améliorent la validité du système de classement sans introduire des différences artificielles entre les établissements publics et privés un des objectifs du Classement 2005. Les ressources et les performances (ou les résultats) sont étroitement liées; de même, le capital humain et l équipement sont également interdépendants. Le Tableau 3 présente les statistiques et les corrélations fondamentales des onze indicateurs finaux qui forment le système de classement. Il est surprenant de voir que le développement économique, mesuré par rapport au produit interne brut (PIB) de la région, n a pas un effet puissant sur les ressources de l université; toutefois, ce facteur influence hautement le nombre d enseignants (coefficient de corrélation de 0,41 entre PIB et PER), et la proportion d enseignants femmes. Le développement économique est lié à l existence de nouvelles universités privées, avec un taux supérieur d enseignants et avec plus d enseignants femmes (et une proportion supérieure d étudiants hommes). Le développement économique (PIB) a des corrélations positives avec huit indicateurs de la qualité institutionnelle: enseignants (PER) de 0,41, enseignants femmes ((PFE) de 0,29, dissertations doctorales (PDD) de 0,25, étudiants suivant des cycles longs d études (ECL) de 0,24, bibliothèques (NOE) de 0,22, étudiants diplômés (EOD) de 0,07, et personnel non-académique (PER) de 0,01. 114

TABLEAU 3. Statistiques et coefficients de corrélation des principaux indicateurs Statistiques à variable PIB AGE DPP NEC ENS PER NOE ECL PFE EOD PDD unique Moyenne 14,7 108,6 0,7 9,2 7,6 2,9 19,2 57,1 34,5 64,7 3,6 Erreur 0,4 24,59 0,1 0,7 0,4 0,2 1,8 2,0 0,8 2,5 0,4 standard Médiane 15,0 23,0 1,0 9,0 6,6 2,7 16,8 56,1 34,4 64,2 3,4 Mode 18,9 5,0 1,0 9,0 - - - - - - - Déviance standard 3,2 197,9 0,4 5,7 3,3 1,6 13,7 15,9 6,0 18,2 2,6 Variation 10,3 39,153,9 0,2 33,1 11,0 2,4 187,7 254,1 36,2 330,1 6,8 Kurtosis -1,4 2,6-0,7 11 2,6 16,8 12,6-0,3 1,3 2,6 6,7 Coefficient d asymétrie -0,1 2,0-1,2 1,0 1,4 3,4 3,0 0,0-0,2-0,2 2,1 Gamme 9,9 780, 1,0 28,0 18,2 11,3 86,5 75,1 32,8 103,7 13,9 Minimum 9,1 4,0 0,0 1,0 0,8 0,5 3,2 17,8 17,9 11,7 0,4 Maximum 18,9 784,0 1,0 290 18,9 11,7 89,7 92,9 50,7 115,4 14,4 Somme 924,1 6,842,0 47,0 579,0 461,1 179,3 1,094,6 3,596,1 2,105,3 3,430,3 185,3 N (nombre de cas) 63 63 63 63 61 61 57 63 61 53 51 Corrélations PIB AGE DPP ENS PER NOE ECL PFE EOD PDD AGE - 0,17 DPP - 0,25 0,32 NEC - 0,65 0,38 0,16 ENS 0,41-0,20-0,62-0,30 PER 0,01 - - - 0,62 0,06 0,18 0,16 NOE 0,22 0,06-0,05 0,28 0,35 0,37 ECL 0,24 0,27-0,43 0,18 0,02 0,08 0,11 PFE 0,29 0,07 - - 0,20 0,05-0,10 0,32 0,13 0,07 EOD 0,07 0,23-0,31 0,13 0,29 0,63 0,09-0,09 PDD 0,25 0,22-0,19 Source: Les auteurs. 0,17 0,26 0,59 0,40 0,17 0,59-0,02 Il résulte que le développement économique affecte les ressources et le fonctionnement des établissements, mais pas nécessairement leurs résultats. L influence du développement sur la qualité est évidente, mais elle l est moins en ce qui concerne la productivité finale d un établissement. L âge de l université (AGE) définit mieux le but de l université, et la corrélation entre AGE et NOE est très élevée (0,65). Les universités anciennes sont les plus productives, mais elles sont aussi trop grandes, surpeuplées, et ont relativement peu d enseignants, et un personnel encore plus réduit. La distinction entre les établissements publics et privés dans le système espagnol d enseignement supérieur est importante, parce qu elle affecte les variables liées à la qualité. Les universités privées se trouvent dans des régions développées, presque exclusivement 0,26 115

dans la moitié nord de l Espagne. Il y a des établissements plus jeunes, avec plus d enseignants (et moins de professeurs titulaires); le coefficient de corrélation entre PDD et ENS est de 0,62. Les établissements privés ont plus d enseignants femmes et plus d ouvrages dans leurs bibliothèques. Ils sont plus spécialisés, de moindre taille, avec moins de programmes de diplôme, et ils comportent habituellement une certaine tendance idéologique (des penchants religieux, par exemple). Les grandes universités, avec plus de programmes de diplôme et plus d écoles, ont des proportions inférieures d enseignants et de personnel non-académique, mais elles sont plus productives et délivrent plus de diplômes de doctorat. Les universités plus anciennes sont surpeuplées, mais maintiennent des standards académiques élevés et sont généralement des vraies universités de recherche. L indicateur de la qualité qui mesure le mieux la réussite universitaire des étudiants est la proportion d enseignants; cela affecte hautement la productivité finale des études postuniversitaires (la corrélation entre ENS et PDD est de 0,59). Le personnel académique et non-académique ont un des plus grands coefficients de corrélation (ENS et PER est de 0,62). Les enseignants sont également en corrélation avec les ressources de bibliothèque, mais il n est pas surprenant de voir le haut degré de corrélation entre PER et NOE. L existence d une proportion plus élevée de personnel non-académique est en corrélation avec des indicateurs qualitatifs et avec la productivité de l établissement, en particulier de PDD. La productivité dans les études universitaires (EOD) a une corrélation de 0,26 avec la productivité dans les études post-universitaires (PDD). L image qui apparaît est celle d établissements qui sont classés plus haut ou plus bas généralement, et pas vraiment en fonction de leurs différents aspects ou programmes. Cela est une caractéristique des universités espagnoles, qui ne distinguent ou ne choisissent pas les étudiants selon leur intelligence ou leurs notes. Les universités espagnoles sont ainsi plus homogènes, et la production de systèmes de classement censés évaluer les différences est plus difficile. Les huit indicateurs de la qualité (ressources: ENS, PER et NOE; fonctionnement: ECL et PFE; et résultats: EOD et PDD) sont corrélés positivement. Une exception consiste en le fait que les universités publiques ont trop d étudiants, et enregistrent de cette manière des corrélations négatives avec les indicateurs relatifs aux enseignants et au personnel. Mais les autres sont positives, indiquant que cette série d indicateurs est très compacte et cohérente non seulement pour mesurer la qualité d universités, mais aussi au niveau de la consistance entre les ressources, le fonctionnement et les résultats. Une deuxième exception est la proportion de femmes parmi les enseignants (PFE), pour laquelle quatre coefficients de corrélation sur sept sont négatifs. Il ne s agit pas de coefficients hautement négatifs, mais cela suffit pour penser que l incorporation d un plus grand nombre d enseignants femmes ne constitue pas nécessairement un facteur de la qualité universitaire. La corrélation de -0,17 entre PFE et EOD implique que dans les universités avec plus d enseignants femmes il y a un moindre nombre d étudiants qui finissent leurs études dans le nombre prévu d années. Cela ne représente certainement pas un rapport de causalité. Toutefois, les auteurs souhaitent retenir cette variable (PFE) en tant qu indicateur de la qualité des établissements parce qu à long terme il arrive à faire une différence, en spécial pour les étudiants femmes. Ses effets sont difficilement mesurables à l aide des données actuelles, mais il est important de les prendre en compte. Un autre indicateur important serait la proportion d étudiants provenant de classes sociales inférieures, qui produisent de bons résultats académiques avec moins de ressources économiques; cependant, on ne dispose pas encore de données nous permettant de mesurer cela. L indicateur qui prédit le mieux la qualité d une université est la proportion d enseignants ou FAC. Les enseignants et l enseignement concentrent la moitié des ressources économiques de l établissement au niveau de son budget, et ils influencent 116

fortement la productivité et les résultats. Cela constitue l indicateur le plus important, même si la motivation et la qualité de ces enseignants ne sont pas facilement mesurables. Les indicateurs, l index et les regroupements L importance du contexte peut être très grande; toutefois, afin de comparer des universités en fonction de leur propre organisation et de leurs propres caractéristiques il vaut mieux réduire l importance du contexte au minimum, par exemple à environ 7 pour cent du score final. Les ressources sont très importantes, parce qu elle sont le plus fiable facteur de prévision de la qualité; elles reçoivent ainsi un poids d environ 37 pour cent. Le fonctionnement de l établissement est plutôt important, avec un poids de 22 pour cent. Les résultats sont aussi essentiels que les ressources, et représentent environ le tiers (33 pour cent) du score final. L index actuel du Classement 2005, qui est une amélioration de celui du Classement 2000, est le suivant: L index de la qualité des universités espagnoles (NEC x 3 + ENS x 10 + PER x 10 + NOE x 3 + ECL + PFE / 2 + EOD + PDD x 15) / 55 Il est important de standardiser les moyennes des différents indicateurs. Pour ce qui est du facteur de ressources (ENS, PER et NOE), par exemple, le personnel non-académique a une moyenne qui est la moitié de celle des enseignants et de la bibliothèque. Dans le facteur de fonctionnement (ECL et PFE), l existence de programmes de longue durée a un poids trois fois plus grand que la proportion de femmes parmi les enseignants. L incorporation de femmes dans le corps étudiant, et surtout dans le corps enseignant (qui est encore réduite, avec seulement 34 pour cent de femmes), est un indicateur du progrès et de l équité. Mais puisque la corrélation de PFE avec d autres indicateurs qualitatifs est négative, son importance dans le score final est limitée en diminuant de moitié sa proportion. Parmi les indicateurs de résultats (EOD et PDD), on a équilibré à la fois la productivité des études universitaires et post-universitaires, ce qui est logique si on veut obtenir une évaluation globale de chaque université. De cette manière, les auteurs considèrent que, dans l ensemble, le nouvel index du Classement 2005 est assez équilibré et fiable. L index de ce deuxième classement a une moyenne de 6,6 pour les universités publiques d Espagne, allant d un minimum de 3,6 à un maximum de 9,6. Ainsi, il rassemble aux systèmes espagnols de notation de zéro à dix -, avec une «note de passage» de 5,0. Tous ces indicateurs, à l exception de NEC, se rapportent à la taille variable des universités mesurée selon le nombre total d inscriptions d étudiants donc ils sont comparables. L index de 2005 accorde plus de poids à NEC (écoles) et à NOE (ouvrages), et inclut pour la première fois le personnel non-académique (PER) et la proportion d étudiants inscrits dans des programmes d études de longue durée (ECL). Les scores sont compris entre 3,6 pour l université d enseignement à distance UNED et 9,6 pour l Université Complutense. L université classée en deuxième place est Autónoma de Madrid, avec un score de 9,5. Nous considérons cet index, employé pour le Classement 2005, comme étant à la fois élaboré et valide. Afin d évaluer la qualité on doit employer des centaines d indicateurs, mais environ une douzaine suffit à expliquer les différences. Comme le système universitaire espagnol évite généralement la concurrence, les différences sont mineures et la structure est homogène. Une analyse visuelle des variables de l Annexe 1 présente une hiérarchie des universités, regroupées en plusieurs groupes. Il y a un groupe d établissements les moins productifs, qui coïncide d habitude avec les universités d enseignement à distance comme UNED et UOC. Il y a ensuite un groupe plus étendu incorporant la majorité des universités 117

publiques, qui tend à être isomorphe. Autour de ce groupe principal il y a certains établissements qui n ont pas de bonnes performances à cause de leur niveau réduit de productivité (les universités polytechniques), et d autres qui ont des performances supérieures à la moyenne (de nouvelles universités comme Pompeu Fabra ou Rey Juan Carlos). Il y a ensuite, séparées du noyau, certaines universités de recherche, ayant des ressources supplémentaires et surtout de meilleurs résultats: d habitude les universités «autonomes» et celles catalanes. Au sommet du groupe, à l avant-garde, il y a une université privée de taille moyenne qui est dédiée à l enseignement exclusif et à la recherche avancée (l Université de Navarre). Si on compare les indicateurs, cette structure paraît assez homogène. Il y a une structure de groupes d universités qui n apparaît pas dans le système de classement, mais au niveau du regroupement des établissements du classement. Examinons plus en détail cette hypothèse. Le capital humain est extrêmement important lorsqu il faut expliquer la réussite dans l enseignement supérieur (Finkelstein, 2001). Les enseignants dépendent de certaine manière du nombre d étudiants, ainsi que des proportions de personnel non-académique. L Annexe 1 montre le rapport entre les enseignants et le personnel non-académique à travers les taux respectifs de ENS et de PER, calculés dans les deux cas pour cent étudiants. Le coefficient de corrélation est positif et élevé (0,62); un nombre plus élevé d enseignants requiert un nombre plus élevé d employés administratifs et de secrétariat. Le rapport est plus fort dans le cas des universités publiques (0,80), où le recrutement de nouveaux employés suit des normes strictes. Dans le cas des universités privées, le rapport est positif, même si la corrélation est moindre (0,55). Seulement les nouvelles universités publiques ont un comportement différent, investissant beaucoup plus dans le capital humain: Pompeu Fabra, Rey Juan Carlos, et Miguel Hernández. Il est intéressant d observer que les universités privées ne suivent pas un modèle isomorphe. Cela est l opposé de ce qui était attendu par les auteurs: cela suggère que le marché crée un modèle de convergence dans le secteur privé plus que dans celui public. Le capital humain, personnifié par les employés et les enseignants, bénéficie de la moitié du budget des universités; il explique également une partie de la productivité de l université. Cependant, la corrélation entre ENS (enseignants) et EOD (proportion d étudiants finissant leurs études) est étonnement réduite (0,13), et les universités ont une distribution presque aléatoire lorsqu on combine ces deux variables. Dans les universités publiques, le taux de réussite des étudiants suit le nombre d enseignants; dans les universités privées la situation est contraire. Si on calcule les coefficients de corrélation des deux types d universités, les coefficients de corrélation sont de +0,42 pour les universités publiques et de -0,48 pour les universités privées. Cela est illustré dans l Annexe 2, où les lignes de régression s entrecroisent. Il n est pas certain pourquoi la corrélation est négative dans les universités privées. Cela est probablement la conséquence de la création de nouvelles universités, ayant beaucoup d enseignants mais un taux de productivité inférieur et une moindre qualité de l enseignement. D autres universités privées, comme l Université de Deusto (à Bilbao), ont une proportion réduite d enseignants mais sont très productives. Ce qui est intéressant en tout cas est que le rapport entre les ressources et les résultats est inversé dans le cas des universités publiques et des universités privées. Si ces rapports se poursuivront à l avenir il s impose de concevoir de nouveaux systèmes de classement afin d intégrer cette réalité. Le manque apparent de rapport entre les ressources et les résultats cache l existence d un rapport puissant (si inverse) avec le type d université en question. 118

Références DE MIGUEL, J.M., CAÏS, J., et VAQUERA, E. Excelencia: Calidad de las universidades españolas [Excellence: la qualité des universités espagnoles]. Madrid: Centro de Investigaciones Sociológicas, Colección Academia, 2001, 506 pp. INSTITUTO NACIONAL DE ESTADISTICA. Estadística de la enseñanza superior en España: Curso 2003-2004. Series de todos los niveles [Statistiques sur l enseignement supérieur en Espagne: année universitaire 2003-2004. Série pour tous les niveaux]. Madrid: INE, 2005, publication électronique. Une version imprimée (339 pp.) est publiée chaque année. UNESCO. Recueil de Données Mondiales sur l'éducation 2004: Statistiques comparées sur l'éducation dans le monde. Montréal: Institut de statistique de l UNESCO (UIS), 2004, et base virtuelle de données de l UIS à <http://www.uis.unesco.org>. 119

Annexes ANNEXE 1. Les universités espagnoles selon les enseignants et le personnel non-académique 12 Perso nnel nonacadé miqu e pour cent étudi ants (PER ) 10 8 6 Series1 Université publique Series2 Université privée Series4 Linear (Series1) Linéaire (Séries2) Publiques Privées 4 2 0 0 2 4 6 8 10 12 14 16 18 20 Nombre d enseignants pour cent étudiants (ENS) Note: Le coefficient de corrélation entre ENS et PER est de 0,62. Pour les universités publiques il est de 0,80 et pour les universités privées de 0,55. Source: Tableau 2. 120

ANNEXE 2. La productivité des études universitaires et la proportion d enseignants en Espagne 120 Public 100 Productivityof undergraduate studies (SOD) 80 60 40 Private 20 Series1 Public university Series2 Private university Series4 0 0 2 4 6 8 10 12 14 16 18 20 Faculty per one hundred students (FAC) Note: Le coefficient de corrélation entre EOD et ENS pour les universités publiques est de 0,42 et de -0,48 pour les universités privées. Pour l ensemble, le coefficient est de 0,13. Source: Tableau 2. 121

Les classements des universités en Chine NIAN CAI LIU ET LI LIU Depuis la moitié des années 1990, les classements d universités sont devenus très populaires en Chine. Six établissements ont publié de tels classements; certains d entre eux ont également présenté en détail leurs méthodologies de classement. Cet article représente une introduction générale aux classements d universités en Chine et aux méthodologies de chaque classement analysé. L article traite aussi des caractéristiques propres aux classements chinois d universités. Introduction L enseignement supérieur chinois a connu une évolution rapide durant les vingt dernières années, et en particulier durant les six dernières années. Certaines des statistiques fondamentales de l enseignement supérieur en Chine sont présentées dans le Tableau 1 qui suit. TABLEAU 1. Perspective statistique générale de l enseignement supérieur chinois en 2004 Catégorie Niveau Etablissements Admissions Inscriptions (en chiffres) (en milliers) (en milliers) Etudes postuniversitaires Diplôme doctoral 245 53 165 Diplôme de mastaire 444* 273 654 Etudes universitaires Diplôme de licence 684* 2.099 7.378 Diplôme 1.047 2.374 5.956 Sous-total 1.731 4.799 14.153 Enseignement permanent à différents niveaux 505 5.847 Total 2.236 20.000 * Le nombre d établissements délivrant des diplômes de licence inclut des établissements délivrant des diplômes de mastaire, et le nombre d établissements délivrant des diplômes de mastaire inclut des établissements qui délivrent des diplômes doctoraux. Source: Les auteurs Le nombre total d admissions universitaires et post-universitaires en 2004 est quatre fois supérieur à celui de 1998. Le nombre total d étudiants inscrits dans différents établissements chinois d enseignement supérieur a atteint vingt millions en 2004, ce qui fait du système chinois d enseignement supérieur le plus grand au monde. On prévoit des hausses supplémentaires pour cette année, puisque le nombre d admissions universitaires et post-universitaires augmentera de 13 à 15 pour cent 92. Il faut également mentionner ici le rapide développement de l enseignement supérieur privé en Chine. Le nombre d étudiants universitaires et post-universitaire inscrits dans des établissements privés d enseignement supérieur a atteint 1,4 millions en 2004 93, ou environ 10 pour cent du total national. Presque tous les fournisseurs privés d enseignement supérieur se concentrent sur l enseignement universitaire; toutefois, l enseignement supérieur privé chinois a encore beaucoup de chemin à faire au niveau de la qualité, lorsqu on le compare aux établissements publics. 92 Informations extraites le 18 février 2005 de <http://www.moe.edu.cn>. 93 (id.) 122

Six organisations publient actuellement des classements. Le Tableau 2 inventorie les noms des organisations, ainsi que le type et la fréquence de leurs classements respectifs. La plupart d entre eux produisent des classements institutionnels. TABLEAU 2. Organisations de classement et types de classement Acronyme NETBIG Organisation de classement NETBIG.competences (China) Limited GIMS Institut de sciences de gestion de Guangdong RCCSE Centre de recherche pour l évaluation de la science en Chine, Université de Wuhan CUAA Association des anciens étudiants des universités de Chine CIES Institut pour les sciences de l enseignement de Shanghai CDGDC Centre pour les diplômes universitaires et le développement de l enseignement postuniversitaire de Chine Source: Les auteurs. Type de classement Institutionnel Institutionnel; Programmes Fréquence du classement Premier classement: 1999; annuel Premier classement: 1995; annuel Institutionnel Premier classement: 2004 Institutionnel Premier classement: 2003; annuel Institutionnel Premier classement: 2003 Programmes Premier classement: 2002; tous les trois ans Le classement de NETBIG Le journal Le quotidien de la jeunesse chinoise a publié le premier classement de NETBIG en 1999. Depuis lors, le classement actualisé de NETBIG est disponible sur son site Internet. NETBIG classe tous les établissements autorisés à délivrer des diplômes de licence. En plus d un ordre numérique général des établissements, les résultats des classements sont aussi présentés en onze catégories d établissements: détaillé, ingénierie, agriculture, sylviculture, médecine, formation des enseignants, langues, sciences économiques, Droit, éducation physique et arts. Le Tableau 3 présente les critères et les poids utilisés dans les classements de NETBIG entre 1999 et 2004. Les critères et les poids ont été relativement stables à compter de 2000. TABLEAU 3. Critères et poids utilisés dans le classement de NETBIG entre 1999 et 2004 Critères Poids (en pourcentages) 1999 2000 2001 2002 2003 2004 Réputation 30 15,4500 15 15 15 15 Ressources académiques 19,6930 20 20 20 20 Résultats de la recherche 20 21,8342 22 22 22 22 Etudiants 30 11,2472 12 12 12 12 Enseignants 10 20,0538 19 19 19 19 Ressources physiques 10 11,7219 12 12 12 12 Source: Les auteurs. Le Tableau 4 présente les indicateurs et les poids du classement de NETBIG de 2000 à 2004. Quatorze indicateurs ont été employés en 2000, et seulement six en 1999. Même si le nombre d indicateurs s est stabilisé à vingt environ à compter de 2001, les indicateurs et leurs poids souffrent des changements importants tous les ans. 123

TABLEAU 4. Indicateurs et poids du classement de NETBIG employés entre 2000 et 2004 Critères Indicateurs * Poids (en pourcentages) 2000 2001 2002 2003 2004 Réputation Enquête parmi des universitaires, des scientifiques 15,4500 reconnus, des présidents de lycées et d universités 15,0 15,0 15,0 15,0 Nombre de programmes doctoraux par étudiant 4,9233 4,4 4,4 4,4 4,4 Nombre de programmes de mastaire par étudiant 2,5601 2,4 2,4 2,4 2,4 Nombre de programmes d importance nationale par Ressources 6,4987 4,6 4,6 4,6 4,6 étudiant académique s Nombre de laboratoires et de centres nationaux par 5,7110 4,2 4,2 4,2 4,2 étudiant Nombre de centres nationaux de sciences sociales par étudiant 4,4 4,4 4,4 4,4 Nombre d articles total et par enseignant 20,7425 Nombre d ouvrages total et par enseignant 1,0917 Nombre d articles total et par enseignant indexés par SCI ** 5,5 5,5 5,5 8,1 Nombre d articles total et par enseignant indexés par SSCI ** 4,2 4,2 4,2 6,2 Nombre d articles total et par enseignant indexés par Résultats de EI ** 3,7 3,7 3,7 5,5 la recherche Nombre d articles total et par enseignant indexés par ISTP ** 2,9 2,9 2,9 Nombre d articles total et par enseignant indexés par A&HCI ** 2,2 2,2 2,2 2,2 Nombre d articles total et par enseignant indexés par CSTP ** 2,0 2,0 2,0 Nombre d articles total et par enseignant indexés par CSSCI ** 1,5 1,5 1,5 Score moyen obtenu aux examens nationaux d admission 4,7238 5,9 5,9 5,9 5,9 Etudiants Pourcentage d étudiants diplômés parmi les étudiants 3,1492 6,1 6,1 6,1 6,1 Taux de placement d étudiants universitaires 1,1247 Taux de placement d étudiants post-universitaires 2,2494 Pourcentage d enseignants ayant des diplômes doctoraux 20,0538 19 8,0 8,0 Pourcentage d enseignants ayant le grade de professeur 8,0 Enseignants Nombre d universitaires appartenant aux Académies de Chine 5,0 5,0 5,0 Nombre de savants de Changjiang (Chine) 4,0 4,0 4,0 Taux enseignants/étudiants 2,0 2,0 2,0 Ressources Fonds de recherche par enseignant 7,6192 7,5 6,0 6,0 6,0 infrastructur Volume d ouvrages et nombre d ouvrages par étudiant 4,1027 4,5 3,0 3,0 3,0 e Quota du bâtiment et de l espace par étudiant 3,0 3,0 3,0 * NETBIG a introduit le concept des mesures per capita en 2003. ** SCI - Science Citation Index; SSCI - Social Science Citation Index; EI - Engineering Index; ISTP - Index to Science and Technology Proceedings; A&HCI - Arts and Humanities Citation Index; CSTP - Chinese Science and Technology Papers; CSSCI - Chinese Social Sciences Citation Index. Source: Les auteurs. Le classement de l Institut de sciences de gestion de Guangdong (GIMS) Publié pour la première fois en 1993, dans le journal chinois Science et technologie de Guangdong, le classement de GIMS a paru deux ans plus tard, en 1995, dans le journal 124

chinois La science de la science et la gestion de la science et de la technologie. Avant 1999, le classement de GIMS a tenu compte uniquement des performances de la recherche institutionnelle. A compter de 2000, le classement de GIMS inclut également des indicateurs de performance éducationnelle, et classe les 100 meilleurs établissements. Les Tableaux 5 et 6 présentent les critères, les sous-critères et les poids du classement de GIMS entre 2000 et 2004. A la suite des changements radicaux des critères de classement de 1999, à la fois les critères et leurs poids sont devenus relativement stables depuis 2000. TABLEAU 5. Critères et poids depuis 2000 Critères Poids (en pourcentages) 2000 2001 2002 2003 2004 Enseignement 62,51 57,09 57,09 57,09 57,09 Recherche 37,49 42,91 42,91 42,91 42,91 Source: Wu et al. (2004) TABLEAU 6. Sous-critères et poids depuis 2001 Critères Sous-critères Poids 2000 2001 2002 2003 2004 Enseignement Post-universitaire 19,10 19,10 19,10 19,10 62,51 Universitaire 37,99 37,99 37,99 37,99 Recherche Sciences 30,78 34,74 34,74 34,74 34,74 Sciences sociales 6,71 8,17 8,17 8,17 8,17 Source: Wu et al. (2004) Des changements significatifs des indicateurs et des poids qui leur sont assignés ont lieu tous les ans. Parmi les vingt-cinq indicateurs employés dans les classements à compter de 2000, le GIMS a écarté plus d un tiers ou a introduit de nouveaux indicateurs durant la même période (cf. Tableau 7). De même, le poids et la définition de la plupart des indicateurs ont également été modifiés. TABLEAU 7. Indicateurs du classement de GIMS Critères Sous-critères Indicateurs Observations Enseignement Nombre de diplômés doctoraux postuniversitaire Enseignement Nombre de diplômés de mastaire Nombre de diplômés de licence universitaire Nombre d autres diplômés universitaires Eliminé depuis 2004 Sciences Nombre d articles publiés dans S&N * Introduit en 1999 Nombre d articles indexés par SCI * Nombre d articles cités par SCI Nombre d articles indexés par ISTP * Eliminé depuis 2001 Nombre d articles indexés par CSCD * Nombre d articles cités par CSCD Nombre d articles indexés par EI * Nombre d ouvrages scientifiques Eliminé depuis 2002 Nombre de brevets d invention Nombre d autres brevets Nombre de prix nationaux Nombre de prix de la province Sciences sociales Nombre d articles indexés par SSCI * Nombre d articles cités par SSCI Nombre d articles indexés par A&HCI * Introduit en 1999 Nombre d articles indexés par CSSCI * Introduit en 2002 Enseignement Recherche 125

Critères Sous-critères Indicateurs Observations Nombre d articles cités par CSSCI Ouvrages de sciences sociales Eliminé depuis 2002 Nombre de prix nationaux Nombre de prix de la province Nombre d articles dans Xinhua Digest Introduit en 2001 * S&N - Science and Nature; SCI - Science Citation Index; ISTP - Index to Science and Technology Proceedings; CSCD - Chinese Sciences Citation Database; EI - Engineering Index; SSCI - Social Science Citation Index; A&HCI - Arts and Humanities Citation Index; CSSCI - Chinese Social Sciences Citation Index. Source: Wu et al. (2004) Les procédures de notation des classements de GIMS sont compliquées. Avant 2000, seulement les critères et les sous-critères bénéficiaient de poids spécifiques, et les indicateurs d un sous-critère se disputaient le poids assignés de ce dernier. A compter de 2001, toutefois, chaque indicateur reçoit un poids préétabli. GIMS publie à compter de 2000, à côté de son classement des meilleurs établissements, un classement des disciplines et des programmes. GIMS reprend la même série de données que pour le classement des établissements, mais n a pas publié des procédures de notation détaillées. Il classe onze catégories: sciences, ingénierie, agriculture, médecine, philosophie, sciences économiques, Droit, éducation, littérature, histoire et gestion. Chaque établissement obtient une note sur une échelle à onze points, et on ne retient que les meilleurs établissements, avec des notes supérieures à B +. Les classements du Centre pour l évaluation de la science en Chine de l Université de Wuhan (RCCSE) Le RCCSE a publié son classement pour la première fois en 2004, dans le Journal hebdomadaire de l éducation du Quotidien de la jeunesse de la Chine. Les universités autorisées à délivrer des diplômes post-universitaires sont partagées en deux catégories, et classées séparément. La première catégorie inclut les 121 «universités d importance nationale» avec des programmes intensifs de recherche, et la deuxième contient le reste. Le Tableau 8 présente les critères et les poids employés par RCCSE pour son classement des universités d importance nationale. Le système de classement est assez complexe, impliquant treize sous-critères et environ cinquante indicateurs. Le Tableau 9 présente les critères, les sous-critères et les poids utilisés pour les universités qui ne sont pas d importance nationale. En excluant le critère de la réputation et en redistribuant les poids vers d autres critères on voit que le contenu du tableau met plutôt l accent sur l enseignement que sur la recherche. TABLEAU 8. Le classement de RCCSE des universités d importance nationale en 2004 Critères et Sous-critères et poids poids Indicateurs (pourcentages) (pourcentages) Ressources 16.71 Ressources d infrastructure 2,37 Poids (pourcentages ) Espace du campus total et par étudiant 0,10 Espace du campus total et par étudiant 0,29 Coût de l équipement total et par étudiant 0,28 Coût de l équipement total et par étudiant 1,00 Quantité d ouvrages totale et par étudiant 0,14 Quantité d ouvrages totale et par étudiant 0,56 Dépenses éducationnelles Dépenses éducationnelles totales 1,00 3,98 Dépenses éducationnelles par étudiant 2,98 Ressources en enseignants Nombre d universitaires 2,35 Nombre de savants nationaux 1,48 126

Critères et poids (pourcentages) Enseignement 26,16 Recherche 45,31 Sous-critères et poids (pourcentages) 5,63 Programmes clé 4,73 Qualité et quantité d étudiants 4,43 Composition du groupe d étudiants 10,13 Prix éducationnels 11,60 Equipes et laboratoires 6,36 Résultats 4,83 Qualité 14,63 Bourses 11,09 Efficacité 8,40 Poids Indicateurs (pourcentages ) Nombre de directeurs de doctorat 0,90 Pourcentage de professeurs 0,55 Taux enseignants/étudiants 0,35 Nombre de programmes doctoraux 1,19 Nombre de programmes de mastaire 0,76 Nombre de programmes d importance nationale 2,29 Nombre de programmes innovateurs 0,49 Score moyen à l examen national d admission 0,43 Nombre de diplômes doctoraux délivrés 1,52 Nombre de diplômes de mastaire délivrés 1,06 Nombre de diplômes de licence délivrés 0,81 Taux d emploi des diplômés 0,61 Taux étudiants post-universitaires/ étudiants universitaires 5,07 Taux d étudiants internationaux par nombre total d étudiants universitaires 5,07 Prix éducationnels nationaux 4,00 Prix nationaux pour des cours 2,80 Prix nationaux pour des manuels 2,12 Prix national pour des thèses doctorales 1,29 Prix internationaux 1,40 Nombre d équipes d importance nationale 3,55 Nombre de laboratoires et de centres d importance nationale 2,03 Pourcentage de personnel de recherche 0,78 Nombre de brevets 1,93 Nombre d articles indexés par SCI, SSCI, et A&HCI * 1,46 Nombre d articles indexés par EI, ISTP, et ISSHP * 0,66 Nombre d articles indexés par CSTP et CSSCI * 0,45 Nombre d ouvrages de sciences sociales 0,33 Nombre de prix scientifiques nationaux 7,13 Nombre d articles très cités 3,20 Nombre de recherches représentatives 2,20 Nombre d articles cités par SCI, SSCI et A&HCI 1,28 Nombre d articles cités par CSTP * et de CSSCI * 0,81 Nombre de bourses NSFC * 3,93 Nombre de bourses NSSFC * 3,93 Nombre total de bourses et de projets 1,45 Dépenses totales pour la recherche 1,78 Résultats par enseignant 4,20 Résultats par dollar dépensé 4,20 Réputation académique 5,01 Réputation sociale 5,91 Réputation Réputation 11,82 11,82 * SCI - Science Citation Index; ISTP - Index to Science and Technology Proceedings; EI - Engineering Index; SSCI - Social Science Citation Index; A&HCI - Arts and Humanities Citation Index; CSSCI - Chinese Social Sciences Citation Index; CSTP - Chinese Science and Technology Papers; NSFC - National Science Foundation of China; NSSFC - National Social Science Foundation of China, Source: Les auteurs. TABLEAU 9. Le classement de RCCSE des universités qui ne sont pas d importance nationale Poids Critères et poids (pourcentages) Sous-critères (pourcentages ) Ressources 25,99 Ressources physiques 3,68 Dépenses éducationnelles 6,19 Ressources en enseignants 8,76 Programmes clé 7,36 127

Critères et poids (pourcentages) Recherche 32,75 Enseignement 41,26 Source: Les auteurs. Poids Sous-critères (pourcentages ) Equipes et laboratoires 4,60 Résultats de la recherche 3,49 Qualité de la recherche 10,57 Bourses de recherche 8,01 Efficacité de la recherche 6,07 Qualité des étudiants 6,98 Composition du groupe d étudiants 15,98 Prix éducationnels 18,29 Le RCCSE offre, de paire avec son classement général d établissements, un classement de la performance de la recherche institutionnelle en sciences, en technologie et en sciences sociales. Celui-ci emploie la même série de données que le classement général, tout en choisissant certains indicateurs et en redistribuant des poids. Le classement de l association des anciens étudiants des universités de Chine (CUAA) La CUAA a publié pour la première fois son classement en 2003, sur son site Internet, et a déterminé ses critères et ses poids de classement à travers une enquête en-ligne. Le Tableau 10 présente les critères, les indicateurs et les poids du classement de CUAA de 2004. Le classement de 2004 n a inclus que les meilleures 140 universités. TABLEAU 10. Les critères et les poids du classement de CUAA de 2004 Critères Universités d importance nationale Recherche Enseignants Programmes Poids Indicateurs (pourcentages ) Universités faisant partie du «Projet 211» 1,77 Universités affiliées au Ministère de la défence 3,54 Universités d importance nationale 1,77 Prix nationaux pour des manuels 1,77 Prix nationaux en science et technologie 4,42 Prix nationaux pour des cours 1,77 Prix nationaux pour des ouvrages universitaires 8,85 Bourses provenant du «Projet 973» 1,77 Laboratoires et centres nationaux 1,77 Parc national de la science de l université 1,77 Journaux de qualité de sciences sociales 1,77 Prix nationaux pour des thèses doctoraux 1,77 Prix nationaux en innovation technologique 1,77 Membres du Comité national pour l éducation 4,42 Prix nationaux pour l excellence dans l enseignement 1,77 Prix nationaux pour les jeunes savants 1,77 Projet national pour les jeunes enseignants 1,77 Savants de Changjiang 5,31 Autorité de la promotion professionnelle 1,77 Membres du Comité scientifique et technologique du 1,77 Ministère de l éducation Académiciens 4,42 Projets de programmes doctoraux nationaux 1,77 Programmes impliquant des savants de Changjiang 1,77 Programmes doctoraux au niveau sous-disciplinaire 1,77 128

Critères Etudiants Réputation Source: Les auteurs. Poids Indicateurs (pourcentages ) Laboratoires nationaux pour l enseignement ou la 5,31 recherche Programmes d importance nationale 8,85 Programmes de formation professionnelle 0,88 Différents programmes pilote nationaux 1,77 Ecoles post-universitaires accréditées par le Ministère de 1,77 l éducation Programmes doctoraux 1,77 Prix nationaux pour les créateurs 3,54 Prix nationaux aux concours d inventions en électronique 1,77 Prix national aux concours de mathématiques 1,77 Candidats à l examen d admission post-universitaire 0,88 Réputation 8,85 Le classement de l Institut pour les sciences de l enseignement de Shanghai (SIES) Le SIES a publié pour la première fois ses classements en 2003, dans L exploration des évolutions dans l enseignement, un journal chinois. Le classement de SIES distinguait cinq catégories d universités autorisées à délivrer des diplômes de licence, et classait chaque catégorie de manière distincte. Les cinq catégories sont: arts et sciences, ingénierie, formation des enseignants, médecine et finances ou Droit. Les indicateurs principaux incluent le nombre total d inscriptions, le pourcentage d étudiants post-universitaires, le nombre d étudiants internationaux, le pourcentage d enseignants ayant des diplômés de doctorat, le taux enseignants/étudiants, les dépenses éducationnelles par étudiant, les bourses de recherche au total et par enseignant, le nombre de programmes d importance nationale, et le nombre de prix nationaux pour l enseignement, etc. On ne dispose pas de procédures détaillées de notation. Le classement du Centre pour les diplômes universitaires et le développement de l enseignement post-universitaire de Chine (CDGDC) Le classement de CDGDC des programmes post-universitaires est apparu en 2002, dans le journal chinois L enseignement post-universitaire chinois. Douze programmes y étaient classés. Le Centre a classé quarante-deux programmes et autres vingt-six programmes en 2003 et 2004 respectivement, arrivant actuellement à un nombre total de quatre-vingt programmes, conformes à la classification chinoise des programmes d enseignement. Le classement identifie les meilleurs établissements dans chaque discipline, mais n offre pas de présentation détaillée de ses critères et de ses poids. Comparaison des différents classements d universités de Chine Le Tableau 11 compare le classement des universités chinoises choisies en fonction de différents systèmes de classement. On peut remarquer des différences importantes pour un nombre d universités, comme l Université de science et technologie de Chine et l Université de science et technologie de Huazhong, surtout si on compare les classements de NETBIG et de GIMS. Cela est dû, en partie, au fait que le classement de NETBIG met l accent sur les résultats per capita, tandis que le classement de GIMS accorde plus de poids à la quantité. 129

Un établissement de petite taille et de haute qualité aura de meilleurs résultats dans NETBIG, tandis qu une grande université obtiendra une meilleure position dans GIMS. TABLEAU 11. Comparaison entre les différents résultats des classements pour 2004 Position moyenne Etablissement NETBIG GIMS RCCSE CUAA Consistance * 1,3 Université de Tsinghua 1 1 1 2 Haute 1,8 Université de Peking 2 2 2 1 Haute 3,5 Université de Fudan 4 4 3 3 Haute 4,0 Université de Zhejiang 5 3 4 4 Haute 4,8 Université de Nanjing 3 6 5 5 Haute 7,0 Université Jiao Tong de Shanghai 7 9 6 6 Haute 8,8 Université de Wuhan 13 7 7 8 Moyenne 9,5 Université de science et technologie de Chine 5 15 8 10 Faible 10,3 Université de science et technologie de Huazhong 15 5 14 7 Faible 11,8 Université de Zhongshan 11 11 10 15 Moyenne 12,3 Université de Xian Jiao Tong 11 12 15 11 Moyenne 12,5 Université de Nankai 8 19 11 12 Faible 13,3 Université de Jilin 24 8 12 9 Faible 14,0 Institut de technologie de Harbin 13 13 17 13 Moyenne 15,0 Université de Sichuan 20 10 16 14 Faible 15,8 Université normale de Beijing 9 22 13 19 Faible 16,3 Université de Renmin 10 28 10 17 Faible 18,3 Université de Tianjin 15 16 22 20 Moyenne 19,5 Université de Tongji 21 21 20 16 Moyenne 19,5 Université de Shandong 24 14 19 21 Moyenne 21,3 Université de Beihang 17 23 23 22 Moyenne 21,3 Université du Centre-Sud 29 17 21 18 Faible 22,0 Université de Xiamen 17 25 18 28 Faible 22,5 Université du Sud-Est 21 20 26 23 Moyenne 23,3 Université de technologie de Dalian 17 26 25 25 Faible 26,5 Université polytechnique du Nord- Ouest 24 29 29 24 Moyenne 27,0 Université de science et technologie de la Chine du Sud 31 24 27 26 Moyenne 29,0 Université d agriculture de Chine 28 30 28 30 Haute 30,3 Université normale de la Chine de l Est 24 34 24 39 Faible 31,5 Institut de technologie de Beijing 32 36 31 27 Moyenne 32,0 Université de science et technologie de Beijing 21 40 34 33 Faible 33,5 Université du Nord-Est 34 27 42 31 Faible 34,0 Université de Lanzhou 29 42 33 32 Faible 36,5 Université de Chongqing 51 31 35 29 Faible 39,5 Université de science et technologie de la Chine de l Est 34 35 43 46 Faible 130

* Le terme «haute» indique une déviation moyenne inférieure à 1; le terme «faible» indique une déviation moyenne supérieure à 3. Source: Les auteurs. Conclusion Les classements d universités sont un phénomène relativement nouveau en Chine et nécessitent du temps pour évoluer. Il y a certains problèmes généraux concernant la disponibilité de données comparables, l accessibilité de sources de données, et la fiabilité. Les systèmes chinois de classement sont compliqués par une grande quantité d indicateurs uniques pour la Chine, qui sont difficilement compréhensibles pour des utilisateurs d autres pays et qui ne se prêtent pas à des comparaisons internationales. Enfin, la mésinterprétation et l utilisation incorrecte des résultats des classements par le public sont inquiétantes. En regardant vers l avenir, nous pouvons certainement prévoir l apparition de nouveaux classements, ainsi qu une intensification de la concurrence dans le domaine. Toutes les parties impliquées devraient examiner les problèmes concernant les classements de l enseignement supérieur et tenter d améliorer le processus de classement lui-même, ainsi que son juste usage. Il relève de la responsabilité des gouvernements de rendre disponibles et accessibles des données comparables; dans ce cas il incombe aux entités chinoises de classement de rendre leurs classements aussi transparents et fiables que possible. Références 94 ASSOCIATION DES ANCIENS ETUDIANTS DES UNIVERSITES DE CHINE, consulté en décembre 2004, à <http://www.cuaa.net>. CENTRE DE RECHERCHE POUR L EVALUATION DE LA SCIENCE EN CHINE, consulté en décembre 2004, à <http://rccse.whu.edu.cn>. CENTRE POUR LES DIPLOMES UNIVERSITAIRES ET LE DEVELOPPEMENT DE L ENSEIGNEMENT POST-UNIVERSITAIRE DE CHINE, consulté le 2 décembre 2004, à <http://www.cdgdc.edu.cn/yjxkpg/pmpg.htm>. INSTITUT POUR LES SCIENCES DE L ENSEIGNEMENT DE SHANGHAI, consulté en décembre 2004, à <http://202.121.15.145/document/zxcg/i18.htm>. NETBIG.COM (CHINA) LIMITED, consulté en décembre 2004, à <http://rank2004.netbig.com/> (en langue chinoise). WU, S.L., LU, J., et GUO, S.L. L évaluation des universités de Chine, La science de la science et la gestion de la science et de la technologie 1 (2004): 61-68. 94 Toutes les références indiquées sont en langue chinoise. 131

L emploi et la réussite dans un programme basé sur la résolution de problèmes MARIANNE M.M. VAN DEN HURK ET HENK J.M. VAN BERKEL Cette étude se propose un double but: premièrement, celui d examiner le rapport existant entre le temps que les étudiants dédient à des activités rémunérées et le temps passé à étudier (participation en classe et étude individuelle), et deuxièmement, d analyser le rapport entre le temps que les étudiants passent à travailler et le taux de réussite dans les études. Un nombre de 120 étudiants de la Faculté de sciences médicales des Pays-Bas, basée sur la résolution de problèmes, ont gardé un journal du temps passé. La réussite universitaire a été mesurée à l aide des scores du block-test. Les résultats ont démontré que le fait de travailler entre 4 et 8 heures par semaine dans le cadre d activités rémunérées (ce qui diffère du fait de travailler moins de 4 heures par semaine ou de travailler de manière intensive, plus de 8 heures par semaine) a en effet un rapport positif avec le temps dédié aux études. Les notes obtenues au test ne diffèrent pas de manière significative entre les étudiants qui ne travaillent pas, qui travaillent quelques heures, ou qui travaillent beaucoup. Introduction A cause du fait que les coûts de l enseignement supérieur se sont déplacés de plus en plus du terrain gouvernemental vers celui des étudiants, un nombre croissant d étudiants des Pays- Bas sont engagés dans des activités rémunérées. Ils doivent travailler pour payer leurs études. Cette hausse du niveau de l emploi rémunéré est très importante, du fait de ses conséquences potentielles sur les résultats des études. L argument de bon sens contre le fait de travailler en faisant ses études est que le temps que les étudiants consacrent au travail porte atteinte au temps dédié aux études. De cette manière, ils ont moins de temps à étudier, ce qui affecte leurs résultats universitaires. Néanmoins, le rapport entre le fait de travailler, le temps consacré aux études, et la réussite universitaire est bien plus complexe. Cela est particulièrement vrai dans un milieu éducationnel qui accorde une importance particulière au développement de compétences de formation indépendantes et personnalisées, comme l enseignement basé sur la résolution de problèmes (problem-based learning - PBL). Cet article traite du rapport complexe qui existe entre le fait d effectuer des activités rémunérées, le temps consacré à l étude, et la réussite dans un milieu d instruction basée sur la résolution de problèmes. Il commence par une définition du PBL. Ensuite, il se concentre sur la recherche sur le rapport entre les activités rémunérées et le temps consacré à l étude et entre les activités rémunérées et la réussite. Finalement, des questions analytiques seront formulées et traitées. L enseignement basé sur la résolution de problèmes De nos jours, l enseignement basé sur la résolution de problèmes (PBL) est une approche très connue dans le domaine de l enseignement supérieur. Le PBL a été introduit pour la première fois en 1969 dans la formation médicale à l Université McMaster du Canada. L université de Maastricht des Pays-Bas a adopté le concept du PBL en 1975. En 1991, environ 100 écoles de formation médicale des Etats-Unis, du Canada et de l Australie 132

avaient mis en œuvre le PBL à différents niveaux (Jonas et al., 1991), ainsi que dans certains pays d Europe, comme le Royaume-Uni, le Danemark et la Suède (Blight, 1995). Un programme d enseignement basé sur la résolution de problèmes favorise le développement de compétences de formation personnalisées. La formation personnalisée comprend la capacité de formuler des objectifs de formation, d identifier des ressources de formation, de choisir des stratégies pertinentes de formation, et d évaluer les résultats de la formation (Knowles, 1975; Zimmerman, 1990). Dans un programme d enseignement basé sur les problèmes, ce processus de formation commence par la confrontation des étudiants à des problèmes. Un problème réside en la description d une série de phénomènes qui nécessitent une sorte d explication (Barrows et Tamblyn, 1980). Un groupe de 8-10 étudiants, ce qu on appelle «le groupe tutorial», discute ces problèmes et tente d explique les phénomènes en termes de processus, de principes ou de mécanismes sous-jacents (Schmidt, 1983). Le groupe tutorial se rassemble deux fois par semaine dans des sessions de deux heures et ces sessions sont dirigées par un tuteur. Les discussions qui ont lieu dans le cadre du groupe tutorial posent des questions sans réponse, qui servent de guide à la formation indépendante et personnalisée (Schmidt, 1983). Les questions sans réponse sont appelées des problématiques de formation générées par les étudiants et sont décrites par Blumberg et al. (1990) comme des sujets factuels ou conceptuels que chaque groupe décide qu il faut mieux comprendre afin d analyser de manière adéquate le problème en discussion. Les étudiants jouent un rôle actif dans la création de problématiques de formation, choisissant les manières dont ils les étudient, individuellement ou avec d autres étudiants. Ils cherchent des réponses individuellement ou avec d autres étudiants à l aide de manuels, de journaux, de l Internet, des discussions, etc. Finalement, les étudiants s informent les uns les autres dans le cadre de la session de groupe ultérieure au sujet de leurs découvertes individuelles et expliquent aux autres les mécanismes qui régissent les problèmes. Le temps consacré à l étude et le travail rémunéré Comme on l a déjà mentionné, une des caractéristiques fondamentales de l enseignement basé sur la résolution de problèmes est l accent mis sur le développement de compétences de formation personnalisées. Afin de faciliter ce processus de formation personnalisée, le temps destiné à la formation dans l enseignement basé sur la résolution de problèmes est limité. Certaines études ont montré que le rapport entre les activités formatives planifiées et les activités formatives personnalisées est optimum lorsqu on alloue 40 pour cent à la formation et 60 pour cent à l étude individuelle (Van der Drift and Vos, 1983; Gijselaers et Schmidt, 1995; Van der Vleuten et al., 1996). On considère que durant le temps dédié à la formation les étudiants participent à des cours et des séminaires, examinent les problèmes éducatifs, et cherchent des ressources bibliographiques et les étudient afin de pouvoir répondre aux problématiques générées par la formation. Cependant, on sait que les étudiants requièrent du temps pour entreprendre des activités rémunérées. Le taux d emploi des étudiants augmente aux Pays-Bas grâce au fait que les coûts de l enseignement supérieur se sont déplacés de la responsabilité du gouvernement vers celle des étudiants, faisant que les étudiants soient obligés de pratiquer des activités rémunérées. L argument général s opposant au fait de travailler tout en étudiant est que le temps que les étudiants consacrent au travail rémunéré empiète sur le temps disponibles pour l étude. De cette manière, les étudiants ont moins de temps pour étudier, ce qui affecte finalement leur réussite universitaire. Toutefois, le rapport entre la pratique d un travail rémunéré, le temps consacré à l étude, et la réussite universitaire semble être bien plus complexe. 133

Le travail rémunéré et la réussite universitaire Plusieurs études effectuées au niveau secondaire ont trouvé des corrélations négatives entre le nombre d heures par semaine passées à travailler et la réussite universitaire (D Amico, 1984; Lillydahl, 1990; Marsh, 1991; Kablaoui et Paulter, 1991; Worley, 1995; McNeal, 1997; Schoenhals et al., 1998; Post et Pong, 2000). Worley (1995), par exemple, a découvert que les notes baissent à mesure que le temps passé à travailler au cours de l année scolaire augmente. Cependant, une étude effectuée par Warren et al., (2000) a identifié des conséquences différentes. Les auteurs se sont posés la question de savoir si l emploi durant la période du lycée a des conséquences sur les notes des étudiants dans les cours universitaires. Ils ont analysé le rapport entre l emploi et les résultats scolaires de manière à saisir la nature réciproque de ce rapport. Ils n ont découvert aucune preuve du fait que l activité rémunérée durant le lycée comporte des conséquences à court ou à long terme pour les résultats universitaires, ni du fait que les notes obtenues à ces cours influencent les activités rémunérées. Il y a également des preuves soutenant que le fait de travailler quelques heures (ce qui diffère du fait de ne pas travailler du tout ou de travailler de manière intensive) a en effet des effets positifs sur les résultats scolaires (Schill et al. 1985; Steel, 1991; Garasky, 1996). Schill et al. (1985), par exemple, ont observé que les notes ont tendance à augmenter parmi les étudiants qui travaillent, mais qui ne travaillent pas beaucoup (plus de 2à heurespar semaine). Différentes autres études sur l enseignement supérieur ont des conclusions similaires. Certaines études ont remarqué que le fait d avoir une activité rémunérée comporte des effets négatifs sur les études des étudiants, arrivant à affecter la production de devoirs (Ford et al., 1995; Lindsay et Paton-Saltzberg, 1996). D autres études ne relèvent point de différences entre les notes d étudiants qui travaillent et les notes d étudiants qui ne travaillent pas (Gleason, 1993); ceux qui travaillent plus de 16 heures par semaine ont tendance à avoir des résultats inférieurs (Lidell et Rue, 2002). La plupart de ces études ont analysé le rapport entre l emploi et la réussite des étudiants. Un programme d enseignement basé sur la résolution de problèmes met l accent sur le développement d une formation personnalisée, accordant beaucoup de temps à l étude individuelle. Ainsi, il faut identifier non seulement le rapport entre l emploi et la réussite des étudiants, mais aussi le rapport entre l emploi des étudiants et la participation en classe et le temps consacré à l étude individuelle. Pour cela, cette étude se propose un double but: premièrement, d examiner le rapport existant entre le temps que les étudiants dédient à des activités rémunérées et le temps consacré à la participation en classe et à l étude individuelle, et deuxièmement, d analyser le rapport entre le temps que les étudiants passent à travailler et le taux de réussite dans les études. La méthode Les participants On a sélectionné un échantillon aléatoire de 120 étudiants universitaires, partagés de manière égale en trois années d étude dans le cadre du programme de licence en sciences médicales (20 pour cent de la population totale). Le matériel On a demandé aux étudiants de garder un journal qui comprenait plusieurs activités d étude et de non-étude (l exemple d une journée du journal est présenté dans le Tableau 1). Afin 134

d améliorer la signification univoque de chaque activité, toutes les catégories ont été expliquées de manière détaillée. Par exemple, la catégorie «c: étude pour le groupe de formation» inclut: l étude individuelle, la résolution de problématiques de formation, la lecture du fascicule, et l étude de textes afin de pouvoir préparer le groupe de formation. On a demandé aux étudiants de mentionner chaque quart d heure dédié à une certaine activité, en séparant le matin, l après-midi, le soir et la nuit. TABLEAU 1. Le journal. Exemple d une journée Lundi le 13 mars A. Participation en classe (cours, séminaires, formation, tests, sans inclure les pauses et les déplacements) B. Recherches bibliographiques (y inclus la réalisation de copies) C. Etude pour le groupe de formation (résolution de problématiques de formation, lecture et étude d ouvrages et d articles) D. Etude d autres sources de formation F. Travail rémunéré Source: Les auteurs. Matin (08h00 12h00) Après-midi (12h00-18h00) Soir (18h00-00h00) Nuit (00h00-08h00) La variable de sortie réussite universitaire a été mesurée à travers les scores obtenus par les étudiants au block-test écrit. Le block-test, effectué après chaque session, reflète le contenu de la session antérieure de six semaines. Le but principal du block-test est d évaluer les connaissances des étudiants concernant leur maîtrise es objectifs du cours. Le test est noté entre 0 et 10. Une note de 6 ou plus compte comme suffisante. La procédure Les étudiants ont noté chaque jour la quantité de temps dédié à des activités liées à deux cours de six semaines, le cinquième et le sixième cours de l année universitaire 2001-2002. Après chaque semaine, on a répertorié les étudiants qui rapportaient le journal complété au chercheur. Après douze semaines, les étudiants qui ont rapporté le journal toutes les semaines ont reçu une récompense. Le taux de réponse a été de 99 pour cent. Les analyses On a calculé dans chaque catégorie la durée moyenne du temps passé par semaine par chaque étudiant pour la période totale de douze semaines. La durée moyenne consacrée par chaque étudiant aux catégories «Recherches bibliographiques», «Etude pour le groupe de formation» et «Etude d autres sources de formation» a été calculée et reformulée sous la forme de la catégorie «Etude individuelle». En ce qui concerne les notes obtenues aux tests, on a calculé des moyennes des notes à deux block-tests. Afin de faciliter l interprétation des données, les moyennes des notes de la moyenne du temps consacré au travail rémunéré ont été partagées en quatre groupes: le premier groupe (0 heures passées à travailler), le deuxième groupe (entre 0,1 et 4 heures de travail), le troisième groupe (entre 4 et 8 heures par semaine), et le quatrième groupe (plus de 8 heures par semaine). Les 135

différences entre les scores des étudiants de chaque catégorie concernant le temps dédié à l étude et la réussite ont été analysées à travers une analyse des variations (ANOVA) 95. Les résultats Le Tableau 2 présente le temps moyen dédié par semaine à la participation en classe, à l étude individuelle et au travail rémunéré. TABLEAU 2. Temps moyen dédié par semaine (en heures) à la participation en classe, à l étude individuelle et au travail rémunéré durant 12 semaines, avec mention de la déviation standard (SD), minimale (Min) et maximale (Max) et du nombre de participants (N). Activité Moyenne SD 1 Min 2 Max 3 N 4 Participation en classe 6,4 2,5,38 12,7 120 Etude individuelle 10,1 5,8 0 30,5 120 Travail rémunéré 7,5 4,4 0 17,1 120 Total 26,6 4,2 120 1 Déviation standard; 2 minimale; 3 maximale; 4 Nombre de participants. Source: Les auteurs. Dans le Tableau 3, le temps moyen dédié à la participation en classe est partagé en quatre groupes: les étudiants qui travaillent 0 heures par semaine; les étudiants qui travaillent entre 0,1 et 4 heures par semaine; les étudiants qui travaillent entre 4 et 8 heures par semaine; et les étudiants qui travaillent plus de 8 heures par semaine. Le niveau de la participation en classe est le plus réduit pour les étudiants qui n ont pas d activité rémunérée (0 heures) et augmente pour les étudiants qui travaillent plusieurs heures par semaine. Les catégories de durée du travail diffèrent de manière significative lorsqu on examine le temps dédié à la participation en classe [F(3, 118) = 11.48, p<.001]. Le Tableau 3 montre également que le temps moyen consacré à l étude individuelle est le plus réduit pour les étudiants qui travaillent 0 heurs par semaine et le plus élevé pour les étudiants qui travaillent entre 4 et 8 heures par semaine. Ces différences sont significatives: [F(3, 118) = 7.11, p<.001]. Cependant, le Tableau 3 montre que les notes obtenues au block-test sont les plus réduites pour les étudiants qui travaillent 0 heures, ainsi que pour les étudiants qui travaillent plus de 8 heures par semaine. Les différences entre les catégories résultant des notes obtenues au block-test sont infimes et insignifiantes: [F(3, 118) =.24, p<.862]. TABLEAU 3. Heures moyennes et déviation standard (SD) pour la participation en classe 1 Temps dédié à l étude Heures de travail par Participation en classe Notes au block-test individuelle semaine Moyenne SD Moyenne SD Moyenne SD 0 heures (n=10) 3,8 3,5 3,7 1,8 6,8,2 0,1 à 4 heures (n=41) 5,7 2,9 9,9 5,6 6,9,7 4 à 8 heures (n=31) 5,8 1,4 14,1 6,2 7,1,7 8 > heures (n=38) 7,1 1,8 12,7 3,7 6,8,8 Total 6,4 2,5 10,1 5,8 6,7,6 1 Heures moyennes et déviation standard (SD) pour la participation en classe et notes moyennes et déviation standard (SD) aux bloc-tests pour chaque catégorie (étudiants travaillant 0 heures plus de 8 heures par semaine). Source: Les auteurs. Conclusion 95 Pour plus d informations sur ANOVA, voir <http://davidmlane.com/hyperstat/intro_anova.html>. 136

Le premier but de cette étude a été d examiner le rapport existant entre le temps que les étudiants dédient à des activités rémunérées et le temps passé à étudier (la participation en classe et l étude individuelle, par exemple). L argument de bon sens contre le fait de travailler en faisant ses études est que le temps que les étudiants consacrent au travail porte atteinte au temps dédié aux études. Néanmoins, les résultats de cette étude ne confirment pas cet argument. Il résulte au contraire que le niveau de la participation en classe augmente lorsque les étudiants travaillent plusieurs heures par semaine. Cela représente une conclusion remarquable, car on ne s attendait pas à saisir des différences entre les étudiants au niveau de la participation en classe (incluant des cours, des programmes de formation et des séminaires), parce que dans un programme d enseignement basé sur la résolution de problèmes la quantité totale de temps planifiée pour la formation est limitée, d environ 12 heures par semaine. En outre, les groupes de formation (4 heures par semaine) sont obligatoires; donc les différences sont principalement générées par la participation ou le manque de participation aux cours et dans le programme de formation. Le groupe ayant le niveau le plus réduit de participation en classe est le groupe qui ne travaille point. Ce groupe est également celui qui passe le moins d heures à étudier individuellement. Les résultats montrent qu en effet le groupe qui travaille entre 4 et 8 heures par semaine (à la différence du groupe d étudiants travaillant moins de 4 heures par semaine ou de ceux travaillant plus de 8 heures par semaine) est le groupe qui consacre le plus de temps à l étude individuelle. Une explication de ce constat peut être que les étudiants qui ont une activité rémunérée apprennent à mieux gérer leur temps. Ils sont obligés à mieux gérer leur temps que les étudiants qui travaillent moins de 4 heures ou qui ne travaillent point. Les étudiants qui font partie de ce dernier groupe peuvent considérer qu ils ont plus de temps à leur disposition et ajournent ainsi leur étude. On pourrait aussi dire que les étudiants qui sont employés sont plus susceptibles de travailler plus sérieusement du point de vue universitaire. Toutefois, lorsqu on passe trop de temps à travailler (plus de 8 heures par semaine), le temps destiné à l étude individuelle se trouve réduit. Cela peut s expliquer plus facilement: le temps que les étudiants consacrent à l activité rémunérée empiète sur le temps disponible à l étude; autrement dit, la quantité totale de temps par semaine est limitée. Ces résultats correspondent à ceux de l étude de Schill et al. (1985), qui ont découvert que le fait de travailler quelques heures par semaine (à la différence du fait de ne pas travailler ou de travailler de manière intensive) avait en effet des effets positifs sur les résultats scolaires. Ils ont découvert que les notes sont plus élevées parmi les étudiants qui ont des activités rémunérées, mais qui ne travaillent pas beaucoup. La différence est qu ils ont identifié ce rapport entre les heures de travail et les notes, pendant que l étude présente a identifié ce rapport entre les heures de travail et le temps consacré à l étude individuelle, sans rapport aux résultats scolaires. Cela a été le deuxième but de cette étude: d analyser le rapport entre le temps que les étudiants passent à travailler et le taux de réussite dans les études. Les résultats ont montré que les notes aux block-tests n étaient pas significativement différentes entre les étudiants qui n effectuaient pas d activité rémunérée, ceux qui travaillaient quelques heures, et ceux qui travaillaient beaucoup. L absence de ce rapport peut s expliquer par le fait que les étudiants nécessitent individuellement plus ou moins de temps pour apprendre, selon leur niveau de réussite, qui peut être expliqué par l intelligence, les cycles de formation, ou d autres variables. Autrement dit, il n y a pas de rapport direct entre le temps que les étudiants dédient aux activités rémunérées et la formation et les résultats. Une autre explication pour l absence de ce rapport est que la nature ou le type de l activité a aussi son rôle à jouer. Les emplois qui peuvent être obtenus par des étudiants peuvent avoir un effet mental et/ou physique différent sur leur comportement universitaire (par exemple, ce qui compte n est pas le temps passé à étudier, mais la manière dont les étudiants apprennent). 137

Dans notre étude, nous n avons examiné que le nombre d heures passées à travailler par semaine, laissant de côté le type ou la nature du travail. Il est possible que la nature du travail ait plus d effet sur la réussite finale que le nombre effectif d heures que les étudiants dédient au travail. Kuh (1995) a montré que le rapprochement entre la vie active et l expérience universitaire des étudiants contribuera à l évolution académique et cognitive des étudiants, ainsi qu au développement de leurs capacités interpersonnelles et pratiques. Les futures recherches devront approfondir cette question. Références BARROWS, H.S. et TAMBLYN, R.M. Problem-Based Learning. An Approach to Medical Education. New York: Springer, 1980. BLIGHT, J. Problem Based, Small Group Learning: An Idea Whose Time Has Come, British Medical Journal 311 (1995): 342-343. BLUMBERG, P., MICHAEL, J.A., et ZEITZ, H. Roles of Student-Generated Learning Behaviours in Problem-Based Learning, Teaching and Learning in Medicine 2 (1990): 149-154. D AMICO, R. Does Employment during High School Impair Academic Progress?, Sociology of Education 57 (1984): 152-164. FORD, J., BOSWORTH, D., et WILSON, R. Part-Time Work and Full-Time Higher Education, Studies in Higher Education 20 (1995): 187-202. GARASKY, S. Exploring the Effects of Childhood Family Structure on Teenage and Young Adult Labor Force Participation (IRP Discussion Papers, Vol. 1111-96). Madison, WI: Institute for Research and Poverty, 1996. GIJSELAERS, W.H., et SCHMIDT, H.G. Effects of Quantity of Education on Time Spent on Learning and Achievement, Educational Research and Evaluation 1 (1995): 183-201. GLEASON, P. College Student Employment, Academic Progress, and Post College Labor Market Success, Journal of Financial Aid 23 (1993): 5-14. JONAS, H.S., ETZEL, S.I., et BARZANSKY, B. Educational Programs in US Medical Schools, The Journal of the American Medical Association 266 (1991): 913-920. KABLAOUI, B.N., et PAULTER, A.J. The Effects of Part-Time Work Experience on High School Students, Journal of Career Development 17 (1991): 195-211. KNOWLES, M.S. Self-Directed Learning: A Guide for Learners and Teachers. New York: Cambridge Books, 1975. KUH, G.D. The Other Curriculum: Out-of-Class Experiences Associated with Student Learning and Personal Development, Journal of Higher Education 66 (1995): 123-155. LILLYDAHL, J.H. Academic Achievement and Part-Time Employment of High School Students, Journal of Economic Education, 21 (1990): 307-316. LIDELL, C., et RAE, G. Student Participation in Paid Work and Its Association with Academic Achievement: A Northern Ireland Study, Irish Journal of Psychology 23 (2002): 86-100. 138

LINDSAY, R.O., et PATON-SALTZBERG, R. The Effects of Paid Employment on the Academic Performance of Full-Time Students in a British New University. Consultancy Report. Oxford Brookes University, 1996. MARSH, H.W. Employment during High School: Character Building or a Subversion of Academic Goals? Sociology of Education, 64 (1991): 172-189. MCNEAL, R.B. Are Students Being Pulled out of High School? The Effect of Adolescent Employment on Dropping out, Sociology of Education 70 (1997): 206-220. POST, D., et PONG, S.L. Employment during Middle School: The Effects on Academic Achievement in the U.S. and Abroad, Educational Evaluation and Policy Analysis 22 (2000): 273-298. SCHMIDT, H.G. Problem-Based Learning: Rationale and Description, Medical Education, 17, (1983): 11-16. SCHILL, W.J., MCCARTIN, R., et MEYER, K.A. Youth Employment: Its Relationships to Academic and Family Variables, Journal of Vocational Behavior 26 (1985): 155-163. SCHOENHALS, M., TIENDA, M., et SCHNEIDER, B. The Educational and Personal Consequences of Adolescent Employment, Social Forces 77 (1998): 723-762. STEEL, L. Early Work Experience among White and Non-White Youths: Implications for Subsequent Enrolment and Employment, Youth and Society 22 (1991): 419-447. VAN DER DRIFT, K.D.J.M., et VOS, P. Anatomie van een leeromgeving [Anatomie d un milieu de formation]. Lisse: Swets and Zeitlinger, 1987. VAN DER VLEUTEN, C.P.M., SCHERPBIER, A.J.J.A., WIJNEN, W.H.F.W., et SNELLEN, H.A.M. Flexibility in Learning: A Case Report on Problem-Based Learning, International Higher Education 2 (1996): 17-24. WARREN, J.R., LEPORE, P.C., et MARE, R.D. Employment during High School: Consequences for Students Grades in Academic Courses, American Educational Research Journal 4 (2000): 943-969. WORLEY, L.P. Working Adolescents: Implications for Counsellors, The School Counsellor 42 (1995): 218-223. ZIMMERMAN, B.J. Self-Regulated Learning and Academic Achievement: An Overview, Educational Psychologist 25 1 (1990): 3-17. 139

Comptes-rendus et études bibliographiques Africa: A Dream Deferred, de John Gay. Northridge, CA: New World African Press, 2004, 272 pp., ISBN 0-9717692-8-1. Ecrivant dans (probablement) la même maison que l auteur de cet unique mémoire et étude historique-critique du «rêve» qu a été l Afrique post-coloniale où il a vécu, en tant qu enseignant au Collège (universitaire) Cuttington de Libéria, de 1958 à 1974, le critique propose aux lecteurs de l Enseignement supérieur en Europe de revoir ensemble l analyse la plus érudite et tendrement critique de Dr. John Gay du Continent (jusqu à récemment) «oublié», et de son rêve «ajourné» de développement économique, social, politique et culturel. 96 Comme l affirme le récent rapport de la Commission sur l Afrique du Premier ministre britannique et comme d autres études importantes le mettent en évidence, l échec de l Afrique de se développer selon ses prévisions à la fin du Vingtième siècle est un échec que les décideurs politiques européens et américains ne pourront plus ignorer sainement au Vingt-et-unième siècle. Parlant de son arrivée à un moment propice pour la nouvelle Afrique, libérée du colonialisme depuis des années, Dr. Gay décrit les attentes et les sentiments impétueux partagés par beaucoup de gens: Je suis arrivé au Libéria en décembre 1958. Une année plus tôt, le Ghana avait rejoint le Libéria et l Ethiopie comme les seules nations indépendantes, autonomes de l Afrique subsaharienne. L'excitation d'un nouveau commencement pesait lourd dans l'air, à mesure que d autres territoires coloniaux attendaient leur propre indépendance avec impatience. De [futurs] dirigeants puissants du Sénégal (Leopold Senghor) à l Afrique du Sud (Albert Luthuli), du Kenya (Jomo Kenyatta) à la Zambie (Kenneth Kaunda), de l Ouganda (Milton Obote) à la Côte d'ivoire (Félix Houphuet-Boigny), du Ghana (Kwame Nkrumah) au Tanganyika (Jules Nyerere), du Nigeria (Nnamdi Azikiwe) au Congo Belge (Patrice Lumumba) ne pouvaient pas trahir le continent qui leur avait donné naissance. Et ils seraient guidés par des hommes politiques expérimentés qui connaissaient les problèmes et les dangers apparaissant sur le chemin de l'autonomie nationale: le président William Tubman (Libéria) et l empereur Haile Selassie (Ethiopie) Il y avait une paix presque générale en Afrique en 1958. La rébellion de Mau Mau au Kenya avait presque atteint son but, et il semblait que les Anglais devraient bientôt céder le pouvoir aux gens locaux. Il y avait une paix maussade en Afrique du Sud. Le Massacre de Sharpeville n avait pas encore eu lieu. Et les jeunes Africains se préparaient à jouer un rôle important dans le changement de leur pays. Et l enseignement! L'enseignement était le catalyseur qui changerait le visage de la société. Dans la plupart des pays seulement une petite minorité d'africains était allée à l école, mais les écoles ouvraient désormais à une allure croissante. Nous, ceux du Collège Cuttington, faisions partie de l'avant-garde dispensant de l enseignement 96 En suivant probablement l exemple de John Gay, le critique a entrepris un service de mission d un semestre au Collège universitaire de Cuttington de mars à juillet 2005, comme partie d une activité de rédéveloppement institutionnel de l agence finançant le Collège, l Eglise épiscopale des Etats-Unis. 140

supérieur à de jeunes gens censés rentrer ensuite dans leurs propres pays. 97 Ils rapporteraient avec eux de l alphabétisation, des savoirs et des compétences à leurs familles qui les avaient envoyés avec de grands espoirs d abord au lycée et ensuite à l université Cependant, cela n a pas marché comme nous avions espéré. J'écris ceci en 2004, alors que les désastres visibles dans presque chaque pays africain narguent nos grands espoirs. Le Sierra Leone se remet à peine de la destruction laissée derrière par une milice sanglante et presque sans chef. Le Libéria est dans un état de quasi-prostration à la suite de la dictature d un tyran impitoyable et avide, qui s est enrichi avec chaque goutte de sang, main coupée, et diamant précieux. Du Sénégal à la Somalie et à l Afrique du Sud il y a à peine un pays qui est arrivé à réaliser les espoirs que nous avons tous partagés durant ces jours impétueux de 1958. [En effet], beaucoup d entre eux sont désormais en pire état qu'ils ne l étaient à l époque (1-3). Gay, qui a travaillé en tant que missionnaire épiscopal, enseignant, et spécialiste en sciences sociales pour l Organisation pour l alimentation et l agriculture (FAO), l Agence des Etats-Unis pour le développement international (USAID), et différents ONG indigènes d Afrique pour plus de quarante ans, exprime son espoir que sa perception compréhensive des questions relatives au développement et des raisons pour lesquelles la promesse de l Afrique n a pas été réalisée puisse ouvrir un nouveau chemin. Partageant les idées de l historien Edward Tenner, Gay soutient que la plupart des problèmes de l Afrique n ont pas été provoquées par les mauvaises intentions et l impérialisme de l Occident, même si, de toute évidence, certains problèmes y trouvent les causes, mais plutôt par «la revanche de conséquences non-intentionnelles» d intentions et d activités bien intentionnées. 98 Le professeur Gay organise son analyse en chapitres selon les catégories suivantes, avec des sous-chapitres spécifiques: le changement d un ordre moral, la négligence des savoirs indigènes, la domination des élites (africaines et occidentales), les systèmes d enseignement et médicaux étrangers, le contrôle économique occidental (avec ses alternatives «libre» et «commandé») et l imposition de modèles politiques occidentaux, l adoption par beaucoup de pays africains d économies centralisées de commande durant la période de la Guerre froide, les mutations démographiques, les conflits religieux et l accroissement de la lutte pour des ressources et la génération conséquente de conflits et la militarisation accrue. Il s agit d une longue liste, mais le Dr. Gay fait un travail admirable d information et de synthèse dans son ouvrage, combinant des expériences et des observations personnelles approfondies avec des sources secondaires pertinentes et fiables. Dans son analyse du changement de l ordre moral de l Afrique, Gay est à féliciter pour avoir remarqué le rôle changé (c est-à-dire diminué) que les sociétés secrètes et les écoles tribales traditionnelles jouent dans le cadre de l offre d éducation informelle pour tous, pendant que l enseignement de type occidental offert comme substitut n est pas arrivé à servir de la même manière à accroître les opportunités de vie et le bien-être de tous les Africains, mais seulement des membres d une élite qui ont pu s assurer les meilleures places 97 On peut s interroger au sujet de la symétrie des fortunes et des buts que cette même promesse éducationnelle idéaliste a inspiré à la fois l Afrique et l UNESCO à leur apogée, et de la manière dont on accomplit le grand défi de l identification d un nouveau but unificateur, plus justifié et plus réaliste (sinon moins alternativement idéaliste cum cynique), réunissant le continent et l agence des Nations Unies aujourd hui. 98 Dans son analyse, Gay affirme qu il utilise comme modèle le Rapport du Projet des Nations Unies des futures africaines de 2002. 141

dans la course aux diplômes qui est inévitablement apparue. 99 Son analyse des manières dont les formes traditionnelles d art peuvent soutenir les structures familiales et communautaires (la clé de la réussite de tout projet de développement en Afrique) est unique, en particulier comme une modalité de préserver les «histoires locales» devant l avalanche de changements de niveau continental comme l épidémie du SIDA, l accroissement de l urbanisation, «l économisation», et les changements conséquents subis par le rôle des femmes. Dans «la négligence des savoirs indigènes», Gay place, de manière relativement ingénieuse, le milieu naturel et sa destruction. Il présente aussi la manière dont les sociétés d Afrique ont abandonné la variété de cultures natives destinées aux besoins locaux, et ont développé à la place des cultures uniques profitables, satisfaisant des demandes économiques d exportation, souvent développant sur le chemin des économies «à produit unique», ce qui a placé leurs pays complètement au merci des prix établis par le marché mondial pour cette marchandise. Dans le quatrième chapitre de Africa: A Dream Deferred, Gay parle de la domination de l Afrique par des élites, à la fois occidentales et africaines. Il écrit: La domination étrangère, le néocolonialisme, l impérialisme économique, l agression culturelle tous ont été blâmés pour le triste état présent de l'afrique. Je crains m aventurer sur un tel terrain, de peur que je tombe dans le piège posé par ceux qui oublient ce que les Africains se sont infligés eux-mêmes et ne considèrent que ce que les étrangers ont fait aux Africains. Il existe aussi la tentation opposée: de penser seulement à la folie, aux loyautés éthiques limitées, et à la corruption de beaucoup trop d'africains. Je résiste aux deux tentations en choisissant de faire référence aussi largement que possible à la domination des élites étrangères aussi bien que locales. En outre, on devrait souligner le fait que les étrangers qui ont cherché d établir leur hégémonie sur les victimes de l'oppression sont aussi souvent africains qu européens [puisque l Afrique n est pas une culture monolithique] L image générale montre que les représentants du pouvoir en Afrique contrôlent et sont contrôlés par leurs clients: le rapport symbiotique entre le patron et le client explique le succès du premier et la survie du dernier. (77). Ces élites ont joué un rôle important dans les problèmes de l Afrique ses rapports et ses infrastructures économiques encore trop coloniales, ses distorsions économiques locales conséquentes, son problème de la «fuite des cerveaux», ses guerres pour des ressources 99 Pour développer cette thèse, Gay poursuit l ouvrage classique de Ronald Dore, The Diploma Disease: Education, Qualification and Development (La maladie des diplômes: l enseignement, la formation et le développement) (Berkeley et Los Angeles: University of California Press, 1976), même si il ne le cite pas directement. Cela est particulièrement évident dans le chapitre de Gay sur «les systèmes étrangers d enseignement» et surtout sur le secteur universitaire. Comme il écrit: Dans les pays africains, où j ai vécu et travaillé, la défaillance dans le système scolaire [officiel, occidental] mène à une vie difficile. Ces personnes doivent faire les sales métiers de la société et se contenter de peu de récompenses. En outre, le niveau qu une personne doit atteindre afin de s assurer le confort et la sécurité a varié au long des années. Lorsque je suis premièrement arrivé au Libéria une personne qui avait fait six années d école était considéré un membre de l intelligentsia et pouvait obtenir une bonne position La situation avait changé lorsque j ai quitté le Libéria en 1974. A cette époque, le fait d avoir un diplôme de lycée ne garantissait pas l obtention d un bon emploi. Les diplômés de collège devaient chasser des emplois, et lorsque je suis rentré au Libéria, en 1997, j ai rencontré des diplômés du Collège universitaire Cuttington qui avaient ouvert des petites épiceries afin de pouvoir subsister (109). D où le besoin d encourager la formation en des métiers nécessaires, comme la mécanique et la plomberie (domaines dans lesquels l Afrique dispose de peu de spécialistes, à cause de l attraction exercée par le prestige offert par le statut de col-blanc, quoique en déclin) ou même les traditionnelles «écoles buissonnières», dit Gay. 142

rares. Gay raconte l histoire déchirante des manières dont ces étroits rapports patron/client peuvent apporter le désastre même dans des établissements qui tentent d aider la population, expliquant partialement de cette manière pourquoi ces établissements fondamentaux tombent souvent proie aux pillages et aux destructions irraisonnées durant les conflits civils. En rapport avec la destruction de l hôpital Phebe du centre du Libéria, en novembre 2003, et la destruction totale d une clinique médicale «qui a traité tous les jours des centaines de patients», il est noté: Je veux savoir comment un tel vandalisme peut avoir lieu. Comment des gens qui dépendent de cet hôpital pour de précieux soins médicaux peuvent faire de telles choses? La réponse la plus proche que je puis trouver est un incident qui a eu lieu en 2001, quand je visitais un village à seulement trente minutes de marche de l'hôpital Phebe. On m a apporté un vielle femme, souffrant de ce qui m a paru être un cancer terminal. Elle avait été conduite à Phebe pour le traitement, mais quand sa famille a été informée du coût de l opération chirurgicale requise pour enlever la tumeur, ils l ont ramenée à la maison. La famille m a demandé sérieusement un peu d'argent pour pouvoir l y reconduire. Je leur ai donné ce qu'ils ont demandé, mais j'étais aussi certain qu ils ne pourraient pas s'offrir le traitement nécessaire par la suite. Il est possible que quelqu un de la famille ait pu participer au pillage de l'hôpital quoique je ne puisse pas le savoir avec certitude, évidemment. On ne peut pas reprocher aux hôpitaux d'essayer de trouver du soutien face à des demandes interminables venant de personnes démunies de ressources. Même l'insistance du FMI sur la récupération des investissements a un sens économique rationnel. Ce qui n'est pas logique est que la santé soit un privilège et pas un droit. Il est certain que la pauvreté et l impossibilité d obtenir des soins médicaux n ont pas été les seules raisons pour le pillage. Les casseurs ont inclus des soldats ivres et mineurs. Même plus, ils ont inclus des commandants qui ont pensé obtenir des gains financiers en vendant des lits, des toitures, des verres des fenêtres, des câbles en cuivre, des joints de la plomberie, des pièces du générateur, du matériel de laboratoire, des médicaments, [etc.] Je crois vraiment qu à la racine des choses, malgré l'avidité humaine, se trouvent la pauvreté et le désespoir, et finalement l'incapacité à changer la situation par des moyens rationnels, ce qui a alimenté tant de guerres en Afrique (91-92). Gay souligne le rôle que les conflits religieux peuvent jouer dans la justification «super-structurelle» d un conflit économico-structurel comme celui-ci. La religion est encore un puissant principe d organisation en Afrique, mais les conflits entre les croyances animistes «traditionnelles», le christianisme et l Islam importés, et les nouveaux corps religieux synergétiques africains représentent de mauvais présages pour l avenir. Comme il le met en évidence, «trop peu de gens pensent que ce qu je crois et ce que tu crois peuvent coexister en paix ou que les gens peuvent même s accorder à des niveaux trop 143

profonds pour être compris» (141). Il résulte d ici que la division et la discorde prédominent même dans les choses de l esprit. 100 Dans l esprit d équilibre de l ouvrage, le professeur Gay parle continuellement de l inopportunité des systèmes occidentaux de santé, économiques dérivés des compétitions entre superpouvoirs voulant équilibrer leurs «sphères de pouvoir» durant la période la Guerre froide et des compromis faits par des élites africaines menant à une mauvaise adaptation à ces systèmes, tous faits au nom du développement. Comme son collègue, l archevêque anglican Desmond Tutu d'afrique du Sud, le critique soussigné trouve aussi l analyse de Gay des problèmes et des causes de ces malheurs de l'afrique «précise», essentielle pour retirer des yeux des décideurs politiques européens et américains ce que les spécialistes africains Paul Bohannan et Philip Curtin ont appelé: un voile mythique si puissant et spécieux que sa compréhension [de l Afrique] devient une double tâche; la tâche de clarifier le mythe et la tâche distincte d'examiner la réalité qui se trouve derrière. Seulement s il est prononcé et raconté le mythe peut être déconstruit. Seulement la déconstruction du mythe permet l apparition de la réalité de l Afrique. 101 Tout en étant d accord avec cela, le critique souhaiterait (comme le spécialiste libérien en sciences politiques D. Elwood Dunn) que les remèdes socioculturels sincèrement proposés par Gay à l Afrique, bien de nature provisoire, démontrent plus de «circonspection». Même si Dunn ne définit pas ce qu il comprend précisément par ce mot, le critique sent que sa critique tempérée de l ouvrage de Gay indique une adoption idéaliste par l auteur d une «situation idéale d expression» habermassienne, un idéalisme dont l entrée en existence ne sera pas permise par la fausse realpolitik des puissances hégémoniques, avant qu à la fois les nations du «premier monde» et les nations des «deux tiers» restants arrivent à comprendre que leurs destins sont étroitement entrelacés. Si on arrivera à réaliser cette acception commune alors il est possible que les projets optimistes de Gay concernant l avenir de l Afrique puissent se transformer en des options politiques «réalistes». Nous ne pouvons que prier et espérer cela pour notre bien commun. ERIC GILDER 100 Dans une «postface personnelle» de l ouvrage, Gay tente de répondre sincèrement à la complainte africaine que le christianisme missionnaire devra répondre à beaucoup de questions relatives à l histoire de ces terres. Il écrit: Deux amis qui ont lu ce chapitre dans une forme provisoire disent que ce que je veux dire a un caractère discontinu et contredit ce que j ai écrit jusqu ici. Ils disent que je révèle ce qui a été jusqu ici un agenda partiellement caché du christianisme missionnaire. Ils affirment que le christianisme, comme toute autre idéologie occidentale, a fait du tort à l Afrique Je m oppose respectueusement à cela [mais] je comprends que par trop de fois ceux d entre nous qui ont prêché l évangile ont enfreint ses principes fondamentaux dans nos vies et dans nos paroles. Nous qui sommes des chrétiens pouvons commencer à confesser notre propre péché, ce qui est une manière théologique de dire que nous avons fait des choses certaines d entre elles bien et d autres mal pour des raisons égoïstes. Nous n avons que très rarement accordé un respect total à la preuve de la présence de Dieu en Afrique, et nous avons souvent passé rudement l éponge sur des croyances et des styles de vie qui étaient bien enracinés en Afrique avant que nous arrivions. Certains d entre nous, jusqu à ce jour même, avons employé notre foi chrétienne pour promouvoir des buts économiques et politiques occidentaux. Nous avons oublié que beaucoup de ce qui est bon en Afrique est dû non seulement aux Africains eux-mêmes, mais aussi à des étrangers laïques et même à des militants anti-christianisme (261-62). 101 Bohannan, P. et Curtin, P. Africa and Africans, Edition révisée. Garden City, NY: The Natural History Press, 1971, p. 3. 144

Notes sur les auteurs L Enseignement supérieur en Europe Vol. 30, Numéro 2, 2005 BUDDIN, Richard, Dr., Economiste principal Adresse: RAND Corporation, 1776 Main Street, Santa Monica, CA 90407-2138, Etats-Unis. Tél.: +1 310 393 0411/ 7875; Fax: +1 310 260 8176; E-mail: buddin@rand.org CHENG, Ying, M. Adresse: Institut pour l enseignement supérieur, Université Jiao Tong de Shanghai, Shanghai 200240, Chine. Tél.: +86 21 5474 2911; Fax: +86 21 5474 4498; E-mail: ycheng@sjtu.edu.cn CHUN, Marc, Dr., Chercheur scientifique Adresse: RAND Corporation, Council for Aid to Education, 215 Lexington Avenue, Floor 21, New York, NY 10016-6023, Etats-Unis. Tél.: +1 212 661 5800; E-mail: marc_chun@rand.org CLARKE, Marguerite, Dr., Boursier postdoctoral à l Université Brown, Providence, Rhode Island, Etats-Unis Adresse: 25 Armagh Street, Athelstone, SA 5076, Australie. Tél.: +61 8 8201 5737; E-mail: Marguerite_Clarke@Brown.edu DE MIGUEL, Jesús M., Professeur, Directeur du Groupe de recherche GRS Adresse: Department of Sociology, Harvard University, William James Hall 602, 33 Kirkland Street, Cambridge, Massachusetts 02138, Etats-Unis. Tél.: +1 617 496 6509; Fax: +1 617 496 5794; E-mail: demiguel@fas.harvard.edu; jesusdemiguel@ub.edu GAUL, Jens-Peter, Dr. Adresse: Bureau central, Fondation allemande pour la recherche, Kennedyallee 40, D-53175 Bonn, Allemagne. Tél.: +49 228 885 2799; Fax: +49 228 885 2770; E-mail: jens-peter.gaul@dfg.de GILDER, Eric, Professeur Dr. et boursier C. Peter Magrath Adresse: Faculté d art et de lettres, Université Lucian Blaga de Sibiu, 5-7, Boul. Victoriei, RO-550024 Sibiu, Roumanie. Tél..: +40 269 215 556/ext.188; Fax: +40 269 217 887; E- mail: eric.gilder@ulbsibiu.ro GUARINO, Cassandra, Economiste Adresse: RAND Corporation, 1776 Main Street, Santa Monica, CA 90407, Etats-Unis. Tél.: +1 310 393 0411 ext. 7219; E-mail: cassie@rand.org JOBBINS, David, Mr., Editeur section étranger et éditeur adjoint Adresse: The Times Higher Education Supplement, 39 Glovers Field, Kelvedon Hatch, Brentwood, Essex, UK CM15 0BD, Royaume-Uni. Tél.: +44 20 7782 3304; E-mail: david_jobbins@lineone.net 145

LIU, Nian Cai, Professeur Adresse: Institut pour l enseignement supérieur, Université Jiao Tong de Shanghai, Shanghai 200240, Chine. Tél.: +86 21 5474 2911; Fax: +86 21 5474 4498; E-mail: ncliu@sjtu.edu.cn LIU, Li, Mme. Adresse: Institut pour l enseignement supérieur, Université Jiao Tong de Shanghai, Shanghai 200240, Chine. Tél.: +86 21 5474 2911; Fax: +86 21 5474 4498; E-mail: liuli@sjtu.edu.cn MERISOTIS, Jamie P., Dr., Président Adresse: The Institute for Higher Education Policy, 1320 19th Street NW, Ste. 400, Washington D.C. 20036, Etats-Unis. Tél.: +1 202 861 8223; Fax: +1 202 861 9307; E-mail: jamie@ihep.org; institute@ihep.com RIDGEWAY, Greg, Dr., Statisticien Adresse: RAND Corporation, 1776 Main St, Santa Monica, CA 90401-2138, Etats-Unis. Tél.: +1 310 393 0411/ 7734; E-mail: gregr@rand.org ROCKI, Marek, Professeur Dr. hab., Recteur Adresse: Ecole de sciences économiques de Varsovie, Al. Niepodległości 162, PL-02-554 Warsaw, Pologne. Tél..: +48 22 849 5514 / 337 9201; Fax: +48 22 849 5312; E-mail: roma@sgh.waw.pl SADLAK, Jan, Dr., Directeur Adresse: Centre européen de l UNESCO pour l enseignement supérieur (UNESCO-CEPES), 39, rue Ştirbei Vodă, RO-010102 Bucarest, Roumanie. Tél.: +40 21 313 0698; Fax: +401 312 3567; E-mail: cepes@cepes.ro SANCHEZ, Jara D., Chercheur GRS Adresse: Elizabethtown College, Elizabethtown, Pennsylvania 17022, Etats-Unis. Tél.: +1 717 361 6606; Fax: +1 717 361 6619; E-mail: jarasanchez@ub.edu VAN BERKEL, Henk J.M., Dr. Adresse: Département pour le développement de l enseignement et pour la recherche sur l enseignement, Université de Maastricht, P.O. Box 616, 6200 MD Maastricht, Pays-Bas. E- mail: h.vanberkel@educ.unimaas.nl VAN DEN HURK, Marianne, Professeur assistant, Dr. Adresse: Faculté de sciences sociales, Département de sciences pédagogiques et d enseignement, Université Radboud de Nijmegen, P.O. Box 9104, NL-6500 HE Nijmegen, Pays-Bas. Tél.: +31 24 361 2459; Fax: +31 24 361 5978; E-mail: M.vandenhurk@pwo.ru.nl VAN DYKE, Nina, Dr., Boursier chargé de la recherche Adresse: Institut pour les recherches économiques et sociales appliquées de Melbourne, Université de Melbourne, Level 7, 161 Barry Street, Victoria 3010, Australie. Tél.: +61 3 8344 2116; Fax: +61 3 8344 2111; E-mail: n.vandyke@unimelb.edu.au 146

VAQUERA, Elizabeth, LDA, Doctorante Adresse: Department of Sociology, University of Pennsylvania, Philadelphia, Pennsylvania 19104, Etats-Unis. Tél.: +1 215 898 3167; E-mail: vaquera@upenn.edu 147