L Le coefficient de notoriété (impact

Transcription

1 Le coefficient de notoriété des revues cardiovasculaires importantes Où votre article est-il le mieux cité? T. OptHof, R. Coronel T. OptHof. Département de Physiologie Médicale, Centre Médical Universitaire d Utrecht, Pays-Bas. R. Coronel. Département de Cardiologie Expérimentale et Clinique, Centre Médical Universitaire, Amsterdam, Pays-Bas. Adresse de correspondance: T. Opthof. Département de Physiologie Médicale, Centre Médical Universitaire d Utrecht, BP 85500, 3508 GA Utrecht, Pays-Bas. E- mail: t.opthof@med.uu.nl. Ce texte est une traduction de l article en anglais publié dans Neth Heart J 2002;10(4): L Le coefficient de notoriété (impact factor) est basé sur le nombre de fois qu un écrit publié dans une revue scientifique est cité par toutes les autres revues. Plus spécifiquement, le nombre de ces citations est limité aux citations produites dans les articles publiés durant les deux années précédentes; ainsi, le coefficient de notoriété pour 2000 est calculé en divisant la somme de toutes les citations durant l année 2000 des articles publiés en 1998 et 1999 par une revue donnée, par le nombre total d articles publiés par cette même revue durant les mêmes deux années. On peut voir en tableau 1 le coefficient de notoriété pour l année 2000 des dix revues de tête dans Tableau 1. Coefficient de notoriété des 10 principales revues de la catégorie cardiovasculaire du Journal Citation Reports de l Institute for Scientific Information durant l année Revue Coefficient de notoriété 1 Circulation Circulation Research Journal of the American College of Cardiology European Heart Journal Cardiovascular Research Journal of Molecular and Cellular Cardiology American Journal of Physiology (H) (H) Journal of Thoracic and Cardiovascular Surgery Trends Cardiovasc Med Journal of Cardiovascular Electrophysiology la catégorie Système cardiaque et cardiovasculaire tel qu il a été publié par le Journal Citation Reports, qui calcule le coefficient de notoriété des revues scientifiques pour l Institute for Scientific Information à Philadelphie (Etats-Unis). En 2000, Circulation, la revue clinique de l American Heart Association, occupait ainsi la position de tête dans cette catégorie: elle a été citée et fois respectivement pour les articles de 1998 et Ce total de citations, divisé par le chiffre des 1741 articles publiés (820 en 1998 plus 921 en 1999), a mené à un coefficient de citation de Le coefficient de notoriété des autres revues a été calculé de la même manière (tableau 1). La figure 1 montre le coefficient de notoriété des 5 revues cardiovasculaires de tête en 2000 au cours des 10 dernières années. C est d ailleurs la première fois dans l histoire qu une revue de la spécialité cardiovasculaire a atteint un coefficient de notoriété de plus de 10,00: Circulation, qui a occupé la position de tête durant les 10 dernières années avec un coefficient de notoriété tournant autour de 9,00, a vu ce coefficient augmenter davantage ces deux dernières années. Quant au Eur Heart J et Cardiovasc Res, ils ont amélioré de manière substantielle leurs positions ces derniè- 22 J Cardiol année 15, n o 1, février 2003

2 res années tant en terme de coefficient de notoriété que de classement (passant d une position aux alentours de la 30ème place en 1991 aux 4ème et 5ème place en 2000) dans la catégorie cardiovasculaire du Journal Citation Reports. Pour ces deux revues, les coefficients de notoriété estimés pour 2001 (tous deux plus proches de 5,00 que de 4,00) ont également été inclus dans le graphique (figure 1). Le coefficient de notoriété reflète uniquement la citation à court terme On a pu remarquer des différences considérables dans les profils de citation des articles: certains ont été cités à peu près à la même fréquence chaque année durant les 20 ou 30 dernières années, tandis que d autres montrent un pic de fréquence en citations, ce pic pouvant se produire autant après trois ou quatre ans que près de 15 ans après la publication. 1 De la sorte, la position au classement des revues basée sur le calcul du coefficient de notoriété pourrait être différent si l on utilisait des périodes plus longues de citation. 2 De la même manière, il a été suggéré que certains paramètres de longévité d une citation après la période utilisée pour le calcul du coefficient de notoriété pourraient modifier le classement des revues scientifiques. L équipe éditoriale de Circ Res a d ailleurs suggéré qu un tel calcul pourrait inverser le classement de Circulation et Circ Res. 3 Nous verrons dans les paragraphes suivants que ce postulat ne se vérifie pas. La demi-vie des citations La figure 2 montre le cumul des citations obtenues durant l année 2000 pour les papiers publiés durant cette même année 2000 et pour les papiers publiés durant les années précédentes en ce qui concerne les 5 revues de tête (en 2000) dans la catégorie Coeur et Système Cardiovasculaire (voir également le tableau 1 et la figure 1). Pour Circulation, J Am Coll Cardiol, Eur Heart J et Cardiovasc Res, le contenu des années 1996 à 2000 atteignait environ 50% de toutes les citations référées en De ce fait, la demi-vie des citations de ces revues se situe aux alentours Nombre de revues Figure 1. Coefficient de notoriété de Circulation, Circ Res, J Am Coll Cardiol, Eur Heart J and Cardiovasc Res entre 1991 et Les coefficients de notoriété 2001 pour Eur Heart J et Cardiovasc Res ont été estimés par les auteurs. Nombre de revues Impactfactor obtenues in 2000 demi-vie des citations ) Figure 2. Demi-vie des citations pour les 5 premières revues dans la catégorie cardiovasculaire. Les articles de Circulation, J Am Coll Cardiol, Eur Heart J et Cardiovasc Res entre 1996 et 2000 génèrent à peu près 50% de toutes les citations obtenues durant Dès lors, la demi-vie de citations est d environ 5,0 pour ces 5 revues. L autre moitié des citations est composée d articles de 1995 et antérieurement. Pour Circ Res la demi-vie des citations est d environ 7,0 ans avec 50% des citations obtenues en 2000 générées par les articles parus entre 1994 et J Cardiol année 15, n o 1, février

3 Figure 3. de la moyenne des articles parus en 1994 dans les 5 revues de pointe dans la catégorie cardiovasculaire durant les années de 5,0 années. Ce qui signifie que l autre moitié des citations référencées durant 2000 a été acquise sur base d articles parus en 1995 ou antérieurement. On voit directement dans ce fait que les nouvelles revues auront toujours une courte demi-vie de citation par rapport aux revues qui possèdent une longue histoire, Figure 4. de la moyenne des articles parus en 1999 dans les 5 revues de pointe dans la catégorie cardiovasculaire durant les années ce qui pourrait sembler être un paramètre bibliométrique peu attractif envers ces nouvelles revues. En effet, Circ Res a une demi-vie des citations de 7,0 années; le contenu des années 1994 à 2000 atteignant 50% des citations en 2000, l autre moitié provenant de papiers publiés en 1993 ou avant. A côté de ce désavantage évident pour les nouvelles revues en ce qui concerne la demi-vie des citations, les modifications du nombre d articles publiés chaque année par une revue pourraient aussi avoir une influence sur ce paramètre. Plus encore, une modification substantielle du coefficient de notoriété influencera la demi-vie des citations en sens opposé: si le coefficient de notoriété d une revue a été multiplié par 10 durant une année, cela entraînerait une chute conséquente de la demi-vie des citations, tandis qu à l inverse, une diminution du coefficient de notoriété jusque zéro pourrait augmenter la demi-vie des citations. Mais la simple multiplication des deux facteurs (coefficient de notoriété par demi-vie des citations) comme suggéré par les éditorialistes de Circ Res 3 n est pas le meilleur moyen d apporter réponse à un auteur qui souhaite connaître la revue scientifique où son article a les meilleures chances d être cité aussi souvent que possible. Quelle revue obtient le plus grand nombre de citations par article? La réponse à la question soulevée dans ce paragraphe est extrêmement simple. Plutôt que de fixer l année de citation et comptabiliser les citations des années antérieures, comme dans le calcul de la demi-vie de citation (figure 2), on peut effectuer la procédure inverse: en fixant l année de publication et accumulant les citations des années qui suivent, on obtient le nombre cumulé de citations depuis la publication. Ainsi, la figure 3 montre le nombre cumulé de citations qu une revue pourrait avoir obtenues pour la moyenne des articles publiés en 1994 et pour la période allant de 1994 à 2000 pour ce qui concerne les revues classées aux 5 premiers rangs de la catégorie cardiovasculaire (tableau 1). Ce nombre aurait été de 60 pour la moyen- 24 J Cardiol année 15, n o 1, février 2003

4 ne des articles de Circulation, juste audelà de 50 pour Circ Res, 38 pour le J Am Coll Cardiol, 23 pour Cardiovasc Res et 13 pour le Eur Heart J. La figure 4 montre, elle, des données plus récentes pour la moyenne des articles publiés en 1999 dans les 5 mêmes revues. La hiérarchie y est presque inchangée, même si les deux revues européennes ont inversé leur classement et que l écart entre les revues américaines et européennes s est amoindri. Il peut être intéressant pour un cardiologue clinicien de porter un regard plus aiguisé sur les différences entre Circulation et le Eur Heart J. La figure 5 y pourvoit en montrant le nombre de citations cumulées durant les années qui suivent la publication de l article moyen publié en 1994, 1998 et 1999 dans les deux revues (ligne continue pour Circulation, pointillés pour le Eur Heart J). Pour Circulation, on peut observer une augmentation lorsqu on compare les années 1998 et 1999 à l année 1994, mais pas lorsqu on compare 1998 et 1999 (les données de 1998 sont superposables à celles de 1999). Pour le Eur Heart J, par contre, on peut observer une augmentation continue pour chaque année, et la revue est devenue beaucoup plus compétitive depuis 1998 que durant les années qui ont précédé. La même tendance s observe lorsque l on compare les revues scientifiques de base Circ Res et Cardiovasc Res (données non publiées ici). Que signifie un coefficient de notoriété élevé? Au plus le coefficient de notoriété d une revue est élevé, au plus l estime scientifique est grande envers cette revue. La figure 6 montre la relation entre le nombre de revues dans chacune des 69 catégories scientifiques dans les sciences biomédicales et médicales et le coefficient de notoriété de la revue de tête dans chaque catégorie (cercles pleins) ainsi que la revue apparaissant au 10ème percentile (cercles ouverts). Ce dernier chiffre signifie qu il s agit de la revue classée en 5ème position (depuis la tête) en terme de coefficient de notoriété lorsqu il y a 50 revues dans une catégorie précise (données reprises du Journal Citation Reports, édition 1999). Années après publication Figure 5. de la moyenne des articles parus en 1994, 1998 et 1999 durant les années suivant leur publication pour Circulation et le Eur Heart J. Notez la nette augmentation des citations du Eur Heart J durant les dernières années. Pour Circulation, la citation d articles publiés en 1999 durant les années 1999 (année 1) et 2000 (année 2) était complètement superposable aux données de Pour cette raison, la légende se lit comme Circulation 1998/1999. Les données des années 2 et 3 reflètent uniquement la citation d articles publiés en 1998 et cités en 2000, parce que ces données ne sont pas encore disponibles pour les articles parus en 1999 pour des raisons évidentes. Il y a, ici, une forte corrélation entre l importance de la spécialité exprimée par le nombre de revues dans cette même spécialité, et le coefficient de notoriété de la revue qui trône en tête de classement de sa catégorie (r=0,595, p<0,0005, n=69) bien que cette corrélation ait quasi disparu pour la revue placée au 10ème percentile. La conséquence directe de ceci est que l on ne peut comparer le rendement scientifique d un pharmacologue à celle d un biologiste moléculaire ou autre. Il existe des catégories scientifiques pour lesquelles le coefficient de notoriété de la revue la mieux classée ne dépasse pas 2,00. Il va sans dire qu il serait extrêmement injuste, voire peu judicieux, de considérer que la revue de tête dans ces catégories ait moins de valeur qu une revue moins bien classée dans une autre catégo- J Cardiol année 15, n o 1, février

5 Coefficient de notoriété Nombre de revues Revue de tête dans une catégorie Revue au percentile 10% dans une catégorie Figure 6. Coefficient de notoriété (ordonnée) des principaux revues de chaque catégorie (cercles pleins) dans le Journal Citation Reports (1999) de l Institute for Scientific Information versus le nombre de revues (abscisse) dans ces mêmes catégories (sciences médicales et biomédicales). Les symboles creux concernent le coefficient de notoriété des revues appartenant au 10ème percentile (soit le coefficient de notoriété de la revue classée en 5ème position dans une catégorie avec 50 revues). Se référer au texte de la section 5 pour l explication du A et de l astérisque. rie, simplement parce que son coefficient de notoriété est plus faible. Un exemple de ceci peut être retrouvé dans le coefficient de notoriété de Hum Reprod dans la catégorie Obstétrique (voir A en figure 6; classée au numéro 1 de sa catégorie avec un coefficient de notoriété de 3,003 en 1999) comparé à la revue classée en 80ème position (Prog Biophys Mol Biol avec 3.182, marquée par une astérisque) dans la catégorie Biochimie et Biologie Moléculaire. Le constat de base est que les comparaisons entre revues ne sont valides que si elles sont effectuées dans le même domaine de recherche. Que signifie un haut coefficient de notoriété pour une revue lorsque l on parle d article individuel? Malgré le fait que le coefficient de notoriété ait été originellement conçu pour comparer des revues entre elles, il est également utilisé pour évaluer la qualité d un article individuel et celle (d un groupe) de scientifiques. Pour ceux-ci, nous ne disposons pas de base scientifique de comparaison, comme nous l avons démontré. 4,5 En dehors des différences évoquées dans le paragraphe précédent dans les domaines de recherche en médecine et sciences de la vie, il est également important de souligner qu un article scientifique n est pas pars pro toto (partie d un tout), où toto est la revue. La figure 7 montre en abscisse le classement des articles parus en 1994 dans Cardiovasc Res et Circ Res en partant du plus fréquent à zéro, et en ordonnées le cumul des citations pour ces revues. Si chaque article avait été cité avec la même fréquence, on aurait pu attendre une ligne brisée. La citation d articles individuels est très biaisée. En fait, 50% de toutes les citations ont été obtenues par seulement 12% et 16% respectivement des articles de ces deux revues. De la même manière, 50% des articles retiennent environ 90% de l ensemble des citations, ne laissant que 10% à l autre moitié. Ceci implique que la grande majorité des articles est citée de manière substantiellement moindre que ce que laisse supposer le coefficient de notoriété, et qu une analyse des citations est un instrument plus utilisable. Dès lors, si un article est publié dans une revue avec un haut coefficient de notoriété, il est possible qu il soit moins fréquemment cité qu un article publié dans une revue avec coefficient de notoriété moindre. La publication d un article dans une revue du top dans une spécialité ou même dans une revue généralistique comme le New England Journal of Medicine, The Lancet, Science ou Nature n implique pas que cet article soit fréquemment cité. L évaluation de la citation d articles à titre individuel est une meilleure approche; ce qui nécessite que du temps s écoule après la publication, mais il n y a pas d alternative raisonnable à cet état de fait. Il n existe aucune base scientifique d évaluation des données de citation d un article donné durant les deux premières années calendrier après sa publication, simplement parce que publier en janvier ou en décembre engendre des biais évidents trop importants (données non publiées). Les différences entre citations d articles donnés sont tellement larges qu elles peuvent même engendrer une disparité de coeffi- 26 J Cardiol année 15, n o 1, février 2003

6 cient de notoriété de chaque numéro de la même revue. 6,7 Bien évidemment, il n y a aucune discussion quant au fait que publier régulièrement pour un scientifique ou un groupe de recherche appartenant au groupe de la cardiologie dans Circulation ou Circ Res, reflète une qualité scientifique. En résumé, en cardiologie clinique, on peut attendre un maximum de citations au fil des années lorsqu un travail est publié dans Circulation, tandis qu en cardiologie expérimentale, il s agirait plutôt de Circ Res. Que vous ayez fait également le meilleur achat est une autre question, car Circulation est la seule revue pour laquelle les pages sont payantes. Conclusion Le coefficient de notoriété est un outil valide pour évaluer la qualité des revues scientifiques, mais pas pour l évaluation des articles pris individuellement. Circulation n est pas seulement la revue cardiovasculaire avec le coefficient de notoriété le plus élevé dans la catégorie cardiovasculaire, mais elle est aussi celle qui permet le plus grand nombre de citations sur de longues périodes pour un article considéré individuellement. Les revues cardiovasculaires européennes sont occupées à combler l écart qui les sépare des revues cardiovasculaires américaines. Références 1 Opthof T, Coronel R. The most frequently cited papers of Cardiovascular Research ( ): The Millennium Minutes. Cardiovasc Res 2000;45: Garfield E. Journal impact factor rankings. Long-term Pourcentage des citations en 1994 Figure 7. Articles de Cardiovasc Res et Circ Res durant classés selon la fréquence des citations depuis le plus élevé jusqu au plus faible (= zéro) versus cumul des citations sur une échelle de pourcentage. La moitié des citations sont représentées par 12% et 16%, respectivement, des articles des revues (pointillés). La ligne des identités montre la relation si tous les articles avaient été cités pareillement. Cette figure montre qu un article pris individuellement n est pas cité à la même fréquence qu indiqué par le coefficient de notoriété de la revue dont il est issu. Dès lors, un article isolé n est pas pars pro toto de la revue qui le publie. vs. shortterm journal impact: does it matter? The Physiologist 1998;41: Marbán E, Bolli R, Breitwieser G, Busse R, Dietz H, Endoh M, et al. Circulation Research editor s yearly report: Circ Res 2000;87: Opthof T. Sense and nonsense of the impact factor. Cardiovasc Res 1997;33: Seglen PO. Why the impact factor of journals should not be used for evaluating research. Br Med J 1997;314: Opthof T. Submission, acceptance rate, rapid review system and impact factor. Cardiovasc Res 1999;41: Opthof T, Coronel R, Janse MJ. Submissions and impact factor : Focus on Sweden. Cardiovasc Res 2001;51: Articles en J Cardiol année 15, n o 1, février