Facteur d impact, h- index, bibliométrie : pourquoi et comment? Dernière mise à jour : 23/10/ Auteur : Frédérique Flamerie

Transcription

1 Facteur d impact, h- index, bibliométrie : pourquoi et comment? Dernière mise à jour : 23/10/ Auteur : Frédérique Flamerie

2 Plan De quoi parle-t-on? Le facteur d impact Les modèles alternatifs au facteur d impact Le h-index Perspectives

3 1. De quoi parle-t-on?

4 Lectures indispensables Disponible à la Bibliothèque BCPR (Biologie Chimie Physique Recherche) cote GIN + rapport de l Académie des Sciences + bibliographie et webographie BUPMC

5 «Do metrics matter?» Alison Abbott, David Cyranoski, Nicola Jones, Brendan Maher, Quirin Schiermeier & Richard Van Noorden. Metrics : do metrics matter?, Nature, n 465, p (2010). De quoi parle-t-on?

6 Qu est-ce que la bibliométrie? Elle se définit comme l exploitation statistique des publications Elle «procède du calcul de divers indicateurs à partir des bases de données bibliographiques couvrant la quasi-totalité de la littérature scientifique et de leurs citations dans la plupart des disciplines.» Du bon, usage de la bibliométrie pour l évaluation individuelle des chercheurs : Rapport de l Académie des Sciences, 17 janvier 2011 De quoi parle-t-on?

7 A quoi la bibliométrie sert-elle? Analyse des citations = outil multi-usage recherche documentaire et gestion de collections de revues histoire et sociologie des sciences caractérisation évaluation classement De quoi parle-t-on?

8 Plusieurs objets et plusieurs niveaux Sources, revues Pays Laboratoires, institutions Chercheurs De quoi parle-t-on?

9 Les palmarès : un apercçu Caractériser U-Multirank Approche pluridimensionnelle Comparer ce qui est comparable Classer Classement de Shangaï Monodimensionnel : critères de prestige scientifique N est plus significatif au-delà de la 10 e place any number beats no number De quoi parle-t-on?

10 Bases de données de référence Pour les institutions et les chercheurs : Thomson Reuters : Web of Science Core Collection (+ de titres) et Essential Science Indicators Elsevier : Scopus (+ de titres) Pour les sources / revues : le Journal Citation Reports : données du Web of Science Core Collection Journal Metrics : données de Scopus De quoi parle-t-on?

11 % of database Pourquoi le Web of Science est-il (si) sélectif? Distributions bibliométriques : 20/80 Loi de Bradford 120 Effet Mathieu 100 évangile selon St Matthieu : «Car on donnera à celui qui a et il sera dans l abondance, mais à celui qui n a pas, même ce qu il a lui sera retiré» # of journals Articles Citations Voir : A. Blanchard, Distributions et lois Bibliométriques - 31/01/2005 Source : Thomson-Reuters - présentation UPMC 2011

12 Notion clé = la citation Une citation au sens du Web of Science est la référence à : une review, un article de recherche, un éditorial, etc. : article de toute nature Mise en relation nombre de citations/nombre d articles au fondement des 2 indicateurs les + utilisés facteur d impact h-index De quoi parle-t-on?

13 2. Le facteur d impact

14 Le facteur d impact

15 Mode de calcul Impact factor année 2012 = Exemple : Facteur d impact de The Astrophysical Journal en 2012 = nb de citations reçues en 2012 par des articles publiés en 2011 et 2010 (33485) nb d'articles citables publiés en 2011 et en 2010 (4973) Soit / 4973 = 6,733 Nombre de citations reçues en 2012 par des articles publiés en 2011 et 2010 Nombre d articles «citables» publiés en 2011 et 2010 Le facteur d impact 2012 de cette revue est de 6,733 Le facteur d impact

16 Mode de calcul Impact Factor Années précédentes Temps Publications de 2010 Publications citées en 2010, publiées en 2008 et 2009 Le facteur d impact Schéma d après

17 Où trouver l information : Journal Citation Reports Le JCR fait partie de l abonnement de l UPMC au Web of Science. 3 modes d accès : Jubil > Ressources en ligne : les essentiels > Bases de données Le facteur d impact

18 Où trouver l information : Journal Citation Reports Accès contextuel depuis la liste A-Z et le menu du résolveur de liens SFX Ce service n apparaît que si la revue a un facteur d impact Le facteur d impact

19 Où trouver l information : Journal Citation Reports Accès depuis le Web of Science Accès depuis le menu en haut de chaque page Accès contextuel depuis un résultat de recherche Le facteur d impact

20 Le JCR : Données générales sur une revue Eigenfactor indice bibliométrique pondérant le nbre de citations par le prestige des revues dont elles proviennent (cf. infra) Facteur d impact Rank et Box Plot analyse du positionnement d une revue dans la (ou les) catégorie(s) dont elle fait partie Le facteur d impact

21 Le JCR : Rank Situer une revue par rapport aux autres revues de la même discipline Voir l évolution de son positionnement dans le temps Le facteur d impact

22 Le JCR : Box Plot Facteur d impact de la revue Le facteur d impact

23 Le JCR : Données d une catégorie de revues NB Par défaut les 2 index Science citation index expanded et Social sciences citation index sont sélectionnés Le facteur d impact

24 Le JCR : autres indicateurs Liens de citations Revue citée - Cited Journal Data identifie les publications qui citent le plus souvent une revue donnée mettre en évidence un réseau de revues Revue citante - Citing Journal Data identifie les publications le plus souvent citée par une revue donnée mettre en évidence un réseau de revues Revues connexes - Journal Relationships analyse des liens de citation entre les revues déterminer des proximités sémantiques identifier les liens entre les revues Le facteur d impact

25 Le JCR : Cited Journal Cited Journal Graph : comment la revue est-elle citée? Demi-vie de citation Citations utilisées pour calculer le facteur d impact Le facteur d impact

26 Le JCR : Cited Journal Cited Journal Data : comment la revue est-elle citée? En 2013, PloS One est la revue qui a le plus cité la revue Bioinformatics Le facteur d impact

27 Le JCR : Journal Relationships Visualisation des relations de citation avec les 20 principales revues du réseau de citations de la revue Survol de l arc = facteur d impact de la revue Survol des cordes = nombre de citation à la revue parente Le facteur d impact

28 Le JCR : Compare Journals Comparer le positionnement (Quartile) ou l évolution (Trends) de revues appartenant à une même catégorie Sélectionner les revues et la catégorie Le facteur d impact

29 Les limites du facteur d impact «Like nuclear energy, the impact factor is a mixed blessing.» Les limites du facteur d impact Eugène Garfield, The agony and the ecstasy - The history and meaning of the journal impact factor

30 Avis de chercheurs Les limites du facteur d impact

31 D importantes différences entre disciplines Antériorité des citations : % d articles de plus de 10 ans % of cites older than 10 years 80.00% 70.00% 70% 60.00% 50.00% 40.00% 30.00% 46% 42% 42% 39% 39% 45% 43% 43% 29% 35% 20.00% 10.00% 0.00% Behavioural Science Biomedical & Life Sciences Business & Economics Chemistry & Materials Science Computer Science Earth & Environmental Science Engineering Humanities, Soc. Sci. & Law Math & Statistics Medicine Physics & Astronomy Les limites du facteur d impact Source : Springer

32 D importantes différences entre disciplines Densité et temporalité des citations «En biologie moléculaire, il n est pas rare qu un article recueille 10 à 30 citations en 2 ans, alors qu une revue de premier rang en mathématiques n en recevra que deux». Manuel Durand-Barthez, L évaluation des publications scientifiques : nouvelles approches, nouveaux enjeux, 2009 Les limites du facteur d impact Source :

33 Limites du mode de calcul délai de 2 ans du facteur d impact critiquable, celui de 5 ans également NB : l impact sur 2 ans reste l indicateur de référence Importance des critères éditoriaux Nombre de fascicules dans l année Nombre de pages et d articles par n Type d article : reviews sont citées 2 fois plus en moyenne Les limites du facteur d impact

34 Danger de l extrapolation Le facteur d'impact se rapporte à une revue et non à un article. Les articles d'une revue à fort facteur d'impact ne sont pas tous cités de manière identique «Les revues les plus prestigieuses, à facteur d impact très élevé, contiennent un pourcentage significatif d articles de qualité moyenne» Rapport de l Académie des Sciences, op. cit., p.2 Ex de Nature : en 2004, 25% des articles ont constitué 89% du FI Depuis de 50% de ses articles ont reçu zéro ou 1 citation. Les limites du facteur d impact

35 3. Les modèles alternatifs au facteur d impact

36 L algorithme du PageRank : influence weight «fonde le statut d une page web sur une combinaison des liens qui pointent vers une page et sur le statut des pages dont sont issus ces liens. En prenant en compte à la fois des facteurs de popularité et de prestige, Google a pu éviter d attribuer des rangs élevés à des pages web populaires mais par ailleurs non pertinentes.» Rodriguez M.A., Bollen J., Van de Sompel H., «Journal Status», Scientometrics, vol. 69, n 3, 2006, p. 669 revues populaires vs. revues prestigieuses Les modèles alternatifs au facteur d impact Narin

37 Eigenfactor Conçu par Carl T. Bergström, Université de Washington, 2007 S appuie sur le corpus du JCR Prise en compte d un «poids» des citations, lié à l influence relative des revues dans la communauté scientifique Les auto-citations sont exclues du calcul Fondé sur les 5 années les plus récentes Les modèles alternatifs au facteur d impact

38 Les indicateurs de l Eigenfactor Eigenfactor Score = mesure de l influence d un journal pour la communauté scientifique - influence globale d une revue Somme des Eingenfactor scores de toutes les revues du JCR = 100 Article Influence Score = mesure de l influence moyenne de chaque article sur les 5 dernières années - influence moyenne par article Article Influence Score moyen du JCR = 1 Cost effectiveness Score = prix/eigenfactor score Cost effectiveness score moyen = 1 Les modèles alternatifs au facteur d impact

39 Eigenfactor Les modèles alternatifs au facteur d impact

40 Données de 1997 à 2005 Citation patterns : liens de citation entre revues et entre domaines disciplinaires Change over time : évolution du Eigenfactor score Clustering : classement par Article Influence et liens de citation entre revues Map : réseau de citations Clustering

41 Indicateurs Scopus Source Normalized Impact per Paper (SNIP) en savoir + : Fiche CoopIST (Cirad) Impact per Publication (IPP) en savoir + : Fiche CoopIST (Cirad) SCImago Journal Rank (SJR) en savoir + : Fiche CoopIST (Cirad) Les modèles alternatifs au facteur d impact

42 Indicateurs Scopus Fenêtre d analyse des citations = 3 ans Différents modes d accès (gratuits) Journal Metrics (Elsevier) : SNIP, IPP, SJR Journal Indicators (Université de Leiden): SNIP et IPP Scimago Journal & Country Rank (Scimago Lab): SJR et IPP Les modèles alternatifs au facteur d impact

43 SNIP Objectif : permettre des comparaisons directes entre revues de champs disciplinaires différents Normalisation a priori : pondération des citations en fonction des disciplines NB pas de définition a priori de catégories disciplinaires Ratio nombre de citations/potentiel de citations de la discipline Les modèles alternatifs au facteur d impact

44 IPP Indice équivalent au facteur d impact : ratio nombre de citations/nombre d articles Mais fenêtre d analyse des citations de 3 ans, couverture Scopus Web of Science Core Collection, Mais «articles» a le même sens dans le numérateur et le dénominateur = articles peer-reviewed = RIP sur Journal Indicators = Cites/doc (3 years) sur Scimago Journal & Country Rank Les modèles alternatifs au facteur d impact

45 SJR SJR = indice fondé sur le principe de l Eigenfactor Objectif = mesurer le prestige des revues, compte les citations pondérées, weighted citations Description détaillée : alrank.pdf Les modèles alternatifs au facteur d impact

46 Scimago - Journal Rankings

47 Scimago - Country Rankings

48 Scimago - Compare : revues ou pays Les modèles alternatifs au facteur d impact

49 Scimago - The Shape of Science

50 4. Le h-index

51 Définition Jorge E. Hirsch An index to quantify an individual s scientific research output. Proceedings of the National Academy of Sciences, 102(46), [en ligne sur : dx.doi.org/ /pnas et sur arxiv : «I propose the index h, defined as the number of papers with citation number h, as a useful index to characterize the scientific output of a researcher.» Un chercheur ayant publié 2 articles cité au moins 2 fois a un indice H de 2. Un chercheur ayant publié 150 articles parmi lesquels 82 ont été cité au moins 82 fois a un indice H de 82. Un chercheur ayant publié 35 articles ne peut pas avoir un indice H supérieur à 35. Le h-index

52 Mode de calcul Le h-index Auteur : Chessor (Own work) [CC BY-SA 3.0 ( via Wikimedia Commons

53 Le h-index dans le Web of Science Core Collection A partir d une liste de résultats (< résultats) Le h-index

54 Le h-index dans le Web of Science Core Collection La limite qui permet de déterminer l indice H apparaît dans la liste des résultats Le h-index

55 Source : Flickr - auteur : fragmented Les limites du h-index

56 Le h-index suppose : une ancienneté de carrière la comparaison de l indice H n a de sens qu en tenant compte de la «séniorité» des chercheurs concernés, car il augmente avec l âge un grand nombre de publications, générant un grand nombre de citations lien avec l âge mais aussi la discipline du chercheur Les limites du h-index Les limites du h-index

57 Les limites du h-index Les différences de pratiques entre disciplines sont peu prises en compte : la comparaison n a de sens que dans un même domaine Les contributions exactes des auteurs ne sont pas prises en compte : différences majeures entre disciplines (ordre alphabétique ou hiérarchie des contributions) pondérer le h-index par un facteur reflétant le nombre moyen de co-auteurs et le rôle de chacun? Les limites du h-index

58 Exemples Biologie / Sciences du vivant : entre 5 et 10 signataires, parfois plus Étudiant ou post-doc qui a fait la manip : 1 er signataire Personne qui lui est la plus proche : 2 e signataire En remontant : directeur du groupe, directeur du labo etc. validité des indicateurs pour les signataires «du milieu»? confusion entre «auteur» et «collaborateur»? Géosciences : en général moins de 10 auteurs et encore assez souvent moins de 5. Ordre en général lié à l importance décroissante des contributions. De plus en plus fréquemment mention des ingénieurs de recherche comme co-auteurs Mathématiques : plus de la moitié des articles n ont qu un seul auteur Les limites du h-index

59 L indice G Le h-index ne permet pas de faire la différence entre articles très au-dessus ou très au-dessous de l indice moyen : il ne valorise pas les travaux à très gros impact et/ou à impact durable, «gelés» par l indice H Création par Léo Egghe de l indice G, en 2006, afin de «distinguer l excellence dans la productivité» (Rapport de l Académie des Sciences) Un chercheur aura un facteur G de 83 si ses 83 articles les plus cités totalisent au moins 6889 citations, c est-àdire G au carré Indice encore peu connu et encore peu utilisé. Les limites du h-index

60 5. Perspectives

61 Limites de l analyse des citations Part réelle de chaque co-auteur difficile à évaluer Mauvaises pratiques de citations : références biblio choisies par opportunisme citations d articles de la revue dans laquelle on publie, cartels de citations, autocitations, etc. Articles non-cités parce qu ils sont des quasiclassiques ou parce qu ils sont très originaux qualité/impact information/évaluation Perspectives

62 Le top 100 des articles les + cités depuis 50 ans = méthodes + logiciels Still, there is one powerful lesson for researchers, notes Peter Moore, a chemist at Yale University in New Haven, Connecticut. If citations are what you want, he says, devising a method that makes it possible for people to do the experiments they want at all, or more easily, will get you a lot further than, say, discovering the secret of the Universe. Les limites de la citation Source : Van Noorden R., Maher B., Nuzzo R. «The top 100 papers». Nature. 29 octobre Vol. 514, n 7524, p Disponible sur : < > Image en grande dimension

63 Altmetrics Mesures alternatives (ou alternatives aux mesures) : usage recommendantion partage réutilisation généralistes, grand public (Twitter) vs. spécialisés, recherche (Mendeley, ResearchGate, blogs scientifiques, etc.) Altmetrics manifesto Les limites de la citation

64 Altmetrics Commentaire du top altmetric.com 58/100 = dans revues sur abonnement 2è et 4è : sur l obésité et le sommeil Parus dans NEJM et Science Différents fournisseurs Altmetric.com : utilisé par Elsevier et Nature notamment PLOS : utilisé par Copernicus Impactstory : utilisable par les chercheurs Plum Analytics (appartient à Ebsco) Après le h-index, le k-index? Hall, N. The Kardashian index: a measure of discrepant social media profile for scientists. Genome Biology 15, 424 (2014). DOI : /s Perspectives

65 Doctorat/Bibliométrie Perspectives Source :

66 Bibliographie et webographie Perspectives