ÉVALUER L IMPACT DE LA RECHERCHE : DE NOUVELLES

Transcription

1 ÉVALUER L IMPACT DE LA RECHERCHE : DE NOUVELLES MESURES VRAIMENT EFFICACES? CHRISTINE BRODEUR, M.S.I. [email protected] Bibliothécaire spécialisée en sciences et génie LE GÉNIE EN PREMIÈRE CLASSE. CONGRÈS DES MILIEUX DOCUMENTAIRES, DÉCEMBRE 2014

2 Plan Mesures traditionnelles de l impact Mesures d impact alternatives: Altmetrics Les outils À la Bibliothèque de Polytechnique Montréal 2

3 MESURES TRADITIONNELLES DE L IMPACT Publications Citations Facteur d impact H-index 3

4 LE NOMBRE DE PUBLICATIONS Combien d articles un chercheur a- t-il publiés? Est-ce que toutes les publications sont égales? Où repérer les articles? Les nombres peuvent varier selon la banques de données choisie. Comptage unitaire ou comptage fractionnaire? Image libre de droits : 4

5 LES CITATIONS Indicateur accepté pour mesurer l impact Où repérer les citations? Variation des pratiques d un domaine à l autre Impact relatif des citations (IRC) 5

6 LE FACTEUR D IMPACT Image libre de droits : Impact d une revue en fonction du nombre de citations annuelles à ses contenus. Rapport entre le nombre de citations à une revue dans une année donnée et le nombre d articles publiés par cette revue durant les deux années précédentes. Attention aux usages du facteur d impact! David Pendlebury, de Thomson Reuters 6

7 H-INDEX Développée en 2005 par le physicien J. E. Hirsch Indicateur unique qui tient compte de la productivité (nombre d articles) et de l impact (nombre de citations reçues). Le nombre de publications h qui ont été cités au moins h fois Plusieurs limites H-Index calculé à partir d'un nombre décroissant de citations. (2008) Issue du domaine public. 7

8 H-INDEX ET SES VARIANTES h-index g-index w-index e-index A-index R-index Source : Wildgaard,

9 A B C h-index Nombre total de publications Nombre de citations pour l article le plus cité Domaine Et si on comparait Biologie Biologie Biologie Chimie Math Biologie Années en recherche Etc 9

10 ET MÊME PLUS! 10

11 MESURES D IMPACT ALTERNATIVES: ALTMETRICS 11

12 QU EST-CE QUE C EST? Permet de voir les traces d articles scientifiques (ou d autres types de documents scientifiques) sur le web. 12

13 QUELQUES RÉSULTATS Résultats de quelques études : o Corrélation positive et faible entre différentes mesures alternatives (mentions dans les blog, nombre de «tweets») et les citations, en biomédecine o Relation négative entre l activité sur Twitter et le nombre de citations, en astrophysique o Corrélation positive et modérée entre le nombre de citations et le nombre de lecteurs sur Mendeley, pour un échantillon d environ articles dans plusieurs disciplines Les références complètes des différentes études se trouvent à la fin du diaporama. 13

14 EST-CE VRAIMENT UTILE? Permet de compléter les mesures existantes Champ d étude récent, mais expansion rapide Limites : o Un faible % des articles est mentionné dans les sources des altmetrics o Distribution non-paramétrique des différentes mesures o Signification exacte encore inconnue o Peuvent être artificiellement influencées 14

15 LES OUTILS 15

16 ALTMETRIC.COM 16

17 ALTMETRIC.COM 17

18 IMPACT STORY (IMPACTSTORY.ORG) 18

19 IMPACT STORY (IMPACTSTORY.ORG) Détail des mesures : 19

20 PLUM ANALYTICS (PLUMANALYTICS.COM) L exemple de l université de Pittsburgh : 20

21 PLUM ANALYTICS (PLUMANALYTICS.COM) Détail des mesures : 21

22 COMPARAISON - Certains services gratuits, d autres payants - Altmetric Explorer : pour voir le score des articles - Possibilité d exporter les «badges altmetrics» - Abonnement individuel (essai gratuit, puis 60$/année) - Création de profil individuel pour les chercheurs - Abonnement institutionnel - Présente les mesures pour l ensemble d une institution 22

23 À la Bibliothèque de Polytechnique Montréal Évaluation d un département Éducation des usagers Cueillette annuelle des données 23

24 ÉVALUATION D UN DÉPARTEMENT Les articles plus vieux ont eu plus de temps pour accumuler des citations 24

25 ÉVALUATION D UN DÉPARTEMENT Total de citations Nbr d articles Moyenne de citations Nbr d années écoulées 25

26 ÉDUCATION DES USAGERS 26

27 CUEILLETTE ANNUELLE DES DONNÉES Image libre de droits : 27

28 Lecture recommandée Gingras, Y. (2014). Les dérives de l'évaluation de la recherche : du bon usage de la bibliométrie. Paris: Raisons d'agir. 28

29 Pour terminer Les mesures traditionnelles sont encore beaucoup utilisées Les altmetrics sont en expansion rapide, avec plusieurs outils qui se développent Plusieurs projets possibles dans les bibliothèques universitaires 29

30 Pour en savoir plus Bik, H. M., & Goldstein, M. C. (2013). An introduction to social media for scientists. PLoS Biol, 11(4), e doi: /journal.pbio Cronin, B., & Sugimoto, C. R. (2014). Beyond bibliometrics : harnessing multidimensional indicators of scholarly impact Cambridge, Massachusetts: The MIT Press. Galloway, L. M., Pease, J. L., & Rauh, A. E. (2013). Introduction to Altmetrics for Science, Technology, Engineering, and Mathematics (STEM) Librarians. Science & Technology Libraries doi: / x Hirsch, J. E. (2005). An index to quantify an individual's scientific research output. Proc Natl Acad Sci U S A, 102(46), doi: /pnas King, P., & Thuna, M. (2013). Les mesures d'impact alternatives : mise en contexte. Tiré de Wildgaard, L., Schneider, J. W., & Larsen, B. (2014). A review of the characteristics of 108 author-level bibliometric indicators. Scientometrics, 101(1), doi: /s

31 Résultats de recherche (altmetrics) Eysenbach, G. (2011). Can tweets predict citations? Metrics of social impact based on Twitter and correlation with traditional metrics of scientific impact. J Med Internet Res, 13(4), e123. doi: /jmir.2012 Haustein, S., Bowman, T. D., Holmberg, K., Peters, I., & Larivière, V. (2014). Astrophysicists on Twitter An in-depth analysis of tweeting and scientific publication behavior. Aslib Journal of Information Management, 66(3), doi: /AJIM Haustein, S., Peters, I., Sugimoto, C. R., Thelwall, M., & Larivière, V. (2013). Tweeting biomedicine: An analysis of tweets and citations in the biomedical literature. Journal of the American Society for Information Science and Technology n/a-n/a. doi: /asi Thelwall, M., Haustein, S., Lariviere, V., & Sugimoto, C. R. (2013). Do altmetrics work? Twitter and ten other social web services. PLoS One, 8(5), e doi: /journal.pone Zahedi, Z., Costas, R., & Wouters, P. (2014). How well developed are altmetrics? A cross-disciplinary analysis of the presence of alternative metrics in scientific publications. Scientometrics, 101(2), doi: /s