ÉVALUER L IMPACT DE LA RECHERCHE : DE NOUVELLES MESURES VRAIMENT EFFICACES? CHRISTINE BRODEUR, M.S.I. CHRISTINE.BRODEUR@POLYMTL.CA Bibliothécaire spécialisée en sciences et génie LE GÉNIE EN PREMIÈRE CLASSE. CONGRÈS DES MILIEUX DOCUMENTAIRES, DÉCEMBRE 2014
Plan Mesures traditionnelles de l impact Mesures d impact alternatives: Altmetrics Les outils À la Bibliothèque de Polytechnique Montréal 2
MESURES TRADITIONNELLES DE L IMPACT Publications Citations Facteur d impact H-index 3
LE NOMBRE DE PUBLICATIONS Combien d articles un chercheur a- t-il publiés? Est-ce que toutes les publications sont égales? Où repérer les articles? Les nombres peuvent varier selon la banques de données choisie. Comptage unitaire ou comptage fractionnaire? Image libre de droits : http://www.freeimages.com/photo/131127 4
LES CITATIONS Indicateur accepté pour mesurer l impact Où repérer les citations? Variation des pratiques d un domaine à l autre Impact relatif des citations (IRC) 5
LE FACTEUR D IMPACT Image libre de droits : http://www.freeimages.com/photo/1110330 Impact d une revue en fonction du nombre de citations annuelles à ses contenus. Rapport entre le nombre de citations à une revue dans une année donnée et le nombre d articles publiés par cette revue durant les deux années précédentes. Attention aux usages du facteur d impact! David Pendlebury, de Thomson Reuters 6
H-INDEX Développée en 2005 par le physicien J. E. Hirsch Indicateur unique qui tient compte de la productivité (nombre d articles) et de l impact (nombre de citations reçues). Le nombre de publications h qui ont été cités au moins h fois Plusieurs limites H-Index calculé à partir d'un nombre décroissant de citations. (2008) Issue du domaine public. 7
H-INDEX ET SES VARIANTES h-index g-index w-index e-index A-index R-index Source : Wildgaard, 2014 8
A B C h-index 8 18 22 Nombre total de publications Nombre de citations pour l article le plus cité Domaine Et si on comparait 10 42 70 396 310 128 Biologie Biologie Biologie Chimie Math Biologie Années en 15 12 5 recherche 5 20 15 Etc 9
ET MÊME PLUS! 10
MESURES D IMPACT ALTERNATIVES: ALTMETRICS 11
QU EST-CE QUE C EST? Permet de voir les traces d articles scientifiques (ou d autres types de documents scientifiques) sur le web. 12
QUELQUES RÉSULTATS Résultats de quelques études : o Corrélation positive et faible entre différentes mesures alternatives (mentions dans les blog, nombre de «tweets») et les citations, en biomédecine o Relation négative entre l activité sur Twitter et le nombre de citations, en astrophysique o Corrélation positive et modérée entre le nombre de citations et le nombre de lecteurs sur Mendeley, pour un échantillon d environ 20 000 articles dans plusieurs disciplines Les références complètes des différentes études se trouvent à la fin du diaporama. 13
EST-CE VRAIMENT UTILE? Permet de compléter les mesures existantes Champ d étude récent, mais expansion rapide Limites : o Un faible % des articles est mentionné dans les sources des altmetrics o Distribution non-paramétrique des différentes mesures o Signification exacte encore inconnue o Peuvent être artificiellement influencées 14
LES OUTILS 15
ALTMETRIC.COM 16
ALTMETRIC.COM 17
IMPACT STORY (IMPACTSTORY.ORG) 18
IMPACT STORY (IMPACTSTORY.ORG) Détail des mesures : https://impactstory.org/metrics 19
PLUM ANALYTICS (PLUMANALYTICS.COM) L exemple de l université de Pittsburgh : https://plu.mx/pitt/ 20
PLUM ANALYTICS (PLUMANALYTICS.COM) Détail des mesures : http://www.plumanalytics.com/metrics.html 21
COMPARAISON - Certains services gratuits, d autres payants - Altmetric Explorer : pour voir le score des articles - Possibilité d exporter les «badges altmetrics» - Abonnement individuel (essai gratuit, puis 60$/année) - Création de profil individuel pour les chercheurs - Abonnement institutionnel - Présente les mesures pour l ensemble d une institution 22
À la Bibliothèque de Polytechnique Montréal Évaluation d un département Éducation des usagers Cueillette annuelle des données 23
ÉVALUATION D UN DÉPARTEMENT Les articles plus vieux ont eu plus de temps pour accumuler des citations 24
ÉVALUATION D UN DÉPARTEMENT Total de citations Nbr d articles Moyenne de citations Nbr d années écoulées 25
ÉDUCATION DES USAGERS http://guides.biblio.polymtl.ca/mise_en_valeur_de_la_recherche 26
CUEILLETTE ANNUELLE DES DONNÉES Image libre de droits : http://pixabay.com/fr/photographe-fille-cam%c3%a9ra-digital-430619/ 27
Lecture recommandée Gingras, Y. (2014). Les dérives de l'évaluation de la recherche : du bon usage de la bibliométrie. Paris: Raisons d'agir. 28
Pour terminer Les mesures traditionnelles sont encore beaucoup utilisées Les altmetrics sont en expansion rapide, avec plusieurs outils qui se développent Plusieurs projets possibles dans les bibliothèques universitaires christine.brodeur@polymtl.ca 29
Pour en savoir plus Bik, H. M., & Goldstein, M. C. (2013). An introduction to social media for scientists. PLoS Biol, 11(4), e1001535. doi: 10.1371/journal.pbio.1001535 Cronin, B., & Sugimoto, C. R. (2014). Beyond bibliometrics : harnessing multidimensional indicators of scholarly impact Cambridge, Massachusetts: The MIT Press. Galloway, L. M., Pease, J. L., & Rauh, A. E. (2013). Introduction to Altmetrics for Science, Technology, Engineering, and Mathematics (STEM) Librarians. Science & Technology Libraries 1-11. doi: 10.1080/0194262x.2013.829762 Hirsch, J. E. (2005). An index to quantify an individual's scientific research output. Proc Natl Acad Sci U S A, 102(46), 16569-16572. doi: 10.1073/pnas.0507655102 King, P., & Thuna, M. (2013). Les mesures d'impact alternatives : mise en contexte. Tiré de http://www.carl-abrc.ca/uploads/scc/carl2013-altmetrics-fr-fa2.pdf Wildgaard, L., Schneider, J. W., & Larsen, B. (2014). A review of the characteristics of 108 author-level bibliometric indicators. Scientometrics, 101(1), 125-158. doi: 10.1007/s11192-014-1423-3 30
Résultats de recherche (altmetrics) Eysenbach, G. (2011). Can tweets predict citations? Metrics of social impact based on Twitter and correlation with traditional metrics of scientific impact. J Med Internet Res, 13(4), e123. doi: 10.2196/jmir.2012 Haustein, S., Bowman, T. D., Holmberg, K., Peters, I., & Larivière, V. (2014). Astrophysicists on Twitter An in-depth analysis of tweeting and scientific publication behavior. Aslib Journal of Information Management, 66(3), 279-296. doi: 10.1108/AJIM-09-2013-0081 Haustein, S., Peters, I., Sugimoto, C. R., Thelwall, M., & Larivière, V. (2013). Tweeting biomedicine: An analysis of tweets and citations in the biomedical literature. Journal of the American Society for Information Science and Technology n/a-n/a. doi: 10.1002/asi.23101 Thelwall, M., Haustein, S., Lariviere, V., & Sugimoto, C. R. (2013). Do altmetrics work? Twitter and ten other social web services. PLoS One, 8(5), e64841. doi: 10.1371/journal.pone.0064841 Zahedi, Z., Costas, R., & Wouters, P. (2014). How well developed are altmetrics? A cross-disciplinary analysis of the presence of alternative metrics in scientific publications. Scientometrics, 101(2), 1491-1513. doi: 10.1007/s11192-014-1264-0 31