Module national d enseignement Recherche et Innovation en Imagerie (R2I) des Radiodiagnostics et Imagerie Médicale Valorisation d une publication scientifique: Bibliographies (IF, H, SIGAPS) P. Devos DRCI CHRU de Lille EA 2694 patrick.devos@univ-lille2.fr
Plan La recherche et son évaluation Origine de la bibliométrie Méthodes et indicateurs Un exemple en médecine : SIGAPS Le financement des CHU
La recherche et son évaluation
La recherche et son évaluation Une problématique qui date des années 50. Nécessité, pour les grands pays industrialisés, d évaluer leur potentiel scientifique et technologique. 1950 : naissance, au USA, de la National Science Fundation (NSF), chargée de mesurer le niveau scientifique et technologique. 1958 : Création par Eugen Garfield, de l Institute for Scientific Information (ISI). 1960 : Mise en place de l Organisation pour la Coopération et le Développement Économique (OCDE).
La recherche et son évaluation 1973 : Publication par la NSF des «Sciences Indicators» 1984 : Publication par l OCDE des «Sciences and Technology Indicators» Mise en place des premières études internationales visant à évaluer et comparer les niveaux scientifiques et technologiques des grand pays industrialisés. Naissance de la scientométrie
La scientométrie Discipline ayant pour objectif d étudier, à l aide de méthodes quantitatives, les processus de création, de diffusion et d utilisation de la science. Généralement utilisée pour une évaluation macroscopique (pays, région, institution, ) Basée sur la mise en place et l analyse d indicateurs Utilisation fréquente de la bibliométrie
Quelques exemples De nombreuses études et classements Classement de Shanghai Études OST Rapport Even De nombreuses implications en terme de : Image de marque Attractivité (notamment pour les Universités) Financement (exemple des MERRI)
La bibliométrie La bibliométrie se définit comme l'exploitation statistique des publications. Cette analyse permet de rendre compte de l'activité des producteurs (chercheur, laboratoire, institut...) ou des diffuseurs (périodique, éditeur...) de l'information scientifique, tant d'un point de vue quantitatif que qualitatif. Quel niveau d analyse? 3 questions importantes en bibliométrie : Quelle base de référence? Quels indicateurs?
Le niveau d analyse Quel niveau d analyse? International (Europe / Monde) Européen National (interchu) Équipe Chercheur Méthodologie différente selon que l on compare : 2 pays 2 institutions 2 chercheurs
Choix de la base d analyse De nombreuses bases disponibles : Science Citation Index Pubmed SCOPUS (Elsevier) Beaucoup de bases thématiques : Médicales Physiques / Chimie Sciences de l Ingénieur Choisir la (ou les) bonnes base(s)!!!
Le Science Citation Index Base éditée et commercialisée par Thomson Scientific Plus de 7000 revues Couvre de nombreux domaines scientifiques Une des plus utilisées dans les études bibliométriques Interface d interrogation (Web of Science) Coût élevé, accès restreint Peu de revues françaises
Pubmed Une des bases les plus utilisée en Sciences Biomédicales 19 millions de références depuis 1965 Outils d extraction automatique disponibles Très complète (MESH, GRANTS, GENE, ) Gratuite Couvre mal certains domaines : technologies médicales sciences sociales
De nombreuses autres bases SCOPUS : un des concurrents du SCI Nombreuses références Bonne couverture des revues françaises INSPEC : Physique / Sciences de l Ingénieur EMBASE : Sciences biomédicales et Pharmaceutiques PASCAL : Base CNRS
La validité des données 2 modes d interrogation : Par adresse Par nom (Interrogation nominative) Problèmes des homonymes : Possibilité d avoir les mêmes nom et prénom (ou initiales) Normalisation des adresses : ex Lambret[Adresse] Centre Oscar Lambret 1, Av O. Lambret (CHRU!!!) Nécessité de valider les données (problème récurrent en bibliométrie)
Les indicateurs Le nombre total de publications / Part des publications Le nombre de citations / Part des citations L Impact Factor de la revue et indices dérivés Le facteur h, facteur M, facteur g,
Le nombre de Publications Un indicateur très simple, facile à collecter pour un chercheur Plus difficile à collecter pour une équipe ou un établissement (exhaustivité, doublons, )
Le nombre de citations Plus difficile à obtenir, car disponible dans des bases comme le SCI ou SCOPUS (payantes) Dépend de la date de publication de l article
Le Facteur d Impact (Impact Factor) Indice de citation d une revue calculé par l Institute for Scientific Information (ISI) Disponible dans le Journal of Citations Report (JCR) Actualisé tous les ans NB : 2008 IF = Nombre de citations des articles parus en 2006 et 2007 Nombre d'articles publiés en 2006 et 2007 x : 2008 Nombre de citations de Radiology en 2006 et 2007 4425 IF (Radiology)= = = 5.996 Nombre d'articles publiés dans Radiology en 2006 et 2007 738
Le Facteur d Impact Très utilisé et très controversé Mesure le rayonnement d une revue et pas d un article Très variable d une discipline à l autre Avantage clairement les revues anglo-saxonnes Mais un des rares indices qui existe
Le facteur H Basé sur le nombre d articles ET de citations Peu d articles beaucoup cités et beaucoup d articles peu cités Article Citations 1 12 2 10 3 10 4 8 5 6 6 5 7 4 8 4 9 4 10 3 11 3 12 2 13 2 14 1 15 1 16 0 17 0 18 0 19 0 20 0 14 12 10 8 6 4 2 0 0 5 10 15 20 «A scientist has index h if h of his/her Np papers have at least h citations each, and the other (Np - h) papers have no more than h citations each.» JE Hirsch
Quelques références B. Godin, The emergence of S&T indicators: why did governments supplement statistics with indicators, Research Policy, 2003, 679-691 E. Garfield, Fortnightly Review: How can impact factors be improved?, British Medical Journal, 313 (1996) 411-413. P.O Seglen, Why the impact factor of journals should not be used for evaluating research, British Medical Journal, 314(1997) 498-502. JE Hirsch, An index to quantify an individual scientific research output, Physics, 2005 R. Costas, M. Bordons, The h-index: Advantages, limitations and its relation with other bibliometric indicators at the micro level, Journal of Informetrics, In Press, March 2007 J. Imperial and A. Rodríguez-Navarro, Usefulness of Hirsch s h -index to evaluate scientific research in Spain, Scientometrics, 71(2), 2007, 271:282 L. Egghe, Theory and practice of the g-index, Scientometrics, Vol 69 (2006) 131-152
Quelques liens http://www.nsf.gov/statistics/ http://www2.pasteur.fr/infosci/biblio/services/metrie/ http://www.isinet.com http://www.obs-ost.fr/fr/ http://www.garfield.library.upenn.edu/impactfactor.html http://www.springerlink.com/content/1588-2861/ http://www.elsevier.com/locate/respol http://www.sigaps.fr
La bibliométrie et les sciences biomédicales : l exemple SIGAPS
Les sciences biomédicales Usage courant des techniques de bibliométrie par les grands organismes pour l évaluation des chercheurs et équipes : l INSERM : https://www.eva2.inserm.fr/eva/jsp/bibliometrie/index.jsp Le CNRS : http://www.cnrs.fr/comitenational/accueil.html Enquêtes nationales : enquête réalisée par l OST par exemple. Ces outils permettent le calcul d indicateurs d activité mais ne permettent pas : Les statistiques par service, pôle, discipline, L analyse des collaborations Une politique de recherche au niveau local
Recensement des Publications Scientifiques Publications scientifiques : Un des éléments quantifiant la Recherche d un Établissement, d une équipe, ou d un chercheur. Indispensable : justification, évaluation interne/externe, MERRI,... Recensement difficile en pratique : Charge de travail énorme, exhaustivité Problème de doublons, de validation Charge de travail des cliniciens? Doit être MINIMALE Proposition en Novembre 2001, d un concept permettant la synthèse automatique des publications. Système d Interrogation, de Gestion et d Analyse des Publications Scientifiques
Principe de SIGAPS Navigateur Web Analyser Recenser Visualiser Télécharger SIGAPS Agréger Évaluer 0 Hôpital Pôle Service Service Pôle Service + Impact Factor IF > P90 Q3 < IF < P90 MED < IF < Q3 Q1 < IF < MED IF < Q1 Inconnu Categorie Couleur A B C D E NC A B C D E
Le recensement des publications Basé sur l interrogation nominative du serveur Pubmed Avantages : Une des bases les plus utilisée en Sciences Biomédicales 19 millions de références depuis 1965 Outils d extraction automatique disponibles Très complète (MESH, GRANTS, GENE, ) Gratuite Limites : Couvre mal certains domaines (technologies, sciences sociales) Problèmes d homonymes Nécessité de valider les publications Procédures de Validation intégrées au logiciel
L Évaluation des articles Max P90 0 A Échelle à 6 niveaux basée sur l Impact Factor Problème : l IF varie fortement d une discipline à une autre : B Informatique Médicale, 0.431 à 2.091 (médiane=0.808) Biologie Cellulaire, 0.25 à 29.2 (médiane=2.188) Q3 Classification statistique, par discipline, en 5 catégories (A à E) Médiane Q1 + C D correspondant aux percentiles de l IF. Revues non recensées par l ISI (actes de congrès, par exemple), sont affectées à la catégorie NC. E Min Non Classé par l ISI N C Avec cette classification, chaque discipline a 10% de journaux en catégorie A, 15% in B, 25% in C,
2 Exemples BLOOD : Classé par l ISI dans la discipline MA (HEMATOLOGY) 60 revues dans cette discipline Calcul des percentiles (Q1=1.29, Q2=2.01, Q3=3.65, P90=5.68) IF(BLOOD)=10.13 donc classé A AMERICAN JOURNAL OF CRITICAL CARE Classé par l ISI dans les disciplines DS (CRITICAL CARE MEDICINE) et RY (NURSING) 49 revues dans les disciplines DS ou RY Calcul des percentiles (Q1=0.58, Q2=0.85, Q3=1.28, P90=2.93) IF(AJCC)=1.34 donc classé B
Les revues de Radiologie Discipline ISI : VY (RADIOLOGY, NUCLEAR MEDICINE & MEDICAL IMAGING) ISSN Titre 2001 2002 2003 2004 2005 2006 2007 2008 1619-7070 Eur J Nucl Med Mol Imaging NC A B A A A A A 0278-0062 IEEE Trans Med Imaging A A A A A A A A 0020-9996 Invest Radiol B B C C B B A A 0161-5505 J Nucl Med A A A A A A A A 1361-8415 Med Image Anal NC A A A A A A A 1053-8119 Neuroimage A A A A A A A A 0033-8419 Radiology A A A A A A A A 0001-2998 Semin Nucl Med B B A A B A A A 0363-9762 Clin Nucl Med E E E C C C B B 1555-4309 Contrast Media Mol Imaging NC NC NC NC NC D D B 0938-7994 Eur Radiol C D C C C B B B 1065-9471 Hum Brain Mapp A A A A B B A B 0360-3016 Int J Radiat Oncol Biol Phys B B B B B B B B 1083-3668 J Biomed Opt B B B B B B B B 0740-3194 Magn Reson Med A A B A B B B B 0094-2405 Med Phys B B B B B B B B 1535-3508 Mol Imaging NC NC NC NC NC NC NC B 1536-1632 Mol Imaging Biol NC B B B B B B B 0952-3480 NMR Biomed B C B B C B B B 0031-9155 Phys Med Biol C B B B B B B B 0271-5333 Radiographics C C C B C C C B 0167-8140 Radiother Oncol B B C C C B B B 1053-4296 Semin Radiat Oncol C C B C B A B B Disponible dans SIGAPS (Menu Documentation)
Les niveaux d Analyse
Les statistiques produites Nombre de publications par an. Place dans les auteurs croisée avec la catégorie. Évolution par année et par catégorie. Proportion d articles de chaque catégorie. Principales collaborations. Liste des termes MESH recensés. Détail des revues et nombre de publications. Proportions d articles en français et anglais. Détail par discipline Bibliographie aux normes de Vancouver, triée par année puis par auteur.
Exemple : Analyse d un chercheur
Exemple : Analyse d un chercheur
Le score SIGAPS 2 composantes : La catégorie de la revue (C1) La position dans les auteurs (C2) C1= 8 si A 6 si B 4 si C 3 si D C2= 4 si Position =1 3 si Position =2 ou Dernier 2 si Position =3 2 si E 1 sinon 1 si NC Score = C1 * C2 Chaque article a un score qui varie de 1 à 32 points. Par exemple, un article A en 1er auteur a donc un score de 32 (8*4), un article NC en 5ème auteur, 1 points (1*1). Le score d une équipe est la somme des scores de tous les articles. Si un article contient plusieurs auteurs, le score retenu pour l article correspond au maximum des scores des auteurs, chaque article ne pouvant être comptabilisé qu une seule fois.
Déploiement national du logiciel Mission confiée par le Ministre chargé de la Santé en Juin 2006 «mission consistant à assurer la diffusion et l utilisation du logiciel SIGAPS au sein de l ensemble des établissements hospitalo-universitaires, et à permettre la définition d un indicateur fiable du niveau de la production scientifique de ces établissements.»! Lille! Caen! Rouen! Amiens AP/HP Reims! Nancy Strasbourg Déploiement sur 29 CHU, 20 CLCC et 27 CHG! Brest Rennes Nantes Angers! Poitiers Tours Dijon! Besançon Mise en place d un serveur national Limoges Clermont F Lyon Bordeaux St Etienne Grenoble Production d indicateurs Toulouse Montpellier Nîmes!! Marseille! Nice Fort- de France Pointe à Pitre
Au niveau national : État des lieux 80 établissements équipés : 29 Centres Hospitaliers Universitaires 2 Centres Hospitaliers Régionaux 20 Centre de Lutte contre le Cancer 28 Centre Hospitaliers ayant une convention HU Service de Santé des Armées 83 910 publications sur la période 2004-2008 17,5% classés A, 18,8% classés B IF moyen : 3.03 Bilan quantitatif et qualitatif, sur des données validées, de la production scientifique réalisée par les établissements hospitaliers.
Le financement MERRI
Le financement : un peu d histoire Financement des Hôpitaux : Passage progressif d une dotation globale à un paiement à l activité Mise en place du PMSI et de la T2A Spécificité des CHU : charges d enseignement et de recherche Abattement de 13% du point ISA Grande disparité entre les établissements!!!
Le financement : un peu d histoire Financement de la recherche : Première étape : classification en 2005 des CHU en 3 catégories (Faibles chercheurs, Moyens chercheurs, Forts chercheurs) avec des abattements différents. Deuxième étape : passage, en 2008, à un nouveau modèle de financement basé sur : Un socle fixe visant à couvrir les frais de structure Une part modulable basé sur des indicateurs de résultats Une part variable (appels d offre, structure labellisées, )
La part modulable Représente environ 48% des financements MERRI (900 M ) Basé sur 4 indicateurs : Publications (SIGAPS) : 57.5% Enseignement (Nb étudiants) : 29% Essais cliniques (SIGREC) : 10% Brevets, valorisation : 3.5% 57.5% de la part modulable (~ 530 M ) basés sur SIGAPS
Et en euros??? En 2010, valeur du point : ~ 400 1 article dans Radiology en 1er auteur : 32 points Environ 13000 pour l établissement Pendant 5 ans
En conclusion Publication = Visibilité!!! (AERES, DHOS, MESR, EPST, ) Pour le chercheur Pour l institution Publication = Financement Attention : Au choix de la revue (référencement Pubmed, JCR, ) Utiliser, si possible, des adresses normalisées.
Des questions?