25e journées annuelles du RNDH - 18 et 19 octobre 2012 Résidence Internationale de Paris - 44 rue Louis Lumière - 75020 Paris Sigaps et la bibliométrie Patrick Devos Chef de Projet SIGAPS / SIGREC CHRU de Lille / EA 2694 patrick.devos@univ-lille2.fr
Plan Historique / Genèse du projet Objectif et fonctionnement du logiciel : La base de données Medline Import des données - Validation Classification des revues - JCR Web Utilisation pratique du logiciel Déploiement national Analyse nationale des données Évolutions du logiciel Les MERRI : impacts financiers sur les établissements
La recherche hospitalière et son évaluation Recherche médicale longtemps évaluée d un point de vue fondamental via les EPST. Nécessité pour les CHU de démontrer leur implication dans la recherche médicale Démarche initiée à Lille en 1998 (recensement manuel) Contexte : Rapport Lalande-Debeaupuis (Juillet 2004)
Évaluation des activités de Recherche Nombreuses références internationales : National Science Fundation (USA) OCDE (International) Eurostat (Europe) Deux approches complémentaires: Input (ressources consacrées) : financement, personnel, plateaux techniques,. Output (résultats) : brevets, articles scientifiques, thèses de sciences, Comment recenser les publications scientifiques d un établissement de la taille d un CHRU?
Recensement des Publications Scientifiques Publications scientifiques : Un des éléments quantifiant la Recherche d un Établissement, d une équipe, ou d un chercheur. Indispensable : justification, évaluation interne/externe, MIGAC,... Recensement difficile en pratique : Charge de travail énorme, exhaustivité Problème de doublons, de validation Charge de travail des cliniciens? Doit être MINIMALE Proposition en Novembre 2001, d un concept permettant la synthèse automatique des publications. Système d Interrogation, de Gestion et d Analyse des Publications Scientifiques
Historique 13 Nov 2001 : CNRC de Lyon : projet de logiciel «analyse bibliométrique». Juin 2002 : Présentation, au CHRU de Lille, d'un prototype. Janvier 2003 : Lancement de l'évaluation du logiciel par 8 CHRU. Mars 2003 : Présentation aux Assises Hospitalo-universitaires de Nice. Oct 2004 : Mise en exploitation au CHRU de Lille de la version 1.2 Nov 2004 : Lancement de la diffusion nationale avec Alicante Mai 2006 : Lettre de mission du Ministère de la Santé Oct 2012 : 107 établissements équipés
Objectifs de SIGAPS Les objectifs du logiciel sont les suivants : Faciliter le recensement de la production scientifique référencée Medline (nombre d articles réalisés sur une période donnée). Fiabiliser les données par des mécanismes de validation. Faciliter l évaluation qualitative des articles au regard de la notoriété des journaux, par discipline, dans lesquels les travaux ont été publiés. Automatiser l analyse pour connaître l environnement recherche de l établissement (collaborations internes, externes, ) et suivre son évolution au cours du temps
Principe de SIGAPS Navigateur Web Analyser Visualiser Recenser Télécharger SIGAPS Agréger Évaluer 0 Hôpital Pôle Service Service Pôle Service + Impact Factor Categorie Couleur IF > P90 A Q3 < IF < P90 B MED < IF < Q3 C Q1 < IF < MED D IF < Q1 E Inconnu NC A B C D E
Chargement des données : la base Pubmed
Le recensement des publications Actuellement, interrogation nominative du serveur Pubmed Avantages : Une des bases les plus utilisée en Sciences Biomédicales 22 millions de références, 5600 revues indexées en 2012 Outils d extraction automatique disponibles Très complète (MESH, GRANTS, GENE, ) Gratuite Limites : Couvre mal certains domaines (technologies, sciences sociales) Problèmes d homonymes Nécessité de valider les publications
Des informations très complètes
Chargement de l ensemble des informations disponibles
PUBMED : Intérêt des termes MESH
PUBMED : Intérêt des termes MESH Thésaurus médical très précis et normalisé Structuration sous forme «d arbre» Permet d identifier ou de valider, dans les rapports, les thématiques de recherche d une équipe Permet l identification de «leaders d opinion» : Au niveau local dans les établissements Au niveau national Langage d interrogation normalisé Alzheimer s Disease [Mesh Terms] Alzheimer s Disease [Mesh Major Topic] Alzheimer s Disease/epidemiology [Mesh Terms]
Le recensement des publications Lancement successif de l ensemble des requêtes «Nom I»: 16899604 16857773 Patrick Devos Devos P [Author] 15336292 14663998 Alain Duhamel Duhamel A [Author] 12945223 16960939 16421175 15460755 14663998 12957806 Récupération et stockage des PMID et articles correspondant aux n requêtes (n=2200 pour Lille) 16160272 15460755 Régis Beuscart Beuscart R[Author] 14663998 11604943 11604767 11501863
Articles présents dans SIGAPS Toutes les publications référencés dans Pubmed quel que soit le type (journal article, editorial, letter, case report, ) Ne recense que les articles pour lesquels le chercheur est nominativement parmi les auteurs. Nom I[Author] et pas Nom I Problème d homonymes ou d erreurs: nécessité de valider les publications
Validation des données
La Validation des données Dans SIGAPS, 3 niveaux de validation : Validation automatique VA (par le système) Validation externe VE (par l administrateur) Validation manuelle VM (par le chercheur) 95 % au niveau national Niveau de validation global : calcul de VF : VA : poids 1 VE : poids 3 VM : poids 9 Score variant de -13 à +13 1 2 3 4 5 6 7 8 9 10 11 12 13 VA VE VM
La Validation Automatique : Règles de Validation Règle 1 : Utilisation de l adresse du premier auteur. Dans Pubmed, l adresse du premier auteur est disponible. On peut ainsi, dans SIGAPS, fournir en paramètres, une liste de noms (exemple : Lille) Le système vérifie alors, pour chaque article, si l adresse contient le mot Lille. Si oui, l article valide la règle 1.
La Validation Automatique : Règles de Validation 16899604 16857773 15336292 14663998 12945223 16960939 16421175 Règle 2 : Calcul de k, nombre d occurrences de chaque PMID 15460755 14663998 12957806 16160272 15460755 14663998 11604943 11604767 k >= 2 : a priori, au moins 2 chercheurs du site. Validation de la règle 2. k=1 : seul auteur du site. Article non validé. 11501863
La Validation Automatique : Règles de Validation Règle 3 : Notion de requête fiable : on est certain (ou presque) que le chercheur n a pas d homonymes (Nom + I). Dans ce cas, les articles retournés par ces requêtes valident la règle 3. Exemples : Beuscart R, Duhamel A, Dans un établissement, de nombreux chercheurs ont une requête fiable. Par contre, en pratique, très long et fastidieux de faire la démarche de vérification pour tous les chercheurs. On peut se limiter à vérifier les requêtes des chercheurs à fort potentiel de publication : Haut niveau de publication connu Chef de service (généralement associé en dernier auteur)
La Validation Automatique : Règles de Validation Règle 4 : Utilisation du Prénom, parfois disponible dans les articles. Exemple : Articles de Patrick Devos de 1995/01/01 Aujourd hui Devos p [Author] AND ("1995/01/01"[PDAT] : "3000"[PDAT]) En réalité, 109 articles appartiennent à Patrick Devos. 144 articles Requête non fiable!!! Plusieurs homonymes : Devos Paul, Devos Philippe, Devos Pierre. Devos Patrick[Full Author] AND ("1995/01/01"[PDAT] 57 articles 57 articles sur 95 peuvent être validés par cette règle.
Règle 5 : La Validation Automatique : Règles de Validation Calcul et Utilisation de la discipline du chercheur. Exemple : Articles de David Devos de 1995/01/01 Aujourd hui Devos D [Author] AND ("1995/01/01"[PDAT] : "3000"[PDAT]) 137 articles En réalité, 84 articles sont corrects. Requête non fiable!!! Devos David[Full Author] AND ("1995/01/01"[PDAT] 40 articles!!! Un grand nombre d articles sont écrits en collaboration avec d autres chercheurs du site et valideront R1. Sur les articles validés précédemment, calcul de la(es) discipline(s) de publication (RT : Clinical Neurology). Pour les articles non validés, le journal fait-il partie de la discipline RT? Si oui, on valide l article
Validation Externe (par l Administrateur)
Validation manuelle (par le chercheur)
Suivi de Validation Fonctions de relance par mail disponibles dans SIGAPS
L évaluation des revues
Le Facteur d Impact (Impact Factor) Indice de citation d une revue calculé par l Institute for Scientific Information (ISI) Disponible dans le Journal of Citations Report (JCR) Actualisé tous les ans IF = 2011 Nombre de citations, en 2011, des articles parus en 2009 et 2010 Nombre d'articles publiés en 2009 et 2010
Le portail JCR Web
Le portail JCR Web Accès aux 180 disciplines du SCI
La discipline «Clinical Neurology»
Comparaison de quelques disciplines Très grande variabilité inter-disciplines Normalisation indispensable!!!
L Évaluation des articles Max P90 0 A Échelle à 6 niveaux basée sur l Impact Factor B Classification statistique, par discipline, en 5 catégories (A à E) correspondant aux percentiles de l IF. Q3 Médiane Q1 + C D Revues non recensées par l ISI (actes de congrès, par exemple), sont affectées à la catégorie NC. Min E Avec cette classification, chaque discipline a 10% de journaux en catégorie A, 15% in B, 25% in C, Non Classé par l ISI N C Nécessite un abonnement JCR Web
La discipline «Clinical Neurology»
La discipline «Clinical Neurology» dans SIGAPS
Les rapports
L interface
Exemple : Analyse d un chercheur
Exemple : Analyse d un chercheur
Le score SIGAPS 2 composantes : La catégorie de la revue (C1) La position dans les auteurs (C2) C1= 8 si A 6 si B 4 si C 3 si D C2= 4 si Position =1 ou Dernier 3 si Position =2 2 si Position =3 2 si E 1 sinon 1 si NC Score = C1 * C2 Chaque article a un score qui varie de 1 à 32 points. Par exemple, un article A en 1er auteur a donc un score de 32 (8*4), un article NC en 5ème auteur, 1 points (1*1). Le score d une équipe est la somme des scores de tous les articles. Si un article contient plusieurs auteurs, le score retenu pour l article correspond au maximum des scores des auteurs, chaque article ne pouvant être comptabilisé qu une seule fois.
Déploiement national Exploitation des données
Le déploiement national du logiciel Mission confiée par le Ministre chargé de la Santé en Juin 2006 «mission consistant à assurer la diffusion et l utilisation du logiciel SIGAPS au sein de l ensemble des établissements hospitalo-universitaires, et à permettre la définition d un indicateur fiable du niveau de la production scientifique de ces établissements.»! Lille! Brest Rennes! Caen! Rouen Amiens AP/HP! Reims! Nancy Strasbourg Déploiement en 2007 sur les 29 CHU, les 20 CLCC et quelques CH. Nantes Angers Tours Dijon! Besançon Mise en place d un serveur! Poitiers Limoges Clermont F St Etienne Lyon Grenoble national Production d indicateurs Bordeaux Installation progressive de Toulouse Montpellier Nîmes!! Marseille! Nice nouveaux établissements Fort- de France Pointe à Pitre
Mise en place d un serveur national Site 2 SIGAPS Site 1 SIGAPS Sur chaque site : Chargement et validation des données. Analyse et stratégie locale Transfert des données vers le serveur central Site 3 Serveur National Sur le serveur national : Agrégation des données Calcul d indicateurs d activité SIGAPS Analyses inter-chu Détermination des pôles d excellence Analyse des collaborations (réseaux existants) Site Site n SIGAPS SIGAPS
Utilisation au sein des établissements Pour le chercheur, le responsable d équipe : un outil d auto-évaluation : Une vue précise des activités, thématiques, collaborations Une évaluation de la performance : position, catégories, Pour l établissement : Recensement exhaustif et temps réel des publications Un outil de représentation des activités de recherche : Pôles d excellence Collaborations Réseaux internes / externes Thématiques étudiées Un outil de valorisation : En terme d image de marque Valorisation économique (MERRI)
Au niveau national : État des lieux 90 établissements équipés : 29 Centres Hospitaliers Universitaires 2 Centres Hospitaliers Régionaux 20 Centres de Lutte contre le Cancer 38 Centre Hospitaliers Service de Santé des Armées + 15 nouveaux en 2012 176700 publications sur la période 2000-2010 18.01% classés A, 19.52% classés B 13567 en 2000, 19181 en 2010 (+ 40% en 10 ans) Bilan quantitatif et qualitatif, sur des données validées, de la production scientifique réalisée par les établissements hospitaliers.
Niveau National : Calcul d Indicateurs Classement Sept 2011 des établissements Période de 4 ans (2007-2010) - Pondération (8 6 4 3 2 1)*(4 3 2 1.. 4) Prise en compte des publications "Journal Article", "Editorial" et "Review") Etablissement NbPub Score A B C D E NC Assistance Publique - Hôpitaux de Paris 27339 383281 6154 5653 4478 2912 6053 2089 Hospices civils de Lyon 5856 70935 1112 1203 1110 691 1351 389 Assistance Publique - Hôpitaux de Marseille 4153 51959 686 904 697 479 1074 313 CHU - Hopitaux de Bordeaux 3300 41293 690 732 608 360 696 214 CHRU de Lille 3575 40266 653 700 563 457 917 285 CHU de Toulouse 3150 37327 646 657 560 354 744 189 CHU de Montpellier 2881 34748 553 645 480 344 655 204 CHU de Nantes 2442 29862 511 555 430 249 552 145 Hôpitaux Universitaires de Strasbourg 2585 29825 557 486 419 282 678 163 Villejuif - Institut Gustave Roussy 2164 29317 566 602 394 195 333 74 Paris - Institut Curie 1766 25433 480 567 279 143 208 89 CHU de Nancy 2014 22483 341 412 358 223 541 139 CHU de Grenoble 1965 22356 370 399 348 228 487 133 CHU de Nice 1684 20307 338 380 297 154 424 91 CHU de Rennes 1710 19517 336 333 299 179 418 145 CHU de Rouen 1611 17209 244 285 262 179 522 119 CHRU de Tours 1562 17040 247 305 275 239 400 96 CHU d'angers 1417 16971 290 283 234 166 368 76 CHU de Dijon 1360 16210 251 280 235 192 317 85 CHRU de Brest 1112 13081 218 241 173 153 226 101
Niveau national : Pôles d excellence Exemple : Plan Alzheimer : qui publie en France dans cette thématique? 612 publications dans la base nationale SIGAPS (2002-2006) Etablissement Nb Tot Nb AB Score AP/HP 239 90 1040 CHU de Toulouse 91 24 405 CHRU de Lille 86 39 367 CHU - Hopitaux de Bordeaux 64 23 264 CHU de Nice 34 8 151 CHU de Montpellier 35 15 140 CHU de Rouen 22 9 104 AP/HP TOULOUSE LILLE BORDEAUX NICE MONTPE ROUEN AP/HP 18 14 14 13 12 9 239 TOULOUSE 18 4 6 11 11 3 91 LILLE 14 4 8 4 5 1 86 BORDEAUX 14 6 8 6 5 2 64 NICE 13 11 4 6 5 2 34 MONTPE 12 11 5 5 5 1 35 ROUEN 9 3 1 2 2 1 22 239 91 86 64 34 35 22 Nom Prénom Etablissement Nb Tot Nb AB IF Score Nombre Total Articles VELLAS Bruno CHU de Toulouse 69 13 91.0 239 95 72.6 PASQUIER Florence CHRU de Lille 35 19 124.6 137 44 79.5 DARTIGUES Jean-François CHU - Hopitaux de Bordeaux 39 11 86.5 134 75 52.0 DUBOIS Bruno Assistance Publique - Hôpitaux de Paris 33 16 97.7 133 65 50.8 DUYCKAERTS Charles Assistance Publique - Hôpitaux de Paris 26 12 81.1 111 49 53.1 RIGAUD-MONNET Anne-sophie Assistance Publique - Hôpitaux de Paris 31 6 47.1 109 39 79.5 TOUCHON Jacques CHU de Montpellier 26 11 69.2 100 38 68.4 ROBERT Philippe CHU de Nice 27 3 32.3 93 45 60.0 HANNEQUIN Didier CHU de Rouen 18 8 82.2 77 37 48.6 Spécificité
La production scientifique des CHU Production SIGAPS des 29 CHU sur la période 2000-2009 Année Nb Pub CHU Nb Pub Pubmed % 100% 2000 12464 527138 2.36 90% 2001 12675 541773 2.34 80% 2002 12564 559277 2.25 2003 13506 589432 2.29 2004 13818 633156 2.18 70% 60% 50% NC E D C 2005 14854 693425 2.14 2006 15380 738722 2.08 2007 15458 774683 2.00 2008 16462 818109 2.01 2009 16695 852824 1.96 40% 30% 20% 10% 0% 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 B A 14.00 Evolution du Score Moyen par Publication 50.00 Pourcentage de Publications de Catégorie A ou B 13.00 45.00 12.00 40.00 11.00 35.00 10.00 9.00 30.00 8.00 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 25.00 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
Les analyses intra-dirc Nord-Ouest Amiens Clinical Neurology 30 Surgery 18 Gastro/Hepatology 19 Pediatrics 12 Oncology 7 Surgery 5 Transplantation 4 Hematology 4 Gastro/Hepatology 15 Surgery 11 Urology & Nephrology 10 Rheumatology 6 Dermatology 6 Nombre de publications Hematology 21 Clinical Neurology 17 Surgery 14 Oncology 10 Caen Surgery 13 Immunology 7 ORL 7 Gastro/Hepatology 7 Lille Rheumatology 19 Clinical Neurology 18 Anesthesiology 16 Gastro/Hepatology 15 Rouen
Croisement SIGAPS/SIGREC Analyse simultanée des indicateurs SIGAPS et SIGREC 3 indicateurs utilisés : Score SIGAPS Score SIGREC «Essais» Score SIGREC «Inclusions» Problème de l effet Taille Comment normaliser? Normalisation, par exemple, par ER=0.5*(PU/PH+MCU/PH) + 0.2*PH Permet d établir une cartographie, soit nationale, soit par pôles
Exemple 3 : Croisement - Faible niveau de publication Et Essais Cliniques Recherche Clinique émergente ou «alimentaire» Indicateurs SIGREC normalisés + Haut niveau de publication Et Essais Cliniques Recherche translationnelle du fondamental à l évaluation thérapeutique Indicateurs SIGAPS normalisés + Faible niveau de publication Haut niveau de publication Pas d Essais Cliniques Pas d Essais Cliniques Activité de Recherche émergente ou faible Recherche Fondamentale -
Ex 3 : Typologie des activités de Recherche Du fondamental à la recherche clinique Taille de la bulle : Inc Prom normalisé 6.0 5.0 Score "SIGREC Essais" normalis 4.0 0 20 40 60 80 100 120 3.0 140 160 180 200 220 2.0 1.0 0.0 Score SIGAPS normalisé Exemple : Cartographie Interne par Pôle ou Service
Développements en cours
L interface de Recherche MESH Utilisation de requêtes prédéfinies ou de requêtes personnalisées Personnalisation de la période
L interface de Recherche MESH Ensuite, génération du rapport SIGAPS correspondant aux articles sélectionnés
Des besoins qui évoluent WoK (Thomson Reuters) SCOPUS (Elsevier) 11 000 revues 18 000 revues 5600 titres
Le connecteur WoK Mêmes principes que le connecteur Pubmed : Utilisation de requêtes nominatives Chargement local des informations Validation des informations téléchargées Production de rapports et indicateurs Mais en interrogeant la base Web of Science (+ Pubmed). En disposant d autres informations indices de citations facteur h, percentiles de citations (top1%, top5%, ) XCR : Expected Citation Rate, Ratio Observed/Expected
Le connecteur WoK Extraction nominative des données du WoS : - documents (articles, ) - citations - XCR, Top 1%, 1 2 Renvoi des informations de validation pour constituer le corpus InCites Validation manuelle Opérationnel En réflexion
Le connecteur WoK : des données complémentaires Analyse des citations : Période 2000-2010 Nombre de publications Nombre total de citations Nombre moyen de citations/article 1er Quartile Nombre médian de citations 3éme Quartile Facteur h 103 721 7 0 2 10 16 Diagramme des citations 0 10 20 30 40 50 60 1 4 7 10 13 16 19 22 25 28 31 34 37 h Statistiques de citations Nombre total de citations Moyenne de citations par article Quartiles Histogramme Facteur h Détail par année
Le connecteur WoK : renvoi vers Incites
A venir : connecteur SCOPUS Abonnement de l Université de Lille 2 à SCOPUS Projet de connecteur SIGAPS/SCOPUS : Globalement, même principe que connecteur WoK Sur les bases Elsevier (18000 titres) Réflexion sur la correction des adresses via SIGAPS Affichage dans SIGAPS des adresses déclarées Regroupement / Correction des adresses dans SIGAPS Transmission automatisée des modifications vers SCOPUS
SIGAPS et les financements MERRI
Le financement des Hôpitaux : un peu d histoire Financement des Hôpitaux : Passage progressif d une dotation globale à un paiement à l activité Mise en place du PMSI et de la T2A Spécificité des CHU : charges d enseignement et de recherche Abattement de 13% du point ISA Grande disparité entre les établissements!!!
Le financement de la recherche dans les CHU Passage, en 2008, à un nouveau modèle de financement basé sur : Un socle fixe visant à couvrir les frais de structure Une part modulable basé sur des indicateurs de résultats Une part variable (appels d offre, structures labellisées, ) Part variable 15% En 2010 : Socle fixe 40% Part modulable 45%
La part modulable Représente, en 2012, 1 143 M Basé sur 4 indicateurs : Publications (SIGAPS) Enseignement (Nb étudiants) Essais cliniques (SIGREC) Brevets, valorisation Recherche Clinique 12.5% Enseignement 29.0% Brevets 1.0% Publications 57.5% En 2012, 657M répartis via SIGAPS!!! http://www.sante.gouv.fr/les-missions-d-enseignement-de-recherche-de-reference-et-d-innovation-merri.html
L indicateur Publications scientifiques Règles de calcul: Période de 4 ans (2007-2010 pour les MERRI 2012) Pondération (8/6/4/3/2/1)*(4/3/2/1/4) Prise en compte uniquement de Journal Article, Editorial, Review Correction VE/VM Règle des Attachés 66038 publications comptabilisés 95% de VM au niveau national
Un modèle qui évolue : Évolution Augmentation régulière de la part modulable Modifications des poids au sein de la part modulable Augmentation régulière de l indicateur SIGREC : marqueur plus «clinique» que les publications Plus proche «temporellement» (rapport Bras) Nb Points Montant Part Valeur Point Publications 1 181 653 657 107 919 57.50 556.09 Brevets 159 11 427 964 1.00 71873.99 Enseignement 26 222 331 410 950 29.00 12638.90 Score Essais 22 644 57 139 819 5.00 2523.40 Score Inc Prom 87 265.62 45 711 855 4.00 523.82 Score Inc Inv 80645.3642 39 997 873 3.50 495.97
Des questions? patrick.devos@univ-lille2.fr