Sigaps et la bibliométrie

Transcription

1 25e journées annuelles du RNDH - 18 et 19 octobre 2012 Résidence Internationale de Paris - 44 rue Louis Lumière Paris Sigaps et la bibliométrie Patrick Devos Chef de Projet SIGAPS / SIGREC CHRU de Lille / EA 2694 patrick.devos@univ-lille2.fr

2 Plan Historique / Genèse du projet Objectif et fonctionnement du logiciel : La base de données Medline Import des données - Validation Classification des revues - JCR Web Utilisation pratique du logiciel Déploiement national Analyse nationale des données Évolutions du logiciel Les MERRI : impacts financiers sur les établissements

3 La recherche hospitalière et son évaluation Recherche médicale longtemps évaluée d un point de vue fondamental via les EPST. Nécessité pour les CHU de démontrer leur implication dans la recherche médicale Démarche initiée à Lille en 1998 (recensement manuel) Contexte : Rapport Lalande-Debeaupuis (Juillet 2004)

4 Évaluation des activités de Recherche Nombreuses références internationales : National Science Fundation (USA) OCDE (International) Eurostat (Europe) Deux approches complémentaires: Input (ressources consacrées) : financement, personnel, plateaux techniques,. Output (résultats) : brevets, articles scientifiques, thèses de sciences, Comment recenser les publications scientifiques d un établissement de la taille d un CHRU?

5 Recensement des Publications Scientifiques Publications scientifiques : Un des éléments quantifiant la Recherche d un Établissement, d une équipe, ou d un chercheur. Indispensable : justification, évaluation interne/externe, MIGAC,... Recensement difficile en pratique : Charge de travail énorme, exhaustivité Problème de doublons, de validation Charge de travail des cliniciens? Doit être MINIMALE Proposition en Novembre 2001, d un concept permettant la synthèse automatique des publications. Système d Interrogation, de Gestion et d Analyse des Publications Scientifiques

6 Historique 13 Nov 2001 : CNRC de Lyon : projet de logiciel «analyse bibliométrique». Juin 2002 : Présentation, au CHRU de Lille, d'un prototype. Janvier 2003 : Lancement de l'évaluation du logiciel par 8 CHRU. Mars 2003 : Présentation aux Assises Hospitalo-universitaires de Nice. Oct 2004 : Mise en exploitation au CHRU de Lille de la version 1.2 Nov 2004 : Lancement de la diffusion nationale avec Alicante Mai 2006 : Lettre de mission du Ministère de la Santé Oct 2012 : 107 établissements équipés

7 Objectifs de SIGAPS Les objectifs du logiciel sont les suivants : Faciliter le recensement de la production scientifique référencée Medline (nombre d articles réalisés sur une période donnée). Fiabiliser les données par des mécanismes de validation. Faciliter l évaluation qualitative des articles au regard de la notoriété des journaux, par discipline, dans lesquels les travaux ont été publiés. Automatiser l analyse pour connaître l environnement recherche de l établissement (collaborations internes, externes, ) et suivre son évolution au cours du temps

8 Principe de SIGAPS Navigateur Web Analyser Visualiser Recenser Télécharger SIGAPS Agréger Évaluer 0 Hôpital Pôle Service Service Pôle Service + Impact Factor Categorie Couleur IF > P90 A Q3 < IF < P90 B MED < IF < Q3 C Q1 < IF < MED D IF < Q1 E Inconnu NC A B C D E

9 Chargement des données : la base Pubmed

10 Le recensement des publications Actuellement, interrogation nominative du serveur Pubmed Avantages : Une des bases les plus utilisée en Sciences Biomédicales 22 millions de références, 5600 revues indexées en 2012 Outils d extraction automatique disponibles Très complète (MESH, GRANTS, GENE, ) Gratuite Limites : Couvre mal certains domaines (technologies, sciences sociales) Problèmes d homonymes Nécessité de valider les publications

11 Des informations très complètes

12 Chargement de l ensemble des informations disponibles

13 PUBMED : Intérêt des termes MESH

14 PUBMED : Intérêt des termes MESH Thésaurus médical très précis et normalisé Structuration sous forme «d arbre» Permet d identifier ou de valider, dans les rapports, les thématiques de recherche d une équipe Permet l identification de «leaders d opinion» : Au niveau local dans les établissements Au niveau national Langage d interrogation normalisé Alzheimer s Disease [Mesh Terms] Alzheimer s Disease [Mesh Major Topic] Alzheimer s Disease/epidemiology [Mesh Terms]

15 Le recensement des publications Lancement successif de l ensemble des requêtes «Nom I»: Patrick Devos Devos P [Author] Alain Duhamel Duhamel A [Author] Récupération et stockage des PMID et articles correspondant aux n requêtes (n=2200 pour Lille) Régis Beuscart Beuscart R[Author]

16 Articles présents dans SIGAPS Toutes les publications référencés dans Pubmed quel que soit le type (journal article, editorial, letter, case report, ) Ne recense que les articles pour lesquels le chercheur est nominativement parmi les auteurs. Nom I[Author] et pas Nom I Problème d homonymes ou d erreurs: nécessité de valider les publications

17 Validation des données

18 La Validation des données Dans SIGAPS, 3 niveaux de validation : Validation automatique VA (par le système) Validation externe VE (par l administrateur) Validation manuelle VM (par le chercheur) 95 % au niveau national Niveau de validation global : calcul de VF : VA : poids 1 VE : poids 3 VM : poids 9 Score variant de -13 à VA VE VM

19 La Validation Automatique : Règles de Validation Règle 1 : Utilisation de l adresse du premier auteur. Dans Pubmed, l adresse du premier auteur est disponible. On peut ainsi, dans SIGAPS, fournir en paramètres, une liste de noms (exemple : Lille) Le système vérifie alors, pour chaque article, si l adresse contient le mot Lille. Si oui, l article valide la règle 1.

20 La Validation Automatique : Règles de Validation Règle 2 : Calcul de k, nombre d occurrences de chaque PMID k >= 2 : a priori, au moins 2 chercheurs du site. Validation de la règle 2. k=1 : seul auteur du site. Article non validé

21 La Validation Automatique : Règles de Validation Règle 3 : Notion de requête fiable : on est certain (ou presque) que le chercheur n a pas d homonymes (Nom + I). Dans ce cas, les articles retournés par ces requêtes valident la règle 3. Exemples : Beuscart R, Duhamel A, Dans un établissement, de nombreux chercheurs ont une requête fiable. Par contre, en pratique, très long et fastidieux de faire la démarche de vérification pour tous les chercheurs. On peut se limiter à vérifier les requêtes des chercheurs à fort potentiel de publication : Haut niveau de publication connu Chef de service (généralement associé en dernier auteur)

22 La Validation Automatique : Règles de Validation Règle 4 : Utilisation du Prénom, parfois disponible dans les articles. Exemple : Articles de Patrick Devos de 1995/01/01 Aujourd hui Devos p [Author] AND ("1995/01/01"[PDAT] : "3000"[PDAT]) En réalité, 109 articles appartiennent à Patrick Devos. 144 articles Requête non fiable!!! Plusieurs homonymes : Devos Paul, Devos Philippe, Devos Pierre. Devos Patrick[Full Author] AND ("1995/01/01"[PDAT] 57 articles 57 articles sur 95 peuvent être validés par cette règle.

23 Règle 5 : La Validation Automatique : Règles de Validation Calcul et Utilisation de la discipline du chercheur. Exemple : Articles de David Devos de 1995/01/01 Aujourd hui Devos D [Author] AND ("1995/01/01"[PDAT] : "3000"[PDAT]) 137 articles En réalité, 84 articles sont corrects. Requête non fiable!!! Devos David[Full Author] AND ("1995/01/01"[PDAT] 40 articles!!! Un grand nombre d articles sont écrits en collaboration avec d autres chercheurs du site et valideront R1. Sur les articles validés précédemment, calcul de la(es) discipline(s) de publication (RT : Clinical Neurology). Pour les articles non validés, le journal fait-il partie de la discipline RT? Si oui, on valide l article

24 Validation Externe (par l Administrateur)

25 Validation manuelle (par le chercheur)

26 Suivi de Validation Fonctions de relance par mail disponibles dans SIGAPS

27 L évaluation des revues

28 Le Facteur d Impact (Impact Factor) Indice de citation d une revue calculé par l Institute for Scientific Information (ISI) Disponible dans le Journal of Citations Report (JCR) Actualisé tous les ans IF = 2011 Nombre de citations, en 2011, des articles parus en 2009 et 2010 Nombre d'articles publiés en 2009 et 2010

29 Le portail JCR Web

30 Le portail JCR Web Accès aux 180 disciplines du SCI

31 La discipline «Clinical Neurology»

32 Comparaison de quelques disciplines Très grande variabilité inter-disciplines Normalisation indispensable!!!

33 L Évaluation des articles Max P90 0 A Échelle à 6 niveaux basée sur l Impact Factor B Classification statistique, par discipline, en 5 catégories (A à E) correspondant aux percentiles de l IF. Q3 Médiane Q1 + C D Revues non recensées par l ISI (actes de congrès, par exemple), sont affectées à la catégorie NC. Min E Avec cette classification, chaque discipline a 10% de journaux en catégorie A, 15% in B, 25% in C, Non Classé par l ISI N C Nécessite un abonnement JCR Web

34 La discipline «Clinical Neurology»

35 La discipline «Clinical Neurology» dans SIGAPS

36 Les rapports

37 L interface

38 Exemple : Analyse d un chercheur

39 Exemple : Analyse d un chercheur

40 Le score SIGAPS 2 composantes : La catégorie de la revue (C1) La position dans les auteurs (C2) C1= 8 si A 6 si B 4 si C 3 si D C2= 4 si Position =1 ou Dernier 3 si Position =2 2 si Position =3 2 si E 1 sinon 1 si NC Score = C1 * C2 Chaque article a un score qui varie de 1 à 32 points. Par exemple, un article A en 1er auteur a donc un score de 32 (8*4), un article NC en 5ème auteur, 1 points (1*1). Le score d une équipe est la somme des scores de tous les articles. Si un article contient plusieurs auteurs, le score retenu pour l article correspond au maximum des scores des auteurs, chaque article ne pouvant être comptabilisé qu une seule fois.

41 Déploiement national Exploitation des données

42 Le déploiement national du logiciel Mission confiée par le Ministre chargé de la Santé en Juin 2006 «mission consistant à assurer la diffusion et l utilisation du logiciel SIGAPS au sein de l ensemble des établissements hospitalo-universitaires, et à permettre la définition d un indicateur fiable du niveau de la production scientifique de ces établissements.»! Lille! Brest Rennes! Caen! Rouen Amiens AP/HP! Reims! Nancy Strasbourg Déploiement en 2007 sur les 29 CHU, les 20 CLCC et quelques CH. Nantes Angers Tours Dijon! Besançon Mise en place d un serveur! Poitiers Limoges Clermont F St Etienne Lyon Grenoble national Production d indicateurs Bordeaux Installation progressive de Toulouse Montpellier Nîmes!! Marseille! Nice nouveaux établissements Fort- de France Pointe à Pitre

43 Mise en place d un serveur national Site 2 SIGAPS Site 1 SIGAPS Sur chaque site : Chargement et validation des données. Analyse et stratégie locale Transfert des données vers le serveur central Site 3 Serveur National Sur le serveur national : Agrégation des données Calcul d indicateurs d activité SIGAPS Analyses inter-chu Détermination des pôles d excellence Analyse des collaborations (réseaux existants) Site Site n SIGAPS SIGAPS

44 Utilisation au sein des établissements Pour le chercheur, le responsable d équipe : un outil d auto-évaluation : Une vue précise des activités, thématiques, collaborations Une évaluation de la performance : position, catégories, Pour l établissement : Recensement exhaustif et temps réel des publications Un outil de représentation des activités de recherche : Pôles d excellence Collaborations Réseaux internes / externes Thématiques étudiées Un outil de valorisation : En terme d image de marque Valorisation économique (MERRI)

45 Au niveau national : État des lieux 90 établissements équipés : 29 Centres Hospitaliers Universitaires 2 Centres Hospitaliers Régionaux 20 Centres de Lutte contre le Cancer 38 Centre Hospitaliers Service de Santé des Armées + 15 nouveaux en publications sur la période % classés A, 19.52% classés B en 2000, en 2010 (+ 40% en 10 ans) Bilan quantitatif et qualitatif, sur des données validées, de la production scientifique réalisée par les établissements hospitaliers.

46 Niveau National : Calcul d Indicateurs Classement Sept 2011 des établissements Période de 4 ans ( ) - Pondération ( )*( ) Prise en compte des publications "Journal Article", "Editorial" et "Review") Etablissement NbPub Score A B C D E NC Assistance Publique - Hôpitaux de Paris Hospices civils de Lyon Assistance Publique - Hôpitaux de Marseille CHU - Hopitaux de Bordeaux CHRU de Lille CHU de Toulouse CHU de Montpellier CHU de Nantes Hôpitaux Universitaires de Strasbourg Villejuif - Institut Gustave Roussy Paris - Institut Curie CHU de Nancy CHU de Grenoble CHU de Nice CHU de Rennes CHU de Rouen CHRU de Tours CHU d'angers CHU de Dijon CHRU de Brest

47 Niveau national : Pôles d excellence Exemple : Plan Alzheimer : qui publie en France dans cette thématique? 612 publications dans la base nationale SIGAPS ( ) Etablissement Nb Tot Nb AB Score AP/HP CHU de Toulouse CHRU de Lille CHU - Hopitaux de Bordeaux CHU de Nice CHU de Montpellier CHU de Rouen AP/HP TOULOUSE LILLE BORDEAUX NICE MONTPE ROUEN AP/HP TOULOUSE LILLE BORDEAUX NICE MONTPE ROUEN Nom Prénom Etablissement Nb Tot Nb AB IF Score Nombre Total Articles VELLAS Bruno CHU de Toulouse PASQUIER Florence CHRU de Lille DARTIGUES Jean-François CHU - Hopitaux de Bordeaux DUBOIS Bruno Assistance Publique - Hôpitaux de Paris DUYCKAERTS Charles Assistance Publique - Hôpitaux de Paris RIGAUD-MONNET Anne-sophie Assistance Publique - Hôpitaux de Paris TOUCHON Jacques CHU de Montpellier ROBERT Philippe CHU de Nice HANNEQUIN Didier CHU de Rouen Spécificité

48 La production scientifique des CHU Production SIGAPS des 29 CHU sur la période Année Nb Pub CHU Nb Pub Pubmed % 100% % % % 60% 50% NC E D C % 30% 20% 10% 0% B A Evolution du Score Moyen par Publication Pourcentage de Publications de Catégorie A ou B

49 Les analyses intra-dirc Nord-Ouest Amiens Clinical Neurology 30 Surgery 18 Gastro/Hepatology 19 Pediatrics 12 Oncology 7 Surgery 5 Transplantation 4 Hematology 4 Gastro/Hepatology 15 Surgery 11 Urology & Nephrology 10 Rheumatology 6 Dermatology 6 Nombre de publications Hematology 21 Clinical Neurology 17 Surgery 14 Oncology 10 Caen Surgery 13 Immunology 7 ORL 7 Gastro/Hepatology 7 Lille Rheumatology 19 Clinical Neurology 18 Anesthesiology 16 Gastro/Hepatology 15 Rouen

50 Croisement SIGAPS/SIGREC Analyse simultanée des indicateurs SIGAPS et SIGREC 3 indicateurs utilisés : Score SIGAPS Score SIGREC «Essais» Score SIGREC «Inclusions» Problème de l effet Taille Comment normaliser? Normalisation, par exemple, par ER=0.5*(PU/PH+MCU/PH) + 0.2*PH Permet d établir une cartographie, soit nationale, soit par pôles

51 Exemple 3 : Croisement - Faible niveau de publication Et Essais Cliniques Recherche Clinique émergente ou «alimentaire» Indicateurs SIGREC normalisés + Haut niveau de publication Et Essais Cliniques Recherche translationnelle du fondamental à l évaluation thérapeutique Indicateurs SIGAPS normalisés + Faible niveau de publication Haut niveau de publication Pas d Essais Cliniques Pas d Essais Cliniques Activité de Recherche émergente ou faible Recherche Fondamentale -

52 Ex 3 : Typologie des activités de Recherche Du fondamental à la recherche clinique Taille de la bulle : Inc Prom normalisé Score "SIGREC Essais" normalis Score SIGAPS normalisé Exemple : Cartographie Interne par Pôle ou Service

53 Développements en cours

54 L interface de Recherche MESH Utilisation de requêtes prédéfinies ou de requêtes personnalisées Personnalisation de la période

55 L interface de Recherche MESH Ensuite, génération du rapport SIGAPS correspondant aux articles sélectionnés

56 Des besoins qui évoluent WoK (Thomson Reuters) SCOPUS (Elsevier) revues revues 5600 titres

57 Le connecteur WoK Mêmes principes que le connecteur Pubmed : Utilisation de requêtes nominatives Chargement local des informations Validation des informations téléchargées Production de rapports et indicateurs Mais en interrogeant la base Web of Science (+ Pubmed). En disposant d autres informations indices de citations facteur h, percentiles de citations (top1%, top5%, ) XCR : Expected Citation Rate, Ratio Observed/Expected

58 Le connecteur WoK Extraction nominative des données du WoS : - documents (articles, ) - citations - XCR, Top 1%, 1 2 Renvoi des informations de validation pour constituer le corpus InCites Validation manuelle Opérationnel En réflexion

59 Le connecteur WoK : des données complémentaires Analyse des citations : Période Nombre de publications Nombre total de citations Nombre moyen de citations/article 1er Quartile Nombre médian de citations 3éme Quartile Facteur h Diagramme des citations h Statistiques de citations Nombre total de citations Moyenne de citations par article Quartiles Histogramme Facteur h Détail par année

60 Le connecteur WoK : renvoi vers Incites

61 A venir : connecteur SCOPUS Abonnement de l Université de Lille 2 à SCOPUS Projet de connecteur SIGAPS/SCOPUS : Globalement, même principe que connecteur WoK Sur les bases Elsevier (18000 titres) Réflexion sur la correction des adresses via SIGAPS Affichage dans SIGAPS des adresses déclarées Regroupement / Correction des adresses dans SIGAPS Transmission automatisée des modifications vers SCOPUS

62 SIGAPS et les financements MERRI

63 Le financement des Hôpitaux : un peu d histoire Financement des Hôpitaux : Passage progressif d une dotation globale à un paiement à l activité Mise en place du PMSI et de la T2A Spécificité des CHU : charges d enseignement et de recherche Abattement de 13% du point ISA Grande disparité entre les établissements!!!

64 Le financement de la recherche dans les CHU Passage, en 2008, à un nouveau modèle de financement basé sur : Un socle fixe visant à couvrir les frais de structure Une part modulable basé sur des indicateurs de résultats Une part variable (appels d offre, structures labellisées, ) Part variable 15% En 2010 : Socle fixe 40% Part modulable 45%

65 La part modulable Représente, en 2012, M Basé sur 4 indicateurs : Publications (SIGAPS) Enseignement (Nb étudiants) Essais cliniques (SIGREC) Brevets, valorisation Recherche Clinique 12.5% Enseignement 29.0% Brevets 1.0% Publications 57.5% En 2012, 657M répartis via SIGAPS!!!

66 L indicateur Publications scientifiques Règles de calcul: Période de 4 ans ( pour les MERRI 2012) Pondération (8/6/4/3/2/1)*(4/3/2/1/4) Prise en compte uniquement de Journal Article, Editorial, Review Correction VE/VM Règle des Attachés publications comptabilisés 95% de VM au niveau national

67 Un modèle qui évolue : Évolution Augmentation régulière de la part modulable Modifications des poids au sein de la part modulable Augmentation régulière de l indicateur SIGREC : marqueur plus «clinique» que les publications Plus proche «temporellement» (rapport Bras) Nb Points Montant Part Valeur Point Publications Brevets Enseignement Score Essais Score Inc Prom Score Inc Inv

68 Des questions?