Indicateurs ou Outils d évaluation de la Recherche Présentation des logiciels SIGAPS et SIGREC

Transcription

1 Indicateurs ou Outils d évaluation de la Recherche Présentation des logiciels SIGAPS et SIGREC Patrick Devos Chef de Projet SIGAPS / SIGREC Direction de la Recherche - CHRU de Lille EA 2694 Université de Lille2 patrick.devos@univ-lille2.fr

2 Plan L évaluation de la Recherche Le logiciel SIGAPS Le logiciel SIGREC SIGAPS, SIGREC et les financements MERRI SIGAPS/SIGREC : un autre usage

3 L évaluation de la Recherche P Devos - DRCI - CHRU Lille

4 L évaluation de la recherche Une problématique qui date des années 50 : nécessité, pour les grands pays industrialisés, d évaluer leur potentiel scientifique et technologique : naissance, au USA, de la National Science Fundation (NSF), chargée de mesurer le niveau scientifique et technologique : Création par Eugen Garfield, de l ISI : Publication par la NSF des «Sciences Indicators» 1984 : Publication par l OCDE des «Sciences and Technology Indicators» et

5 L évaluation de la recherche Nombreuses références internationales : National Science Fundation (USA) OCDE (International) INSERM, CNRS, AERES (HCERES) en France Deux approches complémentaires: Input (ressources consacrées) : financement, personnel, plateaux techniques,. Output (résultats) : brevets, articles scientifiques, thèses,

6 Usage systématique de la bibliométrie 3 questions essentielles!!! Quel niveau d analyse? International (Europe / Monde) Européen National (interchu) Inter-Régional Équipe Chercheur Quelle(s) base(s) de référence? Science Citation Index Pubmed Scopus Quel(s) indicateur(s)? Nombre total de publications Nombre de citations Impact Factor (ou IF pondéré) Facteur h Top 1%, Top5% Observed/XCR,

7 Le logiciel SIGAPS P Devos - DRCI - CHRU Lille

8 Recensement des Publications Scientifiques Publications scientifiques : Un des éléments quantifiant la Recherche Indispensable : évaluation interne/externe, financement,... Recensement difficile en pratique : Charge de travail énorme, exhaustivité Problème de doublons, de validation Charge de travail des chercheurs? Doit être MINIMALE Proposition d un concept de synthèse automatisée des publications. Système d Interrogation, de Gestion et d Analyse des Publications Scientifiques

9 Objectifs de SIGAPS Les objectifs du logiciel sont les suivants : Faciliter le recensement de la production scientifique référencée Pubmed (nombre d articles réalisés sur une période donnée). Fiabiliser les données par des mécanismes de validation. Faciliter l évaluation qualitative des articles au regard de la notoriété des journaux, par discipline, dans lesquels les travaux ont été publiés. Automatiser l analyse pour connaître l environnement recherche de l établissement (collaborations internes, externes, ) et suivre son évolution au cours du temps

10 Principe de SIGAPS Navigateur Web Analyser Visualiser Recenser Télécharger SIGAPS Agréger Évaluer 0 Hôpital Pôle Service Service Pôle Service + Impact Factor Categorie Couleur IF > P90 A Q3 < IF < P90 B MED < IF < Q3 C Q1 < IF < MED D IF < Q1 E Inconnu NC A B C D E

11 Le recensement des publications Interrogation nominative du serveur Pubmed (Et non sur les adresses, comme souvent en bibliométrie!!) Avantages : Une des bases les plus utilisée en Sciences Biomédicales 25 millions de références depuis 1950, 5600 journaux indexés Medline, 2300 indexés Pubmed Central, Outils d extraction automatique disponibles Très complète (MESH, GRANTS, GENE, ) Gratuite Limites : Couvre mal certains domaines (technologies, sciences sociales) Problèmes d homonymes Nécessité de valider les publications

12 La Validation des données Problème de la validité des données : homonymes, noms de jeune fille, Dans SIGAPS, 3 niveaux de validation : Validation automatique VA (par le système) Validation externe VE (par l administrateur) Validation manuelle VM (par le chercheur) 95 % au niveau national Niveau de validation global : calcul de VF : VA : poids 1 VE : poids 3 VM : poids 9 Score variant de -13 à VA VE VM

13 L Évaluation des articles Max P90 0 A Échelle à 6 niveaux basée sur l Impact Factor Problème : l IF varie fortement d une discipline à une autre : B Informatique Médicale, à 3.59 (médiane=1.65) Biologie Cellulaire, 0.24 à (médiane=3.18) Q3 Classification statistique, par discipline, en 5 catégories (A à E) Médiane Q1 + C D correspondant aux percentiles de l IF. Revues non recensées par l ISI (actes de congrès, par exemple), sont affectées à la catégorie NC. E Min Avec cette classification, chaque discipline a 10% de journaux en catégorie A, 15% in B, 25% in C, Non Classé par l ISI N C Nécessite un abonnement JCR Web

14 Comparaison de quelques disciplines IF 2015 = Nombre de citations,en 2015, des articles parus en 2013 et 2014 Nombre d articles parus en 2013 et 2014

15 Exemple : Revues de Neurologie Clinique RU : NEUROSCIENCES NLMid ISSN ESSN Titre IF Cat. IF Cat. IF Cat. IF Cat. IF Cat. Discipline(s) X Nat. Rev. Neurosci A A A A A RU X Behav Brain Sci A A A A A BV CN RU X Trends Cogn. Sci. (Regul. Ed.) A A A A A CN RU VX Nat. Neurosci A A A A A RU X Annu. Rev. Neurosci A A A A A RU Neuron A A A A A RU Mol. Psychiatry A A A A A RU CQ VE Prog. Neurobiol A A A A A RU X Trends Neurosci A A A A A RU Acta Neuropathol A A A A A RU RT TM Biol. Psychiatry A A A A A RU VE Brain A A A A A RU RT Ann. Neurol A A A A A RU RT X J. Pineal Res B A A 9.6 A A UM IA RU Front Neuroendocrinol A A A A A IA RU Neurosci Biobehav Rev 8.65 A 9.44 A A A 8.58 A CN RU Cereb. Cortex A A A A A RU Sleep Med Rev A A A A A RU RT Neuroscientist B B A A A RU RT Mol Neurodegener B C B A 6.51 A RU X X Neuropsychopharmacology A A A A A TU RU VE Curr. Opin. Neurobiol A A A A A RU Neuropsychol Rev A 6.42 A 5.4 B B A RU Cephalalgia 3.43 C C B B A RU RT Glia 4.82 B B B A A RU J. Neurosci A A A A A RU Brain Struct Funct B A B B A AY RU J Psychiatry Neurosci B A A B 5.57 A RU VE Pain A A A B A RU BA RT Neuroimage A A A A A RU RX VY Disponible dans SIGAPS (Menu Documentation)

16 L interface

17 Exemple : Analyse d un chercheur

18 Exemple : Analyse d un chercheur

19 Le score SIGAPS 2 composantes : La catégorie de la revue (C1) La position dans les auteurs (C2) C1= 8 si A 6 si B 4 si C 3 si D C2= 4 si Position =1 ou Dernier 3 si Position =2 ou Avant-dernier 2 si Position =3 2 si E 1 sinon (y compris IL) 1 si NC Score = C1 * C2 Chaque article a un score qui varie de 1 à 32 points. Par exemple, un article A en 1er auteur a donc un score de 32 (8*4), un article NC en 5ème auteur, 1 points (1*1). Le score d une équipe est la somme des scores de tous les articles. Si un article contient plusieurs auteurs, le score retenu pour l article correspond au maximum des scores des auteurs, chaque article ne pouvant être comptabilisé qu une seule fois.

20 Article Multi-établissements Induced-membrane femur reconstruction after resection of bone malignancies: three cases of massive graft resorption in children. Accadbled F, Mazeau P, Chotel F, Cottalorda J, Sales de Gauzy J, Kohler R. Orthop Traumatol Surg Res : CHU Toulouse CHU Montpellier CHU Lyon 1 er (4), ADA (2) 2 ème (3), 4 ème (1) 3 ème (2), DA (4) 3*4= 12 points pour Toulouse 3*3= 9 points pour Montpellier 3*4= 12 points pour Lyon Orthop Traumatol Surg Res (OTSR): classée D donc 3 points

21 Utilisation au sein des établissements Pour le chercheur, le responsable d équipe : un outil d auto-évaluation : Une vue précise des activités, thématiques (MESH), collaborations Une évaluation de la performance : %AB, score moyen, Pour l établissement : Recensement exhaustif et temps réel des publications Una aide dans la stratégie Recherche : Pôles d excellence Collaborations Réseaux internes / externes Thématiques étudiées Un outil de valorisation : En terme d image de marque Valorisation économique (MERRI)

22 Au niveau national : État des lieux Près de 500 établissements équipés : 32 CHRU / CHR 18 Centres de Lutte contre le Cancer 17 PSPH (FEHAP) 90 Centre Hospitaliers Service de Santé des Armées 250 cliniques privées publications (JA, Edito, Review) sur la période % classés A, 20.5% classés B en 2000, en 2015 (+ 65% en 15 ans) Bilan quantitatif et qualitatif, sur des données validées, de la production scientifique réalisée par les établissements hospitaliers.

23 Niveau National : Calcul d Indicateurs MERRI 2016 Période de 4 ans ( ) - Pondération ( )*( ) Prise en compte des publications "Journal Article", "Editorial" et "Review" FINESS Raison Sociale Statut Région Année du 1er export Score Score Score Score Part de l'établissement pour les publications (Score ) AP-HP CHR Ile-de-France HOSPICES CIVILS DE LYON CHR Auvergne Rhône-Alpes AP-HM CHR Provence Alpes Côte d'azur CHRU DE LILLE CHR Nord Pas-de-Calais Picardie CHU HOPITAUX DE BORDEAUX CHR Aquitaine Limousin Poitou-Charentes CHU DE TOULOUSE CHR Languedoc Roussillon Midi-Pyrénées CHU DE MONTPELLIER CHR Languedoc Roussillon Midi-Pyrénées GUSTAVE ROUSSY CLCC Ile-de-France CHU DE NANTES CHR Pays de la Loire HOPITAUX UNIVERSITAIRES DE STRASBOURG CHR Alsace Champagne-Ardenne Lorraine CHU DE NANCY - SINCAL CHR Alsace Champagne-Ardenne Lorraine INSTUTUT CURIE - SAINT-CLOUD CLCC Ile-de-France CHU GRENOBLE CHR Auvergne Rhône-Alpes CHU DE RENNES CHR Bretagne CHRU DE TOURS CHR Centre Val de Loire CHU DE NICE - FONDATION LENVAL CHR Provence Alpes Côte d'azur CHU DE NIMES CHR Languedoc Roussillon Midi-Pyrénées CHU D'ANGERS CHR Pays de la Loire CHU DIJON CHR Bourgogne Franche-Comté CHU DE ROUEN CHR Normandie SERVICE DE SANTE DES ARMEES SSA Ile-de-France CHU DE CLERMONT-FERRAND CHR Auvergne Rhône-Alpes CHU DE BESANCON CHR Bourgogne Franche-Comté CHU SAINT-ETIENNE CHR Auvergne Rhône-Alpes CHU DE CAEN CHR Normandie CHU D'AMIENS CHR Nord Pas-de-Calais Picardie CHRU DE BREST - CH Morlaix CHR Bretagne CHR DE POITIERS CHR Aquitaine Limousin Poitou-Charentes CHU DE LIMOGES CHR Aquitaine Limousin Poitou-Charentes CHU DE REIMS CHR Alsace Champagne-Ardenne Lorraine

24 Le logiciel SIGREC P Devos - DRCI - CHRU Lille

25 Pourquoi SIGREC? Nécessité de disposer d un outil qui permet le recensement des essais cliniques et le suivi des inclusions. Rapprochement de 2 démarches : Démarche CENGEPS : indicateurs de suivi des essais et des inclusions. Démarche MT2A : indicateurs pour le financement MERRI. Tous types de Promotion : Promotion académique : CHU, CLCC, CH Sociétés savantes, Associations, EPST, Promotion industrielle

26 Les principes de SIGREC Automatiser et généraliser les échanges d informations entre les établissements. Les informations générales de l essai sont saisies par le promoteur et transmises aux centres investigateurs. Seul le promoteur peut modifier les caractéristiques de l étude. Il peut alors automatiquement transmettre les modifications réalisées : système de synchronisation. Les inclusions sont saisies par les investigateurs et transmises automatiquement au promoteur.

27 Le logiciel : Informations Générales

28 Le logiciel : Gestion des Centres

29 Le logiciel : les rapports

30 3 indicateurs Le score «Essais» : calculé à partir du nombre d études actives (tous promoteurs) avec diverses pondérations. Les inclusions "Promoteur" : nombre d'inclusions réalisées dans les essais pour lesquels l'établissement est promoteur, quelque soit le centre. Ce nombre mesure le nombre d'inclusions suivies par l établissement au titre de promoteur. Les inclusions "Investigateurs" : c'est le nombre d'inclusions réalisées au sein d'un établissement, quelque soit le promoteur. Ce nombre mesure le nombre réel d'inclusions réalisées au sein d'un établissement. Une pondération est appliquée aux inclusions pour éviter de sur pondérer les études à grand nombre d inclusions. Ne comptabilise que les Recherches Interventionnelles (RBM et SC)

31 Le score «Essais» S1: «Établissement promoteur" : calculé à partir des essais dont l établissement est promoteur. S2 : "Investigateur" dans des essais promus par un autre établissement MERRI. S3 : "Industriels" : score calculé sur l ensemble des essais industriels pour lesquels l établissement est investigateur. Plus pris en compte S4: "Académiques non institutionnels" : calculé sur l ensemble des essais promus par des associations, sociétés savantes,... dont l établissement est investigateur ou coordonnateur. Plus pris en compte Surpondération pour les études Phase I ou Phase II

32 Libellé Le score «Essais» Score «Nombre d études» - Études RI actives en 2014 Multi centrique Multi centrique12 Mono centrique Mono centrique12 S1 Inves Inves12 S2 Assistance Publique - Hôpitaux de Paris Hospices civils de Lyon CHRU de Lille CHU de Montpellier Assistance Publique - Hôpitaux de Marseille Score Essai Promoteur Investigateur Coeff Nombre Total Muticentrique Phase I/II Muticentrique Non Phase I/II Coeff Nombre Total Monocentrique Phase I/II Investigateur Phase I/II Monocentrique Non Phase I/II Investigateur Non Phase I/II Attention : Ne sont prises en compte que les études avec inclusions!!

33 Score "Inclusions" Pondération des inclusions MERRI Classe NbEssais NbInclusions Mediane %NbEssais % NbInclusions Coeff [1-200] [ ] [ ] > Total Nombre d'inclusions Les 5 essais à plus de 1000 inclusions ne représentent plus que 6.24% au lieu de 16.64% Même principe pour les MERRI 2011 et 2012 Classes et coefficients différents

34 Score MERRI Passage au logarithme : y=ln(x+1) Nombre d'inclusions NbInclus Ln(x+1) NbInclus Ln(x+1) inclusions = 2.4 points 100 inclusions = 4.6 points

35 MERRI Passage à la racine carrée: y= x NbInc Score NbInc Score

36 Les scores Inclusions : exemple Etude Multicentrique Promotion Lille 200 inclusions en 2014 CHU Lille 50 inclusions CHU Montpellier 100 inclusions UL Bruxelles 50 inclusions Inc Inv Inc Inv Inc Inv : 0 Score Inclusion Promoteur : 200 = pour Lille Score Inclusion Investigateur : répartition au prorata des inclusions

37 SIGAPS, SIGREC et les financements MERRI P Devos - DRCI - CHRU Lille

38 La dotation socle (ex Part modulable) 1.57 Milliard d euros en 2016 Basée sur une logique de résultats Résultats mesurés par des indicateurs : Publications (SIGAPS) Enseignement (Nb étudiants) Essais cliniques (SIGREC) 945 M en M en

39 Un modèle qui évolue Accroissement du poids budgétaire de la part modulable par transfert des crédits de la part fixe depuis 2012 (transfert achevé en 2016) Modifications des poids relatifs des indicateurs au sein de la part modulable Modifications des modes de calculs des indicateurs Publications Essais cliniques Etudiants Valorisation

40 Autres Exploitations des données SIGAPS/SIGREC P Devos - DRCI - CHRU Lille

41 Impact du Plan Alzheimer Nombre d Articles sur la MA, période

42 Indices de Spécialisation par GIRCI Indices de Spécialisation (Scores) Alzheimer AVC Parkinson Diabète SIDA GIRCI Est GIRCI Grand Ouest GIRCI Ile de France GIRCI Nord Ouest GIRCI Rhône Alpes-Auvergne GIRCI Sud Méditerrannée GIRCI Sud-Ouest Outre-Mer Jaune : IS < Q1 Vert : IS > Q3 Des inter-régions à thématiques très diverses

43 Indices de Spécialisation par Etablissement Taille de la bulle : score ALZ

44 Analyse AVC pour L Express

45 4 Axes de travail : Cellule Bibliométrie CNCR Production globale des CHU : données SIGAPS nationales, par CHU, GIRCI, positionnement par CNU. Les CHU, acteurs majeurs de la recherche translationnelle : Contribution des CHU, via le Web of Science, à la production française dans la recherche biomédicale Collaboration avec les partenaires institutionnels (EPST, Universités) Des CHU spécialisés : analyses par pathologie Priorisation de certains champs Comparaison de périodes - Indices de Spécialisation Visibilité internationale : unification des adresses dans WoS 7 CHU pilotes (Angers, Limoges, Nantes, Paris, Poitiers, Rouen, Strasbourg)

46 Axe 1 : Analyse des données nationales Annee Total A B C D E NC Score %AB Total Analyse de la production des 32 CHU/CHR sur les 10 dernières années (Journal Article, Editorial, Review, hors IL)

47 Axe 2 : Unification des adresses Etablissement SIGAPS WoS Avancement %WoS/SIGAPS Nom OrgEnh dans WoS CHU Lille Unifié 88 CHU Lille CHU Angers Unifié 80 Centre Hospitalier Universitaire d'angers CHU Limoges Unifié 80 CHU Limoges CHU Nantes Unifié 76 CHU de Nantes CHU Poitiers Unifié 91 CHU Poitiers CHU Rouen Unifié 92 CHU de Rouen CHU Strasbourg Unifié 76 CHU Strasbourg AP-HP Unifié 94 Assistance Publique Hopitaux Paris (APHP) CHU Nîmes Unifié 42 CHU de Nimes CHU Clermont Fd Unifié 85 CHU Clermont Ferrand HCL Unifié 87 CHU Lyon CHU Toulouse Unifié 92 CHU de Toulouse CHU Montpellier Unifié 81 CHU de Montpellier CHU Caen Unifié 87 CHU de Caen AP-HM Unifié 84 Assistance Publique-Hopitaux de Marseille CHU Brest Unifié 87 CHU Brest CHU Bordeaux Unifié 76 CHU Bordeaux CHR Orléans Unifié 80 Centre Hospitalier Regional d'orleans CHR Metz Thionville Unifié 83 CHR Metz-Thionville CHU St Etienne Unifie 79 CHU de St Etienne CHU Tours Unifie 83 CHU Tours CHU Rennes Unifie 79 CHU Rennes CHU Besançon Unifie 92 CHU Besancon CHU Dijon Unifie 82 CHU Dijon Bourgogne CHU Amiens Unifie 82 CHU Amiens CHU Martinique En cours d'intégration dans WoS 22 CHU Martinique CHU Grenoble En cours d'intégration dans WoS 46 CHU Grenoble Alpes CHU Nice En cours d'intégration dans WoS 19 CHU Nice CHU Nancy En cours d'intégration dans WoS 33 CHU de Nancy CHU Reims En cours d'intégration dans WoS 29 CHU Reims CHU Guadeloupe En cours d'intégration dans WoS 25 CHU Guadeloupe CHU Réunion En cours d'intégration dans WoS 3 CHU Reunion

48 Axe 2 : Unification des adresses Productions respectives des CHU et de l INSERM sur les principales disciplines biomédicales Données Web of Science Période Articles

49 Quizz P Devos - DRCI - CHRU Lille

50 Question 1 Je publie un article en premier auteur dans une revue A. Cet article est comptabilisé : A) 4 points B) 8 points C) 12 points D) 32 points

51 Question 2 Je publie un article en premier auteur dans une revue A. Cet article est comptabilisé 32 points. Il est valorisé environ : A) 320 B) C) D)

52 Question 3 Mon établissement est Promoteur d une Phase 3 multicentrique avec 100 inclusions en Le score Essais est de : A) S1=5 et S2=0 B) S1=5 et S2=1 C) S1=10 et S2=0 D) S1=10 et S2=2

53 Question 4 Mon établissement est Promoteur d une Phase 3 multicentrique avec 100 inclusions en 2014, dont 50 dans l établissement. Les score Inclusions sont de : A) Inc Prom=10 et Inc Inv=10 B) Inc Prom=10 et Inc Inv=0 C) Inc Prom=5 et Inc Inv=5 D) Inc Prom=10 et Inc Inv=5

54 Des questions? P Devos - DRCI - CHRU Lille