6. Le biais de publication

Transcription

1 6. Le biais de publication Par principe, la méta-analyse doit regrouper la totalité des essais qui ont été réalisés dans le domaine. Cette exhaustivité est cependant difficile à atteindre, en particulier du fait de l existence de travaux non publiés. Un manquement à ce principe fait courir le risque de l introduction d un biais, appelé biais de publication. Avant d aborder les problèmes liés à la quête de l exhaustivité (chapitre 7 sur la recherche des essais), nous analyserons les causes et les conséquences du biais de publication Publication sélective et biais de publication Les essais thérapeutiques ont d autant plus de chance d être publiés que leurs résultats s avèrent statistiquement significatifs. Il s agit d une tendance à un certain degré de publication sélective 11. De ce fait la littérature biomédicale peut ne pas refléter la réalité, mais en donner un aperçu plutôt optimiste en ne publiant pas les essais en faveur de l absence d un effet traitement. Cette situation est susceptible de biaiser le résultat d une méta-analyse (biais de publication) et justifie l impératif d exhaustivité que doit remplir la recherche des essais à inclure dans une méta-analyse [75]. Pour illustrer ce problème, prenons une situation fictive où un traitement sans effet est évalué par plusieurs essais randomisés. Du fait du risque de première espèce de 5% couramment admis, la réalisation de 100 essais produira en moyenne 5 essais conclusifs à tort. Si uniquement ces essais sont publiés, la littérature sur le sujet sera en faveur de l effet du traitement. Il s agira cependant d une vue totalement biaisée de la situation, le traitement n ayant en réalité aucun effet. Cette situation est bien entendu caricaturale. Elle avait simplement pour but d illustrer le mécanisme potentiel du biais de publication. Nous verrons dans la suite de ce chapitre des exemples réels de biais de publication. Il est possible de calculer la probabilité p d obtenir avec le même traitement au moins un essai conclusif à tort sur N essais : p = 1 (1 ) N = 1 0;95 N si =5% (6.1) 11 Ce phénomène de publication sélective est aussi connu sous le nom de phénomène de l iceberg.

2 42 Le biais de publication Les probabilités p pour quelques valeurs de N sont : N p 5 0, , , ,92 Ainsi, la probabilité d obtenir un essai conclusif à tort après la réalisation de 20 essais est supérieure à 1/2, et cette éventualité devient hautement probable avec 50 essais. Remarque 6.1 Tendance à la publication sélective et biais de publication sont des entités sémantiques distinctes. La publication sélective n est pas un biais en ellemême mais conduit à un biais lors de la réalisation de méta-analyse, appelé biais de publication. Par abus de langage, ces deux phénomènes sont couramment confondus et la tendance à une moindre publication des résultats non significatifs est souvent appelée à tort biais de publication Mise en évidence de la publication sélective des résultats significatifs La fréquenceaveclaquelle unessai est publié en fonction de son résultat a étéétudiée à plusieurs reprises [76 79]. A partir du registre de 487 projets de recherche (dont 148 essais randomisés) approuvés par le comité d éthique d Oxford entre 1984 et 1987 (Central Oxford Research Ethics Comittee), P. Easterbrook et coll. ont étudié le devenir de ces projets jusqu en mai 1990 [80]. A cette date, seulement 52% de ces travaux avaient été publiés. Les résultats statistiquement significatifs avaient environ 2 fois plus de chance d être publiés que les résultats non significatifs (rapport des cotes : RC=2,32; IC à 95% : 1,25-4,28). Une autre estimation de l importance de ce phénomène a été réalisée à partir des essais cliniques randomisés qui avaient été financés durant l année 1979 par les National Institutes of Health (NIH) [81]. Sur les 198 essais terminés en 1988, 93% avaient été publiés. Dans cette étude aussi, les essais avec un résultat significatif avaient nettement plus de chance d être publiés que ceux dont le résultat était non significatif (tableau 6.1). Deux autres sources d information sont concordantes avec ces résultats et confirment l existence du biais de publication [10]. La méta-analyse de ces études conclut

3 Causes de la publication sélective 43 Tableau 6.1. Fréquence de publication en fonction de la signification statistique des résultats (d après réf. [81]) Résultat Nb total Nb publié RC IC à 95% p non significatif (85,1%) 1 significatif (97,6%) 7,04 1,90-26,16 0,001 que les travaux dont les résultats se révèlent significatifs sont publiés dans une proportion 2,88 fois supérieure à ceux dont les résultats s avèrent non significatifs [81]. Berlin et Begg ont trouvé, dans une revue de 246 essais publiés en cancérologie, une relation forte entre l effectif de l essai et la taille de l effet traitement : les essais avec les plus faibles effectifs montraient les effets traitement les plus importants [82 84]. Cette tendance est plus marquée pour les essais randomisés. Cela peut s expliquer par le fait que les petits essais sont d autant plus facilement publiés qu ils montrent un effet du traitement important, tandis que les essais de grande taille le sont quelle que soit leur résultat Causes de la publication sélective La publication sélective a plusieurs causes, liées aux auteurs des travaux et aux comités de relecture des revues. A) Autocensure des auteurs Un essai avec un résultat non significatif peut ne pas être publié si ses auteurs considèrent d emblée que leur résultat est sans intérêt pour la communauté scientifique. Cette décision peut aussi être influencée par le fait que les comités de lecture rejettent plus facilement un résultat non significatif. Les auteurs, présupposant le rejet de leur manuscrit, ne s investissent pas dans un travail de rédaction qu ils imaginent sans issue. B) Sélection par les comités de lecture Les comités de lecture des revues ont tendances à rejeter un article dont le résultat est non significatif. Ce fait a été bien illustré par une expérience réalisée en 1977 par Mahoney [85]. Soixante quinze membres de comité de lecture ont reçu chacun un manuscrit tiré au hasard parmi cinq manuscrits similaires spécialement écrits pour l occasion. Tous les manuscrits étaient identiques pour les parties «introduction» et «méthodes», mais avaient des parties «résultats» et «discussion» différentes.

4 44 Le biais de publication Tableau 6.2. Notation des manuscrits (d après réf. [85]) Moyennes des notes Type de manuscrit nb de lecteurs méthodes présentation des données contribution scientifique mérite pour publication résultats 12 4,2 4,3 4,3 3,2 significatifs résultats non 14 2,4 2,6 2,4 1,8 significatifs méthode seulement 14 3,4 4,5 3,4 résultats mitigés, discussion positive 13 2,5 1,3 1,6 0,5 résultats mitigés, discussion négative 14 2,7 2,0 1,7 1,4 Un groupe de lecteurs recevait des manuscrits décrivant des résultats significatifs, un autre des manuscrits avec des résultats non significatifs. Le troisième groupe ne devait se prononcer que sur l acceptabilité de la partie «méthodes», en n ayant aucune connaissance des résultats. Les quatrième et cinquième groupes recevaient des manuscrits avec des résultats mitigés (significatifs ou non significatifs) mais dont l interprétation dans la discussion était soit «positive» (en faveur du traitement), soit «négative» (en défaveur du traitement). Chaque lecteur donnait une note de 0 à 6 sur les points suivants : intérêt, méthode, présentation des données, contribution scientifique et mérite pour publication. Ceux du troisième groupe ne notaient pas la présentation des données. Le tableau 6.2 rapporte les notes moyennes obtenues en fonction du type de manuscrit soumis. Bien que leur partie «méthodes» soit identique, les manuscrits avec des résultats non significatifs ou mitigés ont reçu une note de méthode inférieure à celle obtenue par les essais à résultats significatifs. Les autres notes, sur la présentation des résultats, la contribution scientifique ou le mérite pour publication, étaient aussi plus basses en cas de résultats non significatif. Ces observations confirment le fait qu une revue se laisse inf luencer par les résultats d un travail pour décider de publier ou non. L expérience de Mahoney est maintenant assez ancienne (1977) et l on peut espérer qu à l heure actuelle les comités de lecture ont pris conscience de ce problème et se laissent moins inf luencer par la teneur des résultats. Cependant, en l absence de réplication de ce type d expérience, il ne s agit peut être que d un voeux pieux. C) Essais non destinés à être publiés L industrie pharmaceutique réalise ou commandite des essais principalement dans l optique du dossier d enregistrement d un nouveau produit. Dans ce contexte, la publication des résultats (surtout s ils sont négatifs) n intéresse que peu l industriel propriétaire des données. Parfois, cette publication n est d ailleurs pas souhaitée

5 Existence du biais de publication 45 pour des raisons de secret industriel ou lorsque les résultats sont défavorables au produit. Actuellement, la cause principale de cette non publication sélective ne semble pas être directement les comités de lecture des revues, mais plutôt une autocensure des investigateurs eux-mêmes devant des résultats qu ils jugent non publiables [81]. Cette constatation n élimine cependant pas la responsabilité des revues. Cette autocensure peut être vue dans de nombreux cas comme une simple anticipation de la décision que prendraient inévitablement les revues. En effet, la politique de la quasi totalité des revues est de ne publier que les articles qui proposent des moyens d améliorer le pronostic ou d alléger les traitements (voir par exemple la description de l article idéal du Bristish Medical Journal) [86]. Cette politique écarte par sa définition même les résultats non significatifs et les investigateurs n entreprennent pas un travail de rédaction voué d emblée à l échec. Il existe cependant quelques exemples récents d essais négatifs (ISIS 4, GISSI 3 ) publiés dans des revues à indice de lecture élevé [67, 68]. Il s agit cependant de très grand essais multicentriques réalisés par des équipes de notoriété internationale. La grande taille de ces études et le nombre d investigateurs participants limitent les risques de non publication Existence du biais de publication Montrer qu il existe une tendance à la non publication des résultats non significatifs ne suffit pas à avancer l existence du biais de publication. Encore faut-il montrer que ce phénomène entraîne effectivement des conséquences au niveau des résultats des méta-analyses [82]. Simes donne deux exemples de comparaison de méta-analyses réalisées soit à partir des données publiées, soit avec les essais colligés dans le registre «International Cancer Research Data Bank» [87]. Les deux méta-analyses concernaient 1) l administration initiale de chimiothérapie alkylante versus une polychimiothérapie dans le traitement du cancer de l ovaire et 2) l utilisation d agent alkylant associé à la prednisolone versus une polychimiothérapie dans le traitement du myélome multiple. Pour le cancer de l ovaire, la méta-analyse des données publiées aboutit à un résultat statistiquement significatif en faveur de la polychimiothérapie, contrairement à celle réalisée à partir des essais publiés et non-publiés du registre. De façon similaire, la polychimiothérapie s avéra supérieure dans le traitement du myélome multiple, avec cependant un effet traitement global issu des essais publiés supérieur à celui obtenu avec tous les essais du registre. Ces deux résultats sont statistiquement significatifs.

6 46 Le biais de publication 6.5. Conséquences pratiques L existence potentielle du biais de publication a, en pratique, des conséquences à plusieurs niveaux. Il fait, tout d abord, courir le risque que le résultat d une métaanalyse soit biaisé et que, de ce fait, cette technique ne soit pas plus performante que les revues générales de la littérature (mais en donnant une fausse impression de rigueur dans la démarche). Pour tenter d éviter cela, il faut entreprendre une recherche des travaux non publiés. Et, finalement, il faut éprouver la robustesse du résultat de la méta-analyse vis à vis du biais de publication. S il reste inchangé après l adjonction dans la méta-analyse d essais fictifs négatifs, ce résultat est robuste. Il peut être accepté avec confiance, même si la méta-analyse n a pas pu retrouver l ensemble des essais non publiés. A) Recherche des travaux non publiés Aucune recette miracle n existe pour la recherche des essais non publiés. De plus, il est impossible de savoir si cette tâche est terminée ou non, étant donné que le nombre d essais non publiés reste constamment inconnu. Ce travail s effectue en combinant différents moyens potentiellement capables de récupérer (mais pas à coup sûr) quelques essais non publiés : [88]. la consultation d experts dans le domaine, la lecture des revues générales déjà réalisées sur le sujet, qui peuvent mentionner des essais en cours (et qui n auraient pas abouti à publication par la suite). Ce type d information peut aussi apparaître dans toute autre forme d articles. la consultation des investigateurs des essais connus, la recherche dans les résumés (Abstracts) des congrès, colloques,..., l interrogation des firmes ayant développé et/ou fabricant le médicament, la consultation de registres (voir chapitre 9), la consultation des autorités réglementaires. Dans de nombreux pays, des dispositions législatives prévoient la déclaration obligatoire préalable de tout essai thérapeutique. En France, cette disposition est imposée par la loi de décembre 1988, mais l administration recevant cette information (l Agence du Médicament) est tenue à la confidentialité, pour des raisons de protection de la propriété industrielle. Il s avère donc impossible de récupérer cette information. Par contre, dans certains pays comme l Espagne les autorités réglementaires communiquent la liste des essais qui leur ont été déclarés.

7 Conséquences pratiques 47 B) Robustesse des résultats de méta-analyse La robustesse d un résultat de méta-analyse (vis à vis du biais de publication) s évalue en recherchant le nombre d essais ne montrant pas d effet traitement qu il faut rajouter à la méta-analyse pour obtenir un résultat compatible avec l absence d effet traitement (c est à dire non significatif ) [89]. Pour se faire une idée sur ce point, il convient, par simulation, de générer puis de rajouter à la méta-analyse des essais fictifs ayant les caractéristiques probables des essais non publiés. Les essais générés auront donc des résultats non significatifs (par hypothèse du biais de publication), et un effectif égal à la moyenne des effectifs des essais connus. Il s agit bien entendu d un choix arbitraire nécessaire à la réalisation de la simulation. D autres choix sont possibles, par exemple, des effectifs variables peuvent être simulés aléatoirement entre des bornes. Les différentes possibilités sont : 1. Les caractéristiques des essais rajoutés se basent sur les caractéristiques moyennes des essais de la méta-analyse: taille constante et égale à la taille moyenne des essais inclus dans la méta-analyse, risque de base constant égal au risque moyen des essais inclus dans la méta-analyse, effet traitement nul, conduisant à des risques identiques dans les groupes contrôles et les groupes expérimentaux, 2. Les essais rajoutés ont tous les même caractéristiques fixées arbitrairement : taille constante, risque de base constant, effet traitement nul, 3. Les essais rajoutés sont générés de façon aléatoire et donc tous différents les uns des autres. Cette situation est plus réaliste. De nombreuses réplications (de l ordre de quelques centaines) sont nécessaires pour obtenir des résultats moyens. taille générée aléatoirement, risque de base généré à partir d une moyenne et d un écart type fixés, effet traitement variant aléatoirement autour de zéro avec un écart type fixé. Exemple 6.1 Une méta-analyse de 5 petits essais, regroupant 303 sujets, conclut à l existence d un effet traitement avec un rapport des cotes global de RC=0,49 (IC95%: 0,28-0,86) significativement différent de 1 (p=0,01). Cependant, il s avère

8 48 Le biais de publication probable que des essais du domaine n aient pas été publiés. La question qui se pose est de savoir si le résultat de la méta-analyse reflète bien le vrai effet traitement de cette thérapeutique ou s il est faussé par l intermédiaire du biais de publication. Le calcul montre qu il faudrait rajouter seulement 3 essais de 30 patients avec un risque de base de 0,23 (moyennes des essais inclus) pour obtenir un résultat non significatif (RC=0,65, p=0.053). Cette méta-analyse est donc sensible au rajout d essais non significatifs. Il est probable qu il puisse exister au moins trois essais de petites tailles non publiés. Le résultat de la méta-analyse est donc à prendre avec précaution. C) Identification et quantification du biais de sélection Des techniques statistiques spécifiques apportent une certaine aide à la recherche de l existence d un biais de publication et permettent ensuite d estimer la taille potentielle de ce biais, afin de proposer une estimation globale corrigée [82,90]. Ces techniques sont développées dans le chapitre Prévention La correction de ce biais de publication est tout à fait impossible à réaliser de façon rétrospective, car les essais non publiés le sont et le resteront. Par contre, il est souhaitable qu un effort de prévention soit entrepris à l avenir afin de limiter ce problème. Les propositions de mesures visant à prévenir le biais de publication sont variées : accès aux registres d enregistrement réglementaire des essais, création de media spécialisés dans la publication des résultats négatifs, ouverture plus large des pages des revues aux résultats négatifs, surveillance par les organismes de financement de la publication des essais qu ils soutiennent, etc. A) Les registres d essais Les registres sont décrits au chapitre 9. B) Publication des résultats négatifs Depuis quelques années, plusieurs voix se sont élevées pour réclamer la publications des résultats négatifs [91]. Ainsi, les revues médicales classiques ouvrent de plus en plus leurs colonnes à des résultats négatives. Par exemple, d après une étude de Weiss, en 1984, 10% des essais publiés par le New England Journal of Medicine rapportaient des résultats négatifs et 10% des résultats neutres, non conclusifs [86].

9 Controverse sur l inclusion des travaux non publiés dans les méta-analyses 49 Plusieurs journaux ont pour politique éditoriale de faciliter la publication de résultats négatifs pourvu que la qualité de l étude soit correcte et que la question posée soit cliniquement pertinente. Parmi ceux ci se trouve la très originale revue «The Online Journal of Current Clinical Trials» [92]. Ce journal n utilise pas le support papier mais distribue ses articles à travers des connexions informatiques. Cette revue consiste en une base de données informatique consultable à distance, à partir d un ordinateur équipé d un modem. Les articles récupérés peuvent être ensuite imprimés. Cette initiative originale provient de «The American Association for the Advancement of Science». Les avantages de ce concept sont des délais techniques de publication plus courts, un espace non limité permettant la publication de rapport d essais thérapeutiques détaillés, accompagnés de nombreux résultats. Ces caractéristiques font qu il devient moins impératif de faire un choix entre les soumissions, et la publication d études négatives devient moins problématique. La revue «Journal of Clinical Trial and Meta-Analysis», qui a malheureusement interrompu sa parution, constitue un autre exemple de revue qui avait ouvertement inscrit dans sa politique éditoriale la publication active d essais négatifs sous forme de résumés standardisés. Malgré ces avancées, le problème n est pas résolu. Un certain nombre d essais négatifs ne sont toujours pas portés à la connaissance de la communauté scientifique et de nombreux efforts restent à réaliser sur ce point Controverse sur l inclusion des travaux non publiés dans les méta-analyses La prise en compte des données non publiées dans une méta-analyse ne semble pas faire l unanimité [38]. Malgré les faits qui viennent d être présentés et leurs conséquences, certains cherchent à argumenter contre la prise en compte de données non publiées. Leur principale réticence provient du fait que ces essais n ayant pas été revus par un comité de lecture sont peut être de qualité inférieure. Cet argument n est pas inébranlable. De nombreux exemples existent montrant que l acceptation d un article par un comité de lecture ne garantit absolument pas sa qualité. De plus, dans une méta-analyse, une réévaluation de la qualité de tous les essais est entreprise, empêchant ainsi qu un essai non publié ne remplissant pas les standards de rigueur méthodologiques soit inclus. La part d information représentée par les essais non publiés peut être non négligeable par rapport à celle issue des essais publiés. Par exemple, dans la méta-analyse des Early Breast Cancer Trialists, les auteurs ont rapporté que 22% des études per-

10 50 Recherche des essais tinentes pour leur méta-analyse n avaient pas été publiées [52]. Exclure ces essais réduit subtanstiellement la puissance de la méta-analyse Données manquantes et biais de publication Un biais dont le mécanisme est identique à celui du biais de publication peut être induit par les données manquantes. Le fait qu un compte rendu d essai mentionne ou non ce qui a été observé sur un paramètre clinique peut dépendre fortement du résultat observé. En effet, pour un paramètre ne constituant pas un critère de jugement prévu, il est plus probable qu il soit mentionné dans la publication si le résultat obtenu à son niveau est favorable que si il ne l est pas (absence de différence ou tendance à un effet délétère du traitement). Ce phénomène peut introduire un biais, par le même mécanisme que celui du biais de publication, dans une méta-analyse qui a cependant répertorié l ensemble des essais du domaine. Les données manquantes doivent être vues comme des «essais non publiés». Un résultat de méta-analyse obtenu pour un critère comportant beaucoup de données manquantes doit être interprété avec les mêmes réserves que celles liées au biais de publication. Ce phénomène est particulièrement sensible dans les méta-analyses qui incluent des essais avec un objectif (et donc un critères principal) différent de celui de la méta-analyse. Même si ces essais sont mélangés à d autres répondant directement à la question de la méta-analyse. Le biais lié aux données manquantes peut venir fausser la méta-analyse. Dans ces situations, il est utile de réaliser une analyse de sensibilité opposant les essais dont le critère principal est celui de la méta-analyse aux autres. La demande, auprès des responsables, des essais d informations complémentaires sur les données manquantes contribue aussi à limiter ce problème.