Lecture critique de la publication d'un essai clinique

Transcription

1 Presse Med 2002; 31: , Masson, Paris A CTUALITÉS Gilles Bouvenot, Patrick Villani, Pierre Ambrosi d'un essai clinique Summary Résumé Laboratoire de Thérapeutique et de Méthodologie des Essais Cliniques, Faculté de Médecine de Marseille et INSERM U379. Correspondance : G.Bouvenot, Laboratoire de Thérapeutique et de Méthodologie des Essais Cliniques, Faculté de Médecine, 27 Bd Jean Moulin, Marseille Cedex 5. gbouvenot@aphm.fr Critical review of the publication of a clinical trial The main objectives of the critical review of the publication of a clinical trial are to underline the biases that may influence the validity and credibility of the results and to assess the quantity of the effect observed and the potential clinical impact. Four preliminary elements should be taken into account: publication in a journal with a reading committee, notoriousness of the author, the interest declared by the authors and the approval of an ethics committee. Examination of the report itself concerns the study objectives, clearly defined and integrated within the logics of a scientific context and suggesting concrete applications. A good quality demonstrative trial is prospective, controlled, randomized, and carried out double blind. The patients included are clearly characterized in order to know to what type of patient the research results can subsequently be applied. The principle end-point, whenever possible, is of clinical significance. The choice of the comparative arm is pertinent. The required number of patients has been calculated. The author has agreed to respect Good Clinical Practice and the statistical analyses are appropriate. The results, presented clearly, must indicate the patients in whom the values observed have been calculated. The confidence intervals are provided. The principle analysis, in intent to treat, includes the principle end-point. The significance threshold is 5%. The extent of the difference between the results of the groups is detailed and of clinical significance. Any causal imputation is documented. The results of eventual sub-group analyses are only provided for information. The discussion concerns the scope of the results, their internal and external coherence with already validated data. The conclusion, factual, evokes the eventual therapeutic benefits of the research conducted. With regard to the latter, readers will be interested in the application of the results obtained to their own patients. G Bouvenot, P Villani, P Ambrosi Presse Med 2002 ; 31 : , Masson, Paris Les objectifs majeurs de la lecture critique de la publication d'un essai clinique sont de débusquer les biais susceptibles de mettre en cause la validité et la crédibilité des résultats, et d apprécier la quantité de l'effet observé et les retombées cliniques possibles. Quatre éléments préalables sont à prendre en compte: publication dans une revue à comité de lecture, notorieté de l auteur, déclaration d intérêt des auteurs, avis favorable d un comité d éthique. L examen du compte-rendu lui-même s intéresse à l objectif de l essai, clairement défini, intégré dans la logique du contexte scientifique et laissant espérer des applications concrètes. Un essai de haut niveau de preuve est prospectif, contrôlé, randomisé, conduit en double aveugle. Les patients inclus sont parfaitement caractérisés afin de savoir à quels types de malades pourront être ultérieurement appliqués les résultats de la recherche. Le critère de jugement principal a, si possible, une signification clinique. Le choix du comparateur est pertinent. Le nombre de sujets nécessaire a été calculé. L auteur s'est engagé à respecter les Bonnes Pratiques Cliniques. Les tests statistiques sont appropriés. Les résultats, clairement présentés, indiquent les effectifs sur lesquels les valeurs observées ont été calculées. Les intervalles de confiance sont fournis. L analyse principale, en intention de traiter, porte sur le critère principal de jugement. Le seuil de signification est à 5%. La taille de la différence entre les résultats des groupes est explicitée et a une signification clinique. Toute imputation causale est argumentée. Les résultats d éventuelles analyses en sousgroupes ne sont donnés qu à titre informatif. La discussion traite de la portée des résultats, de leur cohérence interne et de leur cohérence externe avec les données déjà validées. La conclusion, factuelle, évoque le bénéfice thérapeutique éventuel de la recherche entreprise. Le lecteur s intéressera, à ce propos, à l applicabilité des résultats obtenus à ses propres patients. En guise de contre-poison: «Une science qui se targue de posséder la seule méthode correcte et les seuls résultats acceptables est une idéologie» Paul Feyerabend in Contre la méthode, Paris, Le Seuil,1979 La Presse Médicale

2 A CTUALITÉS Le but du texte qui suit n est pas de fournir une énième grille de lecture ou un nouveau score de qualité pour une critique systématique des publications d essais cliniques dans la littérature,car il en est d excellents qu il serait difficile de surpasser, sauf à devenir exhaustif et illisible. Il s agit plutôt de donner au lecteur les moyens de réfléchir par lui-même aux éléments essentiels à prendre en compte, afin de l affranchir si possible des outils déjà disponibles dans le domaine du prêt-àpenser. On ne s étonnera pas des distances prises par rapport à CONSORT 1 qui formalise et standardise le rapport de l essai clinique et que nous devons plutôt considérer comme un cahier des charges de la publication que comme un paradigme de lecture critique. La lecture de la publication répond aux règles de la lecture critique de toute publication scientifique. Elle consiste à exercer son indépendance intellectuelle face à l autorité de la chose publiée. En pratique (encadré 1), on s aide d une check-list permettant d envisager de manière méthodique tous les points d importance et de minimiser la part des impressions personnelles pour porter le jugement qui s impose. Les objectifs principaux sont de débusquer les biais majeurs de l étude, dont l existence pourrait mettre en cause la validité et la crédibilité des résultats, et d envisager les applications cliniques concrètes. Le contexte Quatre remarques préliminaires s imposent, en abordant la lecture détaillée de la publication: l article a-t-il été publié dans une revue ayant un comité de lecture? Une réponse positive constitue un point essentiel : deux experts compétents ( peer reviewers ) ont déjà réalisé, à la demande de l éditeur, une lecture critique et anonyme de l article, et obtenu des auteurs les éclaircissements et les modifications nécessaires avant de donner un avis favorable à la publication du travail dans la forme où il est présenté 2 ; la notoriété de l auteur (de son équipe), ses travaux antérieurs dans le domaine, les moyens logistiques dont il dispose sont à prendre en considération ; son degré d indépendance intellectuelle, en particulier par rapport aux financeurs de l étude ou aux exploitants des produits. On dispose généralement d une déclaration des auteurs sur leurs possibles conflits d intérêt (c est-à-dire les liens intellectuels et financiers éventuels avec telle firme ou telle institution, pouvant interférer avec leur liberté de jugement ou d expression) et d une information concernant l origine du financement du travail 3 ; l approbation d un comité d éthique (en France, l avis favorable d un comité de protection des personnes CCPPRB est exigé), préalablement à la mise en œuvre de la recherche. Identifier et discuter l objectif de l essai clinique L objectif de l essai doit être clairement défini et justifié. Formulé avant la réalisation de l étude dans le cadre d un raisonnement hypothéticodéductif 4,5,il doit être réaliste,limité et précis et non pas du type Intérêt du traitement X dans la maladie Y. C est de l objectif, qui peut être purement cognitif ou destiné à fournir des éléments pour une meilleure prise de décision, que dépend le choix du plan expérimental le plus approprié. Il est habituel de ne pas multiplier les objectifs, qui sont le plus souvent la démonstration de l efficacité et l étude de la sécurité d emploi d un produit. Mais il peut s agir aussi de la recherche d un mécanisme d action ou de la détermination de la dose optimale. Si les objectifs sont multiples, l auteur doit indiquer sans ambiguïté quel est l objectif principal et quels sont les objectifs secondaires. On appréciera l intérêt clinique de l objectif et sa justification dans la logique du contexte scientifique du moment ( le rationnel de l étude), permettant de faire comprendre le pourquoi du travail et d en apprécier la légitimité et la faisabilité 6.Tout ce qui est affirmé dans ce paragraphe doit être référencé. "Matériels et méthodes" Il s agit d un paragraphe purement descriptif. PLAN EXPÉRIMENTAL L auteur est censé avoir choisi le plan expérimental le mieux adapté à la réalisation de son objectif: - essai de supériorité, en particulier contre placebo; - essai d équivalence (ou de non-infériorité) contre un médicament de référence; - essai pragmatique de comparaison de deux stratégies thérapeutiques 7. Par ailleurs, compte tenu de leurs avantages et contraintes respectifs, il aura opté pour un essai en groupes parallèles ou pour un essai croisé. Le lecteur doit systématiquement vérifier: - si l essai a été prospectif et contrôlé, c est-à-dire comparatif ; - si l essai a été randomisé, c est-àdire si l attribution des traitements a été réalisée de manière aléatoire. Il faut encore que les modalités de la randomisation soient précisées : centralisée par téléphone, stratifiée sur le centre (toujours), sur certaines variables pronostiques, dont le choix doit être expliqué. Il est en effet parfois très utile de stratifier la randomisation sur l âge, la gravité de la maladie ou son ancienneté. Cela autorise ultérieurement à prendre en compte, en toute La Presse Médicale

3 G Bouvenot, P Villani, P Ambrosi rigueur, les résultats observés dans chacune des strates ; - si l essai a été conduit à l aveugle (double aveugle ou, au minimum, simple aveugle), sinon il est qualifié d ouvert et considéré comme biaisé. Lorsque, pour des raisons pratiques, le double aveugle n a pas été possible, l auteur a dû prévoir une évaluation à l aveugle par une tierce personne ignorant la nature du traitement reçu. Un essai clinique comparatif, randomisé et conduit en double aveugle, constitue une garantie contre les biais de sélection, de suivi et d évaluation, et fournit le plus haut niveau de preuve. CRITÈRES D INCLUSION ET DE NON INCLUSION Leur caractérisation précise permettra au lecteur de savoir à quel(s) type(s) de patients avec telle forme de telle maladie pourra s adresser ultérieurement le traitement testé, et aux autorités de santé d en déduire, le cas échéant, les indications du traitement proposé.un essai réalisé sur des sujets de 20 à 40 ans indemnes de toute tare viscérale n engage pas à utiliser le médicament chez le nourrisson ou le sujet âgé.théoriquement, on est en droit d extrapoler les résultats d un essai qu à la population dont les patients inclus constituent un échantillon représentatif.le lecteur devra se Stone/Gettyimages demander en outre si les patients inclus dans l essai correspondent ou non à ceux de sa pratique. CRITÈRE(S) DE JUGEMENT OU D ÉVALUATION Nombre et hiérarchie Si l évaluation réclame plusieurs critères de jugement (dans la polyarthrite rhumatoïde, par exemple, on ne s intéresse pas seulement à l effet antalgique des traitements), on vérifiera si l auteur a pris soin de distinguer a priori le critère principal et les critères secondaires. C est en effet sur le critère principal qu est calculé le nombre de sujets nécessaire pour garantir à l essai la puissance voulue et qu est faite la comparaison entre les deux groupes de traitement. Il n est donc pas question (sauf situations exceptionnelles) d en changer en cours d essai ni, à plus forte raison, au vu des résultats. On s assurera donc que le critère sur lequel a porté l analyse principale des résultats est bien le critère principal signalé comme tel dans le paragraphe Matériels et méthodes. Les critères secondaires ne sont destinés qu à affiner l évaluation : ils ne peuvent en être le pivot (c est le cas des marqueurs biologiques de l ostéoformation au cours des essais de traitement de l ostéoporose). Pertinence et validité Seuls devraient compter les critères ayant un sens pour le malade: morbidité, mortalité et qualité de vie. Le critère de jugement retenu devrait donc avoir une signification clinique. Dans un essai d anti-ostéoporotique, la mesure de la densité minérale osseuse ne peut remplacer le dénombrement des patients avec fracture. Si l utilisation d un critère clinique n a pas été possible pour des raisons pratiques de durée d essai (on ne peut attendre 10 ans,dans un essai, la survenue d un événement cardio-vasculaire ou fracturaire), le lecteur devra au moins s assurer que le critère intermédiaire retenu (biologique,d imagerie ) 8-11 est validé et admis par la communauté scientifique internationale et que la reproductibilité de sa mesure est connue.on appréciera,à ce propos, que sa méthode de mesure ait été standardisée et que sa lecture ait été centralisée, en particulier dans le cadre d un essai multicentrique, à plus forte raison international. Dans tous les cas, le lecteur se demandera si le critère choisi correspond ou non à un objectif thérapeutique de la maladie. Moment du recueil Précisément prévu, il devra être approprié à la cinétique de l effet clinique, mais aussi à la plus grande loyauté possible pour la comparaison des deux produits de l essai. Il ne serait par exemple pas raisonnable de mesurer l efficacité d un antalgique à libération immédiate 24 heures après son administration, ni honnête de mesurer,à la sixième heure,les efficacités respectives d un antalgique administré par voie intraveineuse et d un antalgique à libération prolongée, administré par voie orale. Critères quantitatifs et qualitatifs Le choix d un critère quantitatif ou qualitatif d évaluation n est pas anodin. Les critères quantitatifs fournissent une plus grande quantité d information que les qualitatifs. Si un critère qualitatif a été retenu, du type succès/échec ou répondeur/non répondeur, il faut alors s assurer que la définition du succès ou la fixation du seuil de réponse a été faite préalablement à la réalisation de l étude et conformément au consensus scientifique. Traitements comparés Ils devront avoir été définis avec précision dans leurs nature, présentation, posologie, moments d administration, durée d utilisation et durée de suivi. Une comparaison loyale La Presse Médicale

4 A CTUALITÉS suppose en effet que les posologies des deux produits comparés aient été choisies optimales aussi bien pour l appréciation de leur efficacité que pour l estimation de leur sécurité d emploi respective. Le choix du comparateur, placebo ou traitement de référence, aura été justifié en fonction des objectifs de l étude et de l avis du comité d éthique consulté.toutes les précautions auront été prises pour que le traitement du groupe témoin ait été rendu indiscernable de celui du groupe testé (procédures aveugles), ce qui n est pas toujours assuré, ne serait-ce qu à cause des effets indésirables différents et notables de chacun des deux produits. Par ailleurs, les traitements associés devront avoir été identifiés et identiques dans les deux groupes, faute de quoi on ne saurait plus à quel facteur imputer la différence finale observée. NOMBRE DE SUJETS NÉCESSAIRE Le calcul du nombre de sujets nécessaire constitue le point faible de nombreux protocoles. S il n a pas été effectué, on ne connaît pas la puissance de l essai et on n a donc aucune idée de sa légitimité 12. S il a été réalisé, l auteur doit avoir indiqué les éléments de son calcul, en particulier la différence escomptée entre Stone/Gettyimages l efficacité probable du nouveau produit et celle du comparateur, et l importance de la variabilité du critère principal de jugement, généralement fournie par les données de la littérature. Il serait trop facile au chercheur de prétendre après coup que s il n a pas pu démontrer l efficacité du produit testé, c est probablement par manque de puissance. Personne ne l empêchait, avant de réaliser son essai, de calculer l effectif des patients à inclure pour atteindre la puissance souhaitable. QUALITÉ DE L ESSAI La fiabilité des résultats d un essai clinique tient à la qualité des données. Le lecteur doit donc chercher à savoir si l auteur s est réellement accordé les moyens de garantir l authenticité des données et de prévenir les écarts au protocole ou tout au moins de minimiser leur nombre. Inclusions à tort, données manquantes, mauvaise observance du traitement et patients perdus de vue constituent autant de marqueurs de ce qu a été la qualité de l étude.une garantie est la conduite de l essai dans le respect des Bonnes Pratiques Cliniques (BPC). ANALYSE STATISTIQUE Il s agit d un domaine spécialisé qui ne relève pas de la compétence du lecteur clinicien. On s attend toutefois à trouver dans ce paragraphe la nature des tests statistiques employés et leur justification en fonction de la nature des données étudiées (comparaison de deux pourcentages par un test du Χ 2 pour les données qualitatives, comparaison de deux moyennes par un test t, analyse de variance pour les données quantitatives), de l importance des effectifs traités (tests paramétriques ou non paramétriques), de la prise en compte du temps (comparaison de deux courbes de type survie par le test du logrank). On s attachera de plus à dénombrer les comparaisons statistiques prévues (c est-à-dire le nombre de tests), afin d avoir une idée de la vraie valeur du risque alpha. Les résultats de l essai clinique PRÉSENTATION DES RÉSULTATS Le premier paragraphe des résultats a trait aux caractéristiques initiales des patients inclus dans chaque groupe 13,14. Compte tenu de la randomisation de l attribution des traitements, on ne s attend pas à observer de différences statistiquement significatives entre les groupes pour ces caractéristiques, qui sont parfois des variables pronostiques d importance: pourcentage d hommes et de femmes, âge, stade de gravité de la maladie, ancienneté de la maladie Une absence de différence statistiquement significative à ce stade ne prouve en aucune manière, après coup, que l essai a été randomisé. A contrario la mise en évidence, du seul fait du hasard, d une différence statistiquement significative pour une caractéristique initiale est compatible avec une randomisation rigoureuse. Ce qui compte, si une telle situation se produit, c est de considérer la taille de cette différence et d apprécier son éventuel retentissement sur la comparaison finale des groupes.par exemple,dans un essai randomisé de traitement de l ostéoporose post-ménopausique portant sur de petits effectifs,il a été observé une différence d âge entre les deux groupes de l ordre de 10 ans. L âge étant une variable pronostique importante de l ostéoporose post-ménopausique, ceci a suffi à rendre l essai ininterprétable. En pratique, la présentation des caractéristiques initiales des patients réellement inclus permet au lecteur de contrôler s ils correspondent bien au type des patients que le protocole avait prévu d inclure et de se faire une idée précise et concrète de la La Presse Médicale

5 G Bouvenot, P Villani, P Ambrosi population des malades qui pourront bénéficier des résultats de l essai. Un élément essentiel du compte rendu de l essai est le flux des patients ( flow chart ) 1, qui fournit sous forme graphique les effectifs respectifs des patients présélectionnés, randomisés, évalués, en précisant le nombre d écarts au protocole, leur moment de survenue et parfois la conduite pratique adoptée les concernant. Les résultats doivent être présentés clairement sous forme de tableaux indiquant les valeurs observées dans les différents groupes avec leur intervalle de confiance, les effectifs sur lesquels ces valeurs ont été observées et le degré de signification statistique (p) des tests. Dans un essai de supériorité, l analyse à privilégier est l analyse en intention de traiter (analyse en ITT pour Intent To Treat ) parce qu elle est la seule non biaisée.elle porte en effet sur tous les inclus, quels qu aient été leurs écarts au protocole. Un moyen pour le lecteur de vérifier que l auteur a bien réalisé une analyse en intention de traiter est de s assurer que le nombre des patients analysés correspond à celui de tous les patients inclus. Au contraire, l analyse dite per protocole qui concerne les seuls patients n ayant pas fait d écart majeur au protocole, est potentiellement biaisée. Elle ne peut donc être considérée comme l analyse principale (on ne retient ce type d analyse que pour les essais de non-infériorité). Si les deux types d analyse produisent des résultats discordants, ce sont les résultats de l analyse en intention de traiter qu il convient de considérer prioritairement. Par ailleurs, en prenant connaissance du nombre d écarts au protocole, le lecteur peut se faire une idée de la perte de puissance qui en résulte pour l essai,en même temps que du degré de sa qualité. En pratique, lorsque les écarts au protocole ont été nombreux, aucun type d analyse n est plus pertinent et la fiabilité des résultats de l essai doit être mise en doute. L analyse principale doit porter sur le critère principal de jugement prédéfini 15.Les résultats portant sur les critères secondaires ne peuvent être considérés que comme des informations complémentaires, ou comme des pistes de recherche ultérieure. La multiplicité des critères mais aussi des moments d évaluation, entraîne une multiplicité des comparaisons et des tests statistiques qui ne permet plus de garantir un risque alpha global de 5% (sauf précautions particulières prises par l auteur et dûment signalées dans l article). Elle impose donc la plus grande prudence dans l interprétation. Si l on souhaite comparer les taux de survenue d événements (infarctus du myocarde, décès, fracture ) et leurs moments de survenue, la méthode d analyse appropriée est celle des courbes de type survie, qui permet non seulement de prendre en compte la totalité du temps de participation à l étude de chacun des patients (et d utiliser ainsi toute l information disponible), mais aussi de ne réaliser qu un seul test statistique. Les questions-clés à se poser systématiquement lors de la lecture critique 1) L objectif de l essai est-il clair, intéressant et logique dans le contexte scientifique? 2) L essai est-il prospectif? 3) L essai est-il comparatif? 4) L attribution du traitement a-t-elle été faite par tirage au sort? 5) L essai a-t-il été conduit à l aveugle? (Préciser si simple ou double.) 6) Les sujets inclus sont-ils bien définis? 7) Le critère de jugement est-il cliniquement pertinent ou, à défaut, validé et admis par la communauté scientifique? 8) Le choix du traitement du groupe témoin est-il justifié? 9) Un nombre de sujets nécessaire a-t-il été calculé? 10) L analyse réalisée porte-t-elle sur tous les sujets randomisés? 11) La différence observée entre les groupes est-elle statistiquement significative? Son intervalle de confiance est-il donné? Le résultat est-il cliniquement intéressant? 12) La discussion est-elle suffisamment critique? Les résultats de l essai sont-ils cohérents avec les données de la littérature? 13) La conclusion est-elle factuelle? Suffisamment concrète pour répondre aux préoccupations du lecteur clinicien? INTERPRÉTATION DES RÉSULTATS Face à l interprétation de ses résultats par l auteur, le lecteur doit garder son indépendance d esprit. Une remarque préliminaire est que la quantité d effet du traitement à prendre en compte n est pas la différence entre avant et après son administration, mais la différence des performances entre le traitement testé et le comparateur. La première question à se poser est celle de la signification statistique. La différence observée entre les deux traitements est-elle réelle ou ne résulte-t-elle que du hasard? Le seuil de signification est fixé à 5 %. Mais on est d autant plus confiant dans l existence d une vraie différence que le degré de signification est plus petit. Un p à 0.01 est de ce point de vue plus confortable qu un p à La deuxième question est celle de la taille de la différence, autrement dit de la quantité d effet du traitement. Statistiquement significatif ne veut pas nécessairement dire cliniquement intéressant. Des essais de grande taille incluant plusieurs La Presse Médicale

6 A CTUALITÉS milliers de patients sont en effet susceptibles de mettre en évidence des différences significatives, pourtant cliniquement insignifiantes. Par ailleurs, p ne traduit pas l importance de l effet du traitement mais seulement la probabilité que l effet observé existe réellement. Il appartient donc au lecteur d apprécier par lui-même en termes cliniques l intérêt du traitement testé et de s intéresser, au-delà de p, à l intervalle de confiance de la différence, qui estime l importance de l effet et donne la précision avec laquelle cet effet a été observé 16,17. Une expression intéressante des résultats, lorsqu ils concernent une variable quantitative, est l effet standardisé (effect size), c est-à-dire le rapport de la différence des deux moyennes observées à leur écart-type commun.toutefois, si ce rapport est affranchi de l unité initiale et permet donc la comparaison de résultats émanant d essais différents, il ne donne pas une idée concrète de la pertinence clinique de l effet du traitement. La question primordiale est, en fait, celle de la causalité : l effet du traitement testé est-il seul responsable de la différence observée ou cette différence peut-elle être due à un autre facteur, inconnu, appelé facteur de confusion? On sait en effet qu un lien statistique, même une corrélation, n implique pas pour autant la causalité. De ce point de vue, il n est acceptable, à la fin d un essai clinique, d imputer la différence observée entre les deux groupes aux effets du seul traitement (et par conséquent d invoquer la causalité) que si l essai a été randomisé, conduit à l aveugle et analysé en intention de traiter, c est-àdire si les précautions ont été prises pour minimiser les principaux biais. LES ANALYSES EN SOUS-GROUPES Une analyse non prévue par le protocole de l essai et réalisée sur un sous-groupe de patients (par exemple les plus âgés, les plus graves ) n ayant pas fait l objet d une stratification de la randomisation (liste de tirage au sort indépendante) ne saurait donner lieu à une conclusion 13,18. Elle peut seulement inciter à réaliser un nouvel essai prenant en compte ce type spécifique de patients. Il faut rester sceptique face aux résultats d une analyse portant sur des sous-groupes de patients dont la constitution ne résulte pas d un tirage au sort, c està-dire dont la comparabilité initiale n est pas assurée. Certains chercheurs recourent à ce type d analyse pour des motifs opportunistes, lorsque l analyse globale de tous les sujets inclus ne s est pas révélée démonstrative.tenter de démontrer sur un sous-groupe de patients souvent constitué pour la cause l efficacité d un médicament qui n a rien prouvé sur l ensemble des malades relève de la même attitude que de mettre en exergue un résultat favorable portant sur un critère secondaire lorsqu on n a pas eu la chance que le critère principal sorte statistiquement. Le lecteur veillera à ne pas se laisser abuser par une présentation tendancieuse de certains résultats 19. Si par exemple un médicament X fait passer le taux de mortalité cardio-vasculaire d une maladie de 2% (taux de base sous placebo) à 1% (taux Figure 1 À LA FIN D UN ESSAI LA DIFFÉRENCE ENTRE LES DEUX TRAITEMENTS Est statistiquement significative N est pas statistiquement significative C est peut-être par manque de puissance Les deux traitements sont peut-être équivalents C est peut-être vrai C est peut-être faux Elle est cliniquement intéressante Elle n est pas cliniquement intéressante par risque d erreur alpha par suite d un biais La Presse Médicale

7 G Bouvenot, P Villani, P Ambrosi observé en fin d essai sous X), l auteur de la publication peut présenter les résultats en termes de réduction du risque absolu (le médicament a diminué la mortalité de 2% - 1% = 1%) ou de réduction du risque relatif (en faisant passer la mortalité de 2 % à 1 %, le médicament l a réduite de 50%).Or on voit bien que réduire la mortalité de 50% dans ce contexte ne présente guère d intérêt. Il en serait autrement si le produit réduisait de 50% une mortalité de base de l ordre de 20 %. De manière générale, un pourcentage ne peut s apprécier que si l effectif sur lequel il a été calculé est fourni: on n a pas la même confiance dans un résultat faisant état de 5 répondeurs sur 10 malades et dans un résultat faisant état de 100 répondeurs sur 200. Une autre présentation des résultats justifiant une interprétation prudente est celle du nombre de sujets à traiter (NNT) 20,21 par un médicament pour éviter la survenue d un événement (mort, infarctus du myocarde, fracture du col du fémur ). En effet, la détermination du NNT dépendant étroitement du type des patients inclus, des modalités de mesure du critère de jugement et de la durée de l essai et du suivi, il n est guère pertinent de comparer le NNT d un médicament X à celui calculé pour Y dans le cadre d un autre essai, dans des circonstances et sur des malades probablement différents. Face au compte-rendu d un essai négatif, c est-à-dire d un essai de supériorité dont les résultats ne sont pas statistiquement significatifs, on tentera de faire la part entre le manque de puissance dû à un recrutement insuffisant de patients (l essai est passé à côté de la démonstration d efficacité) et un vrai manque d efficacité du traitement testé. On rappelle à ce propos que, dans un essai de supériorité, ne pas mettre en évidence de différence entre deux traitements n autorise pas à les déclarer équivalents. On ne peut donc se prévaloir d un p non significatif pour conclure à l égalité de deux traitements comparés. La discussion de l auteur Dans sa Discussion, l auteur est supposé discuter les conditions de réalisation de son étude et les limites de l interprétation des résultats 22. Toute évocation de publication antérieure doit être référencée. Il s agit en fait d une sorte d autocritique destinée à mettre l accent sur les données les plus fiables et les plus démonstratives de l étude et à n accorder aux résultats de l essai que la portée qu ils méritent. Cette portée est parfois considérable, comme modifier la prise en charge thérapeutique dans les 6 heures qui suivent un infarctus du myocarde, ou bouleverser les habitudes en matière de prévention secondaire chez les coronariens. Le plus souvent, pourtant, elle est limitée, lorsqu il s agit par exemple de proposer un nouveau traitement d appoint ou de troisième intention De manière générale, si la différence observée entre les deux groupes 23 a été trouvée statistiquement significative, il importe d en discuter la réalité (compte tenu de la valeur de p, du risque alpha ou de l existence d un biais) et la signification clinique; si la différence n a pas été trouvée statistiquement significative, l équivalence des produits ne peut être pour autant revendiquée, un manque de puissance de l étude ayant pu en être la cause (annexe 1). Dans la discussion, il doit en outre être fait mention: de la cohérence interne des informations fournies: l étude estelle à l origine de résultats discordants ou même contradictoires entre eux? Que penser, par exemple, d un antiostéoporotique qui diminuerait par rapport à son comparateur le nombre de patients fracturés mais n agirait pas sur la densité minérale osseuse? de la cohérence externe des résultats de l étude avec les données de la littérature: quels sont les points de convergence ou de divergence avec les résultats des essais similaires ou voisins déjà publiés dans le domaine? Par ailleurs, la discussion devra aborder le problème de l applicabilité des résultats de l essai aux patients autres que ceux de l essai, aux patients d autres pays 24,25 Les conclusions de l essai Les conclusions doivent s inscrire dans la logique des seuls résultats fiables et se cantonner au thème qui était l objet du travail. Une bonne conclusion d essai clinique est factuelle :elle n est ni du registre de l opinion ni à plus forte raison de celui de la spéculation;elle est prudente,nuancée,sans extrapolation abusive. Reprenant tous les aspects qu il était prévu d aborder dans l essai, elle fait la part de ce qui a été démontré et de ce qui ne l a pas été. Elle ne fait pas le tri des informations, pour ne retenir que les favorables.tenant le plus grand compte des résultats d efficacité, elle ne néglige pas pour autant, dans le domaine du médicament, les données disponibles sur la sécurité d emploi. Elle rappelle la concordance ou la discordance des résultats de l essai avec les données validées. Conscient des préoccupations du lecteur clinicien à destination de qui l article a été rédigé, l auteur doit faire percevoir l éventuel bénéfice thérapeutique concret à en attendre. Trois réflexions D abord, la concision nécessaire des comptes-rendus d essais (un maximum d information en deux à trois mille mots) est une contrainte qui ne permet pas toujours au chercheur de présenter dans un espace aussi limité la totalité des informations utiles à La Presse Médicale

8 A CTUALITÉS une argumentation critique exhaustive. On peut regretter que cette restriction se fasse souvent au détriment du paragraphe Matériels et méthodes et de la présentation de certaines données chiffrées, qui permettrait à l auteur de mieux expliciter ses résultats et au lecteur de mieux les vérifier ou du moins de mieux les comprendre. Ensuite, la vérification de l authenticité des données et de la qualité de l étude échappe,de fait,au simple lecteur de la publication: elle est du ressort des autorités d enregistrement,au cas où l essai participerait à un dossier de demande d autorisation de mise sur le marché ou d extension d indication thérapeutique pour le produit étudié. Enfin, l utilisation concrète et l appropriation par le praticien des résultats d un essai ne vont pas de soi Elles ne se conçoivent guère que dans les suites d une étude prestigieuse de grande ampleur dont les résultats ont été relayés et amplifiés par l intelligentsia scientifique et médicale,et les éditoriaux des grands journaux médicaux. Par ailleurs, le lecteur ne doit pas oublier que, dans le domaine des médicaments, cette mise en application ne peut,en toute rigueur et en particulier pour des raisons de sécurité,précéder l avis favorable de l instance officielle chargée de l octroi des autorisations de mise sur le marché. Références 1 Moher D, Schulz KF, Altman DG for the CONSORT Group. The CONSORT statement : revised recommendations for improving the quality of reports of parallel-group randomised trials. Lancet 2001 ; 357 : Goldbeck-Wood S. Evidence on peer review: scientific quality control or smokescreen? BMJ 1999 ; 318 : Krimsky S, Rothenberg LS. Financial interest and its disclosure in scientific publications. JAMA 1998 ; 280 : Andersen B. A priori hypotheses or fishing expeditions in Methodological errors in medical research. Blackwell Scientific Publication Oxford 1990; Boissel JP. Concepts épistémologiques actuels in L information thérapeutique JP Boissel Masson, Paris, 2000 p Chêne G. Dans un essai clinique, la méthode ne suffit pas, la question doit être pertinente. Rev Prat 2000 ; 50 : Eschwège E, Bouvenot G. Essais cliniques explicatifs ou pragmatiques : le dualisme. Rev Med Int 1994 ;15 : Temple R. Are surrogate markers adequate to assess cardiovascular disease drugs? JAMA 1999 ; 282 : Greenhalgh T. How to read a paper: papers that report drug trials. BMJ 1997 ; 315 : Bouvenot G. Critères de substitution. Rev Rhum 1994 ;61 : Greenhalgh T. Les articles qui décrivent des essais thérapeutiques in Savoir lire un article médical pour décider. T Greenhalgh Ran D, Meudon 2000; Cucherat M. Puissance d un essai et nombre de sujets nécessaire. La Lettre du pharmacologue 2000 ; 14 : Assmann SF, Pocock SJ, Kasten LE. Subgroup analysis and other (mis)uses of baseline data in clinical trials. Lancet 2000 ; 355 : Altman DG, Doné CJ. Randomisation and baseline comparisons in clinical trials. Lancet 1990 ; 33 : Pitt B, Segal R, Martinez FA et al Randomised trial of losartan versus captopril in patients over 65 with heart failure (Evaluation of Losartan in the Elderly Study, ELITE). Lancet 1997 ;349 : Shakespeare TP, Gebski VJ, Keness MJ, Simes J. Improving interpretation of clinical studies by use of confidence interval, clinical significance curves, and risk- benefit contours. Lancet 2001 ; 357 : Braitman LE. Confidence intervals assess both clinical significance and statistical significance. Ann Int Med 1991 ; 114 : A randomized trial of beta-blockade in heart failure. The Cardiac Insufficiency Bisoprolol Study (CIBIS) CIBIS Investigators and Committees. Circulation 1994 ;90 : Sackett DL, Richardson WS, Rosenberg W, Haynes RB. Is the evidence about treatment important? in Evidence-based Medicine Dl Sackett, Churchill Livingstone, NY Altman DG. Confidence intervals for the number needed to treat. BMJ 1998 ; 317 : Cook R The number needed to treat : a clinically useful measure of treatment effect BMJ 1995 ;310 : Doherty M, Smith R. The case for structuring the discussion of scientific papers. BMJ 1999; 318 : Bouvenot G, Vray M. Compte-rendu de l essai clinique in Essais cliniques:théorie, pratique et critique. G Bouvenot, Flammarion, Paris 1999; Collet JP. Limite des essais cliniques. Rev Prat 2000 ; 50 : Cohn JN, Tognoni G, Valsartan Heart Failure Trial Investigators A randomized trial of the angiotensin-receptor blocker valsartan in chronic heart failure. N Engl J Med 2001 ;345 : Bucher HC, Guyatt GH, Cook DJ for the Evidence-Based Medicine Working Group. Users guides to the medical literature: XIX. Applying clinical trial results. A. How to use an article measuring the effect of an intervention on surrogate end points. JAMA 1999 ; 282 : Collins R, MacMahon S. Reliable assessment of the effects of treatment on mortality and major morbidity, I: clinical trials. Lancet 2001 ; 357 : Boissel JP. Obstacles et barrières à la pénétration du concept d information thérapeutique in L information thérapeutique JP Boissel, Masson, Paris, 2000; La Presse Médicale