Épreuve de lecture critique d un article médical

Transcription

1 Épreuve de lecture critique d un article médical N. Kalach & J. Bégon-Lours d après : Objectifs pédadogiques CNCI version 2 travail du 25/7/7 Glossaire ECN Lecture critique d articles médicaux 2007 A. Durocher CHU Lille 28/2/8 séminaire LCA M. Cucherat CHU Lyon 24/7/2

2 Plan 1. Epreuve Objectifs de l examen Articles utilisés Déroulement de l épreuve Liste abréviations admises 2. Résumé généralités structure / article : problématique-objectif, type d étude, population concernée, effet mesurés, résultats, conclusion 3. Rappels Types d études Biais 4. Questions Forme, titre Méthodologie Population Présentation des résultats Discussion, validité 5. Conclusion Grille de lecture Niveau de preuve 6. exemples

3 Objectifs de l examen Analyse du contenu d un article pour autoformation actuelle et future initiation à la recherche et à l écriture Recherche niveau de qualité, crédibilité, validité défauts éventuels, limites, les moyens mis en œuvre pour minimiser leurs impacts implications utilité pour la pratique

4 Articles utilisés : médicaux scientifiques originaux issus de revues médicales avec comité de lecture traitant sujet du programme de la 2 ième partie du 2 ième cycle en français en entier (ou abrégés si trop long) sans résumé ni références des auteurs et de la revue

5 Rappel : question / type d étude Epidémiologie : incidence Epidémiologie : prévalence Histoire naturelle maladie rare Histoire naturelle maladie fréquente Causalité : phénomène rare Causalité : װ fréquent contrôlable Causalité : װ fréquent incontrôlable Diagnostic : stratégie Diagnostic : reproductibilité Diagnostic : sensibilité/spé Diagnostic : éfficacité/utilité Thérapeutique: efficacité Thérapeutique: sécurité Pronostic maladie fréquente Pronostic maladie rare Suivi de population cohorte ou registre Transversal (sur échantillon représentatif) Etude cas témoin Etude contrôlée randomisée ou suivi de cohorte Etude cas témoin suivi de cohorte Etude contrôlée randomisée Etude contrôlée randomisée ou arbre décisionnel transversale comparatif avec répétition de mesure transversale comparatif avec étalon-or Etude contrôlée randomisée Etude contrôlée randomisée Etude contrôlée randomisée ou suivi de cohorte Etude contrôlée randomisée ou suivi de cohorte Etude cas témoin

6 Rappel : type d étude Prospectif >> rétrospectif Randomisé > étude de cohorte > étude cas témoins > série de cas et registre > cas clinique et avis d experts Comparatif 2 ou n groupes simultanés appariés comparables, groupe contrôle ou non (cf infra) Double insu > simple insu > ouvert (cf infra) multicentrique Groupes parallèles ou essai croisé

7 Rappel : groupes comparables Groupes identiques même type de patients même stade de la maladie, etc. qui ne diffèrent que par le traitement appliqué Si, à la fin, il existe une différence, celle-ci n est due qu au traitement Traitement Groupe témoin Groupe contrôle

8 Rappel : maintien comparabilité Groupe témoin Suivi Trt concomitant Évaluation du critère Groupe contrôle Les deux groupes doivent être suivis de la même façon évalués de façon objective double aveugle et placebo pas de perdus de vue < 10%

9 Rappel : double simple insu Double insu = double aveugle ni l'investigateur, ni le patient ne connaît la nature réelle du traitement évaluation du critère de jugement en aveugle Simple insu = simple aveugle l'investigateur connaît le traitement, pas le patient Ouvert = le traitement est connu de tous ex. : chirurgie vs traitement médicamenteux

10 Rappel : Analyse en intention de traiter Tous les patients sont analysés dans le groupe où ils ont été randomisé qu'ils aient ou non reçus le traitement de l'étude quel que soit la nature du traitement reçu Deux intérêts Être représentatif de la réalité Éviter les biais Analyse per-protocole ne porte que sur les patients qui ont été traités comme le prévoyait le protocole risque de biais +++

11 Rappel : différents biais Biais de sélection : différence dans le pronostic de base des patients Biais de classement : certitude de la maladie? interrogatoire, examen, test = imparfait. + Biais de mémorisation lorsque l'information obtenue a posteriori (cas-témoin) Biais de confusion provoqué par facteur de confusion interagissant avec le facteur de risque étudié dans l'étude du lien entre ce facteur et la maladie Biais de sélection : biais dans la constitution de l'échantillon, qui va se retrouver non représentatif de la population générale pour des facteurs liés au problème étudié (d'où le biais). Biais de réalisation : différence dans le suivi et les soins appliqués aux patients Biais d'évaluation (de mesure) : différence dans l'évaluation du critère de jugement Biais d'attrition : différence au niveau des "sorties" d'étude

12 Rappel : biais / étude Biais d'attrition Intention de traiter à terme Groupe témoin Critère Randomisation Groupe comparable Maintient de la comparabilité Groupe contrôle Critère Biais de sélection Biais de réalisation Biais d'évaluation Randomisation Double aveugle

13 Rappel : statistique interprétation Différence observée Test p>5% p<5% Il est peu probable que la différence observée soit due au hasard Différence significative la probabilité que la différence observée soit due au hasard est forte Différence non significative

14 Rappel : statistique VPN Valeur prédictive négative = probabilité de n'être pas malade (M-) si le test est négatif (T-) VPN=VN / (VN+FN) VN vrais négatifs, FN faux négatifs Mais dépend également prévalence maladie Pr et des Sensibilité Se et Spécificité Sp! VPN = Sp(1- Pr) M+ M- T+ VP FP Pr = (VP+FN)/(VP+FN+VN+FP) Sp(1-Pr) + Pr(1-Se) Se = VP/(VP+FN) T- FN VN

15 Rappel : statistique courbe ROC Receiver Operating Characteristic Spécificité = f(sensibilité) variation seuil positivité Aire sous la courbe 0.7

16 Rappel : essai thérapeutique L essai clinique est utilisé pour montrer l effet d un traitement Risque alpha : considérer comme efficace un traitement qui ne l est pas Risque bêta : ne pas conclure alors que le traitement est efficace Puissance : montrer l efficacité d un traitement réellement efficace

17 Rappel : différence non significative Absence réelle d'effet Résultat non significatif? Manque de puissance Impossible de conclure Ne prouve pas qu'il n'y a pas d'effet Michel Cucherat - Service de Pharmacologie Clinique - Lyon 17

18 Rappel : critère de jugement Décès de toute cause Décès cardiovasculaire Mort subite Infarctus Accident vasculaire cérébraux Chirurgie Pas de définition de critère principal 7 tests statistiques Risque de conclure à tort à l efficacité du traitement = 30% Critère principal Décès de toute cause Critères secondaires Décès cardiovasculaire Mort subite Infarctus Accident vasculaire cérébraux Chirurgie Définition a priori d un critère principal Un seul test statistique Risque de conclure à tort à l efficacité du traitement = 5%

19 Rappel : répétition des tests Conclusion basée non pas sur un seul test mais sur plusieurs Conclusion à un effet à partir du moment où il existe au moins un test significatif Le risque a de la conclusion est bien supérieure à 5% Inflation du risque alpha

20 Rappel : comparaisons multiples Aux dés, la probabilité d obtenir un six est plus forte avec 3 dés qu avec un seul Test 1 Test 2 Test 3 Test 4 Risque de conclure à tort à une différence = 5% Risque de conclure à tort à une différence = 5% Risque de conclure à tort à une différence = 5% Risque de conclure à tort à une différence = 5% n risque global Globalement, le risque de conclure à tort à une différence lors de ces 4 comparaisons est bien plus important que 5%. Inflation du risque alpha

21 Rappel : biais de publication Les essais positifs sont plus facilement publiés que les négatifs Différence significative Différence non-significative Publication Michel Cucherat - Service de Pharmacologie Clinique - Lyon 21

22 Rappel : biais de publication Un essai peut être positif à tort (risque alpha) Exemple d'un traitement sans efficacité Risque alpha = 5% Essais réalisés Essais publiés E. positifs 5 5 E. négatifs 95 0 Méta-analyse négative Méta-analyse positive!

23 Rappel : validité interne le résultat est très probablement réel il est statistiquement significatif obtenu sur le critère de jugement principal il est méthodologiquement valide (hypothèse formulée a priori) il n'a pas été obtenu par une analyse en sous groupes le résultat est sûr (exempt de biais), le plan d expérience choisi évite les biais et l étude a été correctement réalisée

24 Rappel : pertinence clinique L'efficacité est suffisamment importante pour être cliniquement pertinente le critère de jugement est pertinent cliniquement et correspond à l objectif thérapeutique du traitement, la taille de l'effet est cliniquement pertinent la balance bénéfice-risque est favorable le résultat a été obtenu sur des patients représentatifs de ceux vus en pratique

25 Questions : généralités Pourquoi? Tout doit être justifiable et justifié: pourquoi avoir choisi tel paramètre? telle modalité de recueil? tel nombre de patient, tel critère d exclusion? telle durée de l étude Précision? Cohérence? Quel intérêt?

26 Questions : forme de l article La forme de l article peut être discutée. Identifier structure IMRD (Introduction, Matériel et méthode, Résultats, Discussion) S assurer que les divers chapitres de la structure répondent à leurs objectifs respectifs : Attention présentation des résultats discussion

27 Questions : validité titre Est-il clair? Présente t-il ce qui a été fait et éventuellement trouvé?, ce qui a été trouvé et comment? Une nouvelle rédaction du titre peut être demandée.

28 Questions : objet de l étude Qu est ce qui est étudié? procédure diagnostique, traitement, programme de dépistage, pronostic enquête épidémiologique Quel est l intérêt pour la pathologie? Question ou Hypothèse clairement formulée? Objectif principal clairement défini?

29 Questions : population données Caractéristiques (données démographiques)? Est elle homogène? Existe-t-il des sous-groupes (non acceptable!)? Correspond t-elle à la population habituellement traitée? Fréquence de la maladie observée = données épidémiologiques connues? Modalités de sélection des sujets? D où viennent-ils? Critères d inclusion de non inclusion et d exclusion? Certitude groupes malades non malades?

30 Questions : population 2 Technique de randomisation? Cohérence? Comparabilité des groupes soumis à la comparaison? Evolution des effectifs et leur cohérence dans la totalité de l article (perdu de vue (<10%), sorties du protocole, pourquoi)? Calcul nombre de sujets nécessaires? Patient en intention de traiter?

31 Questions : méthodes Méthode cohérente avec le projet du travail? susceptible d apporter «une» réponse à la question posée? Analyses statistiques (notions élémentaires) cohérentes? Critère de jugement principal fiable? objectif > subjectif? Variable principale étudiée quantitatif > qualitatif? Modalité de recueil? Quelle appareil? Reproductibilité? Évolution dans le temps? Règles d éthique respectées? Avis CPPRB? Absence de conflit d intérêt? Industrie?

32 Questions : présentation résultats Précision, lisibilité, utilité des tableaux et des figures? cohérence avec le texte? indices de dispersion? Prévalence? Calcul de la VPP? (VPP et VPN dépendent de Se, Sp, prévalence!) Rapport de vraisemblance, courbe ROC? Un commentaire de tableaux, figures ou calculs statistiques peut être demandé.

33 Questions : l analyse résultats Comparabilité des populations étudiées? Nombre de malades inclus suffisant? nature et la précision des critères de jugement des résultats? signification statistique des résultats (cf infra)? pertinence clinique des résultats? résultats = réponse à la question? conclusions justifiées par les résultats?

34 Questions : Biais Groupe contrôle pour la prise ne compte des facteurs de confusion? Allocation des traitements aléatoire afin de produire des groupes comparables? Procédure d'allocation imprévisible afin d'éviter toute possibilité d'influencer la composition des groupes? Groupes obtenues comparables au début de l'essai (démographie, comorbidité, gravité de la maladie, autres facteurs de confusion connus)? Essai en double "insu" afin de maintenir la comparabilité initiale? Mis a part le traitement testé, les groupes ont-ils été traités et suivi de manière identique (traitements concomitants, observance, etc.)? Taux de perdu de vue <10%? Résultats robuste vis à vis du biais maximum? Analyse en intention de traiter?

35 Questions : statistique significative = Différence observée est réelle et non pas due au hasard? Un critère de jugement principal et un seul a-t-il préalablement défini? Le résultat avancé pour démontrer l'efficacité a-t-il été obtenu sur le critère principal? Le résultat n'est pas issu d'une analyse en sous groupe? Les intervalles de confiances rattachés aux principaux résultats sont-ils donnés? Quelle est la précision des résultats (largeur des intervalles de confiance)?

36 Questions : discussion biais discutés? autres biais d information et de sélection? conséquences dans l analyse des résultats? logique et structure de la discussion? données de la littérature ou opinion personnelle de l auteur? niveau de preuve de l étude (grille de l HAS)? applications potentielles proposées par l étude?

37 Questions : Validité clinique = Pertinence clinique = bénéfice intéressant en pratique? Et est-il extrapolable à mes patients? Taille du bénéfice cliniquement pertinente (bénéfice absolu, bénéfice relatif)? Précision de l'estimation de la taille de l'effet traitement (largeur de l'intervalle de confiance)? Critère de jugement : Critère clinique (et non pas un critère intermédiaire)? Est-il le critère le plus pertinent cliniquement? Patients inclus représentatif des patients tout venant (critères d'inclusion-exclusion, description de la population incluse)? Balance effet bénéfique - effet délétère favorable? Traitement utilisable en pratique tel qu'il a été évalué?

38 Conclusion : ex grille de lecture Objectifs clairement définis? Oui / non / nsp Méthodologie L étude est prospective L étude est randomisé Le test étudié est comparé à un test de référence fiable valide déterminé à priori Le calcul du nombre de patients a été fait à priori La population de l étude correspond population habituellement traité, la fréquence de la maladie correspond aux données épidémiologiques connues Méthode de sélection des patients est Toutes les variables cliniquement pertinentes sont prises en compte Analyse statistique est adaptée Analyse est faite en intention de traiter Analyse des résultats Ils sont cohérents avec l objectif de l étude et tiennent compte d éventuels effets secondaires Ils sont analysés en aveugle quand c est possible Les caractéristiques diagnostiques du test sont calculées ou calculable (Se, Sp) La reproductibilité et la variabilité inter et intra-observateur sont calculées et analysées Application, utilité clinique du test est recherchée La signification clinique est donnée Les modalités de traitement sont applicables en routine

39 Conclusion : 3 axes Validité interne est-ce que le résultat est réel? et est-il non biaisé? Cohérence externe est-ce que ce résultat est concordant avec les autres connaissances sur le sujet? Pertinence clinique et sa représentativité ce résultat représente-t-il un bénéfice intéressant en pratique et est-il extrapolable à mes patients?

40 Conclusion : niveau de preuve Fort niveau de preuve? Protocole adapté? Minimum de biais? Analyse statistique adaptée? Puissance suffisante? Niveau intermédiaire de preuve?. Puissance insuffisante? Biais importants? Faible niveau de preuve?

41 Conclusion : recommandations Niveau 1 de preuve scientifique Essai comparatifs randomisés forte puissance Meta analyse essais comparatifs randomisés Analyse de décision basée sur des études bien menées Grade des recommandations A Preuve scientifique établie Niveau 2 Essai comparatif randomisé de faible puissance Etude comparative non randomisé bien menée Étude de cohorte Niveau 3 Etude cas témoin Niveau 4 Etude comparative avec biais importants Etude rétrospective Série de cas B Présomption scientifique C Preuve scientifique faible