Lecture critique d une étude publiée. Laure HUOT Unité de Recherche Clinique Pôle IMER HCL

Transcription

1 Lecture critique d une étude publiée Laure HUOT Unité de Recherche Clinique Pôle IMER HCL

2 Notions de lecture critique Lecture critique = évaluation du résultat Sa validité scientifique (fiabilité) Son intérêt clinique (pertinence) Lecture critique = interprétation du résultat Analyse critique du résultat mis en avant par l auteur Ne pas oublier que finalité d un article = modifier (ou pas!) sa pratique professionnelle 23/09/2014 Lecture critique 2

3 Objectif Juger la «valeur» des publications qui pourraient avoir une influence sur la pratique médicale Apprécier la crédibilité des publications Définir l applicabilité des informations Utilité pratique, intérêt clinique Trancher entre des résultats discordants 23/09/2014 Lecture critique 3

4 Outils Le bon sens L intuition Le sens clinique... Quelques notions de méthodologie! Des grilles de lecture 23/09/2014 Lecture critique 4

5 Trois dimensions 1. La validité interne 2. La pertinence clinique et sa représentativité (applicabilité) 3. La cohérence externe 23/09/2014 Lecture critique 5

6 1. La validité interne 2. La pertinence clinique et sa représentativité (applicabilité) 3. La cohérence externe 23/09/2014 Lecture critique 6

7 Validité interne Le résultat est-il réel? Interprétation statistique Méthodologie valide Le résultat est-il fiable? Prise en compte des biais Ecarter un faux positif Argument en faveur de l efficacité d un traitement en réalité sans effet 23/09/2014 Lecture critique 7

8 Réalité statistique Éliminer le rôle du hasard Risque α : considérer comme efficace un traitement qui ne l est pas Risque β : ne pas conclure alors que le traitement est efficace Puissance : probabilité de montrer l efficacité d un traitement réellement efficace Le «petit p» Probabilité que la différence observée soit due au hasard p < 5% : différence significative 23/09/2014 Lecture critique 8

9 Différence non significative Probabilité forte que l effet soit dû au hasard Absence d effet? Manque de puissance? Ne prouve pas qu'il n'y a pas d'effet Impossible de conclure! 23/09/2014 Lecture critique 9

10 Inflation du risque α Multiplicité des tests statistiques Plus on cherche, plus on trouve! Risque α au final >> 5% A vérifier : Un seul critère de jugement principal fixé a priori Plus de 2 groupes comparés / méthodes d ajustement Analyses intermédiaires / méthodes d ajustement Attention aux analyses en sous groupes 23/09/2014 Lecture critique 10

11 Validité méthodologique Démarche hypothético-déductive +++ L hypothèse testée a été formulée avant la réalisation de l essai Une question posée clairement identifiée et exprimée Retrouvée à la fin du chap. introduction Pertinente au regard du contexte? Réponse à la question posée Retrouvée au niveau de la discussion / conclusion Est-ce la réponse à la bonne question? 23/09/2014 Lecture critique 11

12 Méthodologie adaptée Type d étude Étiologique : étude cas témoin, cohortes Diagnostique : étude transversale Pronostique : étude cas témoin, cohortes Thérapeutique : essai comparatif randomisé Tests statistiques Calcul du nombre de sujets nécessaire calculé a priori et correctement 23/09/2014 Lecture critique 12

13 Prise en compte des biais Le biais est une erreur systématique Généralement si biais alors conclusion en faveur d une efficacité qui n existe pas vraiment Vérifier l utilisation de moyens méthodologiques pour les contrôler 23/09/2014 Lecture critique 13

14 Prise en compte des biais Les groupes sont-ils comparables? Au début de l essai Tout au long de l essai! Quatre grands types de biais Sélection Suivi Mesure Attrition 23/09/2014 Lecture critique 14

15 Exemple de l essai clinique Prise en compte des facteurs de confusion INSU Biais de mesure RANDOMISATION Biais de sélection Contrôles Population Échantillon STANDARDISATION et INSU Biais de suivi Critère de jugement Analyse Traités ITT Biais d attrition 01/10/2012 Lecture critique 15 Exclus / Perdus de vue

16 1. La validité interne 2. La pertinence clinique et sa représentativité (applicabilité) 3. La cohérence externe 23/09/2014 Lecture critique 16

17 Pertinence clinique Le bénéfice est-il intéressant pour la pratique? Quels patients sont concernés? La balance bénéfice / risque est-elle favorable? 23/09/2014 Lecture critique 17

18 Choix méthodologiques Pertinence de l objectif Réalité du problème soulevé Question thérapeutique sans réponse satisfaisante Pertinence du comparateur Utilisation d un placebo alors qu il existe un traitement de référence Traitement de référence validé Pertinence du critère de jugement Pertinence clinique et correspond à l objectif Pas un critère intermédiaire Pertinence de la mesure 23/09/2014 Lecture critique 18

19 Patients Généralisation possible : Définition adéquate de la pathologie Critères d inclusion pas trop restrictifs Effet du traitement constant quelles que soient les caractéristiques des patients Patients représentatifs de ceux vus dans la pratique Critères d inclusion / non inclusion Description des caractéristiques Contexte de soins similaire à la pratique quotidienne 23/09/2014 Lecture critique 19

20 Taille et précision de l effet Le «petit p» seul ne suffit pas Précision de l estimation par l intervalle de confiance Fourchette «raisonnable» dans laquelle se situe la vraie valeur du résultat avec le risque choisi (95%) Précision suffisante pour éliminer un effet trop petit Borne basse de l intervalle de confiance = bénéfice minimal garanti Intéressant cliniquement? 23/09/2014 Lecture critique 20

21 Balance bénéfice / risques Principaux effets indésirables rapportés Niveau de gravité par rapport à la maladie Fréquence Comparaison par rapport aux traitements déjà disponibles Mis en regard des bénéfices 23/09/2014 Lecture critique 21

22 1. La validité interne 2. La pertinence clinique et sa représentativité (applicabilité) 3. La cohérence externe 23/09/2014 Lecture critique 22

23 Cohérence externe Concordance avec les autres données disponibles? Confirmation par d autres essais Résultats d autres articles traitant la même question (chap. discussion) Cohérence avec les connaissances fondamentales (biologie, épidémiologie, pharmacologie ) 23/09/2014 Lecture critique 23

24 En résumé LECTURE CRITIQUE : déterminer l intérêt et les limites Article scientifique Résultat mis en avant par l auteur Application à la pratique? Interprétation du résultat : - Réel? - Fiable? - Pertinent? - Cohérent? 23/09/2014 Lecture critique 24

25 Pour s y retrouver Structure de l article : IMRaD Items à rechercher (et à trouver!) Introduction Matériel et méthodes Résultats Discussion Une question identifiée et clairement posée Adéquation du plan expérimental Définition précise des patients (extrapolabilité) Critère d évaluation de l effet Condition de mesure de l effet Comparateur Identification des biais Statistiques adaptées et correctes Interprétation des auteurs +/- Intérêt clinique pratique +/- Cohérence externe 23/09/2014 Lecture critique 25

26 Utilisation d une grille de lecture Grille de lecture globale : «Critical Appraisal Worksheet» (Université New Castle, Australie) 8 lignes = 8 critères d évaluation Pour chaque critère, 3 questions à résoudre L information est-elle disponible? La façon dont le critère a été considéré est-elle correcte? Si non, est-ce que cela menace la validité de l étude? 23/09/2014 Lecture critique 26

27 Critical Appraisal Worksheet (1) 1er critère = Objectif L information existet-elle? Pronostic Diagnostique Intervention Étiologie Causalité Façon d aborder le critère correcte? Hypothèse? Si non, menace la validité interne? 23/09/2014 Lecture critique 27

28 Critical Appraisal Worksheet (2) 2ème critère = Type d étude L information existet-elle? Série de cas Transversale Cas-témoins Cohorte Façon d aborder le critère correcte? Type étude approprié pour répondre à la question? Si non, menace la validité interne? Si non, les résultats sont-ils inutiles? Contrôlé 23/09/2014 Lecture critique 28

29 Critical Appraisal Worksheet (3) 3ème critère = Facteur(s) étudié(s) L information existet-elle? Exposition Intervention Diagnostique Façon d aborder le critère correcte? Description? Mesure? Méthode identique? En aveugle? Standard? Reproductible? Si non, menace la validité interne? Les biais menacent-ils la validité? 23/09/2014 Lecture critique 29

30 Critical Appraisal Worksheet (4) 4ème critère = Critère(s) de jugement L information existe-telle? Façon d aborder le critère correcte? Critère pertinent? Tous les critères sont présents? Mesure? méthode identique? en aveugle? standard? reproductible? Si non, menace la validité interne? Les critères manquants sont importants? 23/09/2014 Lecture critique 30

31 Critical Appraisal Worksheet (5) 5ème critère = Population source et sujets étudiés L information existe-telle? Façon d aborder le critère correcte? Sélection? Randomisation? Comparabilité? Perdus de vue? Si non, menace la validité interne? 23/09/2014 Lecture critique 31

32 Critical Appraisal Worksheet (6) 6ème critère = Facteurs de confusion potentiels et biais L information existe-telle? Façon d aborder le critère correcte? Envisagés? Contrôlés? Si non, menace la validité interne? 23/09/2014 Lecture critique 32

33 Critical Appraisal Worksheet (7) 7ème critère = Analyses statistiques L information existet-elle? Façon d aborder le critère correcte? Effectif? Pertinence clinique? Si non, menace la validité interne? Résultats inutiles? Étude utile? 23/09/2014 Lecture critique 33

34 Critical Appraisal Worksheet (8) 8ème critère = Conclusion des auteurs L information existet-elle? Réponse aux questions? Vérification de l hypothèse? Objectif atteint? Façon d aborder le critère correcte? Conclusions répondant aux objectifs? Si non, menace la validité interne? Résultats acceptable? VALIDITE Résultats acceptables dans votre pratique? APPLICABILITE 23/09/2014 Lecture critique 34