Lecture critique d une étude publiée Laure HUOT Unité de Recherche Clinique Pôle IMER HCL
Notions de lecture critique Lecture critique = évaluation du résultat Sa validité scientifique (fiabilité) Son intérêt clinique (pertinence) Lecture critique = interprétation du résultat Analyse critique du résultat mis en avant par l auteur Ne pas oublier que finalité d un article = modifier (ou pas!) sa pratique professionnelle 23/09/2014 Lecture critique 2
Objectif Juger la «valeur» des publications qui pourraient avoir une influence sur la pratique médicale Apprécier la crédibilité des publications Définir l applicabilité des informations Utilité pratique, intérêt clinique Trancher entre des résultats discordants 23/09/2014 Lecture critique 3
Outils Le bon sens L intuition Le sens clinique... Quelques notions de méthodologie! Des grilles de lecture 23/09/2014 Lecture critique 4
Trois dimensions 1. La validité interne 2. La pertinence clinique et sa représentativité (applicabilité) 3. La cohérence externe 23/09/2014 Lecture critique 5
1. La validité interne 2. La pertinence clinique et sa représentativité (applicabilité) 3. La cohérence externe 23/09/2014 Lecture critique 6
Validité interne Le résultat est-il réel? Interprétation statistique Méthodologie valide Le résultat est-il fiable? Prise en compte des biais Ecarter un faux positif Argument en faveur de l efficacité d un traitement en réalité sans effet 23/09/2014 Lecture critique 7
Réalité statistique Éliminer le rôle du hasard Risque α : considérer comme efficace un traitement qui ne l est pas Risque β : ne pas conclure alors que le traitement est efficace Puissance : probabilité de montrer l efficacité d un traitement réellement efficace Le «petit p» Probabilité que la différence observée soit due au hasard p < 5% : différence significative 23/09/2014 Lecture critique 8
Différence non significative Probabilité forte que l effet soit dû au hasard Absence d effet? Manque de puissance? Ne prouve pas qu'il n'y a pas d'effet Impossible de conclure! 23/09/2014 Lecture critique 9
Inflation du risque α Multiplicité des tests statistiques Plus on cherche, plus on trouve! Risque α au final >> 5% A vérifier : Un seul critère de jugement principal fixé a priori Plus de 2 groupes comparés / méthodes d ajustement Analyses intermédiaires / méthodes d ajustement Attention aux analyses en sous groupes 23/09/2014 Lecture critique 10
Validité méthodologique Démarche hypothético-déductive +++ L hypothèse testée a été formulée avant la réalisation de l essai Une question posée clairement identifiée et exprimée Retrouvée à la fin du chap. introduction Pertinente au regard du contexte? Réponse à la question posée Retrouvée au niveau de la discussion / conclusion Est-ce la réponse à la bonne question? 23/09/2014 Lecture critique 11
Méthodologie adaptée Type d étude Étiologique : étude cas témoin, cohortes Diagnostique : étude transversale Pronostique : étude cas témoin, cohortes Thérapeutique : essai comparatif randomisé Tests statistiques Calcul du nombre de sujets nécessaire calculé a priori et correctement 23/09/2014 Lecture critique 12
Prise en compte des biais Le biais est une erreur systématique Généralement si biais alors conclusion en faveur d une efficacité qui n existe pas vraiment Vérifier l utilisation de moyens méthodologiques pour les contrôler 23/09/2014 Lecture critique 13
Prise en compte des biais Les groupes sont-ils comparables? Au début de l essai Tout au long de l essai! Quatre grands types de biais Sélection Suivi Mesure Attrition 23/09/2014 Lecture critique 14
Exemple de l essai clinique Prise en compte des facteurs de confusion INSU Biais de mesure RANDOMISATION Biais de sélection Contrôles Population Échantillon STANDARDISATION et INSU Biais de suivi Critère de jugement Analyse Traités ITT Biais d attrition 01/10/2012 Lecture critique 15 Exclus / Perdus de vue
1. La validité interne 2. La pertinence clinique et sa représentativité (applicabilité) 3. La cohérence externe 23/09/2014 Lecture critique 16
Pertinence clinique Le bénéfice est-il intéressant pour la pratique? Quels patients sont concernés? La balance bénéfice / risque est-elle favorable? 23/09/2014 Lecture critique 17
Choix méthodologiques Pertinence de l objectif Réalité du problème soulevé Question thérapeutique sans réponse satisfaisante Pertinence du comparateur Utilisation d un placebo alors qu il existe un traitement de référence Traitement de référence validé Pertinence du critère de jugement Pertinence clinique et correspond à l objectif Pas un critère intermédiaire Pertinence de la mesure 23/09/2014 Lecture critique 18
Patients Généralisation possible : Définition adéquate de la pathologie Critères d inclusion pas trop restrictifs Effet du traitement constant quelles que soient les caractéristiques des patients Patients représentatifs de ceux vus dans la pratique Critères d inclusion / non inclusion Description des caractéristiques Contexte de soins similaire à la pratique quotidienne 23/09/2014 Lecture critique 19
Taille et précision de l effet Le «petit p» seul ne suffit pas Précision de l estimation par l intervalle de confiance Fourchette «raisonnable» dans laquelle se situe la vraie valeur du résultat avec le risque choisi (95%) Précision suffisante pour éliminer un effet trop petit Borne basse de l intervalle de confiance = bénéfice minimal garanti Intéressant cliniquement? 23/09/2014 Lecture critique 20
Balance bénéfice / risques Principaux effets indésirables rapportés Niveau de gravité par rapport à la maladie Fréquence Comparaison par rapport aux traitements déjà disponibles Mis en regard des bénéfices 23/09/2014 Lecture critique 21
1. La validité interne 2. La pertinence clinique et sa représentativité (applicabilité) 3. La cohérence externe 23/09/2014 Lecture critique 22
Cohérence externe Concordance avec les autres données disponibles? Confirmation par d autres essais Résultats d autres articles traitant la même question (chap. discussion) Cohérence avec les connaissances fondamentales (biologie, épidémiologie, pharmacologie ) 23/09/2014 Lecture critique 23
En résumé LECTURE CRITIQUE : déterminer l intérêt et les limites Article scientifique Résultat mis en avant par l auteur Application à la pratique? Interprétation du résultat : - Réel? - Fiable? - Pertinent? - Cohérent? 23/09/2014 Lecture critique 24
Pour s y retrouver Structure de l article : IMRaD Items à rechercher (et à trouver!) Introduction Matériel et méthodes Résultats Discussion Une question identifiée et clairement posée Adéquation du plan expérimental Définition précise des patients (extrapolabilité) Critère d évaluation de l effet Condition de mesure de l effet Comparateur Identification des biais Statistiques adaptées et correctes Interprétation des auteurs +/- Intérêt clinique pratique +/- Cohérence externe 23/09/2014 Lecture critique 25
Utilisation d une grille de lecture Grille de lecture globale : «Critical Appraisal Worksheet» (Université New Castle, Australie) 8 lignes = 8 critères d évaluation Pour chaque critère, 3 questions à résoudre L information est-elle disponible? La façon dont le critère a été considéré est-elle correcte? Si non, est-ce que cela menace la validité de l étude? 23/09/2014 Lecture critique 26
Critical Appraisal Worksheet (1) 1er critère = Objectif L information existet-elle? Pronostic Diagnostique Intervention Étiologie Causalité Façon d aborder le critère correcte? Hypothèse? Si non, menace la validité interne? 23/09/2014 Lecture critique 27
Critical Appraisal Worksheet (2) 2ème critère = Type d étude L information existet-elle? Série de cas Transversale Cas-témoins Cohorte Façon d aborder le critère correcte? Type étude approprié pour répondre à la question? Si non, menace la validité interne? Si non, les résultats sont-ils inutiles? Contrôlé 23/09/2014 Lecture critique 28
Critical Appraisal Worksheet (3) 3ème critère = Facteur(s) étudié(s) L information existet-elle? Exposition Intervention Diagnostique Façon d aborder le critère correcte? Description? Mesure? Méthode identique? En aveugle? Standard? Reproductible? Si non, menace la validité interne? Les biais menacent-ils la validité? 23/09/2014 Lecture critique 29
Critical Appraisal Worksheet (4) 4ème critère = Critère(s) de jugement L information existe-telle? Façon d aborder le critère correcte? Critère pertinent? Tous les critères sont présents? Mesure? méthode identique? en aveugle? standard? reproductible? Si non, menace la validité interne? Les critères manquants sont importants? 23/09/2014 Lecture critique 30
Critical Appraisal Worksheet (5) 5ème critère = Population source et sujets étudiés L information existe-telle? Façon d aborder le critère correcte? Sélection? Randomisation? Comparabilité? Perdus de vue? Si non, menace la validité interne? 23/09/2014 Lecture critique 31
Critical Appraisal Worksheet (6) 6ème critère = Facteurs de confusion potentiels et biais L information existe-telle? Façon d aborder le critère correcte? Envisagés? Contrôlés? Si non, menace la validité interne? 23/09/2014 Lecture critique 32
Critical Appraisal Worksheet (7) 7ème critère = Analyses statistiques L information existet-elle? Façon d aborder le critère correcte? Effectif? Pertinence clinique? Si non, menace la validité interne? Résultats inutiles? Étude utile? 23/09/2014 Lecture critique 33
Critical Appraisal Worksheet (8) 8ème critère = Conclusion des auteurs L information existet-elle? Réponse aux questions? Vérification de l hypothèse? Objectif atteint? Façon d aborder le critère correcte? Conclusions répondant aux objectifs? Si non, menace la validité interne? Résultats acceptable? VALIDITE Résultats acceptables dans votre pratique? APPLICABILITE 23/09/2014 Lecture critique 34