Analyse critique d article. P Vignon Réanimation polyvalente CHU Limoges

Analyse critique d article P Vignon Réanimation polyvalente CHU Limoges

Analyse «critique» Déterminer objectivement les points forts et faibles d un article scientifique Pouvoir le situer dans la littérature existante pour déterminer son apport éventuel à l état des connaissances Définir son champ d application potentiel Choisir s il doit être mis en pratique dans son service, le cas échéant en modifiant des procédures de soins écrites Evaluer l impact d éventuelles modification dans les procédures de soins et suivre la littérature à ce sujet.

Analyse de la qualité d un article 1. Objectif de l étude (hypothèse testée) 2. Type d étude (adaptée à l hypothèse) 3. Facteur étudié (critère principal de jugement) 4. Population source (critères d inclusion et exclusion) 5. Facteurs de confusion et biais (liés à la méthodologie) 6. Analyse statistique (adaptée au type d étude / objectif) 7. Aspect éthique (accord CPP, loi de bioéthique) 8. Présentation des résultats (exhaustivité, détails) 9. Discussion et conclusion des auteurs (rapport avec les résultats)

Objectif principal de l étude Une étude = un objectif principal Un objectif principal = un critère principal de jugement Le critère principal de jugement doit permettre d évaluer l objectif principal de l étude Il doit être aisément utilisable et reproductible par toute équipe qui prend en charge le même type de malades Fondamental : conditionne le succès de l étude! (ex, midazolam) L hypothèse de l étude est-elle clairement énoncée dans l introduction? A-t-elle été posée a priori?

Objectif(s) secondaire(s) de l étude Une étude peut avoir un ou plusieurs objectifs secondaires Evaluent des questions complémentaires (ex, tolérance d un traitement, facteurs de risque d une complication ) Souvent en rapport avec la littérature existante (ex, mortalité à 28 jours ; UTSTEIN et arrêt cardiaque) Evitent la multiplication d études «ancillaires» Les objectifs secondaires sont-ils pertinents et en nombre raisonnable? S agit-il d une étude ancillaire ou d une duplication de publication?

Type d étude Identifier le type d étude : Expérimentale (animaux, volontaires sains) Essais cliniques (thérapeutiques ou diagnostiques) Enquêtes (population ou échantillon de population) Autre (synthèse, mise au point, méta-analyse, recommandation d experts etc ) Déterminer si le type d étude est adapté à l hypothèse testée (ex, Swan-Ganz et mortalité) Prospectiv e Rétrospec tive Randomis ée Contrôlée non randomisé e Castémoin Le type d étude permet-il de répondre à l objectif principal?

Critère principal de jugement Le critère principal de jugement doit être idéalement : Unique (non composite) Objectif (mesurable) Reproductible (inter- et intra-observateur) Utilisable en pratique (faisabilité) Il doit découler directement de l objectif principal Le critère de jugement a-t-il tous les critères de qualité? Est-il adapté pour répondre à l objectif principal de l étude?

Population source Doit être adaptée pour tester l hypothèse de l étude (ex, trachéotomie en réanimation) Doit être représentative (échantillon) de la population de patients intéressés par l hypothèse testée (ex, choc septique et nb défaillances d organes ; ATIII et héparine) Doit être détaillée (caractéristiques) en terme de critères d inclusion et d exclusion (ex, choc septique et fenêtre d inclusion) Existe-t-il un «flow chart» type CONSORT?

Randomisation Centralisée ou non Stratification ou non : Par centre? Selon le patient (ex, ATIII et héparine, TVP et âge) Taille des blocs variable ou non Le type de randomisation a-t-il permis de limiter le biais de sélection?

Biais Dépendent directement de la qualité de la méthodologie Biais de sélection : Précision des critères d inclusion / exclusion Exhaustivité («screen failure log) +++ Biais d exécution : En rapport avec les soins / explorations réalisés Faisabilité et logistique (24h/24 ou diurne ou jours ouvrables) Biais d exclusion : Perte de vue (suivi) Biais de détection : Exclusion de l analyse finale Honnêteté scientifique Les biais de l étude remettentils en cause les résultats?

Biais de sélection Biais d exécution Biais d exclusion Biais de détection

Taille de l échantillon Doit être adaptée à l objectif principal : Calcul d effectif a priori? Base : littérature, résultats préliminaires (observationnel)? Etude de supériorité ou d équivalence (non infériorité)? Ampleur de la différence pertinente? Relation ampleur de différence et taille des groupes Balance : faisabilité / pertinence (ex, 2% mortalité sur 50%) Analyse intermédiaire prise en compte dans le calcul d effectif Durée du suivi adapté à l objectif principal (ex, mortalité J28 dans le choc septique)

Bases pour les règles de calculs Supériorité ou équivalence Risque ALPHA : en règle 5% risque consenti de mettre en évidence une différence qui n existe pas Risque BETA : en règle 20% mais parfois inférieur risque consenti de ne pas mettre en évidence une différence qui existe) Puissance de l étude = 1 BETA (en règle 80%, ou plus) Tests uni- / bilatéraux : différence détectée dans un seul / deux sens La puissance de l étude est-elle adaptée / suffisante pour en tirer les conclusions?

Analyse statistique : validité? Description (moyenne / médiane ; déviation standard / erreur standard, intervalles de confiance) : dispersion des valeurs Paramétrique et non paramétrique (distribution normale / non) : n < ou > 30 ou distribution a-normale (durée hospitalisation ) Distinguer comparaisons ponctuelles et mesures répétées Comparaison de deux méthodes de mesures : Blant et Altman et non corrélation (linéaire) & dispersion (2 SD) Comparaison de deux interprétations qualitatives : Kappa & dispersion (intervalles de confiance 90%) Identification d une valeur seuil : courbe ROC

Analyse statistique : validité? Temps de survie d un événement : modèles de survie (Kaplan-Meier, Cox ) Influence de co-variables sur le critère principal de jugement : analyse multivariée et ajustement sur les différences PAS DE COMPARAISONS UNIVARIEES MULTIPLES +++ (test de Bonferroni : 5% / nb de tests réalisés) Valeur de P < 0,05 : à relativiser!!! Pas de rapport de cause à effet 5% de risque d erreur à conclure à une différence statistiquement significative alors qu elle n existe pas réellement)

Attention au culte du P!! Significatif ne veut pas dire relation de cause à effet +++ Seuil de 5% : 1 chance sur 20 de mettre en évidence une différence qui n existe pas dans une comparaison au hasard!! Donner la valeur du P (0,04 ou 0,000000001?) P > 0,05 : Pas de différence entre les deux groupes comparés Puissance insuffisante +++ (pb calcul d effectif) Juger selon les intervalles de confiance du paramètre comparé entre les groupes (pertinence augmente si IC étroits)

Analyses en sous-groupes Doivent avoir été prévues a priori pour être exploitable Sinon : hypothèses nouvelles à explorer par d autres études prospectives mais pas de conclusions possibles (risque de conclusion faussement positive) Problème : manque de puissance +++ Les analyse en sous-groupes ne prévalent-elle pas sur l analyse principale dans la présentation? Les conclusions des auteurs ne sont-elles pas excessives?

Aspects éthiques Interventionnelle : CPP, consentement éclairé signé (dérogation consentement d urgence, prolongement de consentement) Observationnelle : avis d un comité d éthique, information au patient traçabilitié)

Présentation des résultats Caractéristiques de la population d étude («flow chart») Tableau : population globale et groupes comparés Comparabilité des groupes? Critère principal de jugement Critères secondaires de jugement Analyses post-hoc éventuelles Présentation des résultats en accord avec les objectifs et la méthodologie choisie?

Discussion et conclusion Discussion de la validité interne et externe des résultats Limites de l étude Conclusion à tirer des résultats présentés La discussion est-elle directement en rapport avec les résultats de l étude? La conclusion des auteurs est-elle supportée réellement par les résultats obtenus?

Intérêt / pertinence de l étude : Cohérence externe Originalité (ex, pas de réponse dans la littérature)? Intérêt de dupliquer les résultats (ex, données rares ou parcellaires, publication thématique d une même équipe)? Hypothèse née d une étude en sous-groupe d une étude précédente? Extension à une population plus large / représentative? Comparaison à des études antérieures : Validité de la confirmation de résultats antérieurs Raison pour des résultats différents (comparabilité des populations?) Intérêt scientifique / pratique de l étude?

Champ d application potentiel Dépend des caractéristiques de la population d étude Dépend de l exhaustivité des inclusions des patients éligibles et de la qualité méthodologique (biais réduits) Pièges à éviter : Ne pas appliquer aveuglément un nouveau traitement / procédure sans discernement : population étudiée comparable au recrutement du service? Ne pas appliquer systématiquement les résultats concernant une analyse posthoc même s ils confirment une conviction personnelle Appliquer le même traitement à la même population et ne pas «personnaliser» les résultats d une étude +++ Résister aux effets modes!!! (ex, NO inhalé et SDRA ; HSCH et choc septique ; insuline et normoglycémie stricte )

Conclusions Article «critique» d article = garder son indépendance!! Règles simples et générales : Lecture d articles scientifiques Préparation et rédaction du mémoire de DESC Publication dans des revues à comité de lecture Règles utilisés par les «lecteurs» de revues à comité de lecture («reviewers») Professionalisation de la recherche «académique» sur les traces de la recherche «industrielle» : exigences accrues! Gagnant : malade car recherche indivisible des soins!