Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté de Médecine René Descartes
Le contexte: Médecine fondée sur le niveau de preuve Evidence based medicine is The conscientious, explic and judicious use of current best evidence in makin decisions about the care of individual patients. The best evidence is clinically relevant researc especially patient-centered clinical research into th accuracy and precision of diagnostic tests, the power o prognostic markers, and the efficacy and safety o therapeutic, rehabilitative, and preventive regimens. DL Sackett, 1996
Le contexte technico-réglementaire
Recherche: Le minimum requis Une bonne question Une revue exhaustive de la littérature Des malades en nombre suffisant (échapper au piège ombre de sujets nécessaire) Un méthodologiste (il n y a pas que des questio tatistiques) et un clinicien qui dialoguent Des soins de base de qualité Du temps clinique (médecins, manipulateurs) et d rofessionnels (Unité de Recherche Clinique) dédiés à echerche
La précision de la question de recherche est l élément le plus important de tout protocole de recherche «Ceux qui ne savent pas où ils vont sont surpris d'arriver ailleurs» Pierre DAC
Les questions Question Efficacité d une thérapeutique, d une méthode diagnostique, de dépistage Etiologie Pronostic Diagnostic Méta-analyse Méthode Essai contrôlé randomisé Etude cas témoin Devenir d un malade, évaluation d un risque Identification d une maladie Synthèse
Les standards de publication (1) Méthode Essai randomisé et contrôlé Etude diagnostique Etude observationnelle (épidémiologique) Marqueur pronostique (cancer) Etude cas-témoin Méta-analyse Guide CONSORT STARD STROBE REMARK QUOROM/PRISMA &MOOSE
Les standards de publication (2) Méthode Série de cas Etude d un cas (case report) Association gène -maladie Enquête (étude transversale) Analyse internet Etude qualitative Guide
Une question, beaucoup de méthodes Il y a souvent de nombreuses manières de répondre à la même question. La méthode que vous choisissez sera déterminée par beaucoup de facteurs. Avant de choisir: connaître les forces et les faiblesses de chaque type de méthodologie.
Recherche en imagerie Quelle méthodologie: la bonne! Quelle question: Thérapeutique, Pronostique, Diagnostique, Synthèse Quels outils: la rigueur, la lecture de la littérature, la connaissance des biais, dans un axe méthodologique donné Plutôt qu une connaissance approximative des statistiques
Design 1. Cas - Témoin Dans une étude cas/témoin on a le «résultat de santé» (par exemple, une maladie) et on en recherche les causes (par exemple, facteurs de risque) chez les personnes qui partagent ces résultats. Le plus souvent, toute l'étude est réalisée avec une information déjà enregistrée, et plus ou moins disponible (dossiers des patients) ou des bases de données.
Début de Present l étude Identify Cases and Controls Identifier cas et témoins Assess Risk Factor Évaluer les F de R Cases Cas malades WITH Disease Fde R: PRESENT Fde R: ABSENT Témoins non malades Controls WITHOUT Disease Fde R: PRESENT Fde R: ABSENT
Données présentées dans une table de contingence 2x2 AVC+ Sujets AVC- Facteur de risque (Hypertension) Présent Absent 2 1 Que FdR C: Accident vasculaire cérébral 2 groupes de sujets
Analyse FdeR Present Maladie Presente a maladie Absente b Rapport des cotes (odds ratio) F de R Absent c a, b, c, d sont des effectifs d (a/(a+c)) /(c /(a+c)) (b/(b+d)) /(d /(b+d))
Design 1 Cas Témoin : Avantages Efficace et simple Utile pour étudier les maladies rares Considérations éthiques: souvent pas u problème important, quoique Les dossiers patients doivent être examinés (CNIL? Comité d éthique: y penser Selon la nature de l'étude (génétique) consentement des patients peut ou non être exigé
Design 1 Cas Témoin: Faiblesses L'information disponible peut être insatisfaisante: Qualité de la mesure Variabilité dans le temps Données manquantes Biais de mémorisation Quelle définition du groupe contrôle?
Design 2: Cohorte Cette conception d'étude adopte une approch longitudinale. Cette conception n'est pas appropriée aux projet à court terme!! Des sujets avec ou sans un facteur de risqu identifiable (hypertension, traitement) sont suivi et présentent ou non un certain état (acciden vasculaire cérébral (AVC)). Les sujets avec et sans le facteur de risque son comparés.
Identifier les sujets Présent Mesurer Les F de R Futur Mesurer les Résultats opulation étude Maladie Présente non inclus F de R PRESENT Temps F de R ABSENT Maladie PRESENTE Maladie ABSENTE Maladie PRESENTE Maladie ABSENTE
La table de contingence est en apparence la même AVC + Sujets AVC - FdeR (Hypertension) Présent Absent AVC: accident vasculaire cérébral
mais l ordre de l évaluation facteur de risque / maladie est inversé AVC + Sujets AVC - teur de ue pertension) Présent Absent 2 1 Facteur de risque Présent? Maladie
Analyse R sent R sent Maladie Presente a c a, b, c, d sont des effectifs Maladie Absente b d Risque de maladie si le facteur est absent = a ( a + b) Risque de maladie si le facteur est présent = c ( c + d )
Risque relatif Maladie Presente Maladie Absente RR= FdR Present FdR Absent a c b d a ( a c ( c + b) + d ) a, b, c, d sont des effectifs
Design 2 Cohorte: les avantages. Les données peuvent être recueillies d'une façon complète et uniforme Le biais de mémorisation n est pas un problème La définition du résultat («outcome») est homogène chez tous les sujets Pas de sélection des groupes, volontaire ou non
Design 2 Cohorte: les désavantages. «Design» coûteux en temps et en argent Le choix de la population d'étude peut influencer la généralisation des résultats Effet du temps: Perdus de vue Changement des critères de jugement de méthodologie de mesure Biais de surveillance
Suppléments hormonaux après la ménopause 1990-2002 Question thérapeutique importante S'applique à des millions de femmes Le Prempro (oestrogène/progestine) était le médicament le +prescrit aux USA à la fin des années 90 Impact potentiellement énorme en terme de santé publique Effet complexe: les hormones ont un rôle potentiel sur des maladies multiples (cancer, ostéoporose, maladies cardio-vasculaire)
Supplémentation hormonale après la ménopause aladie Effet sur le risque* ardiopathie ischémique Diminution: 40-80% stéoporose (Fr. de hanche) Diminution: 30-60% ancer du sein Augmentation: 10-20% ancer de l endomètre Augmentation: 700% lzheimer s Diminution:? mbolie Pulmonaire & Augmentation: 200-300% hrombose veineuse * Réduction relative de risque; Études observationnelles (cas - témoins et cohortes)
Nurses Health Study (NEJM,1991) Prospective cohort study, n = 48,470 337,000 person years of follow-up Estrogen Use Risk of Major Coronary Disease* Relative Risk** Never Used 1.4 1.0 Former user 1.3 0.83 (0.65-1.05) Current user 0.6 0.56 (0.40-0.80) * Events per 1000 women-years of follow-up ** Relative Risk (95% CI) compared to never users
* CNN, 4/10/97 Meta-analysis 1997 Benefits (for CHD, osteoporosis) outweigh risks (breast cancer) and side effects All post-menopausal women should be taking ERT *
ais toutes les données sont obtenues dans de études observationnelles! Les femmes ont choisi de prendre le traitement Les utilisatrices sont-elles différentes des non utilisatrices? Âge État de santé Plus d'exercice Comportements de santé. Solutions Ajustements (mais pas toujours possible) Essais randomisés
Design 3 Essai randomisé et contrôlé Randomized Controlled Trial Gold standard pour l évaluation de l effet des procédures ou stratégies médicales Le plus souvent utilisé dans le cadre des essais dit de «phase 3» dans le monde des essais médicamenteux
Essai randomisé et contrôlé Présent Suivi Début Randomisation Résultat Population d étude Traitement A Temps Traitement B Maladie présente Maladie absente Maladie présente Maladie absente
La table de contingence est encore la même AVC+ Sujets AVC- «FdeR» (traitement) Présent Absent AVC: accident vasculaire cérébral
mais les sujets sont assignés par tirage au sort au traitement Tirage au sort pour créer les groupes Trt + AVC Sujets AVC- 1 Groupe Controle 2 Evaluation de la maladie
Essai randomisé et contrôlé: ce qu il fait, ce qu il ne fait pas e design peut réduire les roblèmes liés à: iais de jugement des édecins ttentes des patients rise en charge bservance Ce design ne permet pas de Faire l impasse sur une bonne question D oublier la qualité de l analyse statistique D oublier l importance de méthode expérimentale tous les niveaux de l essai
Essai randomisé et contrôlé: Éthique Placebo et autre outils de contrôle De manière générale, le contrôle est un élément essentiel, pas toujours facile à mettre en œuvre, ni accepté. Randomisation : charge émotionnelle Médecins: consentement informé, non connaissance du traitement Patients : cobayes
Essai randomisé et contrôlé: Eléments - clés Question TRES précise Validité interne Qualité des CRITERES DE JUGEMENT et des méthodes et instruments d mesure Calcul réaliste du nombre de sujets Choix du comparateur Qualité du contrôle : co-intervention, aveugle difficile, violation de la randomisation, perdus de vue. Qualité de la randomisation (masquage) Qualité du suivi Résultats Quantité d effet Analyse en intention de traiter
Essai randomisé et contrôlé: Encadrement L essai randomisé et contrôlé, plus que tout autre design, est une affaire de professionnels: AVANT Protocole, investigateurs et promoteur Déclarations (CPP, CNIL, Autorités compétentes ) Pendant ARC/TEC BPC APRES (mais mieux vaut s en occuper avant!!!) CONSORT Statement Règles de lecture de l EBM Working group
Heart and Estrogen-Progestin Replacement Study (HERS)- 1998 Secondary prevention of heart disease HRT (Prempro) vs. placebo (4-5 years) 2763 women with established heart disease Postmenopausal, < 80 years, mean age 67 20 clinical centers in U.S.A Endpoint Placebo HRT RR P New CHD 176 172 0.99 0.91 Any fracture 138 130 0.95 0.70
Women s Health Initiative Hormone Replacement Therapy (2002) Randomized trial 16,608 women with uterus (ERT + progestin vs. placebo) ~11,000 women without uterus (ERT alone vs. placebo) Ages 50-79, mean age 64 Represent broad range of U.S. women 40 clinical centers Follow-up planned for 8.5 years, to end in 2005
Women s Health Initiative Hormone Replacement Therapy (2002) Combination therapy arm stopped early (3 years) Mean 5.2 years of follow-up Overall, health risks outweigh benefits Significant increased risk for invasive breast cancer HRT users
WHI: Invasive Breast Cancer 3% 2% 1% years 1 2 3 4 5 6 7
WHI: Coronary Heart Disease years 1 2 3 4 5 6
Le diagnostic: De nombreuses questions Quels objectifs? Reproductibilité Performances Efficacité Quelles métriques? Sensibilité, spécificité Quelles méthodes test index & test de référence Méthodologie Design Méthodologie (cohorte, cas contrôle )
Tests diagnostiques Architecture de leur évaluation Phase 1: Do test results in affected patients differ from those in normal individuals? Phase 2: Are patients with certain test results more likely to have the target disorder? Phase 3: Do test results distinguish patients with and without the target disorder among those in whom it is clinically sensible to suspect the disorder? Phase 4: Do patients undergoing the diagnostic test fare better than similar untested patients? Sackett, BMJ, 2002
Test diagnostique: quelle place dans le processus diagnostique? P Bossuyt, BMJ, 2006
Mettre en place une étude diagnostique S assurer de la validité Choisir la bonne étrique statistique et la publication est assurée!!! S assurer de l utilité atique de la recherche
Evaluation d un test diagnostique schéma idéal Cohorte Test évalué Test de référence Classification des résultats en aveugle
Evaluation d un test diagnostique: autre design (1) Cas Contrôles sque de biais Test évalué Test de référence Classification des résultats en aveugle
Evaluation d un test diagnostique: autre design (2) Cohorte Test évalué ue de biais Référence 1 Référence 2 Classification des résultats en aveugle
Etude diagnostique: validité. Réunir un ensemble de patients représentatifs de la maladie ( appropriate spectrum ). Soumettre tous les patients au test de référence («gold standard»). S assurer que la comparaison au test de référence est réellement: Indépendante En aveugle?
Réunir un ensemble de patients représentatifs de l maladie Biais de représentativité (Spectrum bias) Sujet: valeur de la radiologie standard pour le diagnostic de pneumonie Echantillon biaisé: pratiquer la radio seulement chez les patients ayant une forte suspicion de pneumonie Echantillon correct: tous les patients ayant un trouble respiratoire et chez qui une radio pulmonaire est pratiquée
oumettre tous les patients au gold standard Biais de vérification Sujet: valeur de l ECG d effort dans le diagnostic de l insuffisance coronaire Gold standard : angiographie Biais de vérification: seuls les patients positifs à l ECG ont une angiographie. Méthode correcte: tous les patients ont une angiographie
assurer que la comparaison au test de référence es réellement indépendante Biais d observation (observer bias) Sujet: valeur de l ECG d effort dans le diagnostic de l insuffisance coronaire Gold standard : angiographie Biais d observation: le radiologue qui pratique l angiographie connait le résultat du test d effort Méthode correcte: séparer la réalisation de l angiographie de son interprétation
Test diagnostiques: les métriques Situation de recherche M+ M- T+ VP FP Sensibilité Se= VP (VP+FN) T- FN VN Spécificité Se= VN (FP+VN)
Test diagnostiques: les métriques Situation clinique T+ T- M+ M- VP FP FN VN Probabilité post test: M+ si Test + :VPP VP (VP+FP) Probabilité post test: M- si Test - : VPN VN (FN+VN)
Test diagnostiques: les métriques Situation clinique: les rapports de vraisemblance (RV) 1- T+ M+ M- VP FP RV+ = VP Total(M+) FP Total(M-) T- FN VN RV- = FN Total(M+) VN Total(M-) Total M+ Total M- Un RV compris entre 1 et l augme la probabilité de la maladie Un RV compris entre 0 et 1 diminu probabilité de la maladie
Test diagnostiques: les métriques Situation clinique: les rapports de vraisemblance (RV) -2- T+ M+ M- a b RV+ = a Total(M+) b Total(M-) Test outeux e f RV d = e Total(M+) f Total(M-) T- c d RV- = c Total(M+) d Total(M-) Total M+ Total M-
Test diagnostiques: les métriques Rapport des cotes diagnostique (RCd) M+ M- a b c d RCd = a c / b d La cote d un résultat positif du test chez les personnes malades divisé par la cote d un résultat positif du test chez les personnes non malades. Le RCd est un résumé simple des résultats d une table 2 2, incorporant la sensibilité et la spécificité. Exprimé en termes de sensibilité et spécificité il s écrit: RCd = Se (1-Se) (1-Sp) (Sp)
Analyse de la reproductibilité du test Coefficient kappa Value of Kappa Strength of Agreement <0.20 Poor 0.21-0.40 Fair 0.41-0.60 Moderate 0.61-0.80 Good 0.81-1.00 Very Good Kappa: concordance inter ou intra-observateur corrigée de la concordance liée au hasard
Nombre de sujets nécessaire raie difficulté pour les radiologues -chercheurs q e recrutent pas directement les patients: connaitr a population disponible omme TOUTE étude, une étude diagnostique doi omprendre le calcul du nb de sujets nécessaire articularité: la multiplicité des métriques tilisables (Se, Sp, les 2, LR, courbe ROC ) et des uestions (comparaison, précision )
Preuve empirique de biais liés au design Lijmer JG et al. JAMA; 1999: 282: 1061-1066.
Les standards de publication es guides méthodologiques très utiles : exemple du STARD Statement
Les standards de publication (1) STARD Statement Guide Describe the study population: The inclusion and exclusion criteria, setting and locations where the data were collected. Describe participant recruitment: Was recruitment based on presenting symptoms results from previous tests, or the fact that the participants had received the (evaluated) index tests or the (golden) reference standard? Describe participant sampling: Was the study population a consecutive series of participants defined by the selection criteria in items 3 and 4? If not, specify how participants were further selected. Describe data collection: Was data collection planned before the index test and reference standard were performed (prospective study) or after (retrospective study)?
Les standards de publication(2) STARD Statement Guide Describe the reference standard and its rationale. Describe technical specifications of material and methods involved including how a when measurements were taken, and/or cite references for index tests and reference standard. Describe the number, training and expertise of the persons executing and reading th index tests and the reference standard. Describe whether or not the readers of the index tests and reference standard were b (masked) to the results of the other test and describe any other clinical information available to the readers. Describe methods for calculating or comparing measures of diagnostic accuracy, an the statistical methods used to quantify uncertainty (e.g. 95% confidence intervals). Describe methods for calculating test reproducibility, if done.
Les standards de publication(3) STARD Statement Guide Report time interval from the index tests to the reference standard, and any treatme administered between. Report distribution of severity of disease (define criteria) in those with the target condition; other diagnoses in participants without the target condition. Report a cross tabulation of the results of the index tests (including indeterminate a missing results) by the results of the reference standard; for continuous results, the distribution of the test results by the results of the reference standard. Report any adverse events from performing the index tests or the reference standar Report estimates of diagnostic accuracy and measures of statistical uncertainty (e.g. 95% confidence intervals). Report how indeterminate results, missing responses and outliers of the index tests were handled. Report estimates of variability of diagnostic accuracy between subgroups of participants, readers or centers, if done.
La méta-analyse De plus en plus utilisée S applique à TOUTES les études: thérapeutiques, diagnostiques, pronostiques Utilisations: Préparation à un travail original Résumé de plusieurs études Recherche d explications à des discordances interétudes
Etapes d une méta analyse Définir la question posée Critères d inclusion et d exclusion (Population, Intervention, Résultat) Hypothèses a priori concernant une hétérogénéité Définir la méthode de recherche de la littérature : Sources d information (bases de données, recherche manuelle, ) Restrictions éventuelles (temps, langue ) Identifier les titres et résumés correspondant Identification des critères d inclusion ou de non inclusion Obtenir les articles complets des titres et abstracts sélectionnés Appliquer des critères d inclusion ou de non inclusion sur les articles Sélectionner une liste finale d articles Evaluer l agrément dans cette sélection (2 personnes) et conserver la trace des choix effectué
Etapes d une méta analyse (2). Extraire les données (créer la base de données) Participants, interventions, interventions comparatives, schémas d étud Résultats Critères de qualité Agrément (2 personnes). Conduire l analyse Choix de la méthode destinée à pooler les données Explorer l hétérogénéité (analyse de sensibilité, analyse en sous groupes. Explorer la possibilité de biais de publication
isual field loss or deterioration of optic disc, or both, among patient andomised to pressure lowering treatment v no treatment in ocular hypertension. Maier, P. C et al. BMJ 2005;331:134
M-A diagnostique Choix du modèle
Représentation graphique Forrest plot BMJ, 2001
Courbe ROC Tests diagnostiques avec seuil BMJ, 2001
Meta-analysis analysis of diagnostic studies Louvard et al, JACC 2006
: Positive likelihood ratios (squares) and 95% CI for strategies used to confirm a diagnos onary embolism. Size of square is related to variance of study. Broken line represents po positive likelihood ratio, and limits of diamond represents 95% CI of pooled ratios M. et al. BMJ 2005;331:259
Post-test probability according to pre-test probability and pooled values (solid line) or lim 95% confidence intervals (broken lines) of the positive likelihood ratio. et al. BMJ 2005;331:259
M-A pronostique Facteurs de risque de l embolie pulmonaire Sanchez et al, 2008