Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils?

Transcription

1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté de Médecine René Descartes

2 Le contexte: Médecine fondée sur le niveau de preuve Evidence based medicine is The conscientious, explic and judicious use of current best evidence in makin decisions about the care of individual patients. The best evidence is clinically relevant researc especially patient-centered clinical research into th accuracy and precision of diagnostic tests, the power o prognostic markers, and the efficacy and safety o therapeutic, rehabilitative, and preventive regimens. DL Sackett, 1996

3 Le contexte technico-réglementaire

4 Recherche: Le minimum requis Une bonne question Une revue exhaustive de la littérature Des malades en nombre suffisant (échapper au piège ombre de sujets nécessaire) Un méthodologiste (il n y a pas que des questio tatistiques) et un clinicien qui dialoguent Des soins de base de qualité Du temps clinique (médecins, manipulateurs) et d rofessionnels (Unité de Recherche Clinique) dédiés à echerche

5 La précision de la question de recherche est l élément le plus important de tout protocole de recherche «Ceux qui ne savent pas où ils vont sont surpris d'arriver ailleurs» Pierre DAC

6 Les questions Question Efficacité d une thérapeutique, d une méthode diagnostique, de dépistage Etiologie Pronostic Diagnostic Méta-analyse Méthode Essai contrôlé randomisé Etude cas témoin Devenir d un malade, évaluation d un risque Identification d une maladie Synthèse

7 Les standards de publication (1) Méthode Essai randomisé et contrôlé Etude diagnostique Etude observationnelle (épidémiologique) Marqueur pronostique (cancer) Etude cas-témoin Méta-analyse Guide CONSORT STARD STROBE REMARK QUOROM/PRISMA &MOOSE

8 Les standards de publication (2) Méthode Série de cas Etude d un cas (case report) Association gène -maladie Enquête (étude transversale) Analyse internet Etude qualitative Guide

9

10 Une question, beaucoup de méthodes Il y a souvent de nombreuses manières de répondre à la même question. La méthode que vous choisissez sera déterminée par beaucoup de facteurs. Avant de choisir: connaître les forces et les faiblesses de chaque type de méthodologie.

11 Recherche en imagerie Quelle méthodologie: la bonne! Quelle question: Thérapeutique, Pronostique, Diagnostique, Synthèse Quels outils: la rigueur, la lecture de la littérature, la connaissance des biais, dans un axe méthodologique donné Plutôt qu une connaissance approximative des statistiques

12 Design 1. Cas - Témoin Dans une étude cas/témoin on a le «résultat de santé» (par exemple, une maladie) et on en recherche les causes (par exemple, facteurs de risque) chez les personnes qui partagent ces résultats. Le plus souvent, toute l'étude est réalisée avec une information déjà enregistrée, et plus ou moins disponible (dossiers des patients) ou des bases de données.

13 Début de Present l étude Identify Cases and Controls Identifier cas et témoins Assess Risk Factor Évaluer les F de R Cases Cas malades WITH Disease Fde R: PRESENT Fde R: ABSENT Témoins non malades Controls WITHOUT Disease Fde R: PRESENT Fde R: ABSENT

14 Données présentées dans une table de contingence 2x2 AVC+ Sujets AVC- Facteur de risque (Hypertension) Présent Absent 2 1 Que FdR C: Accident vasculaire cérébral 2 groupes de sujets

15 Analyse FdeR Present Maladie Presente a maladie Absente b Rapport des cotes (odds ratio) F de R Absent c a, b, c, d sont des effectifs d (a/(a+c)) /(c /(a+c)) (b/(b+d)) /(d /(b+d))

16 Design 1 Cas Témoin : Avantages Efficace et simple Utile pour étudier les maladies rares Considérations éthiques: souvent pas u problème important, quoique Les dossiers patients doivent être examinés (CNIL? Comité d éthique: y penser Selon la nature de l'étude (génétique) consentement des patients peut ou non être exigé

17 Design 1 Cas Témoin: Faiblesses L'information disponible peut être insatisfaisante: Qualité de la mesure Variabilité dans le temps Données manquantes Biais de mémorisation Quelle définition du groupe contrôle?

18 Design 2: Cohorte Cette conception d'étude adopte une approch longitudinale. Cette conception n'est pas appropriée aux projet à court terme!! Des sujets avec ou sans un facteur de risqu identifiable (hypertension, traitement) sont suivi et présentent ou non un certain état (acciden vasculaire cérébral (AVC)). Les sujets avec et sans le facteur de risque son comparés.

19 Identifier les sujets Présent Mesurer Les F de R Futur Mesurer les Résultats opulation étude Maladie Présente non inclus F de R PRESENT Temps F de R ABSENT Maladie PRESENTE Maladie ABSENTE Maladie PRESENTE Maladie ABSENTE

20 La table de contingence est en apparence la même AVC + Sujets AVC - FdeR (Hypertension) Présent Absent AVC: accident vasculaire cérébral

21 mais l ordre de l évaluation facteur de risque / maladie est inversé AVC + Sujets AVC - teur de ue pertension) Présent Absent 2 1 Facteur de risque Présent? Maladie

22 Analyse R sent R sent Maladie Presente a c a, b, c, d sont des effectifs Maladie Absente b d Risque de maladie si le facteur est absent = a ( a + b) Risque de maladie si le facteur est présent = c ( c + d )

23 Risque relatif Maladie Presente Maladie Absente RR= FdR Present FdR Absent a c b d a ( a c ( c + b) + d ) a, b, c, d sont des effectifs

24 Design 2 Cohorte: les avantages. Les données peuvent être recueillies d'une façon complète et uniforme Le biais de mémorisation n est pas un problème La définition du résultat («outcome») est homogène chez tous les sujets Pas de sélection des groupes, volontaire ou non

25 Design 2 Cohorte: les désavantages. «Design» coûteux en temps et en argent Le choix de la population d'étude peut influencer la généralisation des résultats Effet du temps: Perdus de vue Changement des critères de jugement de méthodologie de mesure Biais de surveillance

26 Suppléments hormonaux après la ménopause Question thérapeutique importante S'applique à des millions de femmes Le Prempro (oestrogène/progestine) était le médicament le +prescrit aux USA à la fin des années 90 Impact potentiellement énorme en terme de santé publique Effet complexe: les hormones ont un rôle potentiel sur des maladies multiples (cancer, ostéoporose, maladies cardio-vasculaire)

27 Supplémentation hormonale après la ménopause aladie Effet sur le risque* ardiopathie ischémique Diminution: 40-80% stéoporose (Fr. de hanche) Diminution: 30-60% ancer du sein Augmentation: 10-20% ancer de l endomètre Augmentation: 700% lzheimer s Diminution:? mbolie Pulmonaire & Augmentation: % hrombose veineuse * Réduction relative de risque; Études observationnelles (cas - témoins et cohortes)

28 Nurses Health Study (NEJM,1991) Prospective cohort study, n = 48, ,000 person years of follow-up Estrogen Use Risk of Major Coronary Disease* Relative Risk** Never Used Former user ( ) Current user ( ) * Events per 1000 women-years of follow-up ** Relative Risk (95% CI) compared to never users

29 * CNN, 4/10/97 Meta-analysis 1997 Benefits (for CHD, osteoporosis) outweigh risks (breast cancer) and side effects All post-menopausal women should be taking ERT *

30 ais toutes les données sont obtenues dans de études observationnelles! Les femmes ont choisi de prendre le traitement Les utilisatrices sont-elles différentes des non utilisatrices? Âge État de santé Plus d'exercice Comportements de santé. Solutions Ajustements (mais pas toujours possible) Essais randomisés

31 Design 3 Essai randomisé et contrôlé Randomized Controlled Trial Gold standard pour l évaluation de l effet des procédures ou stratégies médicales Le plus souvent utilisé dans le cadre des essais dit de «phase 3» dans le monde des essais médicamenteux

32 Essai randomisé et contrôlé Présent Suivi Début Randomisation Résultat Population d étude Traitement A Temps Traitement B Maladie présente Maladie absente Maladie présente Maladie absente

33 La table de contingence est encore la même AVC+ Sujets AVC- «FdeR» (traitement) Présent Absent AVC: accident vasculaire cérébral

34 mais les sujets sont assignés par tirage au sort au traitement Tirage au sort pour créer les groupes Trt + AVC Sujets AVC- 1 Groupe Controle 2 Evaluation de la maladie

35 Essai randomisé et contrôlé: ce qu il fait, ce qu il ne fait pas e design peut réduire les roblèmes liés à: iais de jugement des édecins ttentes des patients rise en charge bservance Ce design ne permet pas de Faire l impasse sur une bonne question D oublier la qualité de l analyse statistique D oublier l importance de méthode expérimentale tous les niveaux de l essai

36 Essai randomisé et contrôlé: Éthique Placebo et autre outils de contrôle De manière générale, le contrôle est un élément essentiel, pas toujours facile à mettre en œuvre, ni accepté. Randomisation : charge émotionnelle Médecins: consentement informé, non connaissance du traitement Patients : cobayes

37 Essai randomisé et contrôlé: Eléments - clés Question TRES précise Validité interne Qualité des CRITERES DE JUGEMENT et des méthodes et instruments d mesure Calcul réaliste du nombre de sujets Choix du comparateur Qualité du contrôle : co-intervention, aveugle difficile, violation de la randomisation, perdus de vue. Qualité de la randomisation (masquage) Qualité du suivi Résultats Quantité d effet Analyse en intention de traiter

38 Essai randomisé et contrôlé: Encadrement L essai randomisé et contrôlé, plus que tout autre design, est une affaire de professionnels: AVANT Protocole, investigateurs et promoteur Déclarations (CPP, CNIL, Autorités compétentes ) Pendant ARC/TEC BPC APRES (mais mieux vaut s en occuper avant!!!) CONSORT Statement Règles de lecture de l EBM Working group

39 Heart and Estrogen-Progestin Replacement Study (HERS) Secondary prevention of heart disease HRT (Prempro) vs. placebo (4-5 years) 2763 women with established heart disease Postmenopausal, < 80 years, mean age clinical centers in U.S.A Endpoint Placebo HRT RR P New CHD Any fracture

40 Women s Health Initiative Hormone Replacement Therapy (2002) Randomized trial 16,608 women with uterus (ERT + progestin vs. placebo) ~11,000 women without uterus (ERT alone vs. placebo) Ages 50-79, mean age 64 Represent broad range of U.S. women 40 clinical centers Follow-up planned for 8.5 years, to end in 2005

41 Women s Health Initiative Hormone Replacement Therapy (2002) Combination therapy arm stopped early (3 years) Mean 5.2 years of follow-up Overall, health risks outweigh benefits Significant increased risk for invasive breast cancer HRT users

42 WHI: Invasive Breast Cancer 3% 2% 1% years

43 WHI: Coronary Heart Disease years

44 Le diagnostic: De nombreuses questions Quels objectifs? Reproductibilité Performances Efficacité Quelles métriques? Sensibilité, spécificité Quelles méthodes test index & test de référence Méthodologie Design Méthodologie (cohorte, cas contrôle )

45 Tests diagnostiques Architecture de leur évaluation Phase 1: Do test results in affected patients differ from those in normal individuals? Phase 2: Are patients with certain test results more likely to have the target disorder? Phase 3: Do test results distinguish patients with and without the target disorder among those in whom it is clinically sensible to suspect the disorder? Phase 4: Do patients undergoing the diagnostic test fare better than similar untested patients? Sackett, BMJ, 2002

46 Test diagnostique: quelle place dans le processus diagnostique? P Bossuyt, BMJ, 2006

47 Mettre en place une étude diagnostique S assurer de la validité Choisir la bonne étrique statistique et la publication est assurée!!! S assurer de l utilité atique de la recherche

48 Evaluation d un test diagnostique schéma idéal Cohorte Test évalué Test de référence Classification des résultats en aveugle

49 Evaluation d un test diagnostique: autre design (1) Cas Contrôles sque de biais Test évalué Test de référence Classification des résultats en aveugle

50 Evaluation d un test diagnostique: autre design (2) Cohorte Test évalué ue de biais Référence 1 Référence 2 Classification des résultats en aveugle

51 Etude diagnostique: validité. Réunir un ensemble de patients représentatifs de la maladie ( appropriate spectrum ). Soumettre tous les patients au test de référence («gold standard»). S assurer que la comparaison au test de référence est réellement: Indépendante En aveugle?

52 Réunir un ensemble de patients représentatifs de l maladie Biais de représentativité (Spectrum bias) Sujet: valeur de la radiologie standard pour le diagnostic de pneumonie Echantillon biaisé: pratiquer la radio seulement chez les patients ayant une forte suspicion de pneumonie Echantillon correct: tous les patients ayant un trouble respiratoire et chez qui une radio pulmonaire est pratiquée

53 oumettre tous les patients au gold standard Biais de vérification Sujet: valeur de l ECG d effort dans le diagnostic de l insuffisance coronaire Gold standard : angiographie Biais de vérification: seuls les patients positifs à l ECG ont une angiographie. Méthode correcte: tous les patients ont une angiographie

54 assurer que la comparaison au test de référence es réellement indépendante Biais d observation (observer bias) Sujet: valeur de l ECG d effort dans le diagnostic de l insuffisance coronaire Gold standard : angiographie Biais d observation: le radiologue qui pratique l angiographie connait le résultat du test d effort Méthode correcte: séparer la réalisation de l angiographie de son interprétation

55 Test diagnostiques: les métriques Situation de recherche M+ M- T+ VP FP Sensibilité Se= VP (VP+FN) T- FN VN Spécificité Se= VN (FP+VN)

56 Test diagnostiques: les métriques Situation clinique T+ T- M+ M- VP FP FN VN Probabilité post test: M+ si Test + :VPP VP (VP+FP) Probabilité post test: M- si Test - : VPN VN (FN+VN)

57 Test diagnostiques: les métriques Situation clinique: les rapports de vraisemblance (RV) 1- T+ M+ M- VP FP RV+ = VP Total(M+) FP Total(M-) T- FN VN RV- = FN Total(M+) VN Total(M-) Total M+ Total M- Un RV compris entre 1 et l augme la probabilité de la maladie Un RV compris entre 0 et 1 diminu probabilité de la maladie

58 Test diagnostiques: les métriques Situation clinique: les rapports de vraisemblance (RV) -2- T+ M+ M- a b RV+ = a Total(M+) b Total(M-) Test outeux e f RV d = e Total(M+) f Total(M-) T- c d RV- = c Total(M+) d Total(M-) Total M+ Total M-

59 Test diagnostiques: les métriques Rapport des cotes diagnostique (RCd) M+ M- a b c d RCd = a c / b d La cote d un résultat positif du test chez les personnes malades divisé par la cote d un résultat positif du test chez les personnes non malades. Le RCd est un résumé simple des résultats d une table 2 2, incorporant la sensibilité et la spécificité. Exprimé en termes de sensibilité et spécificité il s écrit: RCd = Se (1-Se) (1-Sp) (Sp)

60 Analyse de la reproductibilité du test Coefficient kappa Value of Kappa Strength of Agreement <0.20 Poor Fair Moderate Good Very Good Kappa: concordance inter ou intra-observateur corrigée de la concordance liée au hasard

61 Nombre de sujets nécessaire raie difficulté pour les radiologues -chercheurs q e recrutent pas directement les patients: connaitr a population disponible omme TOUTE étude, une étude diagnostique doi omprendre le calcul du nb de sujets nécessaire articularité: la multiplicité des métriques tilisables (Se, Sp, les 2, LR, courbe ROC ) et des uestions (comparaison, précision )

62

63 Preuve empirique de biais liés au design Lijmer JG et al. JAMA; 1999: 282:

64 Les standards de publication es guides méthodologiques très utiles : exemple du STARD Statement

65

66 Les standards de publication (1) STARD Statement Guide Describe the study population: The inclusion and exclusion criteria, setting and locations where the data were collected. Describe participant recruitment: Was recruitment based on presenting symptoms results from previous tests, or the fact that the participants had received the (evaluated) index tests or the (golden) reference standard? Describe participant sampling: Was the study population a consecutive series of participants defined by the selection criteria in items 3 and 4? If not, specify how participants were further selected. Describe data collection: Was data collection planned before the index test and reference standard were performed (prospective study) or after (retrospective study)?

67 Les standards de publication(2) STARD Statement Guide Describe the reference standard and its rationale. Describe technical specifications of material and methods involved including how a when measurements were taken, and/or cite references for index tests and reference standard. Describe the number, training and expertise of the persons executing and reading th index tests and the reference standard. Describe whether or not the readers of the index tests and reference standard were b (masked) to the results of the other test and describe any other clinical information available to the readers. Describe methods for calculating or comparing measures of diagnostic accuracy, an the statistical methods used to quantify uncertainty (e.g. 95% confidence intervals). Describe methods for calculating test reproducibility, if done.

68 Les standards de publication(3) STARD Statement Guide Report time interval from the index tests to the reference standard, and any treatme administered between. Report distribution of severity of disease (define criteria) in those with the target condition; other diagnoses in participants without the target condition. Report a cross tabulation of the results of the index tests (including indeterminate a missing results) by the results of the reference standard; for continuous results, the distribution of the test results by the results of the reference standard. Report any adverse events from performing the index tests or the reference standar Report estimates of diagnostic accuracy and measures of statistical uncertainty (e.g. 95% confidence intervals). Report how indeterminate results, missing responses and outliers of the index tests were handled. Report estimates of variability of diagnostic accuracy between subgroups of participants, readers or centers, if done.

69 La méta-analyse De plus en plus utilisée S applique à TOUTES les études: thérapeutiques, diagnostiques, pronostiques Utilisations: Préparation à un travail original Résumé de plusieurs études Recherche d explications à des discordances interétudes

70 Etapes d une méta analyse Définir la question posée Critères d inclusion et d exclusion (Population, Intervention, Résultat) Hypothèses a priori concernant une hétérogénéité Définir la méthode de recherche de la littérature : Sources d information (bases de données, recherche manuelle, ) Restrictions éventuelles (temps, langue ) Identifier les titres et résumés correspondant Identification des critères d inclusion ou de non inclusion Obtenir les articles complets des titres et abstracts sélectionnés Appliquer des critères d inclusion ou de non inclusion sur les articles Sélectionner une liste finale d articles Evaluer l agrément dans cette sélection (2 personnes) et conserver la trace des choix effectué

71 Etapes d une méta analyse (2). Extraire les données (créer la base de données) Participants, interventions, interventions comparatives, schémas d étud Résultats Critères de qualité Agrément (2 personnes). Conduire l analyse Choix de la méthode destinée à pooler les données Explorer l hétérogénéité (analyse de sensibilité, analyse en sous groupes. Explorer la possibilité de biais de publication

72 isual field loss or deterioration of optic disc, or both, among patient andomised to pressure lowering treatment v no treatment in ocular hypertension. Maier, P. C et al. BMJ 2005;331:134

73 M-A diagnostique Choix du modèle

74 Représentation graphique Forrest plot BMJ, 2001

75 Courbe ROC Tests diagnostiques avec seuil BMJ, 2001

76 Meta-analysis analysis of diagnostic studies Louvard et al, JACC 2006

77 : Positive likelihood ratios (squares) and 95% CI for strategies used to confirm a diagnos onary embolism. Size of square is related to variance of study. Broken line represents po positive likelihood ratio, and limits of diamond represents 95% CI of pooled ratios M. et al. BMJ 2005;331:259

78 Post-test probability according to pre-test probability and pooled values (solid line) or lim 95% confidence intervals (broken lines) of the positive likelihood ratio. et al. BMJ 2005;331:259

79 M-A pronostique Facteurs de risque de l embolie pulmonaire Sanchez et al, 2008