Recherche à visée diagnostique Particularités organisationnelles et méthodologiques Gilles Chatellier Unité d Epidémiologie et de Recherche Clinique

Transcription

1 Recherche à visée diagnostique Particularités organisationnelles et méthodologiques Gilles Chatellier Unité d Epidémiologie et de Recherche Clinique HEGP Paris 1

2 Les principales étapes d un projet Idée Revue de la littérature Question Protocole Financement (si besoin) Autorisations: Collègues (déontologie), CPP (IRB), CCTIRS-CNIL Mise en œuvre (aide de spécialistes de la recherche clinique: URCs, CICs ) 2

3 Imagerie: quelques difficultés Les données: étude rétrospective (sur données PACS) ou prospective (définies par le projet) Une étude rétrospective n est pas forcément + facile à monter qu une étude prospective. Ex: étude rétrospective sur plus de 2 hôpitaux non opposition des patients, comité d éthique, CCTIRS CNIL... Les patients Attention! Ils sont recrutés par les cliniciens, pas les radiologues! Mise en place des circuits Nb de sujets nécessaire Acceptabilité (ex: relecture des clichés) 3

4 Imagerie: il n y a pas que le diagnostic! 4

5 The architecture of diagnostic research Phase Question Design I II III Do test results in affected patients differ from those in normal individuals? Are patients with certain test results more likely to have the target disorder? Do test results distinguish patients with and without the target disorder among those in whom it is clinically sensible to suspect the disorder? IV Do patients undergoing the diagnostic test fare better than similar untested patients? Case-control study Comparison of diagnostic marker mean concentrations Case-control study Cut-point selection Accuracy assessment (Se, Sp) Prospective cohort study Patients in whom it is clinically sensible to suspect the disease (clinical practice) Accuracy assessment (Se, Sp) Randomized controlled trial Patient outcome; process of care Sackett & Haynes. BMJ 2002;324:

6 Nouveau test : quelle place dans le processus diagnostique? Patrick Bossuyt, BMJ,

7 7

8 Preuve empirique de biais liés au design Lijmer JG et al. JAMA; 1999: 282:

9 Prévalence: influence sur les paramètres mesurés Mathématiquement, les valeurs prédictives varient selon la prévalence La prévalence influence également souvent les valeurs de sensibilité et spécificité d un même test, contrairement à la vision habituelle. Raisons: La situation clinique: dépistage, soins primaires, ou soins de référencent Le moment d utilisation du test dans la démarche diagnostique La différence tient autant aux malades (sévérité) qu aux non-malades (maladies associées) 9

10 Eléments clés d un projet de recherche sur un test diagnostique Echantillonnage de patients approprié (comparables à ceux chez qui le test sera utilisé en pratique) Test de référence appliqué à TOUS les patients indépendamment du résultat du test évalué Comparaison «la plus aveugle possible» à une méthode diagnostique de référence, le «gold standard» Analyse de la reproductibilité intra- et interobservateur Métriques Calcul de la taille de l échantillon (Validation du résultat dans un autre échantillon) 10

11 Obtenir une bonne validité externe de l étude Validité externe patients: Inclure un échantillon de taille adaptée Etre dans le cadre de la ou des situations «cibles» (médecine générale, urgences, service de cancérologie ) Validité externe test: choisir la méthode la plus utilisée, la dernière version, plusieurs fabricants... parmi les diverses possibilités Validité externe radiologues: utilisateurs expérimentés? avec des expériences différentes? 11

12 12

13 IRM-EP: study flow-chart IRM-EP,

14 Test de référence: Se poser des (bonnes) questions Définition de la référence, la «vérité»? Que faire il n y a pas de référence, de «vérité»? Définition dans le STARD: considered to be the best available method for establishing the presence or absence of the target condition it can be a single test or method, or a combination of methods and techniques, including clinical follow-up 14

15 Reference Standard (FDA) What constitutes best available method /reference method? Opinion and practice within the medical, laboratory and regulatory community Several possible methods could be considered May be no consensus reference standard exists May be reference standard exists but, for non-negligible % of intended use population, the reference standard is known to be in error FDA ADVICE: Consult with FDA on choice of reference standard before beginning your study Performance measures must be interpreted in context: report reference standard along with performance measures 15

16 Reference Standard (FDA) If a reference standard : is available: use it! is available, but impractical: use it to the extent possible. is not available or unacceptable for your situation: consider constructing one. is not available and cannot be constructed, use a non-reference standard and report agreement. 16

17 IRM-EP: Diagnostic reference standard The results of CTA performed on a 64-detector multislice CT unit served as reference. CTA was interpreted by one expert with a 12-year experience in CTA, blinded to other results and using previously described criteria [7]. We considered all positive CTA results, including single sub-segmental PE (SSS-PE) as confirming PE regardless of the pre-test clinical probability (reference, standard 1). Because the clinical significance of a single sub-segmental PE (SSS-PE) is unclear, we considered a second reference standard where SSS-PE was considered as a negative CTA result (reference, standard 2) [8]. When CTA was inconclusive, PE was excluded using a normal lung scintigraphy or an uneventful 3-month followup in patients left untreated. Patients with a negative CTA were followed-up for 3 months. IRM-EP,

18 Conséquences d un test de référence imparfait Test de référence imparfait + - Total Total Avec biais Sens 86.3% (44/51) Spec 99.4% (168/169) Test de référence parfait ( vérité ) + - Total Total Sans biais Sens 90.9% (44/51) Spec 97.2% (168/169) Misclassification bias (Begg 1987) 18

19 IRM-EP: test de référence imparfait 19

20 Eléments clés d un projet de recherche sur un test diagnostique Echantillonnage de patients approprié (comparables à ceux chez qui le test sera utilisé en pratique) Test de référence appliqué à TOUS les patients indépendamment du résultat du test évalué Comparaison «la plus aveugle possible» à une méthode diagnostique de référence, le «gold standard» Analyse de la reproductibilité intra- et interobservateur Métriques Calcul de la taille de l échantillon (Validation du résultat dans un autre échantillon) 20

21 Evaluation d un test diagnostique: schéma idéal Aveugle: - parfois très lourd à organiser - parfois impossible? - ex: un radiologue qui pratique une angiographie chez un coronarien connait le résultat des tests précédents séparer pratique et lecture de l examen Cohorte Test évalué Test de référence Classification des résultats en aveugle 21

22 Evaluation d un test diagnostique: autre schéma Cas Témoins Risque de biais: résultats dépendant du choix des cas et des témoins Test évalué Test de référence Classification des résultats en aveugle 22

23 Evaluation d un test diagnostique autre schéma Cohorte Test évalué Risque de biais Référence 1 Référence 2 Classification des résultats en aveugle 23

24 Concordance (agreement) Attention! Exemple Total Exemple Total Concordance observée = 96,5% = (40+512)/572) Valeur du test kappa pour les 2 tableaux: 0,782 24

25 Analyse de la reproductibilité Coefficient kappa Value of Kappa Strength of Agreement <0.20 Poor Fair Moderate Good Very Good Kappa: concordance inter- ou intra-observateur corrigée de la concordance liée au hasard 25

26 Test diagnostiques: les métriques Sensibilité M+ M- Se= VP (VP+FN) T+ VP FP Spécificité Se= VN (FP+VN) T- FN VN Probabilité post test: M+ si Test + = VPP VP (VP+FP) Probabilité post test: M- si Test = VPN VN (FN+VN) 26

27 Test diagnostiques: les métriques les rapports de vraisemblance (RV) 1- T+ M+ M- VP FP RV+ = VP FP Total(M+) Total(M-) T- FN VN RV- = FN Total(M+) VN Total(M-) Total M+ Total M- Un RV compris entre 1 et l augmente la probabilité de la maladie Un RV compris entre 0 et 1 diminue la probabilité de la maladie 27

28 Test diagnostiques: les métriques Les rapports de vraisemblance (RV) -2- M+ M- T+ a b RV+ = a Total(M+) b Total(M-) Test douteux e f RV d = e Total(M+) f Total(M-) T- c d RV- = c d Total(M+) Total(M-) Total M+ Total M- 28

29 IRM-EP: examen non concluant IRM-EP,

30 IRM-EP: examen non concluant Influence sur la concordance IRM-EP,

31 Test diagnostiques: les métriques Rapport des cotes diagnostique (RCd) T+ T- M+ M- a b c d RCd = a c / b d La cote d un résultat positif du test chez les personnes malades divisé par la cote d un résultat positif du test chez les personnes non malades. Le RCd est un résumé simple des résultats d une table 2 2, incorporant la sensibilité et la spécificité. Exprimé en termes de sensibilité et de spécificité il s écrit: RCd = Se (1-Se) (1-Sp) (Sp) 31

32 Nombre de sujets nécessaire Comme pour TOUTE étude, une étude diagnostique doit comprendre le calcul du nombre de sujets nécessaire. Particularité: La multiplicité des métriques utilisables (Se, Sp, Se et Sp, LR, courbe ROC ) La multiplicité des questions (comparaison, précision ) La vraie difficulté pour les radiologues-chercheurs qui ne recrutent pas directement les patients: connaitre la population disponible pour l étude. 32

33 IRM-EP: Nombre de sujets nécessaire IRM-EP,

34 FIN 34