Phases de l évaluation d un test diagnostique

Transcription

1 Introduction aux Statistiques Médicales Biostatistique Clinique EVALUATION D'UN TEST DIAGNOSTIQUE Phases de l évaluation d un test diagnostique 1. Reproductibilité, concordance, (inter et intra-observateur) 2. Validité, efficacité, «accuracy» 3. Utilité clinique Index kappa p o : proportion de résultats concordants observés p c : proportion de résultats concordants par chance B (+) (-) A (+) (-) K = p o = p c = (60 x 50) + (40 x 50) 100 x 100 = 0,80 = 0,50 K = 0,80 0,50 1 0,50 = 0,60 1

2 1 - p c po -pc K = p o p c Accord parfait K = 1 Accord > chance K > 0 Accord = chance K = 0 Accord < chance K < 0 Désaccord total K = 1 2. j. k 1 n11 n12 n1j n1k r1 2 n21 n22 n2j n2k r2.. i ni1 ni2 nij nik ri.. k nk1 nk2 nkj nkk rk c1 c2. cj. ck N K = Test de HO : K = 0 ou p o = p c SE (K) = SE H0 (K) = a c b d K = Z = 2

3 Echelle de magnitude kappa < 0 poor mauvaise 0 et < 0,2 slight négligeable 0,2 et < 0,4 fair faible 0,4 et < 0,6 moderate moyenne 0,6 et < 0,8 substantial bonne 0,8 almost perfect excellente Comparaison de 2 index kappa SE (K) = Test de HO : K A = K B Z = (+) A (-) A (+) (-) (+) A (-) A (+) (-) B (+) (-) B (+) (-) p o = 0,80 p o = 0,80 p o = 0,80 p o = 0,80 p c = 0,50 p c = 0,79 p c = 0,79 p c = 0,78 p 0,50 p 0,12 p 0,12 [ p 0,12 ] K = 0,60 K = 0,05 K = 0,05 K = 0,08 3

4 CONCORDANCE Kappa prévalence (dés-)équilibre des totaux marginaux 4

5 Coefficient de corrélation intraclasse Var entre sujets Var entre observations ICC = Variabilité entre sujets Variabilité totale X Y ICC = 0,636 ICC = 0,938 Limites d agrément (Bland & Altman) x-y d + z s d d d z s d (x+y) / 2 5

6 x y 1 12,0 14,0 2 13,5 14,5 3 13,5 13,0 4 15,0 13,5 5 16,5 15,5 6 12,0 13,5 7 14,0 14,0 8 14,5 13,0 9 13,0 12, ,0 14, d = 0 s d = 1,29 limites d agrément = 0 ± (1,96 x 1,29) = ± 2, ( x + y ) / 2 6

7 Validité d un test diagnostique Résultats binaires (dichotomiques) 1. Sensibilité et spécificité 2. Valeurs prédictives 3. Paramètres résumés 4. Biais 5. Problèmes Résultats quantitatifs et ordinaux Courbes ROC 7

8 Validité d un test diagnostique binaire Test (+) Malades a vrais positifs Non malades b faux positifs Malades Non malades Résultat (+)?? Test (-) c faux négatifs d vrais négatifs Résultat (-)?? Sensibilité = P (T+ M +) Spécificité = P (T - M -) Se = a / (a + c) Sp = d / (b + d) Résultat (+) Malades 20 Non malades 10 Intervalles de confiance Résultat (-) 5 15 Sei ; Se s Se z Se (1- Se) a c ² = 8,33 p = 0,004 Se = 20 / (20 + 5) = 0,80 Sp = 15 / ( ) = 0,60 Sp i ; Sp s Sp (1- Sp) Sp z b d avec z = 1,96 pour intervalles de confiance à 95% 8

9 Mal. Non mal Résultat (+) (-) Mal. Non mal Comparaison des Se et Sp de 2 tests diagnostiques évalués sur les mêmes sujets test 2 (+) (-) test 1 (+) (-). b ạ Se = 0,80 [0,64; 0,96] Sp = 0,60 [0,41; 0,79] Se = 0,80 [0,75; 0,85] Sp = 0,60 [0,54; 0,66] ² (a - b)² a b Probabilité de test (+) si maladie Résultat + malades a vrais positifs non malades b faux positifs? théorème de BAYES Résultat - c faux négatifs d vrais négatifs Probabilité de maladie si test (+) Sensibilité Se = a / (a + c) Spécificité Sp = d / (b + d) Valeur prédictive positive VPP = a / (a + b) Valeur prédictive négative VPN = d / (c + d) 9

10 mal. non mal. Résultat mal. non mal. malades non malades (+) Résultat (-) 5 75 Résultat Se = 20 / (20 + 5) = 0,80 Sp = 15 / ( = 0,60 VPP = 20 / ( ) = 0,67 VPN = 15 / (5 + 15) = 0,75 Se = 0,80 Sp = 0,60 VPP = 0,67 VPN = 0,75 = = Se = 0,80 Sp = 0,60 VPP = 0,29 VPN = 0,94 p = 0,50 p = 0,17 Théorème de Bayes P (M si T) = P (M) P (T si M) P (M) P (T si M) + P (M) P (T si M) Valeurs prédictives Sensibilité VPP = p Se p Se + (1-p) (1-Sp) positive négative Spécificité VPN = (1-p) Sp (1-p) Sp + p (1-Se) Prévalence 10

11 1,0 Sujet quelconque avec test HIV ELISA positif,8,6,4 Se (ELISA) = 0,999 Sp (ELISA) = 0,99 p = 0,001,2 0,2,4,6 PREVALENCE,8 1,0 VPN VPP VPP = = 0,091 0,001 x 0,999 [0,001 x 0,999] + [(1 0,001) x (1 0,990)] Se = 0.80 Sp = 0.60 HIV (+) HIV (-) Sujet quelconque avec 2 ème test HIV ELISA positif ELISA (+) ELISA (-) Se (ELISA) = 0,999 Sp (ELISA) = 0,99 VPP = 0, VPP = = 0, VPP = 0,091 x 0,999 [0,091 x 0,999] + [(1 0,091) x (1 0,990)] = 0,909 11

12 Probabilité de séropositivité test 1 test 2 P avant test 0,001 0,091 P après test 0,091 0,909 Gain P après - P avant 0,09 0,82 Diagnostic de cancer du sein [Dixon & Mansel, Br Med J, 1994] Sensibilité et spécificité Valeurs prédictives mammographie aspiration indices descriptifs approche rétrospective indices prédictifs approche prospective Se Sp VPP 0,86 0,90 0,95 0,95 0,95 0,998 indépendants de prévalence applicable à toute population dépendants de prévalence applicable seulement à la population étudiée prévalence 0,69 0,96 VPP avec prévalence = 0,96 mammographie 0,995 aspiration 0,998 évaluation des évaluation de l charactéristiques intrinsèques utilité clinique d un test diagnostique d un test diagnostique 12

13 pour un test binaire Rapport de vraisemblance P (résultat malade) RV = P (résultat non malade) P (res (+) malade) Se RV (+) = = P (res (+) non malade) 1- Sp P (res (-) malade) 1 - Se RV (-) = = P (res (-) non malade) Sp malades non malades Résultat (+) Résultat (-) 5 15 Se 0,80 RV (+) = = = 2 1-Sp 1-0,60 1-Se 1-0,80 RV (-) = = = 0,33 Sp 0,60 Probabilité Odd = P 1 - P malades non malades Résultat (+) Résultat (-) 5 15 P après 1 P après = P avant 1 P avant. Se 1 - Sp odd posttest = odd prétest x RV 0,67 0,50 = x RV 1 0,67 1-0,50 Rapport de vraisemblance 2 = 1 x 2 13

14 P après P avant Se = 1 - P après 1 - P avant 1 - Sp Nomogramme de Fagan 0,091 0,001 test 1 = 99,9 1 0, ,001 0,909 0,091 test 2 = 99,9 1 0, ,091 Nomogramme de Fagan appliqué au test ELISA Efficacité diagnostique Res (+) Res (-) Res (+) Res (-) malades non malades a+d E = a+b+c+d E = = 0, E = 0,99!!! 14

15 Index de Youden J = Se + Sp - 1 [0,1] Biais et problèmes Res (+) Res (-) malades non malades J = 0,80 + 0,60-1 = 0,40 biais du spectre biais de non indépendance biais de vérification Res (+) Res (-) J = = 0 résultats incertains test de référence imparfait absence de test de référence Représentativité de l'échantillon sujets malades = "sickest of the sick" non malades = "wellest of the well" test étudié test de référence sensibilité et spécificité surestimées biais du spectre INDEPENDANCE échantillon représentatif du problème diagnostique 15

16 habituellement Biais de vérification surestime la sensibilité sous-estime la spécificité FREQUENT QUANTITATIVEMENT IMPORTANT Correction du biais de vérification Vérification dépend seulement du résultat du test test (+) (-) mal non mal vérif non vérif a b t 1 u 1 c d (t 1 + u 1 ) t 0 a Se = (t 1 + u 1 ) t 0 a + (t 0 + u 0 ) t 1 c t 0 u 0 (t 0 + u 0 ) t 1 d Sp = (t 0 + u 0 ) t 1 d + (t 1 + u 1 ) t 0 b mal. non mal. vérif non vérif Résultats incertains Résultat (+) malades non malades Résultat (-) Res (+) a b Res? estimations apparentes estimations corrigées Res (-) c d Sensibilité 0,86 0,62 Spécificité 0,90 0,97 - estimation de la situation la moins favorable - estimation des deux possibilités - rendement diagnostique avec Se et Sp apparentes - courbes ROC 16

17 Résultats apparents Vrais résultats mal non mal mal non mal mal non mal res (+) (+) res? 10 10? res (-) (-) ) Se = 86 / 110 = 0,78 & Sp = 90 / 110 = 0, Se = 0,86 Sp = 0, Se? Sp? 2) 0,78 < Se < 0,87 = 96 / 110 0,82 < Sp < 0,91 = 100 / 110 mal non mal res (+) res? res (-) ) Y(+) = = 0,91 with Se' = 0, Y(-) = = 0,91 with Sp' = 0, Test de référence imparfait Résultat (+) Résultat (-) malades a c non malades Se = fonction de Sp [test de référence] Sp = fonction de Se [test de référence] b d 17

18 Test de référence (+) (-) résultat (+) a b résultat (-) c d Se = (a + b) Sp R -b N Sp R - (b + d) Sp = (c + d) Se R -c N Se R -(a + c) Test de référence (+) (-) résultat (+) résultat (-) Se apparente = 0,80 Sp apparente = 0,90 Se R = Sp R Se Sp test étudié T et test de référence R 1 0,800 0,900 0,99 0,814 0,904 0,98 0,830 0,907 0,97 0,846 0,911 0,96 0,864 0,915 0,95 0,882 0,919 indépendants corrélés Se T et Sp T sous-estimées Se T et Sp T sous- ou surestimées 18

19 Absence de test de référence Résultat (+) Résultat (-) test 2 res (+) test 2 res (-) malades et non malades test 1 res (+)... a + b c + d test 1 res (-) Utilisation de variables instrumentales estimation de Se 1, Sp 1, Se 2, Sp 2 TUMEUR SANS TUMEUR 7,8 4,2 8,4 4,9 10,2 5,1 10,4 5,2 10,5 5,3 11,3 6,3 12,5 7,1 13,8 8,1 14,0 8,5 14,3 8,6 15,8 9,2 16,1 9,7 16,4 10,0 18,0 10,6 19,2 11,1 Se = 0,93 Sp = 0,47 Se = 0,87 Sp = 0,80 Se = 0,60 Sp = 1 19

20 AgNOR en cytologie du sein [Meehan et al., Am J Clin Pathol, 1994] Comptage des AgNOR par nucléole lésion bénigne lésion maligne n = 62 n = 36 4,44 [2,4; 6,5] 9,52 [7,4; 11,7] p <

21 Estimation non paramétrique Estimation non paramétrique (test de Wilcoxon) AUC = n 1 (n 1 + 1) W 1-2 n 1 x n 0 21

22 TUMEUR SANS TUMEUR 7,8 8 4,2 1 8,4 10 4,9 2 10,2 16 5,1 3 10,4 17 5,2 4 10,5 18 5,3 5 11,3 21 6,3 6 12,5 22 7,1 7 13,8 23 8,1 9 14,0 24 8, ,3 25 8, ,8 26 9, ,1 27 9, , , , , , ,1 20 Estimation non paramétrique (test de Wilcoxon) 15(15 + 1) AUC = 2 = 0,907 15x 15 Evaluation en imagerie 1 = certainement négatif 2 = probablement négatif 3 = incertain 4 = probablement positif 5 = certainement positif 22

23 23