Introduction aux Statistiques Médicales Biostatistique Clinique EVALUATION D'UN TEST DIAGNOSTIQUE Phases de l évaluation d un test diagnostique 1. Reproductibilité, concordance, (inter et intra-observateur) 2. Validité, efficacité, «accuracy» 3. Utilité clinique Index kappa p o : proportion de résultats concordants observés p c : proportion de résultats concordants par chance B (+) (-) A (+) (-) 45 15 60 5 35 40 50 50 100 K = p o = p c = 45 + 35 100 (60 x 50) + (40 x 50) 100 x 100 = 0,80 = 0,50 K = 0,80 0,50 1 0,50 = 0,60 1
1 - p c po -pc K = p o p c Accord parfait K = 1 Accord > chance K > 0 Accord = chance K = 0 Accord < chance K < 0 Désaccord total K = 1 2. j. k 1 n11 n12 n1j n1k r1 2 n21 n22 n2j n2k r2.. i ni1 ni2 nij nik ri.. k nk1 nk2 nkj nkk rk c1 c2. cj. ck N K = Test de HO : K = 0 ou p o = p c SE (K) = SE H0 (K) = a c b d K = Z = 2
Echelle de magnitude kappa < 0 poor mauvaise 0 et < 0,2 slight négligeable 0,2 et < 0,4 fair faible 0,4 et < 0,6 moderate moyenne 0,6 et < 0,8 substantial bonne 0,8 almost perfect excellente Comparaison de 2 index kappa SE (K) = Test de HO : K A = K B Z = (+) A (-) A (+) (-) (+) A (-) A (+) (-) B (+) (-) 40 10 10 40 50 50 2 10 10 78 12 88 B (+) (-) 2 10 10 78 12 88 2 16 4 78 18 82 50 50 100 12 88 100 12 88 100 6 94 100 p o = 0,80 p o = 0,80 p o = 0,80 p o = 0,80 p c = 0,50 p c = 0,79 p c = 0,79 p c = 0,78 p 0,50 p 0,12 p 0,12 [ p 0,12 ] K = 0,60 K = 0,05 K = 0,05 K = 0,08 3
CONCORDANCE Kappa prévalence (dés-)équilibre des totaux marginaux 4
Coefficient de corrélation intraclasse Var entre sujets Var entre observations ICC = Variabilité entre sujets Variabilité totale X Y 10 12 11 13 12 14 13 15 14 16 15 25 17 27 ICC = 0,636 ICC = 0,938 Limites d agrément (Bland & Altman) x-y d + z s d d d z s d (x+y) / 2 5
x y 1 12,0 14,0 2 13,5 14,5 3 13,5 13,0 4 15,0 13,5 5 16,5 15,5 6 12,0 13,5 7 14,0 14,0 8 14,5 13,0 9 13,0 12,0 10 13,0 14,0 4 3 2 1 0-1 d = 0 s d = 1,29 limites d agrément = 0 ± (1,96 x 1,29) = ± 2,53-2 -3-4 11 12 13 14 15 16 17 ( x + y ) / 2 6
Validité d un test diagnostique Résultats binaires (dichotomiques) 1. Sensibilité et spécificité 2. Valeurs prédictives 3. Paramètres résumés 4. Biais 5. Problèmes Résultats quantitatifs et ordinaux Courbes ROC 7
Validité d un test diagnostique binaire Test (+) Malades a vrais positifs Non malades b faux positifs Malades Non malades Résultat (+)?? Test (-) c faux négatifs d vrais négatifs Résultat (-)?? Sensibilité = P (T+ M +) Spécificité = P (T - M -) Se = a / (a + c) Sp = d / (b + d) Résultat (+) Malades 20 Non malades 10 Intervalles de confiance Résultat (-) 5 15 Sei ; Se s Se z Se (1- Se) a c ² = 8,33 p = 0,004 Se = 20 / (20 + 5) = 0,80 Sp = 15 / (10 + 15) = 0,60 Sp i ; Sp s Sp (1- Sp) Sp z b d avec z = 1,96 pour intervalles de confiance à 95% 8
Mal. Non mal. 20 10 5 15 Résultat (+) (-) Mal. Non mal. 200 100 50 150 Comparaison des Se et Sp de 2 tests diagnostiques évalués sur les mêmes sujets test 2 (+) (-) test 1 (+) (-). b ạ Se = 0,80 [0,64; 0,96] Sp = 0,60 [0,41; 0,79] Se = 0,80 [0,75; 0,85] Sp = 0,60 [0,54; 0,66] ² (a - b)² a b Probabilité de test (+) si maladie Résultat + malades a vrais positifs non malades b faux positifs? théorème de BAYES Résultat - c faux négatifs d vrais négatifs Probabilité de maladie si test (+) Sensibilité Se = a / (a + c) Spécificité Sp = d / (b + d) Valeur prédictive positive VPP = a / (a + b) Valeur prédictive négative VPN = d / (c + d) 9
mal. non mal. Résultat mal. non mal. malades non malades 20 10 (+) 20 50 Résultat + 20 10 5 15 (-) 5 75 Résultat - 5 15 Se = 20 / (20 + 5) = 0,80 Sp = 15 / (10 + 15 = 0,60 VPP = 20 / (20 + 10) = 0,67 VPN = 15 / (5 + 15) = 0,75 Se = 0,80 Sp = 0,60 VPP = 0,67 VPN = 0,75 = = Se = 0,80 Sp = 0,60 VPP = 0,29 VPN = 0,94 p = 0,50 p = 0,17 Théorème de Bayes P (M si T) = P (M) P (T si M) P (M) P (T si M) + P (M) P (T si M) Valeurs prédictives Sensibilité VPP = p Se p Se + (1-p) (1-Sp) positive négative Spécificité VPN = (1-p) Sp (1-p) Sp + p (1-Se) Prévalence 10
1,0 Sujet quelconque avec test HIV ELISA positif,8,6,4 Se (ELISA) = 0,999 Sp (ELISA) = 0,99 p = 0,001,2 0,2,4,6 PREVALENCE,8 1,0 VPN VPP VPP = = 0,091 0,001 x 0,999 [0,001 x 0,999] + [(1 0,001) x (1 0,990)] Se = 0.80 Sp = 0.60 HIV (+) HIV (-) Sujet quelconque avec 2 ème test HIV ELISA positif ELISA (+) 9990 99900 109890 ELISA (-) 10 9890100 9890110 10000 9990000 10000000 Se (ELISA) = 0,999 Sp (ELISA) = 0,99 VPP = 0,091 9990 VPP = = 0,091 109890 VPP = 0,091 x 0,999 [0,091 x 0,999] + [(1 0,091) x (1 0,990)] = 0,909 11
Probabilité de séropositivité test 1 test 2 P avant test 0,001 0,091 P après test 0,091 0,909 Gain P après - P avant 0,09 0,82 Diagnostic de cancer du sein [Dixon & Mansel, Br Med J, 1994] Sensibilité et spécificité Valeurs prédictives mammographie aspiration indices descriptifs approche rétrospective indices prédictifs approche prospective Se Sp VPP 0,86 0,90 0,95 0,95 0,95 0,998 indépendants de prévalence applicable à toute population dépendants de prévalence applicable seulement à la population étudiée prévalence 0,69 0,96 VPP avec prévalence = 0,96 mammographie 0,995 aspiration 0,998 évaluation des évaluation de l charactéristiques intrinsèques utilité clinique d un test diagnostique d un test diagnostique 12
pour un test binaire Rapport de vraisemblance P (résultat malade) RV = P (résultat non malade) P (res (+) malade) Se RV (+) = = P (res (+) non malade) 1- Sp P (res (-) malade) 1 - Se RV (-) = = P (res (-) non malade) Sp malades non malades Résultat (+) 20 10 Résultat (-) 5 15 Se 0,80 RV (+) = = = 2 1-Sp 1-0,60 1-Se 1-0,80 RV (-) = = = 0,33 Sp 0,60 Probabilité Odd = P 1 - P malades non malades Résultat (+) 20 10 Résultat (-) 5 15 P après 1 P après = P avant 1 P avant. Se 1 - Sp odd posttest = odd prétest x RV 0,67 0,50 = x RV 1 0,67 1-0,50 Rapport de vraisemblance 2 = 1 x 2 13
P après P avant Se = 1 - P après 1 - P avant 1 - Sp Nomogramme de Fagan 0,091 0,001 test 1 = 99,9 1 0,091 1 0,001 0,909 0,091 test 2 = 99,9 1 0,909 1 0,091 Nomogramme de Fagan appliqué au test ELISA Efficacité diagnostique Res (+) Res (-) Res (+) Res (-) malades non malades 20 10 5 15 0 0 100 9900 a+d E = a+b+c+d 20+15 E = = 0,70 20+10+5+15 E = 0,99!!! 14
Index de Youden J = Se + Sp - 1 [0,1] Biais et problèmes Res (+) Res (-) malades non malades 20 10 5 15 J = 0,80 + 0,60-1 = 0,40 biais du spectre biais de non indépendance biais de vérification Res (+) Res (-) 0 0 100 9900 J = 0 + 1-1 = 0 résultats incertains test de référence imparfait absence de test de référence Représentativité de l'échantillon sujets malades = "sickest of the sick" non malades = "wellest of the well" test étudié test de référence sensibilité et spécificité surestimées biais du spectre INDEPENDANCE échantillon représentatif du problème diagnostique 15
habituellement Biais de vérification surestime la sensibilité sous-estime la spécificité FREQUENT QUANTITATIVEMENT IMPORTANT Correction du biais de vérification Vérification dépend seulement du résultat du test test (+) (-) mal non mal vérif non vérif a b t 1 u 1 c d (t 1 + u 1 ) t 0 a Se = (t 1 + u 1 ) t 0 a + (t 0 + u 0 ) t 1 c t 0 u 0 (t 0 + u 0 ) t 1 d Sp = (t 0 + u 0 ) t 1 d + (t 1 + u 1 ) t 0 b mal. non mal. vérif non vérif Résultats incertains Résultat (+) 86 10 96 4 100 malades non malades Résultat (-) 14 90 104 296 400 Res (+) a b 100 100 200 300 Res? estimations apparentes estimations corrigées Res (-) c d Sensibilité 0,86 0,62 Spécificité 0,90 0,97 - estimation de la situation la moins favorable - estimation des deux possibilités - rendement diagnostique avec Se et Sp apparentes - courbes ROC 16
Résultats apparents Vrais résultats mal non mal mal non mal mal non mal res (+) 86 10 (+) 86 10 86 10 res? 10 10? 10 10 res (-) 14 90 110 110 (-) 14 90 14 90 1) Se = 86 / 110 = 0,78 & Sp = 90 / 110 = 0,82 100 100 Se = 0,86 Sp = 0,90 110 110 Se? Sp? 2) 0,78 < Se < 0,87 = 96 / 110 0,82 < Sp < 0,91 = 100 / 110 mal non mal res (+) res? res (-) 86 10 10 10 14 90 110 110 86 + 14 3) Y(+) = = 0,91 with Se' = 0,86 86 + 14 + 10 90 + 10 Y(-) = = 0,91 with Sp' = 0,90 90 + 10 + 10 Test de référence imparfait Résultat (+) Résultat (-) malades a c non malades Se = fonction de Sp [test de référence] Sp = fonction de Se [test de référence] b d 17
Test de référence (+) (-) résultat (+) a b résultat (-) c d Se = (a + b) Sp R -b N Sp R - (b + d) Sp = (c + d) Se R -c N Se R -(a + c) Test de référence (+) (-) résultat (+) 80 20 résultat (-) 20 180 Se apparente = 0,80 Sp apparente = 0,90 Se R = Sp R Se Sp test étudié T et test de référence R 1 0,800 0,900 0,99 0,814 0,904 0,98 0,830 0,907 0,97 0,846 0,911 0,96 0,864 0,915 0,95 0,882 0,919 indépendants corrélés Se T et Sp T sous-estimées Se T et Sp T sous- ou surestimées 18
Absence de test de référence Résultat (+) Résultat (-) test 2 res (+) test 2 res (-) malades et non malades test 1 res (+)... a + b c + d test 1 res (-)......... Utilisation de variables instrumentales estimation de Se 1, Sp 1, Se 2, Sp 2 TUMEUR SANS TUMEUR 7,8 4,2 8,4 4,9 10,2 5,1 10,4 5,2 10,5 5,3 11,3 6,3 12,5 7,1 13,8 8,1 14,0 8,5 14,3 8,6 15,8 9,2 16,1 9,7 16,4 10,0 18,0 10,6 19,2 11,1 Se = 0,93 Sp = 0,47 Se = 0,87 Sp = 0,80 Se = 0,60 Sp = 1 19
AgNOR en cytologie du sein [Meehan et al., Am J Clin Pathol, 1994] Comptage des AgNOR par nucléole lésion bénigne lésion maligne n = 62 n = 36 4,44 [2,4; 6,5] 9,52 [7,4; 11,7] p < 0.0005 20
Estimation non paramétrique Estimation non paramétrique (test de Wilcoxon) AUC = n 1 (n 1 + 1) W 1-2 n 1 x n 0 21
TUMEUR SANS TUMEUR 7,8 8 4,2 1 8,4 10 4,9 2 10,2 16 5,1 3 10,4 17 5,2 4 10,5 18 5,3 5 11,3 21 6,3 6 12,5 22 7,1 7 13,8 23 8,1 9 14,0 24 8,5 11 14,3 25 8,6 12 15,8 26 9,2 13 16,1 27 9,7 14 16,4 28 10,0 15 18,0 29 10,6 19 19,2 30 11,1 20 Estimation non paramétrique (test de Wilcoxon) 15(15 + 1) 324 - AUC = 2 = 0,907 15x 15 Evaluation en imagerie 1 = certainement négatif 2 = probablement négatif 3 = incertain 4 = probablement positif 5 = certainement positif 22
23