Principe d évaluation des tests diagnostiques

Transcription

1 Principe d évaluation des tests diagnostiques Dr Sandra DAVID TCHOUDA Cellule d évaluation médico-économique des innovation, CHUG sdavidtchouda@chu-grenoble.fr Plan Objectif et contexte de ces études visant à évaluer un test diagnostique Rappel LCA Principe d un test diagnostique Performance diagnostique d un test / application pratique (EP) Se, Sp, rapports de vraisemblance (RV) VPP, VPN Nomogramme de Fagan : P(M) a priori et a postériori Biais / précautions d interprétation Biais de sélection, de classement et de publication, Exemple de calcul Référence bibliographique S David tchouda / Eval test diag / P2 2013/

2 Objectif et contexte de ce type d étude Objectif de ces études Mesurer la performance/ validité d un «test» pour une maladie donnée : critère intrinsèque : Sensibilité, spécificité, RV+, RV-, indice de Youden Recherche d un seuil (courbe ROC, aire sous la courbe) critère extrinsèque : VPP, VPN Le différencier de reproductibilité ou fiabilité (variabilité intra et inter laboratoire) Cout S David tchouda / Eval test diag / P2 2013/

3 Design d étude Le plus souvent, étude observationnelle Cohorte Cas témoins Étude transversale interventionnelle si le test ne fait pas partie de la pratique de soins courante Plus rarement, étude interventionnelle Essai clinique Test rajouté à la pratique habituelle S David tchouda / Eval test diag / P2 2013/ Contexte d étude Respect d un continuum à cette recherche : 1. Mise en évidence de l association entre le test (biologie, imagerie, génétique, SC ) et la maladie Recherche étiologique (étude de cohorte, cas témoins, ) objectif préalable 2. Intérêt de ce test pour diagnostiquer la maladie? Fiabilité / reproductibilité en 1 er lieu objectif préalable qualités diagnostiques du test (Se, Sp) Validité interne 3. Si test «satisfaisant», autres objectifs : Intérêt dans dépistage (stade pré symptomatique), Intérêt dans le pronostic de la maladie Validité externe (VPP, VPN) S David tchouda / Eval test diag / P2 2013/

4 Rappel LCA 24 objectifs pour l ECN Rappel LCA (1) : quels objectifs? Critiquer un article pour modifier sa pratique ou pas! Implication +++ Proposition de grille de LCA en santé Support HAS janvier 2000 grille de l ECN en médecine : LCA des articles épidémiologiques et en recherche clinique Contient 24 objectifs (ci-après) S David tchouda / Eval test diag / P2 2013/

5 Rappel LCA (2) : grille ECN IDENTIFIER 1. l objet d un article médical scientifique parmi les suivants : évaluation d une procédure diagnostique, d un traitement, d un programme de dépistage, estimation d un pronostic, enquête épidémiologique à l exclusion des MA, 2. La question posée par les auteurs (hypothèses). S David tchouda / Eval test diag / P2 2013/ Rappel LCA (3) : grille ECN (suite) ANALYSER LA METHODOLOGIE Population 3. Identifier les caractéristiques de la population source / cible, 4. Analyser les modalités de sélection des sujets, critères inclusion/exclusion 5. Analyser la technique de randomisation, le cas échéant, 6. Discuter la comparabilité des groupes soumis à la comparaison, 7. Discuter l évolution des effectifs étudiés et leur cohérence dans la totalité de l article. Calcul du nombre de sujet fait a priori? S David tchouda / Eval test diag / P2 2013/

6 Rappel LCA (4) : grille ECN (suite) ANALYSER LA METHODOLOGIE (suite) Méthode 8. S assurer que la méthode employée est cohérente avec le projet du travail et qu elle est effectivement susceptible d apporter «une» réponse à la question posée dans l article, 9. Vérifier que les analyses statistiques (en fonction de notions élémentaires) sont cohérentes avec le projet du travail, connaitre les limites de l analyse en sous- groupe, notion de perdus de vue (PDV), 10. Vérifier le respect des règles éthiques. S David tchouda / Eval test diag / P2 2013/ Rappel LCA (5) : grille ECN (suite) ANALYSER LA PRESENTATION DES RESULTATS 11. Analyser la présentation, la précision et la lisibilité des tableaux et des figures, leur cohérence avec le texte et leur utilité, 12. Vérifier la présentation des indices de dispersion (intervalle de confiance, valeurs extrêmes, quantiles, écart-types) permettant d évaluer la variabilité des mesures / l imprécision des estimations. S David tchouda / Eval test diag / P2 2013/

7 Rappel LCA (6) : grille ECN (suite) CRITIQUER L ANALYSE DES RESULTATS ET DE LA DISCUSSION 11. Discuter la nature et la précision des critères de jugement des résultats. 12. Relever les biais qui ont été discutés. Rechercher d autres biais de classement et de sélection éventuels non pris en compte dans la discussion et relever leurs conséquences dans l analyse des résultats. 13. Vérifier la logique de la discussion et sa structure. Reconnaître ce qui relève des données de la littérature et ce qui est opinion personnelle de l auteur. S David tchouda / Eval test diag / P2 2013/ Rappel LCA (7) : grille ECN (suite) CRITIQUER L ANALYSE DES RESULTATS ET DE LA DISCUSSION (suite) 14. Discuter la signification statistique des résultats. 15. Discuter la pertinence clinique des résultats. 16. Vérifier que les résultats offrent une réponse à la question annoncée, 17. Vérifier que les conclusions sont justifiées par les résultats, 18. Indiquer le niveau de preuve de l étude (grille de l HAS). S David tchouda / Eval test diag / P2 2013/

8 Rappel LCA (8) : grille ECN (suite) EVALUER LES APPLICATIONS CLINIQUES 21. Discuter la ou les applications potentielles /décisions médicales auxquelles peuvent conduire les résultats et la conclusion de l article CRITIQUER LA FORME DE L ARTICLE 22. Identifier la structure IMReD (Introduction, Matériels et Méthodes, Résultats, Discussion) et s assurer que les divers chapitres de la structure répondent à leurs objectifs respectifs 23. Faire une analyse critique de la présentation des références 24. Faire une analyse critique du titre S David tchouda / Eval test diag / P2 2013/ Rappel LCA (9) : en bref? Argumenter : Au début, en utilisant une grille d aide à la LCA! En utilisant vos connaissances Sur la structure des articles originaux en général Sur la méthodologie de l article (objectif, exigences dans population, méthodes et résultats) validité interne En discutant la conclusion «Ampleur» des résultats Pertinence clinique et statistique Extrapolation validité externe Replacer l étude dans son contexte S David tchouda / Eval test diag / P2 2013/

9 Principe du raisonnement probabiliste Raisonnement probabiliste (1) Pourquoi en santé, raisonner sur des probabilités? Parce que: Le signe clinique parfait pathognomonique ou l examen complémentaire idéal (non couteux, non douloureux, non invasif ) existe rarement On est rarement en situation de certitude absolu Le vivant n est pas un théorème de maths démontrable S David tchouda / Eval test diag / P2 2013/

10 Raisonnement probabiliste (2) Le but pour un médecin est de transformer une probabilité de maladie a priori probabilité clinique défini avant l information fournie par une exploration suppl. en une probabilité de maladie a posteriori en intégrant dans la démarche diagnostique l information fournie par l exploration! S David tchouda / Eval test diag / P2 2013/ Raisonnement probabiliste (3) : Le raisonnement probabiliste fait partie de la démarche diagnostique : 1. Probabilité de M avant / après le recueil d un signe clinique 2. Probabilité de M avant / après un examen paraclinique Application à l embolie pulmonaire (EP) S David tchouda / Eval test diag / P2 2013/

11 1/ Proba d EP à la clinique Cancer évolutif (tt en cours dans les 6 mois ou palliatif) + 1 Symptômes cliniques de thrombose veineuse + 3 Fréquence cardiaque supérieure à Immobilisation ou chirurgie dans le mois précédent Antécédent thromboembolique veineux Hémoptysie + 1 Absence d alternative diagnostique + 3 Score < 2: probabilité faible Score = 2 à 5: probabilité modérée Score > 5: probabilité forte Wells et al. Thromb Haemost 2000; 83: 416 S David tchouda / Eval test diag / P2 2013/ / Proba d EP Angioscanner D-dimère (ELISA) Écho-doppler des MI S David tchouda / Eval test diag / P2 2013/

12 Raisonnement probabiliste (4) : finalité en santé Quand P(M) est estimée très forte (> 99 %) ou très faible (< 1 %) on décide «malade» ou «non malade on arrête les investigations La démarche diagnostique est une suite d évaluation de la probabilité d une maladie intégrant des informations successives S David tchouda / Eval test diag / P2 2013/ Principe d un test diagnostique 12

13 Test diag (1) : apport Source d information Clinique ou paraclinique Utilisé dans une démarche de décision But : réduire l incertitude clinique S David tchouda / Eval test diag / P2 2013/ Test diag (2) : définition Tout examen anamnestique, clinique ou paraclinique dont le résultat peut être analysé vis à vis d un diagnostic supposé et exprimé en valeurs ordinales : positif / négatif positif / intermédiaire / négatif très forte probabilité / forte probabilité / probabilité intermédiaire / faible probabilité / très faible probabilité transformation d une variable continue S David tchouda / Eval test diag / P2 2013/

14 Test diag (3) : principe Test dg maladie Faux Positifs Vrai Positifs Vrai Négatifs Faux Négatifs S David tchouda / Eval test diag / P2 2013/ Calcul de la performance d un test 14

15 Un mot sur la reproductibilité «Fiabilité» et «reproductibilité» sont synonymes. Un test reproductible est un test qui donne le même résultat sur un sujet, quel que soit l opérateur (reproductibilité inter opérateur) et quel que soit le moment où on l applique (reproductibilité temporelle / intra opérateur). Plus un examen est reproductible, plus il est fiable. La reproductibilité se mesure avec le coefficient kappa (variabilité inter-opérateur ou intra-opérateur) Ne pas confondre avec la validité du test qui est sa capacité à identifier la maladie (efficacité du test / performance) : Se, Sp, VP, RV, courbe ROC S David tchouda / Eval test diag / P2 2013/ Performance (1) Caractéristiques «intrinsèques» : capacité informative propres au test (ne dépendent pas de la prévalence) sensibilité, spécificité, rapports de vraisemblance (RV+, RV-) Caractéristiques «extrinsèques» : caractéristiques intrinsèques + contexte utilisation prévalence (= probabilité pré-test) valeurs prédictives positive / négative (= probabilité post-test) S David tchouda / Eval test diag / P2 2013/

16 Performance (2) Nécessite d être «comparé» au test de référence (gold standard) qui définit les malades et les non malades Elaboration d un tableau de contingence S David tchouda / Eval test diag / P2 2013/ Application pratique du cours : l EP La question : valeur prédictives de l EP par les «D dimères»? Performance diagnostique des D Dimères Cas du critère binaire (seuil D dimères patho 500 µg/l) Cas du critère quantitatif S David tchouda / Eval test diag / P2 2013/

17 Se et Sp Sensibilité et Spécificité Gold standard Résultats du test Malades (M+) Non malades (M-) Test positif (T+) VP FP Test négatif (T-) FN VN Total (VP+FN) (FP+VN) ( + M + ) Se = P T / = VP VP ( + FN ) ( M ) Sp = P T / ( VN + FP) S David tchouda / Eval test diag / P2 2013/ = VN 17

18 Se 1 : test très sensible/ dg «d exclusion» test toujours positif (T+) chez les sujets malades (M+) existence de FP? la négativité du test (T-) écarte la maladie (M-) oui EP non D-dimer 500µg/L D-dimer < 500µg/L Total Se 195 = P( T + / M + ) = 99.5% 195 = ( + 1) S David tchouda / Eval test diag / P2 2013/ Sp 1 : test spécifique/ dg de «confirmation» test toujours négatif (T-) chez les sujets sains (M-) existence de FN? sa positivité (T+) est pathognomonique de la maladie (M+) EP oui non D-dimer 10,000µg/L 20 2 D-dimer < 10,000µg/L Total Sp = P( T / M ) = 99.6% 473 = ( + 2) S David tchouda / Eval test diag / P2 2013/

19 Rapports de vraisemblance Rapports de vraisemblance : définition Regrouper la sensibilité et la spécificité du test en un seul indicateur, le rapport de vraisemblance LR+ = P(T+/M+)/P(T+/M-) Capacité du T+ à distinguer les M des nonm coefficient multiplicateur de la probabilité a priori de la maladie S David tchouda / Eval test diag / P2 2013/

20 Rapports de vraisemblance : calcul Résultats du test Test positif (T+) Test négatif (T-) Total Gold standard Malades (M+) VP FN Non malades (M-) FP VN LR+ = ( + / M + ) Se P( T / M + ) 1 = LR = = ( + / M ) 1 Sp P( T / M ) Sp P T P T Se S David tchouda / Eval test diag / P2 2013/ RV positif : interprétation P T LR+ = P T D-dimère 500 µg/l ( + / M + ) Se = = ( + / M ) ( 1 Sp) ( ) = 1.70 LR+ = (VP/M+) / (FP/M+) Interprétation : les DD sont «quasi 2 fois plus souvent positifs chez les M par rapport aux nonm» Le test est d autant plus informatif que LR+ >>1 (bon test > 5-10 selon la communauté scientifique) S David tchouda / Eval test diag / P2 2013/

21 RV négatif : interprétation LR = ( / M + ) ( / M ) P T P T D-dimer < 500 µg/l = ( 1 Se) ( ) Sp = = 0.01 «LR- = 0.01» signifie que les DD sont «100 fois moins souvent négatifs chez les M par rapport aux nonm» Le test est d autant plus informatif que LRproche de 0 (FN / VN) S David tchouda / Eval test diag / P2 2013/ Application à l EP pour l utilisation des RV 21

22 Application à l EP Probabilité a priori Implicite (raisonnement non formel du médecin par expérience) Explicite (règle prédictive : score de Wells) Prévalence(EP) a priori S David tchouda / Eval test diag / P2 2013/ Rappel : score clinique de Wells Cancer évolutif (tt en cours dans les 6 mois ou palliatif) + 1 Symptômes cliniques de thrombose veineuse + 3 Fréquence cardiaque supérieure à Immobilisation ou chirurgie dans le mois précédent Antécédent thromboembolique veineux Hémoptysie + 1 Absence d alternative diagnostique + 3 Score < 2: probabilité faible Score = 2 à 5: probabilité modérée Score > 5: probabilité forte Wells et al. Thromb Haemost 2000; 83: 416 S David tchouda / Eval test diag / P2 2013/

23 Rappel : D DIMERE RV- = 0.01 D-dimère (ELISA) S David tchouda / Eval test diag / P2 2013/ Rapport de vraisemblance (+) de l angioscanner thoracique spiralé 100% 90% Post-test probability 80% 70% 60% 50% 40% 30% Rapport de vraisemblance positif: % 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Pre-test probability Roy et al. BMJ 2005 S David tchouda / Eval test diag / P2 2013/

24 Diagramme de Fagan Scanner : LR+= 24.1 D Dimère : LR- = 0.01 S David tchouda / Eval test diag / P2 2013/ Synthèse interprétation RV Coefficient multiplicateur de P(M) Interprétation RV+: un sujet a «RVP fois» plus de risque d'avoir un test positif s'il est atteint de la maladie étudiée que s'il n'est pas atteint de la maladie. Interprétation RV-: un sujet a «RVN fois» moins de risque d'avoir un test négatif s'il est atteint de la maladie étudiée que s'il n'est pas atteint de la maladie. S David tchouda / Eval test diag / P2 2013/

25 Prev (M) et valeurs prédictives (VPP et VPN) dans le cas d une cohorte Probabilité a priori : Prévalence Gold standard Résultats du Malades (M+) Non malades (M-) test Test positif (T+) VP FP Test négatif (T-) FN VN Total m 1 m 0 Prévalence = P ( M + / Total) = m 1 m 1 + m 0 S David tchouda / Eval test diag / P2 2013/

26 Ex : prévalence de l EP EP oui non D-dimer 500µg/L D-dimer < 500µg/L Total Prévalence = P Total = = 29% ( M + / ) ( ) S David tchouda / Eval test diag / P2 2013/ Probabilité a posteriori (+) : VPP Résultats du test Malades (M+) Gold standard Non malades (M-) Test positif (T+) VP FP Test négatif (T-) FN VN Total (VP+FN) (FP+VN) ( M + T + ) VPP = P / = VP ( VP + FP) S David tchouda / Eval test diag / P2 2013/

27 Variation de la VPP en fonction de la prévalence (1) Pulmonary Embolism Yes No D-dimer 500µg/L D-dimer < 500µg/L Total Se = et Sp = Prévalence = 196 / 671 = 29% VPP= 195 / 473 = 41% S David tchouda / Eval test diag / P2 2013/ Variation de la VPP en fonction de la prévalence (2) Pulmonary Embolism Yes No D-dimer 500µg/L D-dimer < 500µg/L Total Se = et Sp = Prévalence = 196 / 4946 = 4% VPP= 195 / 2975 = 6.5% S David tchouda / Eval test diag / P2 2013/

28 Probabilité a posteriori (-) : 1-VPN Gold standard Résultats du test Malades (M+) Non malades (M-) Test positif (T+) VP FP Test négatif (T-) FN VN Total (VP+FN) (FP+VN) VPN ( M T ) = P / = VN ( VN + FN ) S David tchouda / Eval test diag / P2 2013/ Interprétation VP (1) les VP impose de ne parler que de la population concernée. on sait que la VPN augmente quand la P[M] diminue et inversement pour la VPP. 1,00 0,90 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 VPP VPN 0,00 0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00 Prévalence S David tchouda / Eval test diag / P2 2013/

29 Interprétation VP (2) VPP = Prev*Se / [(Prev *Se) + (1-Prev)*(1-Sp)] = P(M/T+) si cohorte dénominateur VPP = % de tests positifs VPN = (1-Prev)*Sp / [(1-Prev)*Sp + (Prev)*(1-Se)] = P(nonM/T-) si cohorte si la Sp tend vers 1 la VPP tend vers 1 (diagnostic de confirmation quand T+) si la Se tend vers 1 la VPN tend vers 1 (diagnostic d exclusion quand T-) S David tchouda / Eval test diag / P2 2013/ Interprétation VP (3) VPP A Se égale, la VPP croit avec P(M) et décroit avec le % de tests positifs (dénom. VPP). A Se égale, la VPP d'un test est donc d'autant plus forte que la maladie est fréquente ET le test rarement positif. VPN A Sp égale, la VPN d'un test sera d'autant meilleure que la maladie est rare ET que la positivité du test est fréquente (i.e. test rarement négatif ). S David tchouda / Eval test diag / P2 2013/

30 Cas du critère quantitatif Cas d un test quantitatif Quel seuil adopter? Gold standard? Résultats du test Malades (M+) Non malades (M-) Test positif (T+) VP FP Test négatif (T-) FN VN Total (VP+FN) (FP+VN) S David tchouda / Eval test diag / P2 2013/

31 effectif PE = no PE = yes >=10000 Seuil 100 µg/l D-dimer (µg/l) S David tchouda / Eval test diag / P2 2013/ Seuil 100 µg/l Pulmonary Embolism Yes No D-dimer 100µg/L D-dimer < 100µg/L 0 5 Total Se = 1 et Sp = 0.01 S David tchouda / Eval test diag / P2 2013/

32 effectif PE = no PE = yes >=10000 Seuil 500 µg/l D-dimer (µg/l) S David tchouda / Eval test diag / P2 2013/ Seuil 500 µg/l Pulmonary Embolism Yes No D-dimer 500µg/L D-dimer < 500µg/L Total Se = et Sp = S David tchouda / Eval test diag / P2 2013/

33 Courbe ROC (Receiver Operating Characteristics) D-dimer Se Sp S David tchouda / Eval test diag / P2 2013/ Courbe ROC AUC (area under curve) = 1 si test parfait (Se=1 et Sp=1) AUC = 0,5 si test non discriminant (courbe ROC = diagonale) Sp= FP 95% CI [ ] S David tchouda / Eval test diag / P2 2013/

34 Conclusion pratique Moyens diagnostiques EP? nouveau test tests diag à évaluer? S David tchouda / Eval test diag / P2 2013/ Biais / Précautions d interprétation 34

35 1. Biais de sélection (1) Biais de sélection : la population étudiée ne correspond pas à celle que nous prenons en charge Patients aux caractéristiques différentes Panel de patients insuffisamment varié Prévalence de la M plus basse ou plus élevée S David tchouda / Eval test diag / P2 2013/ Biais de sélection Performance modifiée Surestimation des propriétés «intrinsèques» potentielles (i.e. phase symptomatique M) Sur(sous)estimation des valeurs des VP en fonction de la prévalence Extrapolation limitée des résultats : estimations non extrapolables à la pratique courante pour laquelle le test est développé S David tchouda / Eval test diag / P2 2013/

36 2. biais de classement (1) Biais d exclusion/ biais de suivi : au fil de l étude, la population étudiée ne correspond plus à celle que nous prenons en charge (PDV) Biais de subjectivité de l enquêteur / biais d évaluation / biais d interprétation Pour l éviter, la lecture du test doit être Aveugle et/ou indépendante de l examen de référence (R) S David tchouda / Eval test diag / P2 2013/ biais de classement (2) les biais d évaluation sont souvent investigateur dépendant : Expérience du praticien (théorie) habitudes du praticien (caractéristiques en pratique réelle : pragmatique) Pour les éviter, on peut : Standardiser le recueil S David tchouda / Eval test diag / P2 2013/

37 2. biais de classement (3) Biais de vérification : gold standard imparfait Pour l éviter le gold standard doit être : Le plus «parfait» possible exhaustif : réalisé chez tout le monde Biais d incorporation : le test est inclus dans gold standard (perte d indépendance) S David tchouda / Eval test diag / P2 2013/ biais de publication Biais de publication : Les résultats de l étude sont regroupés avec d autres études publiées et seules les études avec des résultats probants ont été publiées. majoration des performances possible? S David tchouda / Eval test diag / P2 2013/

38 6. Exemple de calcul Application en santé Evaluation de la valeur diagnostique du dosage radio-immunologique des phosphatases acides dans le dépistage du cancer de la prostate Étude de cohorte T+ si dosage > 8,0 mg /0,1 ml Cancer Pas cancer Test Test S David tchouda / Eval test diag / P2 2013/

39 calcul Cancer Pas cancer Test Se = P [T+/M+] = 75/115 = 65,2% Test Sp = = P [T-/M-] = 210/240 = 87,5% VPP = P [M+/ T+] = 75/105 = 71,4% VPN = = P [M-/ T-] = 210/250 = 84% RV+ = P [T+/M+] / P [T+/M-] = 5,2 RV- = P [T-/M+] / P [T-/M-] = 0,40 S David tchouda / Eval test diag / P2 2013/ Références bibliographiques 39

40 Pour en savoir plus Delacour H. et al. Critères d évaluation de la validité d un test biologique. Revue francophone des laboratoires 2009;39(412): Knottnerus J.A. et al. Evaluation of diagnostic procedures. BMJ February 23; 324(7335): F Doyon et al. Evaluation des méthodes diagnostiques. J Radiol Feb;82(2): Site internet du CNCI (conseil Scientifique de médecine), onglet «épreuve de Lecture critique d article (objectifs pédagogique, glossaire, exemples, annales ) S David tchouda / Eval test diag / P2 2013/