Evaluation des procédures diagnostiques Objectifs pédagogiques Evaluer un signe, un examen, une décision médicale en calculant leur sensibilité et leur spécificité, leurs valeurs prédictives positives et négatives, les rapports de vraisemblance positif et négatif Définir les valeurs prédictives positive et négative en fonction des sensibilité, spécificité et prévalence de la maladie MB6 2010-2011 Interpréter une courbe R.O.C Utiliser le nomogramme de Fagan Citer et définir les principaux critères de qualité méthodologique qui doivent être pris en compte dans le protocole d'une enquête d évaluation diagnostique 2 Evaluation des procédures diagnostiques Plan Position du problème Les indices de mesure de la qualité diagnostique d un test Choix d un test diagnostic Les études d évaluation diagnostique Position du problème Les indices de mesure de la qualité diagnostique d un test Choix d un test diagnostic Les études d évaluation diagnostique 3 4
Décision médicale Cascade de décisions Diagnostiques Quelle démarche suivre? Pronostiques Quelles sont les informations pertinentes? Thérapeutiques Quel est le meilleur traitement? Prises en situation d incertitude Qualités diagnostiques des examens complémentaires Source d information paraclinique utilisé dans une démarche de décision Pour l incertitude Dans un but diagnostique 5 6 Position du problème(1) Position du problème(2) Toute prescription d ex. complémentaire a un coût: financier lié au désagrément ou au risque qu il occasionne du préjudice subi par le malade si le résultat de l examen décision inadéquate Ce coût doit se justifier par l espérance d un bénéfice Appréciation + exacte du dg Meilleure décision thérapeutique Donc nécessité d une évaluation rigoureuse des avantages et des inconvénients du test / tests de référence ETUDE DE LA VALEUR DIAGNOSTIQUE D UN TEST POUR UNE MALADIE 7 8
Qualités diagnostiques des tests Qualités diagnostiques Intrinsèques Sensibilité Spécificité Rôle de la ligne de partage : courbe R.O.C Extrinsèques Valeurs prédictives Positive Négative Capacité informative Probabilités conditionnelles Arguments de la décision Position du problème Les indices de mesure de la qualité diagnostique d un test Choix d un test diagnostic Les études d évaluation diagnostique 9 10 Matrice de décision T+ Test anormal T- Test normal M+ Présence de la maladie M- Absence de la maladie VP FP VP+FP FN VN FN+VN VP+FN FP+VN Un test parfait : détecte tous les cas de la maladie c=0 : pas de Faux Négatifs ne détecte que les cas de maladie b=0: pas de Faux Positifs N Caractéristiques intrinsèques du test pour la maladie Sensibilité Taux de vrais positifs parmi les malades Se = T + /M + ) = VP/VP+FN varie entre 0 et 1 exprime l aptitude du test à détecter la maladie si Se=1 le test est toujours + dans la maladie la négativité du test exclut la maladie Ex: des transaminases dans l hépatite virale 11 12
Caractéristiques intrinsèques du test pour la maladie Spécificité Taux de vrais négatifs parmi les non malades Sp = T - /M - ) = VN/FP+VN varie entre 0 et 1 exprime l aptitude du test à ne diagnostiquer que la maladie si Sp=1 le test n est + qu en présence de la maladie = pathognomonique de la maladie Exemple 1 Problème de diagnostic Fréquence des hépatites virales(hv) dans une population : 1 Les malades ayant une HV ont toujours des transaminases(ta) Dans cette population on observe une des TA chez 5% des sujets qui n ont pas d hépatite virale 13 14 Caractéristiques intrinsèques du test pour la maladie (exemple) TA+ Test anormal TA- Test normal HV+ Présence de la maladie 10 (VP) 0 (FN) Sensibilité=100% Spécificité=95% HV- Absence de la maladie 500 (FP) 9490 (VN) 510 9490 10 9990 10000 p(t+ si M+) p(t- si M-) Indices globaux Se et Sp varient en sens inverse Donc difficile de choisir entre 2 examens L un sensible et peu spécifique L autre peu sensible et spécifique nécessité d utiliser des indices globaux 15 16
Rapports de vraisemblance Le rapport de vraisemblance Positif Rapport de la pb conditionnelle du test + quand la maladie est présente sur la pb conditionnelle du test + quand la maladie est absente RV+=P(T+/M+)/ P(T+/M-) =tx VP/tx FP =Se/(1-Sp) Varie de 0 à + l infini La valeur dg d un résultat + est d autant + grande que RV+ est grand Rapports de vraisemblance Le rapport de vraisemblance Négatif Rapport de la pb conditionnelle du test - quand la maladie est présente sur la pb conditionnelle du test - quand la maladie est absente RV-=P(T-/M+)/ P(T-/M-) =tx FN/tx VN =(1-Se)/Sp Vaut 0 si Se=1 La valeur dg d un résultat - est d autant + grande que RV- est petit et proche de 0 17 18 Exemple 2 CORONAROPATHIE dg par coronarographie (examen de référence) examen à tester: ECG d effort déterminer les critères de + ECGeffort +(décalage >=1mm) ECG effort- Coronarop athie+ VP 815 FN 208 Coronarop athie - FP 115 VN 327 1023 442 Se = 815/1023 =80% Sp = 327/442 =74% Définition de la positivité du test Les critères de positivité du test lorsque son résultat n est pas dichotomique sont fondamentaux pour interpréter les valeurs de Se et de Sp 19 20
Exemple 2 Si on est + exigeant sur le seuil de + on aura moins d ECG + Coronarop Coronarop athie+ athie - ECGeffort + (décalage 2mm) ECG effort- VP 665 FN 358 FP 43 VN 399 1023 442 Se = 665/1023 =65% Sp = 399/442 =90% Exemple 2 ECGeffort +(décalage 0.5mm ECG effort- Si on est - exigeant sur le seuil de positivité: on aura + d ECG + Coronarop athie+ VP 971 FN 52 Coronarop athie - FP 212 VN 230 1023 442 Se = 971/1023 =95% Sp = 230/442 =52% 21 22 Se -Sp VN VP VN FN VN VP FP 23 Seuil2 24
Courbe R.O.C Courbe R.O.C AUC Aire sous la courbe (AUC): quantifie la capacité du marqueur diagnostique à bien classer les patients. AUC=0.5 test non discriminatif AUC=1 correspond à un test idéal Le test 1 ne vaut rien aucune valeur discriminante Le test 3 a une bien meilleure valeur discriminante + la courbe se tasse dans le coin > gauche, meilleur est le test 25 26 Courbe R.O.C: choix du seuil Dépend du coût (au sens large) de la décision à prendre mortalité morbidité qualité de vie financier soins conséquences (invalidité,...) Psychologique Guidé par l importance accordée aux erreurs Ne pas diagnostiquer la maladie (FN) Diagnostiquer à tort la maladie (FP) 27 Courbe ROC: choix du seuil Dépend du contexte Contexte diagnostique Maladie grave mais facilement curable (appendicite) coût FN >>coût FP Privilégier sensibilité Maladie rare non curable avec traitement onéreux et présentant risques (cancer) coût FP >>coût FN Privilégier spécificité Contexte de dépistage systématique Un test de dépistage, ne vise pas à porter un diagnostic, mais doit permettre dans une population de sujets présumés sains (= sans symptôme) de détecter les individus nécessitant un bilan plus approfondi. Éviter trop de FP mais surtout éviter les FN Privilégier sensibilité dans un 1 er temps Puis faire un 2 ème test chez les positifs plus spécifique 28
Caractéristiques extrinsèques du test pour la maladie: Valeurs prédictives Reprise de l exemple 1 Problème de diagnostic Fréquence des hépatites virales(hv) dans une population : 1 Les malades ayant une HV ont toujours des transaminases(ta) Dans cette population on observe une des TA chez 5% des sujets qui n ont pas d hépatite virale Question du clinicien: si un patient a une des TA, quelle est la probabilité qu il ait une HV? Caractéristiques extrinsèques du test pour la maladie: Valeurs prédictives Valeur prédictive positive VPP= M+/T+) % de sujets malades parmi les sujets T+ Valeur prédictive négative VPN= M-/T-) % de sujets non malades parmi les sujets T- 29 30 Valeurs prédictives : exemple1(suite) Rappel des données TA+ Test anormal TA- Test normal HV+ Présence de la maladie HV- Absence de la maladie 10 500 510 0 9490 9490 10 9990 10000* *: échantillon représentatif de la population générale Question: si un patient a une des TA, quelle est la probabilité qu il ait une HV? VPP = 10/510 2% Rappel sur les Probabilités conditionnelles Théorème de Bayes Théorème de bayes: expression générale P ( A ) B = P ( B ). P( A) ( B ). P( A) + P( B ). P( A ) A P A A 31 32
Relation Caractéristiques intrinsèques/valeurs prédictives Valeur Prédictive Positive =VPP M + ). T + / M + ) VPP = M + / T + ) = M + ). T + / M + ) + M ). T + / M ) M + ). Se = M + ). Se + (1 M + )).(1 Sp) Valeur Prédictive Négative =VPN M ). T / M ) VPN = M / T ) = M ). T / M ) + M + ). T / M + ) (1 M )). Sp = (1 M + )). Sp + M + ).(1 Se) 33 Exemple 2 10 millions de sujets testés en banque du sang par le test ELISA de dépistage de l infection par le VIH (prévalence = 10-4 ) V IH V IH - E lisa+ E lisa - + V P 999 FN 1 FP 9999 10998 V N 9989001 Se = 999/1000 =0.999 Sp = 9989001/9999000 =0.999 9989002 1000 9999000 10 7 34 Exemple 2 (suite) Exemple 2(suite) 10 millions de sujets testés en banque du sang par le test ELISA de dépistage de l infection par VIH Se=99.9% Sp=99.9% E lisa + E lisa - V I H + V P 999 F N 1 V I H - FP 9999 10998 V N 9989001 9989002 1000 9999000 10 7 VPP =999/10998 =9.08% VPN =9899001/9899002 100% 35 Même maladie (infection à VIH) même test (Elisa) Service spécialisé dans la prise en charge de l infection par le VIH (prévalence = 80%) E lisa+ E lisa- VIH+ V P 7992 F N 8 VIH- FP 2 7994 VN 2006 1998 8000 2000 10000 Se = Sp = 99.9% VPP = 7992/7994=99.97% VPN = 1998/2006=99.59% 36
Exemple2(suite) Que penser de l utilisation de ce test dans ces 2 situations? En banque du sang: il est fondamental d avoir une bonne VPN: on ne cherche pas à diagnostiquer la maladie mais à l éliminer pour éviter la contamination Dans 1 service spécialisé: le but est d aboutir au diagnostic donc il est nécessaire d avoir 1 bonne VPP 37 Influence de la prévalence sur les VP Exemple: dépistage hépatite C / Test ELISA Se=99% Sp=90% Groupe cible Prévalence VPP VPN Toxicomanes Transfusés Pop générale Donneurs de sang nouveaux Donneurs de sang connus 80% 7% 0.9% 0.3% 0.01% 97.5% 42.7% 8.2% 2.9% 0.1% 95.7% 99.9% 100% 100% 100% 38 Influence de la prévalence sur les VP Terminologie A Se et Sp constantes, les VP (ou probabilité a posteriori ou posttest) varient selon la prévalence de la maladie M+) =Prévalence maladie(ou probabilité a priori ou pré-test) selon le problème posé si l examen testé est destiné au dépistage de masse prévalence de la maladie dans la population dépistée si l examen testé est destiné au diagnostic dans 1 service spécialisé prévalence de la maladie dans ce service ( ) Si prévalence de 0 à 1 (avec Se et Sp élevées) VPP régulièrement de 0 à 1 très faible dans 1 population où la maladie est rare VPN de 1 à 0 mais très faiblement 39 Pas de condition Réalisation du test (Se Sp) Conditionnellement à la réalisation du test Probabilité de maladie a priori ou pré-test Probabilité de maladie a posteriori ou post-test Prévalence dans le contexte de population où est vu le malade Résultat + Résultat - Valeur Prédictive positive P(M) P(M/T) 40
Indices globaux Les rapports de vraisemblance ont une importance déterminante dans le processus de la décision clinique Ce sont eux et pas seulement la Se et la Sp qui associés à la prévalence (ou probabilité a priori) déterminent les valeurs prédictives (ou probabilités a posteriori) Nomogramme de Fagan permettant d interpréter les résultats des tests diagnostiques 41 42 Utilisation de probabilité post-test (=VPP) Règle de décision pour la prise en charge Déterminer a priori deux seuils de probabilité de maladie St: seuil de test Str: seuil de traitement Diagnostic Examen St Str traitement infirmé complémentaire 0 1 Pas d examen Probabilité complémentaire post-test Position du problème Les indices de mesure de la qualité diagnostique d un test Choix d un test diagnostic Les études d évaluation diagnostique Règle de choix des seuils: balance bénéfice-risque Ex: Str=0.8 on traite 20% patients à tort 43 44
Choix d un test - stratégie Choix d un test - stratégie Objectif médical=1er guide Diagnostic on évoque plusieurs dg on élimine les hypothèses les - probables test donnant peu de FN: bonne sensibilité on confirme le dg le + probable parmi ceux restants test donnant peu de FP: bonne spécificité 45 Objectif médical=1er guide Dépistage de masse D abord examen très sensible (on ratisse large) Dans le sous groupe des dépistés +, examen + spécifique Exemple: dépistage du cancer du colon D abord hémocult Puis coloscopie chez les hémocult + Exemple: dépistage du cancer du sein D abord mammographie double incidence Puis biopsie sur les images + à la mammographie 46 Choix d un test - stratégie Choix d un test - stratégie Lorsqu il s agit d exclure un dg le test le plus sensible doit être choisi Lorsqu il s agit d affirmer un dg le test le plus spécifique doit être choisi 47 Notion de coût bénéfice Soit un examen presque parfait (Se=Sp=0.99) Soit une prévalence de la maladie = 10-4 VPP = 1% Soit le coût de l examen = 60 euros Prix de revient pour diagnostiquer un malade = 60 x 100 = 6000 euros Acceptable seulement si Il est grave pour le malade de méconnaître sa maladie et si ce dépistage aboutit à un traitement efficace 48
Choix d un test - attitude décisionnelle Les stratégies validées n existent que pour certaines pathologies et évoluent avec la connaissance conférences de consensus RMO Evidence based medicine Dans la pratique courante, la démarche dg n est qu une étape dans une démarche à finalité thérapeutique et décisionnelle 49 Choix des examens - attitude décisionnelle Choix des examens complémentaires difficile nombreux, sophistiqués, risques mieux maîtrisés, tentation : excès. L épaisseur et le poids d un dossier médical ne sont pas toujours proportionnels à la réflexion des médecins doit s intégrer dans une stratégie diagnostique qui tient compte : de la valeur diagnostique des examens du résultat de la comparaison entre plusieurs examens existants des effets délétères iatrogènes économiques 50 Etudes d évaluation de test diagnostique Position du problème Les indices de mesure de la qualité diagnostique d un test Choix d un test diagnostic Les études d évaluation diagnostique Etudes expérimentales Recueil de données prospectif Sujet propre témoin Chez qui le test diagnostique doit être réalisé et donner un résultat Binaire (T+ ou T-) Ou quantitatif (courne ROC) Et chez qui on doit pouvoir affirmer (M+) ou infirmer le diagnostic de façon sure (M- 51 52
Etudes d évaluation de test diagnostique Méthodologie adéquate pour éviter biais Définition parfaite de la maladie=gold standard Examen de référence Faisceau d arguments cliniques et paracliniques Suivi du patient dans certains cas Sujets: échantillon représentatif de la population à laquelle on veut appliquer l examen (validité externe) Ex: si échantillon de patients sévères => Se + élevée que si échantillon issu de population générale Etudes d évaluation de test diagnostique Méthodologie adéquate pour éviter biais Examens Nouvel examen fiable et défini précisément Test de référence (gold standard) valide Test de référence déterminé a priori (indépendant du test étudié) Nouvel examen et référence évalués en insu l un de l autre (sinon biais de préjugé) Nouvel examen et référence appliqués à tous les sujets 53 54