EVALUATION DES TESTS DE DIAGNOSTIC. Vray M Institut Pasteur 1

Transcription

1 EVALUATION DES TESTS DE DIAGNOSTIC Vray M Institut Pasteur 1

2 Plan de la présentation Introduction Définition Dépistage, D Diagnostique Les ¾ phases de développement d d un d test Phases 1, 2, 3 et 4 Les indices de performances Reproductibilité (Indice Kappa de Cohen, diagramme de Bland et Altman, CCI) Validité (Se, Sp,, VPP, VPN, LR+, LR-) Courbes Roc Les principaux biais Vray M Institut Pasteur 2

3 Les critères res diagnostiques Ce sont des marqueurs dont les résultats permettent d orienter la décision médicale Deux niveaux: Les tests de dépistage Les tests de diagnostic Comprennent Test médical, m signes cliniques, critères res bactériens, images radiologiques, tests biochimiques.. Vray M Institut Pasteur 3

4 Un test peut être très s simple par exemple une culture bactérienne pour évaluer une infection Ou plus compliqué par exemple un score clinique à partir d un d questionnaire ou la séquence de procédures spécifiques selon un protocole Vray M Institut Pasteur 4

5 Dépistage et diagnostic Dépistage Diagnostic exposition Phase pré-clinique Phase clinique Complications Vray M Institut Pasteur 5

6 Diagnostic et DépistageD Le diagnostic se distingue du dépistage par une caractéristique ristique fondamentale : La motivation de l examenl Réalisé en raison de l él état clinique (sujet malade) diagnostic Réalisé indépendamment de l él état clinique (sujet apparemment sain) dépistage Vray M Institut Pasteur 6

7 Spécificit cificité des tests de «dépistage» S appliquent à des sujets sains Sur une large échelle Doivent être non invasifs (sans danger et facile à administrer) et peu chers En général, g ils sont suivis par d autres d tests avant de prendre la décision d de traiter Le traitement avant les symptômes doit avoir une meilleure efficacité comparée à un traitement donné après s le début d des symptômes : dépistage d cancer col utérin, cancer du poumon? Vray M Institut Pasteur 7

8 Dépistage versus Diagnostic Intérêt de tester des populations saines pour traiter précocement Ex: Cancer du sein et mammographie Cholestérol rolémie et HTA pour maladies CV Maladies infectieuses avec traitement disponible (avantage individuel et collectif) Vray M Institut Pasteur 8

9 L évaluation statistique est identique que ce soit pour un Test de «dépistage» ou un Test de «diagnostic» Vray M Institut Pasteur 9

10 Critères res pour un test médical m «intéressant» Il doit y avoir un bénéfice b à diagnostiquer la maladie Avant de mettre en place un test il y a des critères res à vérifier La maladie doit être grave conséquences sur la survie ou La qualité de vie La maladie doit être «importante» prévalence élevée e dans la population ciblée e ou contexte épidémique La maladie peut être traitée (guérison ou ralentissement) Vray M Institut Pasteur 10

11 Si le traitement existe, les malades y ont accès (PED) Définir le bénéficeb apporté par le test au patient Le test ne doit pas être douloureux (bénéfices > inconvénients: nients: coût, déplacement, d inconfort moral, physique etc..) Evaluer comment le test va s intégrer dans la prise en charge de la maladie Le test doit être performant permet de bien classer les sujets en Malades et Non malades Eviter les faux Positifs traités à tort Eviter les faux Négatifs N non traités à tort Vray M Institut Pasteur 11

12 Les 3/4 phases de développement d un d test diagnostique Vray M Institut Pasteur 12

13 La phase I (proof-of of-concept) L objectif de cette phase exploratoire est de vérifier v que les résultats r du test sont différents chez les malades et les non malades (conditions «de laboratoire») Vérification du «mécanisme» d action Test dans conditions différentes (températures, humidité..), conditions de recueil Test chez sujets ou échantillons différents (différents niveaux de sévérité de maladie ou de quantité de bactéries ries.) y compris des sujets non malades mais avec des symptômes proches de ceux des sujets malades Test de la reproductibilité Vray M Institut Pasteur 13

14 Exemple: Bandelettes pour diagnostiquer des shigelles à partir de selles - Vérifier - bandelettes + dans prélèvements contenant des shigelles - Bandelettes - dans prélèvements sans shigelles - Définir les conditions de recueil des selles (délai de recueil et conditions de stérilit rilité..) - Vérifier délai d et conditions de lecture (mode d emploi) d - Vérifier la reproductibilité de la lecture (utiliser 2 bandelettes, lues par deux lecteurs différents) - Faire varier les conditions de stockage des bandelettes (humidité,, température) Vray M Institut Pasteur 14

15 Cette phase permet de savoir si le test semble suffisamment «fiable» pour pouvoir être utilisé dans les conditions souhaitées Une bonne reproductibilité est nécessaire n Vray M Institut Pasteur 15

16 La phase II (Etude cas-témoins) L objectif de cette phase de validation est de montrer que - la probabilité d avoir un résultat r + est supérieure chez les malades - la probabilité d avoir un résultat r est supérieure chez les non malades Validité du test dans conditions contrôlées ( conditions de terrain) - Sélectionner les cas et les témoins, t les évaluateurs (médecins, infirmiers, radiologues..) qui peuvent différer du terrain - Définir dans un PROTOCOLE les conditions d utilisation d du test (en essayant d éd éviter les biais) - Tester différentes conditions de recueil (températures, humidité..) - Estimer le % de faux positifs et de faux négatifs n (calcul du NSN et estimations des valeurs acceptables) - Pour les tests quantitatifs,, définir d le cut-off (Courbes( Roc), identifier les facteurs ayant un impact sur le test (ou ceux qui le rendent ininterpr nterprétable) table) Vray M Institut Pasteur 16

17 Les études de phases I et II sont des études rétrospectives réalisées uniquement dans un but de recherche Le statut du malade est détermind terminé avant par d autres d moyens Vray M Institut Pasteur 17

18 La phase III (Etude prospective) Objectif principal: Déterminer les performances du test dans les conditions oùo il sera utilisé vérifier que chez les patients chez lesquels il est cliniquement pertinent, les résultats r du test permettent de distinguer les malades des non malades Les performances pourront être comparées à celles d autres d tests Réalisée e dans les conditions pratiques d utilisation d du test S adresse à des sujets dont on ne connaît t pas à l avance l él état (Malade ou Non Malade) Vray M Institut Pasteur 18

19 Phase IV? Idéalement, il est intéressant de comparer, par un essai randomisé,, l impact l de l introductionl du test par rapport à une prise en charge sans test, dans la pratique courante, sur des critères res de morbi-mortalit mortalité (qualité de vie) et de coûts Permet de savoir si les sujets «testés» se «portent mieux» que les sujets «non testés» Vray M Institut Pasteur 19

20 Relation entre le Taux de peptide natriurétique tique (PN) et hypertrophie ventriculaire gauche (HVG) Phase I Les patients avec une HVG ont-ils des concentrations de PN supérieures à celles observées es chez des sujets normaux? PN (pg( pg/ml) Patients HVG + Patients HVG - médiane range ( ) 909.0) ( ) Vray M Institut Pasteur 20

21 Relation entre le Taux de peptide natriurétique tique (PN) et hypertrophie ventriculaire gauche (HVG) Phase II Les patients avec des concentrations de PN élevées es ont ils plus souvent une HVG que ceux avec des concentrations faibles? PN (pg( pg/ml) Cas (Avec HVG) Témoins T (Sans HVG) Valeurs élevéeses n=39 n=2 Valeurs normales n=1 n=25 Se= = 98% (87-100) VPP=95% (84-99) Sp= = 92% (77-98) VPN=95% (84-99) LR+= = 13 ( ) 50.0) LR-= = 0.03 ( ) 0.19) Vray M Institut Pasteur 21

22 Relation entre le Taux de peptide natriurétique tique (PN) et hypertrophie ventriculaire gauche (HVG) Phase III Parmi les sujets chez qui une suspicion clinique de HVG existe, les taux de PN sont-ils différents entre ceux qui ont une HVG (Echo) et ceux qui n en n n ont n pas? PN (pg( pg/ml) Valeurs élevées es (>=18) n=35 Valeurs normales (<18) n=5 Sujets HVG + Sujets HVG - n=35 n=57 n=5 n=29 Se = 88% (74-94) VPP=38% (29-48) Sp = 34% (25-44) VPN=85% (70-94) LR+= = 1.3 ( ) 1.6) LR- = 0.4 ( ) 0.9) Vray M Institut Pasteur 22

23 Relation entre le Taux de peptide natriurétique tique (PN) et hypertrophie ventriculaire gauche (HVG) Phase IV Les sujets chez qui une suspicion clinique de HVG existe et chez qui un dosage de PN a été réalisé ont - ils «un meilleur état de santé» que les sujets qui n ont n pas été testés s? Vray M Institut Pasteur 23

24 Indices de performances Reproductibilité Validité (Accuracy) Vray M Institut Pasteur 24

25 Protocole pour évaluer la reproductibilité de la mesure Définir la population à analyser : représenter toute l él étendue des mesures Au moins 2 répétitionsr Résultats indépendants (évaluation( en insu) Vray M Institut Pasteur 25

26 Type de critères res 1) Variable discrète (2 ou K classes) Coefficient Kappa de Cohen 2) Variable quantitative Diagramme de Bland et Altman et CV ou CCI Vray M Institut Pasteur 26

27 Critères res qualitatifs Coefficient Kappa de Cohen Vray M Institut Pasteur 27

28 Le coefficient Kappa L accord observé entre des jugements qualitatifs, résulte r de la somme d une d composante «aléatoire» et d une d composante d accord «véritable» Le coefficient Kappa propose de chiffrer l intensité ou la qualité de l accord l réel r entre des jugements qualitatifs appariés Vray M Institut Pasteur 28

29 Accord entre 2 évaluations (Exemple : N= 81 sujets évalués) + Evaluation 2-32 (15.95) 2 Evaluation (18.05) 6 (22.05) 41 (24.95) Po = (32+41) / 81 = 0.9 Pe = ( ) / 81 = 0.5 Kappa = SE kappa = P o P 1 P e e o n (1 P = P (1 P ) e o ) (1 P e ) = 0.8 = 0.07 Po = 0.9 IC = Kappa ± SE 95% kappa Pe = 0.5 (chance) Po Pe = 0.4 IC 95 % = 0.8 ± = 0.8 ± Pe = 0.5 Vray M Institut Pasteur 29

30 Il exprime une différence relative entre la proportion d accord observée Po et la proportion d accord d aléatoire atoire Pe (la valeur attendue sous HO d indépendance des jugements) divisée e par la quantité disponible au-del delà de l accord l aléatoire atoire K est un pourcentage de l accord l maximum corrigé de ce qu il serait sous le simple effet du hasard Le coefficient Kappa est un nombre réel, r sans dimension, compris entre -11 et +1 Chi-2 2 de Mac Nemar (qui teste s il y a concordance) n est pas approprié dans ce contexte Utilisation du Kappa pour évaluer la reproductibilité mais aussi la validité (quand le test et le Gold standard ont le même nombre de catégories, notamment 2) Vray M Institut Pasteur 30

31 Concordance et Kappa «Valeurs de référencer rence» (Landis-Koch, 1977) Kappa peut être testé (Ho: Kappa= 0) mais ce test a peu d intd intérêt en pratique: le kappa s utilise s davantage comme un indicateur descriptif de concordance Vray M Institut Pasteur 31

32 Concordance et Kappa Cas à K 2 2 catégories Lecture du frottis cervico-utérin chez 761 sujets, méthode Papanicolaou (J. Coste et al, BMJ 2003) Po= = 0.79 Pe= = Kappa= 1 Po P Pe e = = Vray M Institut Pasteur 32

33 Concordance et Kappa: Les deux paradoxes Dépendance lourde de Kappa vis-à-vis de la fréquence (biais de prévalence = PI) ) des réponses r positives (plus une catégorie est rare, plus le kappa est bas) Problème du biais (BI) lorsque les 2 observateurs Diffèrent dans leur jugement Vray M Institut Pasteur 33

34 Exemple (1/2) : Problème de prévalence (PI) Tableau 1 Tableau 2 Clinicien 1 Clinicien Clinicien Clinicien Kappa = 0.7 Kappa = 0.32 A concordance constante (ici 85%), le Kappa est d autant plus grand que le pourcentage de diagnostics positifs (ou négatifs) parmi les concordants est proche de 50% Déséquilibre entre les taux de concordance + et - Kappa diminue Vray M Institut Pasteur 34

35 Exemple (2/2): Biais d interprétationtation entre lecteurs Tableau 1 Tableau 2 Clinicien 1 Clinicien Clinicien Clinicien Kappa = 0.13 Kappa = 0.26 Dans le tableau 1, les deux cliniciens portent le diagnostic avec une fréquence proche (70% pour le clinicien 1 et 60% pour le clinicien 2) Dans le tableau 2, le clinicien 1 porte le diagnostic dans 30% des cas contre 60% pour le clinicien 2. Le Kappa est plus élevé dans le tableau 2 alors que les cliniciens sont le plus en désaccord. Vray M Institut Pasteur 35

36 Conclusions Calculer Kappa, BI, PI Si BI important il faut essayer de comprendre pourquoi les 2 lecteurs ne cotent pas de la même façon Si PI important et BI faible il est nécessaire n de fournir les valeurs de concordances positives et négatives P neg et P pos Ces données sont particulièrement rement importantes quand on veut comparer les résultats r de plusieurs études Vray M Institut Pasteur 36

37 Critères res quantitatifs Diagramme de Bland et Altman Coefficient de corrélation intra- classe (CCI) Vray M Institut Pasteur 37

38 Résultats de la régression linéaire Y b Y b Pente = 1 Surestimation systématique d amplitude b X Pente = 1 Sous estimation systématique d amplitude b X Y X Pente 1 Surestimation jusqu à un seuil Sous estimation à partir d un seuil Vray M Institut Pasteur 38

39 Une pente = 1 et/ou un coefficient de corrélation entre les deux séries de mesures (x et y) permet de juger d une liaison entre les deux méthodes Les deux méthodes mesurant (a priori) la même chose, on doit observer une liaison Mais ne renseigne pas sur la qualité des deux mesures (ne quantifie pas les écarts entre les 2 méthodes) Vray M Institut Pasteur 39

40 Etape 2 : Méthode de Altman & Bland Etude du nuage de points avec en abscisse : la moyenne des 2 mesures (x+y)/2 en ordonnée : la différence des 2 mesures (x-y) Cette méthode fait l hypothèse que les différences sont distribuées normalement : d : moyenne des différence (x-y) s d : écart-type des différences (x-y) Compare les différences observées à la distribution statistique attendue Condition d application : nombre de mesures par méthodes n 30 Vray M Institut Pasteur 40

41 Les différentes étapes Y a-t-il une liaison entre les deux mesures? Coefficient de corrélation Oui Y a-t-il concordance? Y a-t-il indépendance entre la variabilité et le niveau de la mesure? Non Fin d analyse Diagramme de Bland & Altman Oui Coefficient de Corrélation IntraClasse (CCI) Non Coefficient de variation Vray M Institut Pasteur 41

42 Différence (x-y) d s d d 0 Valeurs moyennes (x+y)/2 d s d Comment juger si la nouvelle méthode est acceptable? C est-à-dire peut remplacer l ancienne, ou si les 2 lecteurs donnent les mêmes résultats - La différence entre les méthodes n augmente pas lorsque les valeurs augmentent (ou diminuent) - La différence entre deux mesures est peu éloignée de la moyenne Vray M Institut Pasteur 42

43 Différence (x-y) Différence (x-y) d d 0 0 (x+y)/2 (x+y)/2 Indépendance entre la variabilité et le niveau de la mesure Dépendance entre la variabilité et le niveau de la mesure (effet entonnoir) Vray M Institut Pasteur 43

44 Spécificité de la Reproductibilité d une mesure continue Pour vérifier la reproductibilité d une mesure, on répète la mesure ( 2) sur les mêmes échantillons : - les mesures doivent être indépendantes (TAS) - éviter les facteurs liés à l ordre Vérification de la cohérence en utilisant une régression linéaire : pente = 1 (coefficient de corrélation élevé) doit être observé(e), mais ne renseigne pas sur la reproductibilité Coefficient de corrélation intra-classe (>0.9) ou Coefficient de variation (<0.1) Vray M Institut Pasteur 44

45 Validité d un test par rapport à un Gold Standard Vray M Institut Pasteur 45

46 Définition du Gold Standard Caractéristiques des critères permettant d affirmer l existence d une maladie Un critère indiscutable: tuberculose et BK? Tuberculose et IDR+? Critères histo-pathologiques à partir de Biopsies Vray M Institut Pasteur 46

47 Difficultés s du Gold Standard Pas de gold standard : aucun critère vraiment satisfaisant Ex= test rapide de bandelettes pour diagnostiquer shigelles chez enfants atteints de diarrhée sévère (Coproculture peu sensible, PCR non spécifique) Quand un nouveau test ferait mieux que le standard actuel Ex: bandelettes plus sensibles si lues rapidement Un gold standard ne doit comporter dans sa définition, ni le signe, ni le résultat du test dont on évalue les propriétés diagnostiques Vray M Institut Pasteur 47

48 Le test Les critères de positivité d un test doivent être connus précisément Décrire les conditions dans lesquelles ils sont mesurés et les règles de conclusion Exemples Utilisation d une bandelette pour diagnostiquer des shigelles dans les selles lecture dans les 15 minutes Mesure de la glycémie: à jeun, post prandiale Examen direct BK (conditions de lecture : nombre de champs microscopiques?) Vray M Institut Pasteur 48

49 Evaluation d un d nouveau test diagnostic et critères res de performances On peut distinguer - Les tests binaires (oui/non ou positif/négatif ou présent/absent) Ex: Présence de sang dans les urines, sérologie s VIH positive ou négative, BAAR + ou - Les tests quantitatifs: variable continue avec un seuil Ex: bilirubinémie, cholestérol rolémie, taux de PSA,, FibroScan - Les réponses r ordinales Ex: degré de fibrose sur une lame de biopsie, images radiologiques, échelle de BIRADS sur la mammographie analyse peut être abordée e comme du quantitatif En fonction du critère, re, la méthodologie m d éd évaluation sera différente Vray M Institut Pasteur 49

50 Expressions des résultats r d une d évaluation Signe binaire : Sensibilité,, spécificit cificité Signe avec valeur continue : Courbes ROC Vray M Institut Pasteur 50

51 Cas des variables binaires Vray M Institut Pasteur 51

52 Expression des résultats Résultat test + Statut malade M+ Vrai Positif VP non malade M- Faux positif FP test - Faux Négatif FN Vrai Négatif VN On distingue 4 types de sujets -Les vrais positifs (VP) -Les faux positifs (FP) -Les varis négatifs (VN) -Les faux négatifs (FN) Vray M Institut Pasteur 52

53 Qualités intrinsèques : sensibilité et spécificité M+ M- T + VP FP T - FN VN Sensibilité : probabilité d obtenir un test positif quand le sujet est malade Valeur comprise entre 0 et 1 Se = P (T+ / M+) = VP / VP+FN => c est l aptitude d un test à identifier correctement les individus malades grâce à une réponse positive Vray M Institut Pasteur 53

54 Qualités intrinsèques : sensibilité et spécificité M+ M- T + VP FP T - FN VN Spécificité : probabilité d obtenir un test négatif quand le sujet est non malade Valeur comprise entre 0 et 1 Sp = P (T- / M- ) = VN / VN+FP => c est l aptitude d un test à identifier correctement les individus non malades grâce à une réponse négative Vray M Institut Pasteur 54

55 ex : on souhaite déterminer la sensibilité et la spécificité d un nouveau test de dépistage d une maladie sujets ont été soumis au test de référence (Gold Standard) supposé parfait : 900 ont fourni une réponse négative et 100 une réponse positive. Parmi les 100 sujets à réponse positive, 90 répondent positivement au nouveau test, et parmi le 900 à réponse négative, 30 ont donné une réponse positive au nouveau test. référence référence + - T Se = 90/100 = 0,90 Sp = 870/900 = 0,97 T Vray M Institut Pasteur 55

56 Se calculée sur une population composée exclusivement de sujets malades => Se ne varie donc pas en fonction de la prévalence de la maladie Sp calculée sur une population composée exclusivement de sujets non malades => Sp ne varie donc pas en fonction de la prévalence de la maladie Pour un test donné : Se et Sp ne dépendent pas de la prévalence de la maladie => qualités «intrinsèques» = dépendant uniquement de facteurs internes (caractéristiques du test ) Vray M Institut Pasteur 56

57 Relativité de la sensibilité et de la spécificité M+ M VP FP Seuil 1 Seuil 2 Seuil 3 FN VN Se = 0,55 Sp = 0,95 Se = 0,80 Sp = 0,75 Se = 1 Sp = 0,50 FN Se FP Sp Vray M Institut Pasteur 57

58 Ex: dépistage d cancer du sein HIP Breast Cancer Screening Project femmes âgées de 40 à 64 ans Ex. physique + mammo. + - Cancer du sein (biopsie ou aspiration) Sensibilité: : 132/177 = 75% Spécificit cificité: : 63650/64633 = 99% (Shapiro S et al., Am J Epidemiol, 1974) Vray M Institut Pasteur 58

59 Equilibre entre sensibilité et spécificit cificité On peut parfois être amené à faire des tests en séquence: s Test rapide pour le VIH qui a une très s grande sensibilité,, mais dont la spécificit cificité n est pas parfaite. Un test très s spécifique, mais plus complexe (type Western blot), pour ceux qui ont un résultat positif sur le premier test. Vray M Institut Pasteur 59

60 Equilibre entre sensibilité et spécificit cificité Selon les cas, on pourra être amené à privilégier une sensibilité ou une spécificit cificité élevée La sensibilité sera privilégi giée dans les cas suivants: Maladie grave (on ne veut pas laisser passer un cas) Maladie transmissible Quand les investigations qui découleront d du dépistage d sont sans danger et peu coûteuses (confirmation d une d hypertension artérielle) rielle) La spécificit cificité sera privilégi giée dans les cas suivants: Quand les investigations qui découleront d du dépistage d sont dangereuses ou coûteuses (angiographie par cathétérisation risation, MDR et traitement) Vray M Institut Pasteur 60

61 Qualités extrinsèques : Valeur Prédictive Positive (VPP) Valeur Prédictive Négative (VPN) M+ M- T + VP FP T - FN VN VPP = P (M+/T+) = VP / VP+FP probabilité que l individu soit malade quand le test est positif Valeur comprise entre 0 et 1 Vray M Institut Pasteur 61

62 Qualités extrinsèques : Valeur Prédictive Positive (VPP) Valeur Prédictive Négative (VPN) M+ M- T + VP FP T - FN VN VPN = P (M-/T-) = VN / VN+FN probabilité que l individu soit non malade quand le test est négatif Valeur comprise entre 0 et 1 Vray M Institut Pasteur 62

63 Suite de l exemple précèdent référence + référence - T T VPP = 90/120 = 0,75 VPN = 870/880 = 0,99 Vray M Institut Pasteur 63

64 VPP et VPN Fonction de Se et Sp du test et de la prévalence de la maladie dans la zone où est employé le test VPP = VP / (VP + FP) et VPN = VN / (VN + FN) M+ M- T + VP FP T - FN VN lorsque Se et Sp sont fixées : si p => VP deviennent majoritaires/fp => VPP => FN deviennent majoritaires/vn => VPN si p => VP deviennent minoritaires/fp => VPP => FN deviennent minoritaires/vn => VPN Vray M Institut Pasteur 64

65 Conséquences sur l interprétation des résultats En milieu où prévalence élevée: grande confiance / résultat positif (VPP) confiance plus limitée / résultat négatif (VPN) En milieu où prévalence faible: grande confiance / résultat négatif (VPN) confiance plus limitée / résultat positif (VPP) Vray M Institut Pasteur 65

66 Un même test effectué sur 1000 sujets dans 2 zones différentes (A et B) Zone A M+ M- Zone B M+ M- T T T T Quelles sont les qualités intrinsèques de ce test? Zone A : Se = 190/200 = 95% Sp = 720/800 = 90% Zone B : Se = 19/20 = 95% Sp = 882/980 = 90% Quelle est la prévalence de la maladie dans chaque zone? Que conclure si le test est +? Si le test est -? Zone A => p = 20% Zone B => p = 2% Zone A => VPP = 190/270 = 70% Zone B => VPP = 19/117 = 16% Zone A => VPN = 720/730 = 98.6% Zone B => VPN = 882/883 = 99.8% Vray M Institut Pasteur 66

67 En résumé : La VPP dépend, notamment de la spécificité du test, mais surtout de la prévalence de la maladie (plus la maladie est rare, plus la VPP est faible). La VPN dépend, notamment de la sensibilité du test, mais surtout de la prévalence de la maladie (plus la maladie et rare, plus la VPN est élevée). Vray M Institut Pasteur 67

68 Intervalles de confiance (IC) Par convention, intervalle de confiance à 95% IC 95% (Se) = IC 95% (Sp) = Se Sp ± 1.96 ± 1.96 ( Se (1 Se) m ( Sp (1 Sp) n m= nombre de malades n= nombre de non-malades Vray M Institut Pasteur 68

69 Calcul du nombre de sujets nécessairen Cette formule peut être utilisée e pour calculer le nombre de sujets nécessaire n dans une étude en définissant: d - La Se et la Sp attendues - La précision désird sirée e de ces deux estimateurs n = p q Avec p = Se ou Sp q = 1-p Et = la précision Vray M Institut Pasteur 69

70 Malades/Total Se (%) IC 95 % 10/20 90 % / % / % Plus le n est grand, plus l IC est étroit Vray M Institut Pasteur 70

71 Indices de synthèse se Visent à établir la valeur d'un test Exactitude (e) Test de Youden (j) Rapport de vraisemblance (LR+ et LR-) Vray M Institut Pasteur 71

72 Exactitude Malades Sains Test + Test - VP FN FP VN Exactitude = Sujets Bien classés = (VP+VN) / (VP+VN+FP+FN) % résultats exacts, VP et VN par rapport à la cohorte Varie de 0 à 1 1 correspondant à une absence de FP et de FN Un tirage au sort correspond à 0,5 Vray M Institut Pasteur 72

73 Indice de Youden (J) Addition des 2 qualités du test : Se et Sp J (en %)= Se +Sp-100 Varie de 1 à 1 0 pas d orientation diagnostique Cet indice est peu utilisé Vray M Institut Pasteur 73

74 Rapport de vraisemblance positif (Likelihood ratio, LR, en anglais) Définition: rapport de la probabilité d un test positif chez les malades comparés s aux non malades Probabilité d un test positif chez les malades: sensibilité (Se) Probabilité d un test positif chez les non malades: 1-1 spécificit cificité (Sp) Rapport de vraisemblance positif: Se / (1-Sp Sp) Vray M Institut Pasteur 74

75 Rapport de vraisemblance positif Intérêt: (suite) Intègre à la fois les notions de sensibilité et spécificit cificité Indépendant de la prévalence de la maladie. Permet de calculer la probabilité d être malade chez les sujets ayant un test positif en fonction de la prévalence de la maladie dans la population d éd étude Un test «intéressant» a un rapport de vraisemblance positif > 9 (correspond par exemple à une sensibilité et spécificit cificité de 90%). Vray M Institut Pasteur 75

76 Rapport de vraisemblance (exemple) Maladie + - Se = 180 / 200 = 90% Test Sp = 1719/1800 = 95,5% LR+ = Se/(1-Sp) = 0,9 / (0,045) = 20 Vray M Institut Pasteur 76

77 Nomogramme de Fagan Pre-test odds X LR = post-test odds Prévalence de la maladie dans la population p = 0,10 LR = 20 Pre-test odds = p / (1-p) = 0,1/(1-0,1) = 0,11 Post-test odds = 0,11X 20 = 2,2 Probabilité d être malade (VPP) = post-test odds / (1 + post-test odds) = 2,2/(1+2,2) = 0,69 Vray M Institut Pasteur 77 (Deeks & Altman, BMJ, 2004)

78 Rapport de vraisemblance négatif Définition: rapport de la probabilité d un test négatif chez les malades comparés aux non malades Probabilité d un test négatif chez les malades: 1- sensibilité (Se) Probabilité d un test négatif chez les non malades: Spécificité (Sp) Rapport de vraisemblance négatif: (1-Se) / Sp Un test intéressant à un rapport de vraisemblance négatif < 0,1. Vray M Institut Pasteur 78

79 Cas d un d signe avec des valeurs quantitatives Vray M Institut Pasteur 79

80 Les courbes ROC Lorsqu un un test a des valeurs continues, il existe de nombreuses valeurs Se/Sp Sp important d avoir d tous les spectres des valeurs du test et de ne pas se limiter à certaines valeurs, ou intervalles même si le but final est de définir d un seuil (cut( cut-off) qui présente le meilleur rapport Se/Sp Sp (celui qui nous intéresse et qui dépend d du contexte) La courbe ROC permet d avoir d le tracé des Se et Sp correspondant à toutes les valeurs du test Vray M Institut Pasteur 80

81 Construction de la courbe ROC On porte - en abscisse, la variable «1 spécificit cificité» = faux positifs parmi les non-malades - en ordonnée la sensibilité = les vrais positifs parmi les malades Un seuil est idéal s il s permet de séparer s totalement les positifs des négatifs, n sans faux positifs ni faux négatifsn Vray M Institut Pasteur 81

82 Sensibilité (Vrais positifs) Spécificité (Faux positifs) Vray M Institut Pasteur 82

83 1 0.8 Seuil =0.6 M+ M- p 1 > S VP FP p 1 S FN VN Seuil 0.2 Sensibilité Seuil =0.4 Seuil =0.2 M+ M- p 1 > S VP FP p 1 S FN VN M+ M- Seuil p 1 > S VP FP p 1 S FN VN Seuil Spécificit cificité (taux de faux positifs) Vray M Institut Pasteur 83

84 Construction de la courbe ROC Sensibilité 1 0 A Diagonale passant par 0 test non informatif Un test est d autant meilleur que sa courbe se situera près du point A et loin de la diagonale Minimiser la distance par rapport au point idéal A Se = Sp = 1 1- Spécificit cificité (taux de faux positifs) Vray M Institut Pasteur 84

85 On calcule AUC= Aire sous courbe (avec IC 95% ) Plus AUC proche de 1 plus le test est performant Vray M Institut Pasteur 85

86 Avantages des COURBES ROC - Simple et facilement compréhensible graphiquement - Tient compte de l ensemble l des valeurs du test (ne nécessite pas le choix arbitraire d un d seuil) - Totalement indépendante de la prévalence de la maladie dans l él échantillon - Permet une comparaison directe visuelle de plusieurs tests sur une même échelle (+ tests pour comparer AUC) - on peut calculer l IC 95% de l AUCl AUC.. La borne inférieure ne doit pas comprendre 0.5 pour que le test ait un intérêt Vray M Institut Pasteur 86

87 Les principaux biais Vray M Institut Pasteur 87

88 Definitions Erreur systematique (Biais) : erreur de raisonnement ou de procédure amenant à une représentation faussée de la réalité. Un biais revêt un caractère systématique et altère l estimation dans un sens donné. Erreur aleatoire : non imputable à une cause décelable et due au hasard. Elle aboutit à une perte de précision de l estimation mais non à sa déviation systématique dans un sens donné. Vray M Institut Pasteur 88

89 6) Sources de BIAIS. A) Intégrit grité des tests (Integrity( test) B) Le biais de vérification v (Verification( bias) C) Erreurs sur la référence r rence (Errors( in the reference) D) Le biais de recrutement (Spectrum bias) E) Le biais d interprd interprétation tation (Test interpretation bias) F) Les tests ininterprétables tables (Unsatisfactory( tests) G) Le biais d extrapolation d (Extrapolation bias) H) Le biais d incorporation d (Incorporation bias) + biais spécifiques des études de dépistaged I) Le biais du temps d avance d au diagnostic (Lead( Time Bias) J) Le biais de lenteur d éd évolution (Length( Time Bias) K) Le biais de sur-diagnostic (Diagnostic Bias) L) Le bais de sélection s (Selection( Bias) Vray M Institut Pasteur 89