Principe d évaluation des tests diagnostiques Dr Sandra DAVID TCHOUDA Cellule d évaluation médico-économique des innovation, CHUG sdavidtchouda@chu-grenoble.fr Plan Objectif et contexte de ces études visant à évaluer un test diagnostique Rappel LCA Principe d un test diagnostique Performance diagnostique d un test / application pratique (EP) Se, Sp, rapports de vraisemblance (RV) VPP, VPN Nomogramme de Fagan : P(M) a priori et a postériori Biais / précautions d interprétation Biais de sélection, de classement et de publication, Exemple de calcul Référence bibliographique S David tchouda / Eval test diag / P2 2013/2014 2 1
Objectif et contexte de ce type d étude Objectif de ces études Mesurer la performance/ validité d un «test» pour une maladie donnée : critère intrinsèque : Sensibilité, spécificité, RV+, RV-, indice de Youden Recherche d un seuil (courbe ROC, aire sous la courbe) critère extrinsèque : VPP, VPN Le différencier de reproductibilité ou fiabilité (variabilité intra et inter laboratoire) Cout S David tchouda / Eval test diag / P2 2013/2014 4 2
Design d étude Le plus souvent, étude observationnelle Cohorte Cas témoins Étude transversale interventionnelle si le test ne fait pas partie de la pratique de soins courante Plus rarement, étude interventionnelle Essai clinique Test rajouté à la pratique habituelle S David tchouda / Eval test diag / P2 2013/2014 5 Contexte d étude Respect d un continuum à cette recherche : 1. Mise en évidence de l association entre le test (biologie, imagerie, génétique, SC ) et la maladie Recherche étiologique (étude de cohorte, cas témoins, ) objectif préalable 2. Intérêt de ce test pour diagnostiquer la maladie? Fiabilité / reproductibilité en 1 er lieu objectif préalable qualités diagnostiques du test (Se, Sp) Validité interne 3. Si test «satisfaisant», autres objectifs : Intérêt dans dépistage (stade pré symptomatique), Intérêt dans le pronostic de la maladie Validité externe (VPP, VPN) S David tchouda / Eval test diag / P2 2013/2014 6 3
Rappel LCA 24 objectifs pour l ECN Rappel LCA (1) : quels objectifs? Critiquer un article pour modifier sa pratique ou pas! Implication +++ Proposition de grille de LCA en santé Support HAS janvier 2000 grille de l ECN en médecine : LCA des articles épidémiologiques et en recherche clinique Contient 24 objectifs (ci-après) S David tchouda / Eval test diag / P2 2013/2014 8 4
Rappel LCA (2) : grille ECN IDENTIFIER 1. l objet d un article médical scientifique parmi les suivants : évaluation d une procédure diagnostique, d un traitement, d un programme de dépistage, estimation d un pronostic, enquête épidémiologique à l exclusion des MA, 2. La question posée par les auteurs (hypothèses). S David tchouda / Eval test diag / P2 2013/2014 9 Rappel LCA (3) : grille ECN (suite) ANALYSER LA METHODOLOGIE Population 3. Identifier les caractéristiques de la population source / cible, 4. Analyser les modalités de sélection des sujets, critères inclusion/exclusion 5. Analyser la technique de randomisation, le cas échéant, 6. Discuter la comparabilité des groupes soumis à la comparaison, 7. Discuter l évolution des effectifs étudiés et leur cohérence dans la totalité de l article. Calcul du nombre de sujet fait a priori? S David tchouda / Eval test diag / P2 2013/2014 10 5
Rappel LCA (4) : grille ECN (suite) ANALYSER LA METHODOLOGIE (suite) Méthode 8. S assurer que la méthode employée est cohérente avec le projet du travail et qu elle est effectivement susceptible d apporter «une» réponse à la question posée dans l article, 9. Vérifier que les analyses statistiques (en fonction de notions élémentaires) sont cohérentes avec le projet du travail, connaitre les limites de l analyse en sous- groupe, notion de perdus de vue (PDV), 10. Vérifier le respect des règles éthiques. S David tchouda / Eval test diag / P2 2013/2014 11 Rappel LCA (5) : grille ECN (suite) ANALYSER LA PRESENTATION DES RESULTATS 11. Analyser la présentation, la précision et la lisibilité des tableaux et des figures, leur cohérence avec le texte et leur utilité, 12. Vérifier la présentation des indices de dispersion (intervalle de confiance, valeurs extrêmes, quantiles, écart-types) permettant d évaluer la variabilité des mesures / l imprécision des estimations. S David tchouda / Eval test diag / P2 2013/2014 12 6
Rappel LCA (6) : grille ECN (suite) CRITIQUER L ANALYSE DES RESULTATS ET DE LA DISCUSSION 11. Discuter la nature et la précision des critères de jugement des résultats. 12. Relever les biais qui ont été discutés. Rechercher d autres biais de classement et de sélection éventuels non pris en compte dans la discussion et relever leurs conséquences dans l analyse des résultats. 13. Vérifier la logique de la discussion et sa structure. Reconnaître ce qui relève des données de la littérature et ce qui est opinion personnelle de l auteur. S David tchouda / Eval test diag / P2 2013/2014 13 Rappel LCA (7) : grille ECN (suite) CRITIQUER L ANALYSE DES RESULTATS ET DE LA DISCUSSION (suite) 14. Discuter la signification statistique des résultats. 15. Discuter la pertinence clinique des résultats. 16. Vérifier que les résultats offrent une réponse à la question annoncée, 17. Vérifier que les conclusions sont justifiées par les résultats, 18. Indiquer le niveau de preuve de l étude (grille de l HAS). S David tchouda / Eval test diag / P2 2013/2014 14 7
Rappel LCA (8) : grille ECN (suite) EVALUER LES APPLICATIONS CLINIQUES 21. Discuter la ou les applications potentielles /décisions médicales auxquelles peuvent conduire les résultats et la conclusion de l article CRITIQUER LA FORME DE L ARTICLE 22. Identifier la structure IMReD (Introduction, Matériels et Méthodes, Résultats, Discussion) et s assurer que les divers chapitres de la structure répondent à leurs objectifs respectifs 23. Faire une analyse critique de la présentation des références 24. Faire une analyse critique du titre S David tchouda / Eval test diag / P2 2013/2014 15 Rappel LCA (9) : en bref? Argumenter : Au début, en utilisant une grille d aide à la LCA! En utilisant vos connaissances Sur la structure des articles originaux en général Sur la méthodologie de l article (objectif, exigences dans population, méthodes et résultats) validité interne En discutant la conclusion «Ampleur» des résultats Pertinence clinique et statistique Extrapolation validité externe Replacer l étude dans son contexte S David tchouda / Eval test diag / P2 2013/2014 16 8
Principe du raisonnement probabiliste Raisonnement probabiliste (1) Pourquoi en santé, raisonner sur des probabilités? Parce que: Le signe clinique parfait pathognomonique ou l examen complémentaire idéal (non couteux, non douloureux, non invasif ) existe rarement On est rarement en situation de certitude absolu Le vivant n est pas un théorème de maths démontrable S David tchouda / Eval test diag / P2 2013/2014 18 9
Raisonnement probabiliste (2) Le but pour un médecin est de transformer une probabilité de maladie a priori probabilité clinique défini avant l information fournie par une exploration suppl. en une probabilité de maladie a posteriori en intégrant dans la démarche diagnostique l information fournie par l exploration! S David tchouda / Eval test diag / P2 2013/2014 19 Raisonnement probabiliste (3) : Le raisonnement probabiliste fait partie de la démarche diagnostique : 1. Probabilité de M avant / après le recueil d un signe clinique 2. Probabilité de M avant / après un examen paraclinique Application à l embolie pulmonaire (EP) S David tchouda / Eval test diag / P2 2013/2014 20 10
1/ Proba d EP à la clinique Cancer évolutif (tt en cours dans les 6 mois ou palliatif) + 1 Symptômes cliniques de thrombose veineuse + 3 Fréquence cardiaque supérieure à 100 + 1.5 Immobilisation ou chirurgie dans le mois précédent + 1.5 Antécédent thromboembolique veineux + 1.5 Hémoptysie + 1 Absence d alternative diagnostique + 3 Score < 2: probabilité faible Score = 2 à 5: probabilité modérée Score > 5: probabilité forte Wells et al. Thromb Haemost 2000; 83: 416 S David tchouda / Eval test diag / P2 2013/2014 21 2/ Proba d EP Angioscanner D-dimère (ELISA) Écho-doppler des MI S David tchouda / Eval test diag / P2 2013/2014 22 11
Raisonnement probabiliste (4) : finalité en santé Quand P(M) est estimée très forte (> 99 %) ou très faible (< 1 %) on décide «malade» ou «non malade on arrête les investigations La démarche diagnostique est une suite d évaluation de la probabilité d une maladie intégrant des informations successives S David tchouda / Eval test diag / P2 2013/2014 23 Principe d un test diagnostique 12
Test diag (1) : apport Source d information Clinique ou paraclinique Utilisé dans une démarche de décision But : réduire l incertitude clinique S David tchouda / Eval test diag / P2 2013/2014 25 Test diag (2) : définition Tout examen anamnestique, clinique ou paraclinique dont le résultat peut être analysé vis à vis d un diagnostic supposé et exprimé en valeurs ordinales : positif / négatif positif / intermédiaire / négatif très forte probabilité / forte probabilité / probabilité intermédiaire / faible probabilité / très faible probabilité transformation d une variable continue S David tchouda / Eval test diag / P2 2013/2014 26 13
Test diag (3) : principe Test dg maladie Faux Positifs Vrai Positifs Vrai Négatifs Faux Négatifs S David tchouda / Eval test diag / P2 2013/2014 27 Calcul de la performance d un test 14
Un mot sur la reproductibilité «Fiabilité» et «reproductibilité» sont synonymes. Un test reproductible est un test qui donne le même résultat sur un sujet, quel que soit l opérateur (reproductibilité inter opérateur) et quel que soit le moment où on l applique (reproductibilité temporelle / intra opérateur). Plus un examen est reproductible, plus il est fiable. La reproductibilité se mesure avec le coefficient kappa (variabilité inter-opérateur ou intra-opérateur) Ne pas confondre avec la validité du test qui est sa capacité à identifier la maladie (efficacité du test / performance) : Se, Sp, VP, RV, courbe ROC S David tchouda / Eval test diag / P2 2013/2014 29 Performance (1) Caractéristiques «intrinsèques» : capacité informative propres au test (ne dépendent pas de la prévalence) sensibilité, spécificité, rapports de vraisemblance (RV+, RV-) Caractéristiques «extrinsèques» : caractéristiques intrinsèques + contexte utilisation prévalence (= probabilité pré-test) valeurs prédictives positive / négative (= probabilité post-test) S David tchouda / Eval test diag / P2 2013/2014 30 15
Performance (2) Nécessite d être «comparé» au test de référence (gold standard) qui définit les malades et les non malades Elaboration d un tableau de contingence S David tchouda / Eval test diag / P2 2013/2014 31 Application pratique du cours : l EP La question : valeur prédictives de l EP par les «D dimères»? Performance diagnostique des D Dimères Cas du critère binaire (seuil D dimères patho 500 µg/l) Cas du critère quantitatif S David tchouda / Eval test diag / P2 2013/2014 32 16
Se et Sp Sensibilité et Spécificité Gold standard Résultats du test Malades (M+) Non malades (M-) Test positif (T+) VP FP Test négatif (T-) FN VN Total (VP+FN) (FP+VN) ( + M + ) Se = P T / = VP VP ( + FN ) ( M ) Sp = P T / ( VN + FP) S David tchouda / Eval test diag / P2 2013/2014 34 = VN 17
Se 1 : test très sensible/ dg «d exclusion» test toujours positif (T+) chez les sujets malades (M+) existence de FP? la négativité du test (T-) écarte la maladie (M-) oui EP non D-dimer 500µg/L 195 278 D-dimer < 500µg/L 1 197 Total 196 475 Se 195 = P( T + / M + ) = 99.5% 195 = ( + 1) S David tchouda / Eval test diag / P2 2013/2014 35 Sp 1 : test spécifique/ dg de «confirmation» test toujours négatif (T-) chez les sujets sains (M-) existence de FN? sa positivité (T+) est pathognomonique de la maladie (M+) EP oui non D-dimer 10,000µg/L 20 2 D-dimer < 10,000µg/L 176 473 Total 196 475 473 Sp = P( T / M ) = 99.6% 473 = ( + 2) S David tchouda / Eval test diag / P2 2013/2014 36 18
Rapports de vraisemblance Rapports de vraisemblance : définition Regrouper la sensibilité et la spécificité du test en un seul indicateur, le rapport de vraisemblance LR+ = P(T+/M+)/P(T+/M-) Capacité du T+ à distinguer les M des nonm coefficient multiplicateur de la probabilité a priori de la maladie S David tchouda / Eval test diag / P2 2013/2014 38 19
Rapports de vraisemblance : calcul Résultats du test Test positif (T+) Test négatif (T-) Total Gold standard Malades (M+) VP FN Non malades (M-) FP VN LR+ = ( + / M + ) Se P( T / M + ) 1 = LR = = ( + / M ) 1 Sp P( T / M ) Sp P T P T Se S David tchouda / Eval test diag / P2 2013/2014 39 RV positif : interprétation P T LR+ = P T D-dimère 500 µg/l ( + / M + ) Se 0.995 = = ( + / M ) ( 1 Sp) ( 1 0.414) = 1.70 LR+ = (VP/M+) / (FP/M+) Interprétation : les DD sont «quasi 2 fois plus souvent positifs chez les M par rapport aux nonm» Le test est d autant plus informatif que LR+ >>1 (bon test > 5-10 selon la communauté scientifique) S David tchouda / Eval test diag / P2 2013/2014 40 20
RV négatif : interprétation LR = ( / M + ) ( / M ) P T P T D-dimer < 500 µg/l = ( 1 Se) ( 1 0.995) Sp = 0.414 = 0.01 «LR- = 0.01» signifie que les DD sont «100 fois moins souvent négatifs chez les M par rapport aux nonm» Le test est d autant plus informatif que LRproche de 0 (FN / VN) S David tchouda / Eval test diag / P2 2013/2014 41 Application à l EP pour l utilisation des RV 21
Application à l EP Probabilité a priori Implicite (raisonnement non formel du médecin par expérience) Explicite (règle prédictive : score de Wells) Prévalence(EP) a priori S David tchouda / Eval test diag / P2 2013/2014 43 Rappel : score clinique de Wells Cancer évolutif (tt en cours dans les 6 mois ou palliatif) + 1 Symptômes cliniques de thrombose veineuse + 3 Fréquence cardiaque supérieure à 100 + 1.5 Immobilisation ou chirurgie dans le mois précédent + 1.5 Antécédent thromboembolique veineux + 1.5 Hémoptysie + 1 Absence d alternative diagnostique + 3 Score < 2: probabilité faible Score = 2 à 5: probabilité modérée Score > 5: probabilité forte Wells et al. Thromb Haemost 2000; 83: 416 S David tchouda / Eval test diag / P2 2013/2014 44 22
Rappel : D DIMERE RV- = 0.01 D-dimère (ELISA) S David tchouda / Eval test diag / P2 2013/2014 45 Rapport de vraisemblance (+) de l angioscanner thoracique spiralé 100% 90% Post-test probability 80% 70% 60% 50% 40% 30% Rapport de vraisemblance positif: 24.1 20% 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Pre-test probability Roy et al. BMJ 2005 S David tchouda / Eval test diag / P2 2013/2014 46 23
Diagramme de Fagan Scanner : LR+= 24.1 D Dimère : LR- = 0.01 S David tchouda / Eval test diag / P2 2013/2014 47 Synthèse interprétation RV Coefficient multiplicateur de P(M) Interprétation RV+: un sujet a «RVP fois» plus de risque d'avoir un test positif s'il est atteint de la maladie étudiée que s'il n'est pas atteint de la maladie. Interprétation RV-: un sujet a «RVN fois» moins de risque d'avoir un test négatif s'il est atteint de la maladie étudiée que s'il n'est pas atteint de la maladie. S David tchouda / Eval test diag / P2 2013/2014 48 24
Prev (M) et valeurs prédictives (VPP et VPN) dans le cas d une cohorte Probabilité a priori : Prévalence Gold standard Résultats du Malades (M+) Non malades (M-) test Test positif (T+) VP FP Test négatif (T-) FN VN Total m 1 m 0 Prévalence = P ( M + / Total) = m 1 m 1 + m 0 S David tchouda / Eval test diag / P2 2013/2014 50 25
Ex : prévalence de l EP EP oui non D-dimer 500µg/L 195 278 D-dimer < 500µg/L 1 197 Total 196 475 196 Prévalence = P Total = = 29% ( M + / ) ( 196 + 475) S David tchouda / Eval test diag / P2 2013/2014 51 Probabilité a posteriori (+) : VPP Résultats du test Malades (M+) Gold standard Non malades (M-) Test positif (T+) VP FP Test négatif (T-) FN VN Total (VP+FN) (FP+VN) ( M + T + ) VPP = P / = VP ( VP + FP) S David tchouda / Eval test diag / P2 2013/2014 52 26
Variation de la VPP en fonction de la prévalence (1) Pulmonary Embolism Yes No D-dimer 500µg/L 195 278 D-dimer < 500µg/L 1 197 Total 196 475 Se = 0.995 et Sp = 0.414 Prévalence = 196 / 671 = 29% VPP= 195 / 473 = 41% S David tchouda / Eval test diag / P2 2013/2014 53 Variation de la VPP en fonction de la prévalence (2) Pulmonary Embolism Yes No D-dimer 500µg/L 195 2780 D-dimer < 500µg/L 1 1970 Total 196 4750 Se = 0.995 et Sp = 0.414 Prévalence = 196 / 4946 = 4% VPP= 195 / 2975 = 6.5% S David tchouda / Eval test diag / P2 2013/2014 54 27
Probabilité a posteriori (-) : 1-VPN Gold standard Résultats du test Malades (M+) Non malades (M-) Test positif (T+) VP FP Test négatif (T-) FN VN Total (VP+FN) (FP+VN) VPN ( M T ) = P / = VN ( VN + FN ) S David tchouda / Eval test diag / P2 2013/2014 55 Interprétation VP (1) les VP impose de ne parler que de la population concernée. on sait que la VPN augmente quand la P[M] diminue et inversement pour la VPP. 1,00 0,90 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 VPP VPN 0,00 0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00 Prévalence S David tchouda / Eval test diag / P2 2013/2014 56 28
Interprétation VP (2) VPP = Prev*Se / [(Prev *Se) + (1-Prev)*(1-Sp)] = P(M/T+) si cohorte dénominateur VPP = % de tests positifs VPN = (1-Prev)*Sp / [(1-Prev)*Sp + (Prev)*(1-Se)] = P(nonM/T-) si cohorte si la Sp tend vers 1 la VPP tend vers 1 (diagnostic de confirmation quand T+) si la Se tend vers 1 la VPN tend vers 1 (diagnostic d exclusion quand T-) S David tchouda / Eval test diag / P2 2013/2014 57 Interprétation VP (3) VPP A Se égale, la VPP croit avec P(M) et décroit avec le % de tests positifs (dénom. VPP). A Se égale, la VPP d'un test est donc d'autant plus forte que la maladie est fréquente ET le test rarement positif. VPN A Sp égale, la VPN d'un test sera d'autant meilleure que la maladie est rare ET que la positivité du test est fréquente (i.e. test rarement négatif ). S David tchouda / Eval test diag / P2 2013/2014 58 29
Cas du critère quantitatif Cas d un test quantitatif Quel seuil adopter? Gold standard? Résultats du test Malades (M+) Non malades (M-) Test positif (T+) VP FP Test négatif (T-) FN VN Total (VP+FN) (FP+VN) S David tchouda / Eval test diag / P2 2013/2014 60 30
effectif 70 60 50 PE = no PE = yes 40 30 20 10 0 100 200 300 400 500 600 700 800 900 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 >=10000 Seuil 100 µg/l D-dimer (µg/l) S David tchouda / Eval test diag / P2 2013/2014 61 Seuil 100 µg/l Pulmonary Embolism Yes No D-dimer 100µg/L 196 470 D-dimer < 100µg/L 0 5 Total 196 475 Se = 1 et Sp = 0.01 S David tchouda / Eval test diag / P2 2013/2014 62 31
effectif 70 60 50 PE = no PE = yes 40 30 20 10 0 100 200 300 400 500 600 700 800 900 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 >=10000 Seuil 500 µg/l D-dimer (µg/l) S David tchouda / Eval test diag / P2 2013/2014 63 Seuil 500 µg/l Pulmonary Embolism Yes No D-dimer 500µg/L 195 278 D-dimer < 500µg/L 1 197 Total 196 475 Se = 0.995 et Sp = 0.414 S David tchouda / Eval test diag / P2 2013/2014 64 32
Courbe ROC (Receiver Operating Characteristics) D-dimer Se Sp 100 100 1.1 200 100 13.7 300 100 24.8 400 99.5 34.9 500 99.5 41.4 600 95.4 49.9 S David tchouda / Eval test diag / P2 2013/2014 65 Courbe ROC AUC (area under curve) = 1 si test parfait (Se=1 et Sp=1) AUC = 0,5 si test non discriminant (courbe ROC = diagonale) 500 100 1000 1-Sp= FP 95% CI [0.84-0.90] S David tchouda / Eval test diag / P2 2013/2014 66 33
Conclusion pratique Moyens diagnostiques EP? nouveau test tests diag à évaluer? S David tchouda / Eval test diag / P2 2013/2014 67 Biais / Précautions d interprétation 34
1. Biais de sélection (1) Biais de sélection : la population étudiée ne correspond pas à celle que nous prenons en charge Patients aux caractéristiques différentes Panel de patients insuffisamment varié Prévalence de la M plus basse ou plus élevée S David tchouda / Eval test diag / P2 2013/2014 69 1. Biais de sélection Performance modifiée Surestimation des propriétés «intrinsèques» potentielles (i.e. phase symptomatique M) Sur(sous)estimation des valeurs des VP en fonction de la prévalence Extrapolation limitée des résultats : estimations non extrapolables à la pratique courante pour laquelle le test est développé S David tchouda / Eval test diag / P2 2013/2014 70 35
2. biais de classement (1) Biais d exclusion/ biais de suivi : au fil de l étude, la population étudiée ne correspond plus à celle que nous prenons en charge (PDV) Biais de subjectivité de l enquêteur / biais d évaluation / biais d interprétation Pour l éviter, la lecture du test doit être Aveugle et/ou indépendante de l examen de référence (R) S David tchouda / Eval test diag / P2 2013/2014 71 2. biais de classement (2) les biais d évaluation sont souvent investigateur dépendant : Expérience du praticien (théorie) habitudes du praticien (caractéristiques en pratique réelle : pragmatique) Pour les éviter, on peut : Standardiser le recueil S David tchouda / Eval test diag / P2 2013/2014 72 36
2. biais de classement (3) Biais de vérification : gold standard imparfait Pour l éviter le gold standard doit être : Le plus «parfait» possible exhaustif : réalisé chez tout le monde Biais d incorporation : le test est inclus dans gold standard (perte d indépendance) S David tchouda / Eval test diag / P2 2013/2014 73 3. biais de publication Biais de publication : Les résultats de l étude sont regroupés avec d autres études publiées et seules les études avec des résultats probants ont été publiées. majoration des performances possible? S David tchouda / Eval test diag / P2 2013/2014 74 37
6. Exemple de calcul Application en santé Evaluation de la valeur diagnostique du dosage radio-immunologique des phosphatases acides dans le dépistage du cancer de la prostate Étude de cohorte T+ si dosage > 8,0 mg /0,1 ml Cancer Pas cancer Test + 75 30 105 Test - 40 210 250 115 240 355 S David tchouda / Eval test diag / P2 2013/2014 76 38
calcul Cancer Pas cancer Test + 75 30 105 Se = P [T+/M+] = 75/115 = 65,2% Test - 40 210 250 115 240 355 Sp = = P [T-/M-] = 210/240 = 87,5% VPP = P [M+/ T+] = 75/105 = 71,4% VPN = = P [M-/ T-] = 210/250 = 84% RV+ = P [T+/M+] / P [T+/M-] = 5,2 RV- = P [T-/M+] / P [T-/M-] = 0,40 S David tchouda / Eval test diag / P2 2013/2014 77 7. Références bibliographiques 39
Pour en savoir plus Delacour H. et al. Critères d évaluation de la validité d un test biologique. Revue francophone des laboratoires 2009;39(412):41-48. Knottnerus J.A. et al. Evaluation of diagnostic procedures. BMJ. 2002 February 23; 324(7335): 477 480 F Doyon et al. Evaluation des méthodes diagnostiques. J Radiol. 2001 Feb;82(2):117-25. Site internet du CNCI (conseil Scientifique de médecine), onglet «épreuve de Lecture critique d article (objectifs pédagogique, glossaire, exemples, annales ) http://www.cnci.parisdescartes.fr/medecine/ S David tchouda / Eval test diag / P2 2013/2014 79 40