Principes des études diagnostiques

Transcription

1 Principes des études diagnostiques Caroline Elie URC/CIC Paris Centre Hôpital Necker 1

2 Contexte symptômes 2

3 Démarche diagnostique Symptômes, histoire de la maladie, ATCD, examens complémentaire Probabilité pré-test = prévalence de la maladie Résultats du test Probabilité post-test 3

4 Objectifs d une étude diagnostique =Evaluation d un nouveau test diagnostique Un préalable = fiabilité (reproductibilité) Apport informationnel = qualité du test : augmenter la certitude de la présence ou de l absence de maladie (validité) Ensuite = apport décisionnel : améliorer la prise en charge clinique et l évolution clinique 4

5 Fiabilité Fiabilité = propriété d un test dont les résultats peuvent être reproduits aussi longtemps que les conditions du test ne changent pas = mesure de la concordance entre deux mesures répétées (reproductibilité) : Mesure par 2 observateurs différents (repro inter-observateurs) Mesure d un même observateur 2 fois (repro intra-observateur) Pas de vérité (pas d information référentielle, gold standard) 5

6 Validité Validité = propriété d un test qui se définit par la capacité à mesurer ce qu il est censé mesurer (ici la maladie) Comparaison par rapport à un test de référence (appelé «gold standard») 6

7 Etude diagnostique : principe général Symptômes, histoire de la maladie, ATCD, examens Échantillon de patients suspectés d avoir la maladie Nouveau test Test de référence Confrontation des résultats 7

8 Une «maladie» : le plus souvent une maladie particulière, mais aussi un stade de maladie, une mutation Un «test» : un examen de laboratoire, d'imagerie, des épreuves fonctionnelles, l'anatomopathologie, un signe clinique 8

9 Exemple Diagnostic de corps étranger intra-bronchique chez l enfant Test de référence = endoscopie bronchique (invasif) Nouveau test = le scanner (non invasif mais ne permet pas l extraction) Évaluation des performances du scanner 9

10 Ne pas confondre Test prédictif /pronostique Cohorte Maladie ou événement Test diagnostique Étude transversale Maladie 10

11 Etude diagnostique : résultats Test de référence Malade M+ Non malade M- Nouveau test Positif T+ Négatif T- Vrais positifs VP Faux négatifs FN Faux positifs FP Vrais négatifs VN 11

12 Les indices informationnels Nouveau test T+ T- Test de référence M+ M- VP FP FN VN Sensibilité proportion de tests (+) chez les malades Se=P(T+/M+) Spécificité proportion de tests (-) chez les non-malades Sp=P(T-/M-) Se=VP/(VP+FN) Sp=VN/(FP+VN) 12

13 Les indices informationnels Nouveau test T+ T- Test de référence M+ M Sensibilité Spécificité proportion de tests+ chez les malades Se=95/(95+10) Se=90% proportion de tests- chez les non-malades Sp=70/(70+35) Sp=67% 13

14 Interprétation Sensibilité = P(T+/M+) : capacité à détecter les malades (dépistage) Spécificité = P(T-/M-) : capacité à détecter les non malades 14

15 Les indices informationnels Nouveau test T+ T- Test de référence M+ M- VP FP FN VN Valeur Prédictive Positive proportion de malades parmi les patients ayant un test (+) VPP=P(M+/T+) VPP=VP/(VP+FP) Valeur Prédictive Négative proportion de non-malades parmi les patients ayant un test (-) VPN=P(M-/T-) VPN=VN/(FN+VN) VVP = proba post-test 15

16 Les indices informationnels Nouveau test T+ T- Test de référence M+ M Valeur Prédictive Positive VPP=95/(95+35) VPP=73% VVP = proba post-test Valeur Prédictive Négative VPN=70/(10+70) VPN=88% 16

17 Interprétation VPP = P(M+/T+) et VPN = P(M-/T-) Probabilités post-test 17

18 Test quantitatif (ex: dosage) Sujets non malades Sujets malades VN VP FN FP T- S T+ Valeurs du Test FP FN 18

19 Courbe ROC Le nouveau test est une mesure continue (dosage) trouver un seuil 19

20 Courbe ROC : exemple 100% 80% sensibilité 60% 40% % 0% 0% 20% 40% 60% 80% 100% 1-spécificité 20

21 Recherche diagnostique (Sackett, BMJ, 2002) Exemple : diagnostic de l insuffisance cardiaque gauche par le dosage du BNP Phase I : les résultats du test sont-il différents chez les malades et chez les sujets normaux? 21

22 Recherche diagnostique (Sackett, BMJ, 2002) Phase II : les patients ayant un résultat positif au test sontils plus susceptibles d avoir la maladie que les autres? 22

23 Recherche diagnostique (Sackett, BMJ, 2002) Phase III : le test permet-il de distinguer les malades des non malades parmi les patients suspects de présenter la maladie? 23

24 Recherche diagnostique (Sackett, BMJ, 2002) Phase IV : les patients bénéficiant du test seront-ils dans un meilleur état de santé que des patients similaires n ayant pas eu le test? Essais randomisés 24

25 Planification de l étude 1) Population (design, mode de recrutement, nb sujets, spectre ) 2) Le test de référence (choix, propriétés ) 3) Le nouveau test (propriétés, exécution ) 4) Déroulement de l étude (vérification, critère de jugement ) 5) Interprétation des tests (modalités de lecture) 6) Analyse (analyse de sous-groupes, précision, résultats indéterminés, seuil ) 25

26 1) La population 26

27 Population population Cas témoins ou étude transversale/cohorte? Nombre de sujets Prospectif ou rétrospectif Sélection des patients : Critères d inclusion, de non inclusion Caractéristiques démographiques Prévalence de la maladie Sévérité de la maladie 27

28 Cas (malades) témoins (non malades) population 2 témoins par cas 1 témoin par cas M+ M- M+ M- T T T T Sens=80% Spe=60% VPP=50% VPN=86% Sens=80% Spe=60% VPP=67% VPN=75% 28

29 Cas témoins: problèmes population Choix du rapport cas\témoins (ou prévalence de la maladie) modifie les performances du test Choix des cas et des témoins : Cas très malades (the sickest of the sick) : Se Témoins très normaux (the wellest of the well) : Spe 29

30 Caractéristiques démographiques population Performances d un test variables en fonction des caractéristiques de la population +++ biais de sélection Représentativité de la population cible ++ Description de la population : au moins age, sexe, symptomatologie, stade de la maladie + variables pertinentes pour maladie étudiée donne une idée de la représentativité des sujets inclus (validité externe) 30

31 Nombre de sujets nécessaire population Calculé à partir de la précision désirée (i) pour l estimation de la sensibilité (nbre de malades) ou de la spécificité (nbre de non malades) et la prévalence de la maladie n malades z 2. sens.(1 sens) / 2 2 Calcul du nbre de malades (ou non malades) puis du nbre de sujets total i 31

32 Exemple population Proportion attendue de malades : 20% Sensibilité attendue : 90% Précision souhaitée : 5% n malades 1,96 2 0,90(1 2 0,05 0,90) 139 Nombre total de sujets à inclure : n total

33 Population : résumé population Choix de la population +++ «cohorte» : échantillon représentatif de la population cible du test, patients inclus consécutivement cas témoins : biais +++ Calcul d un nombre de sujets nécessaire Critères d inclusion et de non inclusion pertinents Description de la population

34 2) Test de référence («Reference standard», «gold standard») 34

35 Choix du test de référence test référence Admis comme la référence pour établir le diagnostic final Bonnes propriétés métrologiques (fiable) Doit pouvoir être appliqué à tous les sujets Identique pour tous les sujets et ne doit pas être modifié en cours d étude Modalités de réalisation standardisées Définition des critères de positivité Fait par ceux qui le font en pratique 35

36 Pas de bon test de référence test référence Souvent! Si imparfait? Erreurs de classifications Si moins bon que le nouveau test? Erreurs de classifications Si n existe pas? Dans certaines pathologies (psychiatrie, migraine, syndrome, maladies infectieuses ) Si existe mais très invasif? Laparotomie pour douleurs abdominales 36

37 Solutions test référence Critère pragmatique (exple : valeur seuil d un questionnaire mesurant la dépression) Panel d experts indépendants Suivi clinique Autre? 37

38 Exemple MUCOFIBRO Diagnostique de fibrose hépatique chez les enfants atteints de mucoviscidose 4 nouveaux tests évalués : le FibroTest l'élastométrie impulsionnelle ultrasonore Fibroscan (FS) l'échographie-élastographie ShearWave (SWE) l'élastométrie par résonance magnétique (ERM) 38

39 Exemple MUCOFIBRO Gold standard (imparfait) : la ponction biopsie hépatique =Invasif donc impossible de l imposer chez tous les sujets uniquement pour la recherche Solution? Combinaison d autres tests (bilan hépatique, écho, signes cliniques ) Suivi des sujets pendant un an Méthodes stat adaptées 39

40 3) Le nouveau test («Index test») 40

41 Le nouveau test nouveau test Bonnes propriétés métrologiques (fiable) Doit pouvoir être appliqué à tous les sujets Identique pour tous les sujets et ne doit pas être modifié en cours d étude Modalités de réalisation standardisées Définition des critères de positivité Entrainement +/- nécessaire 41

42 4) Déroulement de l étude 42

43 Test de référence et vérification vérification Biais de vérification Si les deux tests sont effectués à des temps «éloignés» : Evolution propre de la maladie Evolution liée au traitement : le traitement est débuté sur le résultat du test effectué en premier 43

44 Biais de vérification vérification Si absence de vérification systématique par le test de référence Si une partie des patients seulement sont vérifiés par le test de référence (souvent pas chez les négatifs au nouveau test) Si le test de référence n est pas le même en fonction du résultat du nouveau test 44

45 Biais de vérification vérification Surtout quand le test de référence est invasif : Diagnostic de maladie coronarienne Nouveau test : scintigraphie de perfusion au thallium (non invasif) Référence : coronarographie (invasif) Diagnostic de trisomie 21 Nouveau test : clarté nucale (non invasif) Référence : amniocentèse (invasif) 45

46 Effect of study design on the association between nuchal translucency (NT) measurement and Down syndrome Mol BW, Obstetrics & Gynecology, 1999, 94(5 part 2): NT+ caryotype T21 NT NT- normal fœtus/bébé T21 normal Problème : si T21, fausses couches spontanées si NT+ : diagnostic posé dans 100% des cas si NT- : diagnostic posé dans <100% des cas

47 Nuchal translucency measurement and Down syndrome Études avec biais de vérification (n=10) Études sans biais de vérification (n=15) sen spé prév avec biais de vérification 77% 97% 0,4% sans biais de vérification 55% 96% 1,1%

48 Biais de vérification vérification Tous les patients doivent avoir le nouveau test ET le test de référence, dans un laps de temps minimum Si impossible (trop coûteux ou trop risqué), obtention du diagnostic possible par le suivi, plus ou moins long, des patients 48

49 5) Interprétation 49

50 Lecture des tests interprétation L interprétation d un test est influencée par le résultat de l autre test (non indépendance de l interprétation des deux tests) Évaluations indépendantes, en «aveugle» 50

51 Informations cliniques lecture Disponibilité et utilisation de l information clinique pour interpréter le nouveau test et\ou le test de référence Modifie le résultat du nouveau test (et du test de référence) mais plus proche de la pratique Contre (évaluation des propriétés du test seul) Pour : pratique courante 51

52 6) Analyse 52

53 Précision des indices informationnels Toujours associer une estimation ponctuelle d un intervalle de confiance Résultats précis : sens = 80% [78-82] Manque de précision : sens = 80% [61-99] 53

54 Résultats indéterminés analyse Parfois informatifs! Nécessitent de répéter le test ou de faire des investigations supplémentaires Ex : patients qui n atteignent pas la FC max lors d une épreuve d effort, gaz digestifs à la radio Fait partie des critères de qualité d un test 54

55 Résultats indéterminés analyse Préciser leur fréquence Préciser la façon dont ils ont été analysés (si classés + sens et spé, si classés c est l inverse, exclusion des sujets) et\ou analyses de sensibilité (classés + puis -) Pas de biais s ils sont peu nombreux, aléatoires et que le test est répétable Ne pas exclure les sujets qui n ont pas les 2 tests! 55

56 Analyse par sous-groupes analyse Présenter les performances dans les sousgroupes appropriés (âge, sévérité ) à moins que le spectre de la maladie soit réduit 56

57 Exemple analyse Courbes ROC de l ACE dans le diagnostic de cancer colorectal 57

58 Évaluation d une étude diagnostique 58

59 Évaluation d une étude diagnostique Grille STARD ( Éléments devant figurer dans un article rapportant les résultats d une étude diagnostique Exemple Item 4 : Décrire le recrutement des participants : le recrutement était-il fondé sur des symptômes présentés, sur des résultats d'examens antérieurs ou sur le fait que les participants ont subi le nouveau test ou le test de référence? Grille QUADAS ( Évaluation de la qualité des études diagnostiques à inclure dans les revues systématiques 59

60 STARD METHODES Participants Décrire la population étudiée : les critères d inclusion et d exclusion, la mise en oeuvre, les structures et les lieux où les données ont été collectées le recrutement des participants : était-il fondé sur des symptômes présentés, des résultats d examens antérieurs ou sur le fait que le nouveau test ou le test de référence a été réalisé chez les participants? l échantillonnage des participants : s agissait-il d une série consécutive de participants définis par des critères de sélection des items (3) et (4)? Si non, spécifier la façon dont les patients ont été sélectionnés. la collecte des données : le recueil des données a-t-il été planifié avant que le nouveau test et le test de référence aient été réalisés (étude prospective) ou après (étude rétrospective)? 60

61 STARD METHODES Méthodes des tests Décrire le test de référence et son rationnel les spécifications techniques des matériaux et des méthodes utilisés, y compris comment et quand les mesures ont été réalisées ou/et citer les références utilisées pour le nouveau test et pour le test de référence la définition et le rationnel pour les unités, les seuils et/ou les catégories utilisées pour exprimer les résultats du nouveau test et du test de référence le nombre, la formation et le degré d expertise des personnes (a) réalisant et (b) interprétant le nouveau test et le test de référence si les évaluateurs du nouveau test, respectivement du test de référence, ont réalisé en aveugle (masqués) la lecture de l un, et de l autre test ; et toute autre information clinique dont ils disposaient 61

62 STARD RESULTATS Résultats des tests Notifier l intervalle de temps entre la réalisation du nouveau test et du test de référence et tout traitement administrer dans l intervalle la distribution de la sévérité de la maladie (définir des critères) chez ceux qui présentent l affection étudiée ; décrire les autres diagnostics pour les participants ne présentant pas l affection étudiée un tableau croisé des résultats du nouveau test (incluant les données manquantes ou indéterminées) selon les résultats du test de référence ; pour les résultats de variables continues, décrire la distribution des résultats du nouveau test selon les résultats du test de référence tout événement indésirable résultant de la réalisation du nouveau test et du test de référence les estimations de la précision diagnostique et des mesures d incertitude statistique (i.e. intervalles de confiance 95%) 62

63 STARD RESULTATS Estimation DISCUSSION Notifier comment les résultats indéterminés, les réponses manquantes, et les outliers du nouveau test ont été pris en compte les estimations de la variabilité de la précision diagnostique entre sous-groupes de participants, évaluateurs ou centres, le cas échéant les estimations de la reproductibilité, le cas échéant Discuter de l applicabilité clinique des résultats de l étude 63