Évaluation des capacités pronostiques d un biomarqueur : Une revue des C-index

Transcription

1 Évaluation des capacités pronostiques d un biomarqueur : Une revue des C-index Christophe Combescure Service d épidémiologie clinique Centre de recherche clinique 1

2 Introduction Quelle est la pertinence d un marqueur dans le pronostic? Association significative avec l outcome? Nécessaire mais pas suffisante Vocabulaire ambigu: association, corrélation, facteur pronostique, facteur de risque Ce qu on attend d un facteur pronostique: Utile pour prendre une décision (clinical prediction rules: rule-in, rule-out) Permet une bonne prédiction de la survenue de l événement Prédiction: un mot-clé Une réponse: le C-index Windeler J. Prognosis: what does the clinician associate with this notion?. Stat Med 2000;19: Foucher Y, Combescure C, Ashton-Chess J, Giral M. Prognostic markers: data misinterpretation often leads to overoptimistic conclusions. Am J Transplant Apr;12(4):

3 C-index: généralités C pour Concordance Un C-index est l estimation d une probabilité de concordance Probabilité de concordance : P[M i O i <O j ] M: marqueur mesuré à t 0 O: outcome i,j: 2 patients pris au hasard Probabilité que 2 patients pris au hasard soient ordonnés de la même manière sur l outcome et sur le marqueur Probabilité basée sur les rangs Interprétation par rapport à 0.5 (non informativité) Un C-index mesure la capacité discriminante d un marqueur 3

4 C-index: généralités Plusieurs déclinaisons de la probabilité de concordance: Etude Marqueur (M) Outcome Probabilité de concordance Diagnostique Continu Binaire (D) P[M i D i =0, D j =1] Courbe ROC Courbe ROC classique C-index AUC ROC Pronostique Continu Time-to-event (T) P[M i >T j ] Harrell Pronostique Continu Evénement avant t (T t) P[M i >t,t j t] Pronostique Continu Evénement à t (T=t) P[M i >t,t j =t] Pronostique Binaire Time-to-event (T) P[T j <T i M i =0, M j =1] ROC temps-dépendante ROC(t) ROC temps-dépendante incidente I-ROC(t) ROC pronostique P-ROC AUC ROC(t) AUC I-ROC(t) Efron 4

5 Etude diagnostique Etude Marqueur (M) Outcome Probabilité de concordance Courbe ROC C-index Diagnostique Continu Binaire (D) P[M i D i =0, D j =1] Courbe ROC classique Efron? Pronostique Continu Time-to-event (T) P[M i >T j ] Harrell Pronostique Continu Evénement avant t (T t) P[M i >t,t j t] Pronostique Continu Evénement à t (T=t) P[M i >t,t j =t] Pronostique Binaire Time-to-event (T) P[T j <T i M i =0, M j =1] ROC temps-dépendante ROC(t) ROC temps-dépendante incidente I-ROC(t) ROC pronostique P-ROC AUC ROC AUC I-ROC Efron 5

6 Etude diagnostique L outcome est binaire: Présence/absence de la maladie: D (1/0) Le marqueur est continu: M La probabilité de concordance est: P[M i D i =0,D j =1] Interprétation fausse: probabilité de bien classer un sujet Interprétation correcte: probabilité qu un malade ait un marqueur plus élevé qu un non malade C est une mesure de la capacité du marqueur à discriminer les malades et les non malades L aire sous la courbe ROC est un estimateur de cette probabilité de concordance Green, David M.; Swets, John A. (1966). Signal detection theory and psychophysics. New York, NY: John Wiley and Sons Inc. Lee B. Lusted. Signal Detectability and Medical Decision-Making. Science, New Series, Vol. 171, No (Mar. 26, 1971), pp Hanley, James A.; McNeil, Barbara J. (1982). The Meaning and Use of the Area under a Receiver Operating Characteristic (ROC) Curve. Radiology 143 (1):

7 Se n si b i l i té Se n si b i l i té Se n si b i l i té Se n si b i l i té Distributions du test continu Distributions du test continu Distributions du test continu Distributions du test continu Su j e ts s a i n s Su j e ts m a l a d e s Su j e ts s a i n s Su j e ts m a l a d e s Su j e ts s a i n s Su j e ts m a l a d e s Su j e ts s a i n s Su j e ts m a l a d e s M e s u re c o n ti n u e M e s u re c o n ti n u e M e s u re c o n ti n u e M e s u re c o n ti n u e Courbe ROC Courbe ROC Courbe ROC Courbe ROC Sp é c i fi c i té Sp é c i fi c i té Sp é c i fi c i té Sp é c i fi c i té 7

8 Etude diagnostique Estimation du C-index Graphique: méthode des trapèzes (aire sous la courbe ROC) Par un estimateur à noyau: Notations: M i i ème témoin, M j j ème malade I(.) fonction indicatrice N 0 (N 1 ) nombre de sujets sains (malades) Formule: C 1 N N i 1 j 1 I( M i M j ) Relation avec le test de Mann-Whitney (H 0 : AUC=0.5) Relation avec le Tau de Kendall t: AUC=0.5*(t+1) 1 N N H. B. Mann and D. R. Whitney. On a Test of Whether one of Two Random Variables is Stochastically Larger than the Other. Ann. Math. Statist. Volume 18, Number 1 (1947),

9 Exemple historique de courbe ROC Lee B. Lusted. Signal Detectability and Medical Decision-Making. Science, New Series, Vol. 171, No (Mar. 26, 1971), pp

10 Etude pronostique Etude Marqueur (M) Outcome Probabilité de concordance Courbe ROC C-index Diagnostique Continu Binaire (D) P[M i D i =0, D j =1] Courbe ROC classique Efron? Pronostique Continu Time-to-event (T) P[M i >T j ] Harrell Pronostique Continu Evénement avant t (T t) P[M i >t,t j t] Pronostique Continu Evénement à t (T=t) P[M i >t,t j =t] Pronostique Binaire Time-to-event (T) P[T j <T i M i =0, M j =1] ROC temps-dépendante ROC(t) ROC temps-dépendante incidente I-ROC(t) ROC pronostique P-ROC AUC ROC AUC I-ROC Efron 10

11 Etude pronostique: C-index de Harrell Etude Marqueur (M) Outcome Probabilité de concordance Courbe ROC C-index Diagnostique Continu Binaire (D) P[M i D i =0, D j =1] Courbe ROC classique Efron? Pronostique Continu Time-to-event (T) P[M i >T j ] Harrell Pronostique Continu Evénement avant t (T t) P[M i >t,t j t] Pronostique Continu Evénement à t (T=t) P[M i >t,t j =t] Pronostique Binaire Time-to-event (T) P[T j <T i M i =0, M j =1] ROC temps-dépendante ROC(t) ROC temps-dépendante incidente I-ROC(t) ROC pronostique P-ROC AUC ROC AUC I-ROC Efron Harrell FE et al. Tutorial in biostatistics: multivariable prognostic models: issues in developing models, evaluating assumptions and adequacy, and measuring and reducing errors. Statistics in Medicine 1996; 15:

12 Etude pronostique: C-index de Harrell On suppose pour simplifier que la mortalité augmente avec M Probabilité de concordance: P[M i < M j >T j ] Ecriture équivalente: P[(M i,t i >T j ) OU (M i >M j,t i <T j )] «The C index is defined as the proportion of all usable patient pairs in which the predictions and outcomes are concordant» (Harrell 1996) Estimation: Dénombrement des paires (i,j) évaluables: paires pour lesquelles on sait que T i >T j. Attention: on observe min(t,c) (C: temps de censure) Les paires ne sont pas toutes évaluables Parmi les paires évaluables, proportion de paires pour lesquelles M i. En notant U l ensemble des paires évaluables : C 1 Card( U) ( i, j) U I( M i M j ) Harrell FE et al. Tutorial in biostatistics: multivariable prognostic models: issues in developing models, evaluating assumptions and adequacy, and measuring and reducing errors. Statistics in Medicine 1996; 15:

13 Etude pronostique: C-index de Harrell Paires évaluables et non évaluables: i j i j i j Evénement Evénement Censure Evénement Evénement Censure Paire (i,j) évaluable Paire (i,j) évaluable Paire (i,j) non évaluable i j Censure Censure Paire (i,j) non évaluable t 0 Temps 13

14 Un C-index, deux problèmes Problème de la censure: L estimation du C-index est basée sur les paires (i,j) utilisables Avec la procédure de Harrell, le C-index est en fait une estimation de: P[ Mi M j Ti Tj, Tj min( Ci, C j )] Solution: On note T i=min(t i,c i ) D i vaut 1 si T i=t i (on observe le décès du sujet i), et 0 sinon G(.) est la fonction de survie de la censure C N i N j D N i j { Gˆ( T N j D ' j j )} 2 { Gˆ( T I( T ' j ' j )} T 2 ' i I( T ) I( M ' j T i ' i ) M j ) Uno H, Cai T,Pencina MJ. On the C-statistics for evaluating overall adequacy of risk prediction procedures with censored survival data. Statist. Med. 2011,

15 Un C-index, deux problèmes Lorsque la survie est tronquée (estimée jusqu à un temps t), le C-index est un estimateur biaisé de la probabilité de concordance car toutes les paires (i,j) pour lesquelles i et j sont vivants à la fin de l étude ne sont pas évaluables Le C-index est tronqué: il estime la probabilité de concordance P[M i >T j,t j <t] Notation: C t 2 études avec des durées de suivi différentes ne donneront pas la même valeur de C-index Uno H, Cai T,Pencina MJ. On the C-statistics for evaluating overall adequacy of risk prediction procedures with censored survival data. Statist. Med. 2011,

16 Etude pronostique: AUC de ROC(t) Etude Marqueur (M) Outcome Probabilité de concordance Courbe ROC C-index Diagnostique Continu Binaire (D) P[M i D i =0, D j =1] Courbe ROC classique Efron? Pronostique Continu Time-to-event (T) P[M i >T j ] Harrell Pronostique Continu Evénement avant t (T t) P[M i >t,t j t] Pronostique Continu Evénement à t (T=t) P[M i >t,t j =t] Pronostique Binaire Time-to-event (T) P[T j <T i M i =0, M j =1] ROC temps-dépendante ROC(t) ROC temps-dépendante incidente I-ROC(t) ROC pronostique P-ROC AUC ROC AUC I-ROC Efron Etzioni R et al. Incorporating the time dimension in receiver operating characteristic curves: A case study of prostate cancer. Med Decis Making 1999; 19(3): PJ Heagerty, T Lumley, MS Pepe. Time-Dependent ROC Curves for Censored Survival Data and a Diagnostic Marker. Biometrics 2000; 56(2):

17 Etude pronostique: AUC de ROC(t) Probabilité de concordance P[M i >t,t j <t] ou P[M i D i (t)=0,d j (t)=1] Sensibilité et spécificité temps-dépendantes: Sensibilité t (x)=p[m>x D(t)=1] Spécificité t (x)=p[m x D(t)=0] La courbe ROC(t) est l ensemble des points {1-Spécificité t (x);sensibilité t (x)} pour tout x Estimation en utilisant l estimateur de Kaplan-Meier (par ex.): P[M>x D(t)=1] = [1-S(t M>x)] P(M>x) / [1-S(t)] P[M x D(t)=0] = S(t M x) P(M x) / S(t) Puis, l AUC de ROC(t) est obtenue par la méthode des trapèzes 17

18 18

19 Pronostic of treatment failure 19

20 Etude pronostique: AUC de I-ROC(t) On suppose pour simplifier que la mortalité augmente avec M Etude Marqueur (M) Outcome Probabilité de concordance Courbe ROC C-index Diagnostique Continu Binaire (D) P[M i D i =0, D j =1] Courbe ROC classique Efron? Pronostique Continu Time-to-event (T) P[M i >T j ] Harrell Pronostique Continu Evénement avant t (T t) P[M i >t,t j t] Pronostique Continu Evénement à t (T=t) P[M i >t,t j =t] Pronostique Binaire Time-to-event (T) P[T j <T i M i =0, M j =1] ROC temps-dépendante ROC(t) ROC temps-dépendante incidente I-ROC(t) ROC pronostique P-ROC AUC ROC AUC I-ROC Efron PJ Heagerty, Y Zheng. Survival Model Predictive Accuracy and ROC Curves. Biometrics 2005; 61(1):

21 Etude pronostique: AUC de I-ROC(t) On s intéresse à un temps t Probabilité de concordance P[M i T j =t,t i >t] Sensibilité et spécificité temps-dépendantes: Sensibilité t (x)=p[m>x T=t] Spécificité t (x)=p[m x T>t] I-ROC(t), puis AUC(t) Le C-index de Harrell est une moyenne de ces AUC(t): C Harrell =E T [AUC(T)*2*S(T)] Approche intéressante car ouverture sur les scores pronostiques combinant des marqueurs dont la capacité discriminante change au cours du temps PJ Heagerty, Y Zheng. Survival Model Predictive Accuracy and ROC Curves. Biometrics 2005; 61(1):

22 Etude pronostique: C-index de Efron On suppose pour simplifier que la mortalité augmente avec M Etude Marqueur (M) Outcome Probabilité de concordance Courbe ROC C-index Diagnostique Continu Binaire (D) P[M i D i =0, D j =1] Courbe ROC classique Efron? Pronostique Continu Time-to-event (T) P[M i >T j ] Harrell Pronostique Continu Evénement avant t (T t) P[M i >t,t j t] Pronostique Continu Evénement à t (T=t) P[M i >t,t j =t] Pronostique Binaire Time-to-event (T) P[T j <T i M i =0, M j =1] ROC temps-dépendante ROC(t) ROC temps-dépendante incidente I-ROC(t) ROC pronostique P-ROC AUC ROC AUC I-ROC Efron Efron B. The two sample problem with censored data. Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability (university of California Press) 1967;4:22. 22

23 Etude pronostique: C-index de Efron Probabilité de concordance: P[T i >T j M i =0,M j =1] Elle a une interprétation clinique: probabilité qu un patient sans le marqueur vive plus longtemps qu un patient sans le marqueur Le C-index de Efron, initialement proposé comme une extension du test de Mann-Whitney pour comparer les temps de survie en présence de données censurées Récemment conseillé pour interpréter la différence entre 2 courbes de survie Analogie avec les courbes ROC diagnostiques: inversion de l outcome et du marqueur dans la probabilité de concordance: 1-Spécificité=P[M>x D=0] devient P[T>t M=0]=S 0 (t) Sensibilité=P[M>x D=1] devient P[T>t M=1]=S 1 (t) Efron B. The two sample problem with censored data. Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability (university of California Press) 1967;4:22. Hess KR. Comparing survival curves using an easy to interpret statistic. Clin Cancer Res 2010;16:

24 A) Example of survival curves and B) the corresponding prognostic ROC curve. The time-points are represented on the prognostic ROC curve by circles. The vertical distance between the identity line and the prognostic ROC curve at t=1.0 is represented by the dashed line. Le C-index de Efron est l aire sous la courbe P-ROC 24

25 Lorsque la survie est estimée jusqu à un temps t, la courbe P-ROC est partiellement définie: Le C-index est tronqué et C t estime P[T i >T j M i =0,M j =1,T i <t] C t est l aire sous la P-ROC dans les parties 1, 2 et 3 divisée par l aire totale des parties 1, 2 et 3 L interprétation clinique de C t est perdue 25

26 Par contre on peut donner un intervalle dans lequel se situe le C-index: Plus la survie dans un des deux groupes se rapproche de 0, plus l intervalle est restreint 26

27 Exemple: C=

28 Conclusions C-index: mesure la capacité discriminante (plus que prédictive) d un marqueur un terme mais plusieurs déclinaisons (outcomes différents) Lien avec les courbes ROC Impact de la censure (étude pronostiques): Censure à droite: modifie la probabilité de concordance estimée correction possible dans l estimateur (IPCW) Suivi jusqu à un temps t: modifie la probabilité de concordance estimée extrapolation de la capacité discriminante après le temps t? 28

29 Conclusions Le C-index de Harrell est surtout utilisé pour vérifier la capacité discriminante d un modèle de survie multivarié (association de plusieurs marqueurs et création d un «score») Le «marqueur» est alors la prédiction par le modèle: Autres mesures: M=b 1 V 1 +b 2 V 2 + R 2 : % de variance expliquée (plusieurs définitions) Score de Brier (mélange de capacité discriminante et de calibration) N 1 2 BS ( O i p i ) N i 1 Score de Brier temps-dépendant pour les analyses de survie Indices de reclassification Hielscher T, Zucknick M, Werft W, Benner A. On the prognostic value of survival models with application to gene expression signatures. Statistics in Medicine 2010; 29:

30 Conclusions La capacité discriminante du marqueur est évaluée dans un contexte donné Décision thérapeutique, système de santé, Si le contexte change (nouveau traitement par exemple), la capacité prédictive peut changer aussi Capacité à «prédire» la réponse au traitement Sur des données observationnelles, on ne maîtrise pas la décision thérapeutique La capacité prédictive d un marqueur est un élément pour juger son utilité, mais en pratique l interprétation de la valeur d un marqueur se fait à travers des seuils Le C-index ne répond pas à la question du choix du seuil 30

31 Packages R C-index de Harrell: Survpack (2009) Ludger Evers Censure non prise en compte concordance.index (2011): Benjamin Haibe-Kains dance.index Censure non prise en compte pec (2012) T. Gerds inverse of the probability of censoring weighted 31

32 Packages R Courbe ROC temps-dépendantes: Survivalroc (2012): Patrick J. Heagerty, packaging by Paramita Saha tdrocc (à l intérieur de survcomp) Benjamin Haibe-Kains, Markus Schroeder, Catharina Olsen, Christos Sotiriou, Gianluca Bontempi, John Quackenbush Schröder MS et al. survcomp: an R/Bioconductor package for performance assessment and comparison of survival models. BIOINFORMATICS 2011, 27(22): mp.html 32

33 Packages R C-index de Efron Koziol JA, Jia Z Réf: Koziol JA, Jia Z. The concordance index C and the Mann- Whitney parameter Pr(X>Y) with randomly censored data. Biom J 2009;51: Package disponible sur demande auprès des auteurs Combescure C, Perneger TV, Daurès J-P, Weber DC, Foucher Y Réf: soumission en cours 33