Congrès SFPT I Nancy. 19 > 21 Avril 2016

Transcription

1 Congrès SFPT I Nancy 19 > 21 Avril 2016

2 Les faux positifs liés au biais et ceux liés au hasard Michel Cucherat Equipé EMET, Université Lyon 1, UMR 5558, CRNS Lyon

3 Les faux positifs liés au hasard Risque (statistique) de fausses découvertes Probabilité d avoir un faux positif lié au hasard False Discovery Rate (FDR) Probabilité de conclure à tort à la supériorité du nouveau traitement Risque de recommander un traitement sans intérêt Est-ce le risque alpha? Quelle est la probabilité qu un p<0.05 indique un vrai effet du traitement?

4 PLoS Med 2(8): e124. BMJ 2001;322: Neyman J, Pearson E. On the problem of the most efficient tests of statistical hypotheses. Philos Trans Roy Soc A. 1933;231:

5 Quelle est la probabilité qu un p<0.05 indique un vrai effet du traitement? Si p<0.05, la probabilité de prendre la mauvaise décision en rejetant l hypothèse nulle est < 5% FAUX P value = Probabilité d avoir une différence au moins aussi importante sous H0 Si cette prob est faible, on accepte que la plausibilité de l H0 soit remise en cause Principe sans validité logique

6 P value P value n est pas la probabilité que le traitement soit sans effet P value n est pas la probabilité de l hypothèse nulle P value n est pas le risque de fausses découvertes p = Pr résultat H 0 Le risque de fausse découverte (prob d avoir un faux positif) Pr H 0 résultat Nécessite l emploi du théorème de Bayes

7 Les risques statistiques vus comme des «taux de filtration» Réalité Traitements sans effet Filtre du test statistique Seuil de la signification 5% Laisse filtrer (à tort) 5% des résultats produits par un traitement sans effet Résultat «positif» (statistiquement significatif) Traitements efficaces Puissance statistique 80% Laisse filtrer (à raison) 80% des résultats produits par un traitement efficace Résultat «positif» (statistiquement significatif)

8 Traitements efficaces p% Traitements sans effet (1-p)% 80% 5% P<0.05 NS P<0.05 NS Essais P values vrai positif faux négatif faux positif vrai négatif Résultats «positifs» Prob que le traitement soit efficace quand p<0.05 VP VP + FP Risque de fausses découvertes (False discovery rate) FP VP + FP

9 100 nouveaux traitements en développement Traitements efficaces 80 (80%) Traitements sans effet 20 (20%) 80% 5% P<0.05 NS P<0.05 NS Essais P values VP 64 FN 16 FP 1 VN 19 Prob que le traitement soit efficace quand p<0.05 VP VP + FP = = 0.98 Taux de fausses découvertes FP VP + FP = = 0.02

10 100 nouveaux traitements en développement Traitements efficaces 20 (20%) Traitements sans effet 80 (80%) 80% 5% P<0.05 NS P<0.05 NS Essais P values VP 16 FN 4 FP 4 VN 76 Résultats positifs Prob que le traitement soit efficace quand p<0.05 VP VP + FP = = 0.80 Taux de fausses découvertes FP VP + FP = = 0.20

11 Cas idéal Essai puissant 80% Risque alpha parfaitement bien contrôlé 5% Mécanisme d action bien établi, prob a priori 80% Avec un essai positif (p<0.05) FDR = 2% Prob que le traitement soit réellement efficace = 98%

12 Probabilité a priori Djulbegovic B, Kumar A, Glasziou P, Miladinovic B, Chalmers I. Medical research: trial unpredictability yields predictable therapy gains. Nature. 2013;500(7463): essais de phase III publiés ou non publiés Probabilité de trouver le nouveau traitement supérieur au standard est de 50-60%

13 Cas général Essai puissant 80% Risque alpha parfaitement bien contrôlé 5% Prob a priori estimé empiriquement à 50% Taux empirique d échec des phases 3 Avec un essai positif (p<0.05) FDR 6%

14 Nouveau mécanisme d action Essai puissant 80% Risque alpha parfaitement bien contrôlé 5% Nouveau mécanisme d action, plutôt spéculatif Prob a priori estimé empiriquement 30% Avec un essai positif (p<0.05) FDR 13% VPP 87%

15 Résultat post hoc Puissance non calculée pour ce critère / sous-groupe = 30% Inflation du risque alpha = 30% A priori il n y avait aucune hypothèse que cela marche sur ce critère / sousgroupe Prob a priori = 25% FDR 75% Recherche purement exploratoire Alpha 60% / puissance 20% / prob a priori 5% FDR 98%

16 Maladie rare Faible effectif en raison de la rareté des patients puissance 50% Risque alpha accepté plus grand 20% Pour compenser en partie le manque de puissance Prob a priori 50% FDR 29% Prob a priori 25% FDR 55%

17 En conclusion Sauf cas idéal, on peut craindre que le risque de fausses découvertes des essais est important supérieure à 5-10% non reproductibilité des résultats Le risque de fausses découvertes est important Dans les domaines où les essais sont faiblement puissants Avec les nouveaux mécanismes d action spéculatifs Quand le risque alpha n est pas strictement contrôlé

18 Comment réduire le risque de fausses découvertes Améliorer la prédictibilité des études pré cliniques et/ou des phases 2 Augmentation de la prob a priori Méthodologie robuste Problème du risque alpha à 20% dans certaines phases 2 Contrôle strict du risque alpha (2.5% en unilatéral) Contrôler la multiplicité critères, analyses intermédiaires, sous-groupes, doses Contrôler la multiplicité post hoc ne pas baser la décision sur un critère de jugement secondaire lorsque le critère de jugement principal n est pas suffisamment pertinent cliniquement

19 5 sigma p <

20 Faux positifs liés aux biais Le problème des biais n est pas seulement le risque de faux positifs C est aussi celui de la surestimation de la taille de l effet

21

22

23

24

25 Biais empirique des études en ouvert Jüni P BMJ 2001;323:42-