Déterminer la taille des échantillons notion sous-jacente : puissance d'un test Claire Chabanet

Transcription

1 Claire Chabanet 23/05/ Déterminer la taille des échantillons notion sous-jacente : puissance d'un test Claire Chabanet

2 Claire Chabanet 23/05/ Objectifs Choix a priori de la taille des échantillons : contraintes : financières, humaines calcul de puissance calcul de n qui permettra de mettre en évidence (espérer mettre en évidence) un effet d une taille donnée, avec une probabilité donnée?

3 Claire Chabanet 23/05/ Plan puissance d un test risque de première espèce risque de deuxième espère puissance les leviers de la puissance d un test (démo) déterminer la taille d échantillon (R) trouver les fonctions R calculs dans différents cas de figure

4 Claire Chabanet 23/05/ Puissance d un test Hypothèse nulle, hypothèse alternative ex : essai randomisé : traitement visant à augmenter le poids population, 1 échantillon aléatoire, individus répartis aléatoirement en 2 groupes : contrôle et traité Y = gain de poids Q : μ traité > μ Ctl? test de Student pour 2 éch indépendants (unilatéral) observations indépendantes, variances homogènes, normalité hypothèse nulle H 0 : μ traité = μ Ctl hypothèse alternative H 1 : μ traité > μ Ctl

5 Puissance d un test Statistique de test pour décider entre H 0 et H 1 x traité = moy échantillon traité, x Ctl = moy échantillon contrôle t = x traité x Ctl écart type de la différence = x traité x Ctl s/ n 1 +s/ n 2 si t > seuil (seuil = t n1 +n 2 2), on rejette H 0 sinon, on conserve H 0 (par défaut on n a pas les moyens de rejeter) on n a pas réussi à rejeter ce qui ne veut pas dire qu il n existe pas de différence en réalité autre conclusion possible avec un effectif plus grand Claire Chabanet 23/05/2016 5

6 densité de probabilité Claire Chabanet 23/05/ Puissance d un test distribution de la statistique de test H valeurs possibles de la statistique

7 densité de probabilité Claire Chabanet 23/05/ Puissance d un test règle de décision entre H0 et H1 : choix de α (alpha) risque de première espèce (risque de rejeter à tort) H 0 conclusion H0 H1 réalité H0 OK erreur α H1 α région de rejet valeur critique (quantile associé à 5%) valeurs possibles de la statistique

8 Claire Chabanet 23/05/ Puissance d un test risque β (beta) de deuxième espèce (risque d accepter à tort) H 0 H 1 réalité H0 conclusion H0 H1 OK erreur α H1 erreur β OK arbitrage entre les risques et α β β 1 β puissance α

9 Claire Chabanet 23/05/ Puissance d un test De quoi dépend la puissance d un test? démonstration graphique : dans R : > install.packages("teachingdemos") > install.packages("tkrplot") > library(teachingdemos) > run.power.examp()

10 Claire Chabanet 23/05/ Puissance d un test : TeachingDemos, run.power.examp() test de Student unilatéral distribution de la différence des moyennes sous H 0 sous H 1 sd : standard deviation se : standard error se = sd n faire varier : n standard deviation (σ) la vraie différence (δ) risque alpha (α)

11 Claire Chabanet 23/05/ Puissance d un test : TeachingDemos, run.power.examp() faire varier : n standard deviation (σ) la vraie différence (δ) risque alpha (α) x = x i n Var(x ) = σ2 n n, Var(x )

12 Claire Chabanet 23/05/ Puissance d un test : TeachingDemos, run.power.examp() faire varier : n standard deviation (σ) la vraie différence (δ) risque alpha (α)

13 Claire Chabanet 23/05/ Puissance d un test : TeachingDemos, run.power.examp() faire varier : n standard deviation (σ) la vraie différence (δ) risque alpha (α)

14 Claire Chabanet 23/05/ Puissance d un test : TeachingDemos, run.power.examp() faire varier : n standard deviation (σ) la vraie différence (δ) risque alpha (α)

15 Claire Chabanet 23/05/ Puissance d un test la puissance (1 β) d un test dépend de : la taille des échantillons (n) la variabilité du phénomène (standard deviation : σ (sigma), s ou sd) la vraie différence dans la pop (delta : δ) du risque de première espèce (α) (relation inverse entre α et β) 5 paramètres liés entre eux : n, σ, δ, α, 1 β On déduit le dernier à partir des 4 autres : calcul de n à partir des 4 autres calcul de 1 β à partir des 4 autres

16 Claire Chabanet 23/05/ Déterminer la taille d échantillons Comment trouver les fonctions R utiles? > install.packages("sos") > library(sos) > findfn("power")

17 Claire Chabanet 23/05/ Déterminer la taille d échantillons Comment trouver les fonctions R utiles? > help.start() Search Engine and Keywords (clic) Browser keywords available for searching the help system htest (statistical inference) (clic) edition, rechercher, power (clic) (clic) package::fonction

18 Claire Chabanet 23/05/ Déterminer la taille d échantillons quelques fonctions R : Fonction Package Fonction Package power.t.test / pwr.2p.test pwr pwr.t.test pwr pwr.2p2n.test pwr pwr.t2n.test pwr pwr.r.test pwr power.anova.test / pwr.chisq.test pwr pwr.anova.test pwr pwr.f2.test pwr power.prop.test / lmmpower.lme longpower pwr.p.test pwr lmmpower.gee longpower et beaucoup d autres

19 Claire Chabanet 23/05/ Taille d échantillon et test de Student test de Student : delta : différence de moyennes que l on souhaite mettre en évidence (effet scientifiquement significatif) sd : standard deviation : variabilité du phénomène : écart-type > power.t.test(power=0.80,delta=1.2,sd=.5, sig.level=0.05) # n = 4 package pwr: fonctions pwr.t.test, pwr.t2n.test : d = delta / sd = taille de l effet > install.packages( pwr ) > library(pwr) > pwr.t.test(power=0.80,d=1.2/0.5, sig.level=0.05) # n = 4

20 Claire Chabanet 23/05/ Taille d échantillon et ANOVA ANOVA 1 facteur : >?power.anova.test > power.anova.test(groups=4,between.var=1,within.var=3,power=0.80) # n=12 si on souhaite mettre en évidence des écarts entre moyennes au moins égaux à ceux précédemment reportés : > groupmeans=c(120,140,130,150) > power.anova.test(groups=length(groupmeans), between.var=var(groupmeans), within.var=500,power=0.90) # n=15

21 Claire Chabanet 23/05/ Taille d échantillon et proportions Comparaison de 2 proportions : > power.prop.test(p1=0.50,p2=0.75,power=0.90,sig.level=0.05) # n=77 Comparaison d une proportion à une valeur de référence : quelle taille d échantillon pour détecter un écart positif de 10% par rapport à une proportion de référence de 50% (si test unilatéral)? > library(pwr) > h=asin(sqrt(.60))-asin(sqrt(.50)) # taille de l effet =.20 > pwr.p.test(h=.20,power=0.80,sig.level=0.05,alternative= greater ) # n=155

22 Claire Chabanet 23/05/ Taille d échantillon et test du Chi2 Test du Chi2 : (package pwr) ex : un chercheur veut montrer qu il existe des préférences différentes entre hommes et femmes pour 4 emballages A, B, C, D quelle taille pour le panel de conso, composé à 40% de femmes? le chercheur suppose les hommes indifférents à l emballage, et les femmes ayant une préférence 4 fois plus grande pour les produits A et B (répartition des choix du type pour les femmes) répartition des choix sous H1 : P obs : A B C D Hommes Femmes répartition des choix sous H0 : P th : ex : Hommes A :.31 x.60 taille de l effet calcul sur les proba (pas sur les effectifs) w = P obs P th 2 P th

23 Claire Chabanet 23/05/ Taille d échantillon et test du Chi2 w = P obs P th 2 P th = 2( ) ( ) ( ) ( ) =.30 > library(pwr) > prob=matrix(c(.15,.15,.15,.15,.16,.16,.04,.04),ncol=4,byrow=t) > ES.w2(prob) # calcul taille effet w pour test du Chi2 d association = 0.30 > pwr.chisq.test(w=0.30,df=3,sig.level=0.05,power=.80) # N=121

24 Claire Chabanet 23/05/ Taille d échantillon et corrélation Test de nullité d une corrélation : (package pwr) > pwr.r.test(r=.5,power=.8,sig.level=.05) # n=29

25 Claire Chabanet 23/05/ Calcul de puissance a priori! Déterminer les tailles d échantillon a priori delta = différence minimale que l on souhaite détecter, = différence significative au sens biologique Pas de calcul de puissance a posteriori : si une expérience montre un résultat non significatif, ne pas utiliser la différence obtenue pour faire un calcul de puissance. si cette différence n est pas significative, l intervalle de confiance de cette différence recouvre la valeur 0, la différence n est pas évaluée précisément, c est comme si cette différence était nulle. L utiliser pour un calcul de puissance n a pas de sens même si cette pratique est proposée dans certains guides, elle est clairement déconseillée dans d autres.

26 Claire Chabanet 23/05/ Pour aller plus loin Cohen (1988) Statistical power analysis for the behavioral sciences. Lawrence Erlbaum associates, publishers. Tests statistiques paramétriques : Puissance, taille d effet et taille d échantillon (sous R), Stéphane Champely, université Lyon 1 (2006) Déterminer la taille des échantillons, notion sous-jacente : puissance d un test Claire Chabanet, Fabrice Dessaint (2016)