Chapitre 10: Tests et intervalles de confiance pour proportions

Transcription

1 Chapitre 10: Tests et intervalles de confiance pour proportions 1. Test statistique pour une proportion 2. Intervalle de confiance pour une proportion 3. Test statistique pour deux proportions 1

2 1. Test statistique pour une proportion Ex: Taux d individus ayant une caractéristique A dans une population. Soit p = P (A) ce taux. De façon générale dans ce chapitre, on utilisera la notation q = 1 p (de même, ˆq = 1 ˆp, etc.) 2

3 Hypothèses H 0 : p = p 0 H 1 : p p 0 Echantillon Tirage aléatoire de n individus Statistique de test ( distance entre H 0 et les observations) K = Nombre d individus avec A dans l échantillon 3

4 Sous H 0, on peut calculer la distribution de K. Ex: H 0 : p = 0.4; n = 120 Distribution: K B(120, 0.4) P(K=k) k On peut par exemple adopter la règle de décision suivante: Règle de décision: rejeter H 0 si k 37 ou si k 60 Niveau: p1 + p2 =

5 Sous H 0, on peut calculer la distribution de K. Ex: H 0 : p = 0.4; n = 120 Distribution: K B(120, 0.4) P(K=k) p1 = p2 = k On peut par exemple adopter la règle de décision suivante: Règle de décision: rejeter H 0 si k 37 ou si k 60 Niveau: p1 + p2 =

6 Avantage de cette approche: le niveau est connu exactement, pas d approximation. Désavantage: Il faut trouver les bornes manuellement pour chaque valeur de n et de p 0. 6

7 Sous certaines conditions (grâce au théorème centrale limite), la distribution de K est bien approximée par la distribution normale: P(K=k) k 7

8 Sous certaines conditions (grâce au théorème centrale limite), la distribution de K est bien approximée par la distribution normale: P(K=k) k Densité de X ~ N(np 0, np 0 (1 p 0 )) 8

9 A la place de K, on prend comme statistique de test: Z = K/n p 0 p 0 (1 p 0 )/n. Sous H 0, et sous les conditions d application (v. p. suivante), Z a approximativement une distribution N (0, 1). Règle de décision: Rejeter H 0 si z > z 1 α/2 où z est la valeur observée de Z et z 1 α/2 est le quantile 1 α/2 de la distribution N (0, 1). Remarque: pour faire le test unilatéral de H 0 : p = p 0 contre H 1 : p > p 0, on utilisera la règle de décision Rejeter H 0 si z > z 1 α. 9

10 Conditions d application: il faut que n soit suffisamment grand pour que l approximation normale soit bonne. Or, plus p est extrême (proche de 0 ou de 1), plus n doit être grand. Concrètement, si n et p sont tels que np > 5 et n(1 p) > 5, alors K/n p p(1 p)/n a approximativement une distribution N (0, 1). Nous avons déjà rencontré ces conditions dans le chapitre 8. 10

11 2. Intervalle de confiance pour une proportion Rappel: un intervalle de confiance contient toutes les valeurs du paramètre d intérêt qui ne seraient pas rejetées par un test. Ici, ce sont les valeurs de p telles que z = k/n p p(1 p)/n z 1 α/2, (1) où k est la valeur observée de K dans l échantillon. 11

12 La relation (1) est satisfaite pour des valeurs de p situées entre p i = c ( ˆp + c/2 ) c 2 /4 + cˆp(1 ˆp) et où p s = c ( ˆp + c/2 + ) c 2 /4 + cˆp(1 ˆp), c = z1 α/2 2 /n et ˆp = k/n. Cet intervalle s appelle l intervalle de Wilson, que l on notera IC W I. On a donc IC W I = [p i, p s ]. 12

13 Au chapitre précédent, nous avons vu une méthode générale pour construire des intervalles de confiance pour un paramètre θ, appelée la méthode de Wald. Elle se base sur la valeur observée ˆθ de l estimateur du paramètre et définit l intervalle avec niveau de couverture 1 α comme [ˆθ z 1 α 2 ŝd(ˆθ), ˆθ + z 1 α 2 ŝd(ˆθ)], où ŝd(ˆθ) est une estimation de l écart-type de ˆθ. Dans le cas où le paramètre est une proportion p, on a: Estimateur de p: ˆp = K n, la proportion observée dans l échantillon. Que vaut ŝd(ˆp)? On sait que K, le nombre de personnes avec la caractéristique d intérêt ( succès ) dans l échantillon, suit une distribution binomiale B(n, p). Son écart type est donc sd(k) = npq. On en déduit (propriété de l écart-type) que sd(ˆp) = pq/n, que l on estime par ŝd(ˆp) = ˆpˆq/n. On obtient donc que l intervale de confiance de Wald pour une proportion, noté IC W A est donné par ] IC W A = [ˆp z 1 α2 ˆpˆq/n, ˆp + z 1 α2 ˆpˆq/n. 13

14 L intervalle de Wald plus simple mais moins précis que l intervalle de Wilson, qui fait moins d approximations. Concrètemement, on ne l utilisera que lorsque 0.3 ˆp 0.7 et n 50. Pour l intervalle de Wald, il peut arriver que la formule de la page précédente donne une valeur inférieure à 0 pour la borne inférieure ou une valeur supérieure à 1 pour la borne supérieure. Il faut alors corriger l intervalle en mettant respectivement 0 ou 1 à la place de la borne qui sort de l intervalle [0,1]. L intervalle de Wilson n a pas ce problème, ses bornes étant automatiquement comprises entre 0 et 1. 14

15 3. Test statistique pour deux proportions Ex: Taux p 1 et p 2 d individus ayant une caractéristique A dans deux populations différentes. On se demande si les proportions d individus ayant la caractéristique d intérêt sont les mêmes dans les deux populations ou si elles sont différentes. 15

16 Hypothèses H 0 : p 1 = p 2 H 1 : p 1 p 2 Echantillon Tirage aléatoire de n 1 individus dans la première population et n 2 dans la deuxième Statistique de test ( distance entre H 0 et les observations) Sous H 0 et si n 1 et n 2 sont suffisamment grands, la variable Z = K 1/n 1 K 2 /n 2 pq/n1 + pq/n 2 a approximativement une distribution N (0, 1). Ici K 1 est le nb d individus avec A dans le premier échantillon et analoguement pour K 2, et p = p 1 = p 2. 16

17 Pour effectuer le test, on calcule la valeur observée de Z sur nos échantillons: où z = ˆp 1 ˆp 2 ˆpˆq(1/n 1 + 1/n 2 ) ˆp 1 = k 1 /n 1, ˆp 2 = k 2 /n 2 et ˆp = (k 1 + k 2 )/(n 1 + n 2 ) Règle de décision: Rejeter H 0 si z > z 1 α/2. Remarque: pour faire le test unilatéral de H 0 : p 1 = p 2 contre H 1 : p 1 > p 2, on utilisera la règle de décision Rejeter H 0 si z > z 1 α. 17

18 Les données peuvent être présentées de la façon suivante: On peut démontrer que Caractère A Echantillon Présent Absent Total 1 n 11 n 12 n 1. 2 n 21 n 22 n 2. Total n.1 n.2 n z 2 = n(n 11n 22 n 12 n 21 ) 2 n 1. n 2. n.1 n.2 Règle de décision équivalente (pour un test bilatéral): Rejeter H 0 si z 2 > χ 2 1,1 α, où χ2 1,1 α est le quantile 1 α de la distribution χ2 à un degré de liberté, notée χ 2 1. (En effet, on rappelle que, par définition de la distribution χ 2, si Z N (0, 1), alors Z 2 χ 2 1.) Remarque: L utilisation de z 2 à la place de z n est pas possible pour un test unilatéral, car z 2 ne distingue pas entre les cas ˆp 1 > ˆp 2 et ˆp 1 < ˆp 2. 18

19 Au niveau des statistiques de test, on a la situation suivante: Densité de Z sous H 0 : ϕ P 0 ( Z >z 1 α 2 ) = α z 1 α 2 0 z 1 α 2 Densité de Z 2 sous H 0 : densité χ 1 2 P 0 (Z 2 2 >χ 1,1 α ) = α (z 1 α )2 2 = χ 2 1,1 α 19

20 Exemple: On veut tester si la proportion de nouveaux nés dont le poids à la naissance est inférieur à 2500g est différente dans les deux populations suivantes: Age de la mère 20 ans Age de la mère > 20 ans On prélève deux échantillons de taille 100 et on obtient la situation suivante: Poids à la naissance Age Proportion de faibles maternel 2500g > 2500g Total poids à la naissance (= ˆp 1 ) > (= ˆp 2 ) Total (= ˆp) 20

21 Calculs: z = = ˆp 1 ˆp 2 ˆpˆq(1/n1 + 1/n 2 ) (1/ /100) = 1.98 On a bien = z 2 = n(n 11n 22 n 12 n 21 ) 2 n 1. n 2. n.1 n ( )2 = ( ) =

22 Décision: z > 1.96 = z et donc on rejette H 0. De façon équivalente: z 2 > 3.84 = χ 2 1,0.95 et donc on rejette H 0. On vient de tester l hypothèse d indépendance entre les variables poids à la naissance inférieur à 2500g et âge de la mère inférieur à 20 ans. En effet, demander si la proprotion de bébés dont le poids à la naissance est inférieur à 2500g diffère entre les populations des mères de moins et de plus de 20 ans revient à demander s il y a une dépendance entre ces deux variables. Si les proportions diffèrent cela implique que le fait de connaître l âge de la mère donne une information sur le poids du bébé, ce qui est le propre d une dépendance entre deux variables. 22

23 De façon générale, on pourra donc tester l indépendance entre deux variables dichotomiques (i.e. qui n ont que deux modalités) de la façon ci-dessus. Souvent, ces variables indiquent la présence ou l absence d un caractère (ex.: âge 20 ans), et on parle alors de test sur l indépendance de deux caractères. Donc, pour tester l indépendance entre deux caractères A et B, on pose H 0 : A et B indépendants et on construit le tableau suivant: H 1 : A et B pas indépendants B présent B absent Total A présent n 11 n 12 n 1. A absent n 21 n 22 n 2. Total n.1 n.2 n On calcule ensuite la valeur observée de la statistique de test Z 2 : z 2 = n(n 11n 22 n 12 n 21 ) 2 n 1. n 2. n.1 n.2. On rejette alors H 0 si z 2 > χ 2 1,1 α, où χ2 1,1 α χ 2 à un degré de liberté. est le quantile 1 α de la distribution 23

24 Pour information: Souvent, lorsqu on s intéresse à la dépendance entre deux caractères, il y a un caractère, appelé facteur antédédant ou facteur de risque qui cause potentiellement l autre (par exemple une maladie). Par exemple, le facteur antécédent fumer cause potentiellement le caractère cancer du poumon. Il y a alors trois types d études qui se distinguent par leur mode d échantillonnage: Etude prospective: On prélève des échantillons de tailles fixées dans les populations avec et sans le facteur de risque, et on observe ensuite quels individus développent la maladie. Etude rétrospective: On prélève des échantillons de tailles fixées dans les populations avec et sans la maladie et on regarde quels individus ont le facteur de risque. Etude transversale: On prélève un seul échantillon dans la population globale et on détermine quels individus ont (ou développent) la maladie et quels individus ont le facteur de risque. Suivant la situation, on choisira le type d étude le plus approprié (ou le plus réalisable). Par exemple, dans le cas d une maladie rare, une étude rétrospective est généralement plus puissante, car avec les deux autres types on obtiendrait très peu d individus avec la maladie. Dans les trois cas, on pourra utiliser la méthode ci-dessus pour tester l indépendance. 24