Démarche de statistique inférentielle. par opposition à l estimation qui est une opération de quantification

Transcription

1 Test d hypothèses Démarche de statistique inférentielle Opération de validation par opposition à l estimation qui est une opération de quantification Principe Formuler une hypothèse sur la population, le phénomène, la distribution. Examiner si l on peut admettre (avec un certain degré de confiance) que l échantillon provient d une population, d un phénomène, d une distribution vérifiant l hypothèse formulée. Test statistique = règle de décision AQC, test d hypothèse, 4/3/2001GR 1

2 Hypothèses nulle et alternative H 0 : hypothèse nulle (à tester) H 1 : hypothèse alternative Exemple Tester si le salaire moyen est de fr. 100,- ou s il est supérieur. H 0 : µ = µ 0 = 100 contre H 1 : µ = µ 1 > 100 Hypothèse simple ou composite Hypothèse simple : correspond à une valeur spécifique, une situation déterminée. Exemple : H 1 : µ = µ 1 = 120 Hypothèse composite : correspond à un ensemble de valeurs, de situations. Exemple : H 1 : µ = µ 1 > 100 L hypothèse nulle est en général simple. L hypothèse alternative est souvent composite. AQC, test d hypothèse, 4/3/2001GR 2

3 Caractérisation de la règle de décision Règle de décision définie en fonction d une statistique pertinente Statistique Q 0 = f(x 1,..., X n ; H 0 ) fonction de l échantillon dont la distribution dépend de H 0 (mais d aucun paramètre inconnu sous H 0 ) est connue sous H 0 Principe Rejet de H 0 si la valeur observée q 0 de Q 0 est une valeur peu probable de Q 0 sous H 0. AQC, test d hypothèse, 4/3/2001GR 3

4 Région critique R R = ensemble des valeurs peu probables de Q 0 sous H 0 Règle de décision q 0 R Rejet de H 0 q 0 / R Non } {{ rejet} acceptation de H 0 Définir un test statistique c est choisir une statistique pertinente Q 0 déterminer la région critique pour Q 0 AQC, test d hypothèse, 4/3/2001GR 4

5 Forme de la région critique R Dépend de l hypothèse alternative H 1 On distingue R test unilatéral à droite [ r test unilatéral à gauche ] r test bilatéral ] [ r1 r 2 Seuil(s) critique(s) Le seuil critique r (les seuils r 1 et r 2 ) est (sont) choisi(s) de façon à limiter le risque d erreur. AQC, test d hypothèse, 4/3/2001GR 5

6 Risques de première et de seconde espèce Etat de la nature Risques Décision H 0 H 1 H 0 0 α H 1 β 0 Risque de première espèce α = p(q 0 R H 0 ) Risque de seconde espèce β = p(q 0 / R H 1 ) ne peut pas toujours être calculé AQC, test d hypothèse, 4/3/2001GR 6

7 f(q 0 H 0 ) f(q 0 H 1 ) β α µ 0 µ 1 r région de rejet Risques α de première et β de seconde espèces f(q 0 H 0 ) f(q 0 H 1 ) β α µ 0 µ 1 α trop petit β grand r région de rejet AQC, test d hypothèse, 4/3/2001GR 7

8 f(q 0 H 0 ) f(q 0 H 1 ) β α µ 0 µ 1 r région de rejet Risques α de première et β de seconde espèces f(q 0 H 0 ) f(q 0 H 1 ) β α µ 0 µ 1 région de rejet H 1 peu différent de H 0 β grand r AQC, test d hypothèse, 4/3/2001GR 8

9 Risque total d erreur α p(h 0 ) } {{ } inconnu + β p(h 1 ) } {{ } inconnu Risque total inconnu Pratiquement on détermine le seuil critique r pour un α choisi arbitrairement petit (en général 5 % ou 10 %). Ne pas oublier que β dépend du même seuil critique.!!! α trop petit β très grand!!! AQC, test d hypothèse, 4/3/2001GR 9

10 Procédure de test statistique 1. Choisir une statistique pertinente Q 0 2. Fixer un risque α 3. Déterminer la région critique R Forme selon H 1 Seuil(s) selon α 4. Observer q 0 et décider : rejet si q 0 R Variante (logiciels) 1. Choisir une statistique pertinente Q 0 2. Fixer un risque α 3. Déterminer la forme de R (selon H 1 ) 4. Observer q 0 et calculer la p-valeur ou degré de signification probabilité p que Q 0 prennent des valeurs plus extrêmes que q 0 5. Décider : rejet si p < α AQC, test d hypothèse, 4/3/2001GR 10

11 Exemple Données : n = 9, x = 112, s 2 = 338 Exemple 1 : Test de la moyenne Hypothèses : H 0 : µ = µ 0 = 100 contre H 1 : µ = µ 1 > 100 Exemple 1A : avec variance inconnue Exemple 1B : en supposant σ 2 = 441 Exemple 2 : Test de la variance Hypothèses : H 0 : σ 2 = σ 2 0 = 441 contre H 1 : σ 2 = σ 2 1 < 441 AQC, test d hypothèse, 4/3/2001GR 11

12 1A : Test de moyenne avec variance inconnue 1. σ 2 inconnu on choisit la statistique T 0 = X µ 0 ˆσ X = X µ 0 S/ n 1 St n 1 sous H 0 2. α = Forme de la région critique R = {t 0 t 0 > r} test unilatéral à droite Seuil critique r (dans la table) [ r r = t (n 1) 1 α = Valeur observée de la statistique : ˆσ X = (338/8) = 6.5 t 0 = = / R On ne peut pas rejeter H 0 AQC, test d hypothèse, 4/3/2001GR 12

13 1B : Test de moyenne en supposant σ 2 = σ 2 connu on choisit la statistique Z 0 = X µ 0 σ X = X µ 0 σ/ n N(0, 1) sous H 0 2. α = Forme de la région critique R = {z 0 z 0 > r} test unilatéral à droite Seuil critique r (dans la table) [ r r = z 1 α = Valeur observée de la statistique : σ X = (441/9) = 7 z 0 = = R On rejette H 0 AQC, test d hypothèse, 4/3/2001GR 13

14 2 : Test de la variance 1. µ inconnu on choisit la statistique 2. α = 0.1 Q 0 = ns2 σ 2 0 χ 2 (n 1) sous H 0 3. Forme de la région critique R = {q 0 q 0 < r} test unilatéral à gauche ] r Seuil critique r (dans la table) r = q (n 1) α = Valeur observée de la statistique : q 0 = ns2 σ 2 0 = = 6.89 / R On ne peut pas rejeter H 0 AQC, test d hypothèse, 4/3/2001GR 14

15 Variante avec degré de signification 1. Statistique : Q 0 = ns2 σ α = 10 % χ 2 n 1 3. Forme de R : R = {q 0 q 0 < r} 4. q 0 = ns 2 /σ 2 0 = 6.89 et p(q 0 < 6.89) = degré de signification = > α = 0.1 On ne peut pas rejeter H chi-2(8) AQC, test d hypothèse, 4/3/2001GR 15

16 Puissance d un test et courbe d efficacité Pour évaluer l efficacité d un test, le comparer à un test réalisé avec une autre statistique : puissance courbe d efficacité Puissance (H 1 hypothèse simple) η = p(q 0 R H 1 ) = 1 β Courbe d efficacité (H 1 composite) H 1 = {h 1 h 1 hypothèse simple vérifiant H 1 } courbe d efficacité : η(h 1 ) pour h 1 H 1 AQC, test d hypothèse, 4/3/2001GR 16

17 Exemple de puissance : test de la moyenne Cas où σ 2 est connu (= 441) H 1 : µ 1 = 120 Z 0 = X µ 0 σ X N(0, 1) sous H 1 par contre Z 1 = X µ 1 σ X = X µ 0 σ X + µ 0 σ X µ 1 σ X = Z 0 µ 1 µ 0 σ X N(0, 1) sous H 1 On a donc η = p(z 0 > H 1 ) = p ( Z 1 > Z 1 N(0, 1) ) = p(z 1 > ) = 0.89 } {{ } 1.21 AQC, test d hypothèse, 4/3/2001GR 17

18 Exemple de puissance : test de la variance Soit H 1 : σ 2 1 = 300 Q 0 = ns2 σ 2 0 χ 2 n 1 sous H 1 par contre Q 1 = ns2 σ 2 1 = σ2 0 σ 2 1 ns 2 σ 2 0 = σ2 0 σ 2 1 Q 0 χ 2 n 1 sous H 1 On a donc η = p(q 0 < 3.49 H 1 ) = p(q 1 > } {{ } 5.13 Q 1 χ 2 n 1 ) Seuil 5.13 pas dans la table interpolation linéaire AQC, test d hypothèse, 4/3/2001GR 18

19 Probabilité par interpolation linéaire De la table du χ 2, il vient p(q < q) 25%? 50% q pour 8 d.l < 5.13 < 7.34 d où l approximation : η app = = ( ) AQC, test d hypothèse, 4/3/2001GR 19

20 Interprétation Puissance élevée signifie cas peu probables sous H 0 fort probables sous H 1. cas fort probables sous H 0 peu probables sous H 1 test discriminant. Puissance faible signifie cas peu probables sous H 0 guère plus probables sous H 1. cas fort probables sous H 0 aussi probables sous H 1 test peu discriminant. AQC, test d hypothèse, 4/3/2001GR 20

21 Construction de la courbe d efficacité Exemple du test de la variance H 0 σ 2 = σ 2 0 = 441 H 1 σ 2 = σ 2 1 < 441 Données : n = 9 x = 112 s 2 = 338 α = 10% q 0 = χ 2 (8,0.10) = Déterminer un choix de points ( σ 2 1, η(σ2 1 ) ) AQC, test d hypothèse, 4/3/2001GR 21

22 A. En fixant un choix de valeurs de σ 2 1 Courbe d'efficacité A σ 1 2 σ 0 2 /σ 1 2 q1* η η app Courbe d'efficacité A η σ 1 2 AQC, test d hypothèse, 4/3/2001GR 22

23 B. En fixant un choix de valeurs de η Courbe d'efficacité B (on fixe les valeurs η) σ 1 2 σ /σ 1 q1* η Courbe d'efficacité B η σ 1 2 AQC, test d hypothèse, 4/3/2001GR 23

24 Courbe d'efficacité du test de la moyenne x_bar = 112 µ 0 = 100 s 2 = 338 µ 1 > 100 n = 9 σ 2 = α = 0.95 σ xbar = 7 z 0 = (x_bar- µ 0 )/σ xbar = degré de signification (p-value) = z 1-α = Courbe d'efficacité µ 1 z 1 α (µ 1 µ 0 )/σ xbar β η η Courbe d'efficacité µ 1 AQC, test d hypothèse, 4/3/2001GR 24

25 Remarque : r versus r X Le seuil calculé pour la statistique Z 0 ou T 0 peut s exprimer en terme de seuil pour X. r = z 1 α r X = z 1 α σ X + µ 0 = = r = t (n 1) 1 α r X = t(n 1) 1 α ˆσ X + µ 0 = = De même, pour le test de la variance, seuil pour S 2 r = q (n 1) α r S 2 = 1 n q(n 1) α σ 2 0 = = AQC, test d hypothèse, 4/3/2001GR 25

26 Test d une corrélation Corrélation théorique (population) ρ = σ xy σ x σ y Corrélation empirique (estimateur) r = S xy S x S y S x et S y écarts types de l échantillon et S xy = 1 n (Xi X)(Y i Ȳ ). Hypothèses : H 0 : ρ = ρ 0 contre H 1 : ρ = ρ 1 > ρ 0 (ρ 1 < ρ 0 ) AQC, test d hypothèse, 4/3/2001GR 26

27 a) Cas général ρ 0 0 Statistique : Transformation de Fisher Z F = 1 2 log( 1 + r) 1 r ( 1 Z F N 2 log( 1 + ρ ) ) 0 1, 1 ρ 0 n 3 sous H 0 N(µ Z0, σ 2 Z 0 ) Forme centrée réduite de Z F Z 0 = Z F µ Z0 σ Z0 = n 3 ( 1 2 log( 1 + r) 1 1 r 2 log( 1 + ρ ) ) 0 1 ρ 0 N(0, 1) sous H 0 AQC, test d hypothèse, 4/3/2001GR 27

28 Test corrélation : exemple Données utilisées pour intervalle pour ρ n = 10, r = 0.91 z F = 1.53 Corrélation significativement supérieure à 0.8? Risque α = 0.05 = 5 % z 0.95 = H 0 : ρ = ρ 0 = 0.8 contre H 1 : ρ = ρ 1 > 0.8 Soit alors : z 0 = ( log( 1.8) ) (10 3) 0.2 = ( ) 7 = = 1.14 Comme z 0 = 1.14 < z 0.95 = on ne peut pas rejeter H 0 r = 0.91 n est pas significativement supérieur à 0.8. AQC, test d hypothèse, 4/3/2001GR 28

29 Puissance du test précédent Puissance pour H 1 : ρ 1 = Transformer le seuil z 1 α en un seuil z F pour Z F 2. Calculer η = p(z F > z F H 1) 1. Transformation : z 1 α z F z 1 α z F = z 1 α σ Z0 + µ Z z F = } {{ } 1/ +1.1 = Calcul de la puissance µ Z1 = 1 2 log( 1 + ρ ) 1 1 = 1 ρ 1 2 log( 1.9) = σ Z1 = 1/7 = 0.38 η = p(z F > zf = 1.72 H 1) = p ( (Z 1 > Z 1 N(0, 1) ) 0.38 = p(z 1 > 0.66) = = AQC, test d hypothèse, 4/3/2001GR 29

30 Seuil en termes de corrélation Il peut être utile d exprimer le seuil z 1 α en termes de corrélation. 1. Transformer le seuil z 1 α en un seuil z F pour Z F 2. Transformer z F en seuil r pour la corrélation r 1. Comme précédemment z F = Transformation z F r Utiliser la transformation inverse de Fisher r = exp(2 z F ) 1 exp(2 z F ) + 1 = exp(2 1.72) 1 exp(2 1.72) + 1 = = = AQC, test d hypothèse, 4/3/2001GR 30

31 b) Cas où ρ 0 = 0 Sous H 0 : ρ = 0, on a T 0 = r n 2 1 r 2 St n 2 Le test peut donc être fait avec cette statistique de Student. Exemple : mêmes données, n = 10, r = 0.91 H 0 : ρ = 0 contre H 1 : ρ > 0 t 0 = 0.91 t (8) 0.95 = = = 6.21 Comme t 0 > t (8) 0.95 on rejette H 0. AQC, test d hypothèse, 4/3/2001GR 31

32 Même exemple avec transformée de Fisher z F = 1.53 z 0 = (1.53 0) 7 = 4.05 z 0.95 = Comme z 0 > z 0.95 on rejette H 0. AQC, test d hypothèse, 4/3/2001GR 32

33 Seuils pour corrélation r Avec Student : t = r n 2 1 r 2 r = +t n 2+t 2 t n 2+t 2 r = t n 2+t 2 = Avec Fisher : z F = = 0.62 r = e(2 0.62) 1 e (2 0.62) +1 = 0.55 AQC, test d hypothèse, 4/3/2001GR 33

34 Courbe d efficacité : illustrations η η 1 1 α α θ 0 θ 1 Test unilatéral à droite Test unilatéral à gauche θ 0 θ 1 η 1 α θ 0 θ 1 Test bilatéral AQC, test d hypothèse, 4/3/2001GR 34

35 Comparaison de courbes d efficacité η 1 B A α θ 0 θ 1 AQC, test d hypothèse, 4/3/2001GR 35