Test d hypothèses Démarche de statistique inférentielle Opération de validation par opposition à l estimation qui est une opération de quantification Principe Formuler une hypothèse sur la population, le phénomène, la distribution. Examiner si l on peut admettre (avec un certain degré de confiance) que l échantillon provient d une population, d un phénomène, d une distribution vérifiant l hypothèse formulée. Test statistique = règle de décision AQC, test d hypothèse, 4/3/2001GR 1
Hypothèses nulle et alternative H 0 : hypothèse nulle (à tester) H 1 : hypothèse alternative Exemple Tester si le salaire moyen est de fr. 100,- ou s il est supérieur. H 0 : µ = µ 0 = 100 contre H 1 : µ = µ 1 > 100 Hypothèse simple ou composite Hypothèse simple : correspond à une valeur spécifique, une situation déterminée. Exemple : H 1 : µ = µ 1 = 120 Hypothèse composite : correspond à un ensemble de valeurs, de situations. Exemple : H 1 : µ = µ 1 > 100 L hypothèse nulle est en général simple. L hypothèse alternative est souvent composite. AQC, test d hypothèse, 4/3/2001GR 2
Caractérisation de la règle de décision Règle de décision définie en fonction d une statistique pertinente Statistique Q 0 = f(x 1,..., X n ; H 0 ) fonction de l échantillon dont la distribution dépend de H 0 (mais d aucun paramètre inconnu sous H 0 ) est connue sous H 0 Principe Rejet de H 0 si la valeur observée q 0 de Q 0 est une valeur peu probable de Q 0 sous H 0. AQC, test d hypothèse, 4/3/2001GR 3
Région critique R R = ensemble des valeurs peu probables de Q 0 sous H 0 Règle de décision q 0 R Rejet de H 0 q 0 / R Non } {{ rejet} acceptation de H 0 Définir un test statistique c est choisir une statistique pertinente Q 0 déterminer la région critique pour Q 0 AQC, test d hypothèse, 4/3/2001GR 4
Forme de la région critique R Dépend de l hypothèse alternative H 1 On distingue R test unilatéral à droite [ r test unilatéral à gauche ] r test bilatéral ] [ r1 r 2 Seuil(s) critique(s) Le seuil critique r (les seuils r 1 et r 2 ) est (sont) choisi(s) de façon à limiter le risque d erreur. AQC, test d hypothèse, 4/3/2001GR 5
Risques de première et de seconde espèce Etat de la nature Risques Décision H 0 H 1 H 0 0 α H 1 β 0 Risque de première espèce α = p(q 0 R H 0 ) Risque de seconde espèce β = p(q 0 / R H 1 ) ne peut pas toujours être calculé AQC, test d hypothèse, 4/3/2001GR 6
f(q 0 H 0 ) f(q 0 H 1 ) β α µ 0 µ 1 r région de rejet Risques α de première et β de seconde espèces f(q 0 H 0 ) f(q 0 H 1 ) β α µ 0 µ 1 α trop petit β grand r région de rejet AQC, test d hypothèse, 4/3/2001GR 7
f(q 0 H 0 ) f(q 0 H 1 ) β α µ 0 µ 1 r région de rejet Risques α de première et β de seconde espèces f(q 0 H 0 ) f(q 0 H 1 ) β α µ 0 µ 1 région de rejet H 1 peu différent de H 0 β grand r AQC, test d hypothèse, 4/3/2001GR 8
Risque total d erreur α p(h 0 ) } {{ } inconnu + β p(h 1 ) } {{ } inconnu Risque total inconnu Pratiquement on détermine le seuil critique r pour un α choisi arbitrairement petit (en général 5 % ou 10 %). Ne pas oublier que β dépend du même seuil critique.!!! α trop petit β très grand!!! AQC, test d hypothèse, 4/3/2001GR 9
Procédure de test statistique 1. Choisir une statistique pertinente Q 0 2. Fixer un risque α 3. Déterminer la région critique R Forme selon H 1 Seuil(s) selon α 4. Observer q 0 et décider : rejet si q 0 R Variante (logiciels) 1. Choisir une statistique pertinente Q 0 2. Fixer un risque α 3. Déterminer la forme de R (selon H 1 ) 4. Observer q 0 et calculer la p-valeur ou degré de signification probabilité p que Q 0 prennent des valeurs plus extrêmes que q 0 5. Décider : rejet si p < α AQC, test d hypothèse, 4/3/2001GR 10
Exemple Données : n = 9, x = 112, s 2 = 338 Exemple 1 : Test de la moyenne Hypothèses : H 0 : µ = µ 0 = 100 contre H 1 : µ = µ 1 > 100 Exemple 1A : avec variance inconnue Exemple 1B : en supposant σ 2 = 441 Exemple 2 : Test de la variance Hypothèses : H 0 : σ 2 = σ 2 0 = 441 contre H 1 : σ 2 = σ 2 1 < 441 AQC, test d hypothèse, 4/3/2001GR 11
1A : Test de moyenne avec variance inconnue 1. σ 2 inconnu on choisit la statistique T 0 = X µ 0 ˆσ X = X µ 0 S/ n 1 St n 1 sous H 0 2. α = 0.05 3. Forme de la région critique R = {t 0 t 0 > r} test unilatéral à droite Seuil critique r (dans la table) [ r r = t (n 1) 1 α = 1.86 4. Valeur observée de la statistique : ˆσ X = (338/8) = 6.5 t 0 = 112 100 6.5 = 1.846 / R On ne peut pas rejeter H 0 AQC, test d hypothèse, 4/3/2001GR 12
1B : Test de moyenne en supposant σ 2 = 441 1. σ 2 connu on choisit la statistique Z 0 = X µ 0 σ X = X µ 0 σ/ n N(0, 1) sous H 0 2. α = 0.05 3. Forme de la région critique R = {z 0 z 0 > r} test unilatéral à droite Seuil critique r (dans la table) [ r r = z 1 α = 1.645 4. Valeur observée de la statistique : σ X = (441/9) = 7 z 0 = 112 100 7 = 1.714 R On rejette H 0 AQC, test d hypothèse, 4/3/2001GR 13
2 : Test de la variance 1. µ inconnu on choisit la statistique 2. α = 0.1 Q 0 = ns2 σ 2 0 χ 2 (n 1) sous H 0 3. Forme de la région critique R = {q 0 q 0 < r} test unilatéral à gauche ] r Seuil critique r (dans la table) r = q (n 1) α = 3.49 4. Valeur observée de la statistique : q 0 = ns2 σ 2 0 = 3 042 441 = 6.89 / R On ne peut pas rejeter H 0 AQC, test d hypothèse, 4/3/2001GR 14
Variante avec degré de signification 1. Statistique : Q 0 = ns2 σ 2 0 2. α = 10 % χ 2 n 1 3. Forme de R : R = {q 0 q 0 < r} 4. q 0 = ns 2 /σ 2 0 = 6.89 et p(q 0 < 6.89) = 0.55 5. degré de signification = 0.548 > α = 0.1 On ne peut pas rejeter H 0 0.12 chi-2(8) 0.1 0.08 0.06 0.04 0.02 0 0 2 4 6 8 10 12 14 16 18 20 AQC, test d hypothèse, 4/3/2001GR 15
Puissance d un test et courbe d efficacité Pour évaluer l efficacité d un test, le comparer à un test réalisé avec une autre statistique : puissance courbe d efficacité Puissance (H 1 hypothèse simple) η = p(q 0 R H 1 ) = 1 β Courbe d efficacité (H 1 composite) H 1 = {h 1 h 1 hypothèse simple vérifiant H 1 } courbe d efficacité : η(h 1 ) pour h 1 H 1 AQC, test d hypothèse, 4/3/2001GR 16
Exemple de puissance : test de la moyenne Cas où σ 2 est connu (= 441) H 1 : µ 1 = 120 Z 0 = X µ 0 σ X N(0, 1) sous H 1 par contre Z 1 = X µ 1 σ X = X µ 0 σ X + µ 0 σ X µ 1 σ X = Z 0 µ 1 µ 0 σ X N(0, 1) sous H 1 On a donc η = p(z 0 > 1.645 H 1 ) = p ( Z 1 > 1.645 20 7 Z 1 N(0, 1) ) = p(z 1 > 1.645 2.857) = 0.89 } {{ } 1.21 AQC, test d hypothèse, 4/3/2001GR 17
Exemple de puissance : test de la variance Soit H 1 : σ 2 1 = 300 Q 0 = ns2 σ 2 0 χ 2 n 1 sous H 1 par contre Q 1 = ns2 σ 2 1 = σ2 0 σ 2 1 ns 2 σ 2 0 = σ2 0 σ 2 1 Q 0 χ 2 n 1 sous H 1 On a donc η = p(q 0 < 3.49 H 1 ) = p(q 1 > 441 300 3.49 } {{ } 5.13 Q 1 χ 2 n 1 ) Seuil 5.13 pas dans la table interpolation linéaire AQC, test d hypothèse, 4/3/2001GR 18
Probabilité par interpolation linéaire De la table du χ 2, il vient p(q < q) 25%? 50% q pour 8 d.l. 5.07 < 5.13 < 7.34 d où l approximation : η app = 0.25 + = 0.256 5.13 5.07 7.34 5.07 (0.5 0.25) AQC, test d hypothèse, 4/3/2001GR 19
Interprétation Puissance élevée signifie cas peu probables sous H 0 fort probables sous H 1. cas fort probables sous H 0 peu probables sous H 1 test discriminant. Puissance faible signifie cas peu probables sous H 0 guère plus probables sous H 1. cas fort probables sous H 0 aussi probables sous H 1 test peu discriminant. AQC, test d hypothèse, 4/3/2001GR 20
Construction de la courbe d efficacité Exemple du test de la variance H 0 σ 2 = σ 2 0 = 441 H 1 σ 2 = σ 2 1 < 441 Données : n = 9 x = 112 s 2 = 338 α = 10% q 0 = χ 2 (8,0.10) = 3.4895 Déterminer un choix de points ( σ 2 1, η(σ2 1 ) ) AQC, test d hypothèse, 4/3/2001GR 21
A. En fixant un choix de valeurs de σ 2 1 Courbe d'efficacité A σ 1 2 σ 0 2 /σ 1 2 q1* η η app. 441 1.0000 3.4895 0.100 0.100 400 1.1025 3.8472 0.129 0.134 380 1.1605 4.0497 0.147 0.153 350 1.2600 4.3968 0.180 0.186 338 1.3047 4.5529 0.196 0.201 300 1.4700 5.1296 0.256 0.256 250 1.7640 6.1555 0.370 0.369 200 2.2050 7.6944 0.536 0.530 150 2.9400 10.2592 0.753 0.752 100 4.4100 15.3889 0.948 0.947 60 7.3500 25.6481 0.999 0.995 1.20 Courbe d'efficacité A η 1.00 0.80 0.60 0.40 0.20 0.00 0 50 100 150 200 250 300 350 400 450 σ 1 2 AQC, test d hypothèse, 4/3/2001GR 22
B. En fixant un choix de valeurs de η Courbe d'efficacité B (on fixe les valeurs η) σ 1 2 σ 2 2 0 /σ 1 q1* η 1144.7 0.3853 1.344 0.005 934.6 0.4718 1.647 0.010 563.2 0.7831 2.733 0.050 441.0 1.0000 3.4895 0.100 303.5 1.4531 5.0706 0.250 209.5 2.1046 7.3441 0.500 150.6 2.9284 10.2189 0.750 115.2 3.8290 13.3616 0.900 99.2 4.4439 15.5073 0.950 87.8 5.0249 17.5345 0.975 76.6 5.7573 20.0902 0.990 70.1 6.2916 21.9549 0.995 1.20 Courbe d'efficacité B η 1.00 0.80 0.60 0.40 0.20 0.00 0 50 100 150 200 250 300 350 400 450 σ 1 2 AQC, test d hypothèse, 4/3/2001GR 23
Courbe d'efficacité du test de la moyenne x_bar = 112 µ 0 = 100 s 2 = 338 µ 1 > 100 n = 9 σ 2 = 441 1-α = 0.95 σ xbar = 7 z 0 = (x_bar- µ 0 )/σ xbar = 1.7143 degré de signification (p-value) = 0.0432 z 1-α = 1.6449 Courbe d'efficacité µ 1 z 1 α (µ 1 µ 0 )/σ xbar β η 100 1.6449 0.950 0.050 102 1.3591 0.913 0.087 105 0.9306 0.824 0.176 108 0.5020 0.692 0.308 111.514 0.0000 0.500 0.500 115-0.4980 0.309 0.691 118-0.9266 0.177 0.823 120-1.2123 0.113 0.887 123-1.6409 0.050 0.950 128-2.3551 0.009 0.991 η 1.00 0.90 0.80 0.70 0.60 0.50 0.40 0.30 0.20 0.10 0.00 Courbe d'efficacité 100 105 110 115 120 125 130 µ 1 AQC, test d hypothèse, 4/3/2001GR 24
Remarque : r versus r X Le seuil calculé pour la statistique Z 0 ou T 0 peut s exprimer en terme de seuil pour X. r = z 1 α r X = z 1 α σ X + µ 0 = 1.645 7 + 100 = 111.515 r = t (n 1) 1 α r X = t(n 1) 1 α ˆσ X + µ 0 = 1.86 6.5 + 100 = 112.09 De même, pour le test de la variance, seuil pour S 2 r = q (n 1) α r S 2 = 1 n q(n 1) α σ 2 0 = 1 9 3.49 441 = 171.01 AQC, test d hypothèse, 4/3/2001GR 25
Test d une corrélation Corrélation théorique (population) ρ = σ xy σ x σ y Corrélation empirique (estimateur) r = S xy S x S y S x et S y écarts types de l échantillon et S xy = 1 n (Xi X)(Y i Ȳ ). Hypothèses : H 0 : ρ = ρ 0 contre H 1 : ρ = ρ 1 > ρ 0 (ρ 1 < ρ 0 ) AQC, test d hypothèse, 4/3/2001GR 26
a) Cas général ρ 0 0 Statistique : Transformation de Fisher Z F = 1 2 log( 1 + r) 1 r ( 1 Z F N 2 log( 1 + ρ ) ) 0 1, 1 ρ 0 n 3 sous H 0 N(µ Z0, σ 2 Z 0 ) Forme centrée réduite de Z F Z 0 = Z F µ Z0 σ Z0 = n 3 ( 1 2 log( 1 + r) 1 1 r 2 log( 1 + ρ ) ) 0 1 ρ 0 N(0, 1) sous H 0 AQC, test d hypothèse, 4/3/2001GR 27
Test corrélation : exemple Données utilisées pour intervalle pour ρ n = 10, r = 0.91 z F = 1.53 Corrélation significativement supérieure à 0.8? Risque α = 0.05 = 5 % z 0.95 = 1.645 H 0 : ρ = ρ 0 = 0.8 contre H 1 : ρ = ρ 1 > 0.8 Soit alors : z 0 = ( 1.53 1 2 log( 1.8) ) (10 3) 0.2 = (1.53 1.10) 7 = 0.43 2.65 = 1.14 Comme z 0 = 1.14 < z 0.95 = 1.645 on ne peut pas rejeter H 0 r = 0.91 n est pas significativement supérieur à 0.8. AQC, test d hypothèse, 4/3/2001GR 28
Puissance du test précédent Puissance pour H 1 : ρ 1 = 0.9 1. Transformer le seuil z 1 α en un seuil z F pour Z F 2. Calculer η = p(z F > z F H 1) 1. Transformation : z 1 α z F z 1 α z F = z 1 α σ Z0 + µ Z0 1.645 z F = 1.645 0.38 } {{ } 1/ +1.1 = 1.72 7 2. Calcul de la puissance µ Z1 = 1 2 log( 1 + ρ ) 1 1 = 1 ρ 1 2 log( 1.9) = 1.47 0.1 σ Z1 = 1/7 = 0.38 η = p(z F > zf = 1.72 H 1) = p ( 1.72 1.47 (Z 1 > Z 1 N(0, 1) ) 0.38 = p(z 1 > 0.66) = 1 0.745 = 0.255 AQC, test d hypothèse, 4/3/2001GR 29
Seuil en termes de corrélation Il peut être utile d exprimer le seuil z 1 α en termes de corrélation. 1. Transformer le seuil z 1 α en un seuil z F pour Z F 2. Transformer z F en seuil r pour la corrélation r 1. Comme précédemment z F = 1.72. 2. Transformation z F r Utiliser la transformation inverse de Fisher r = exp(2 z F ) 1 exp(2 z F ) + 1 = exp(2 1.72) 1 exp(2 1.72) + 1 = 31.19 1 31.19 + 1 = 30.19 32.19 = 0.938 AQC, test d hypothèse, 4/3/2001GR 30
b) Cas où ρ 0 = 0 Sous H 0 : ρ = 0, on a T 0 = r n 2 1 r 2 St n 2 Le test peut donc être fait avec cette statistique de Student. Exemple : mêmes données, n = 10, r = 0.91 H 0 : ρ = 0 contre H 1 : ρ > 0 t 0 = 0.91 t (8) 0.95 = 1.86 8 0.172 = 0.91 6.82 = 6.21 Comme t 0 > t (8) 0.95 on rejette H 0. AQC, test d hypothèse, 4/3/2001GR 31
Même exemple avec transformée de Fisher z F = 1.53 z 0 = (1.53 0) 7 = 4.05 z 0.95 = 1.645 Comme z 0 > z 0.95 on rejette H 0. AQC, test d hypothèse, 4/3/2001GR 32
Seuils pour corrélation r Avec Student : t = r n 2 1 r 2 r = +t n 2+t 2 t n 2+t 2 r = t n 2+t 2 = 0.549 Avec Fisher : z F = 1.645 0.378 = 0.62 r = e(2 0.62) 1 e (2 0.62) +1 = 0.55 AQC, test d hypothèse, 4/3/2001GR 33
Courbe d efficacité : illustrations η η 1 1 α α θ 0 θ 1 Test unilatéral à droite Test unilatéral à gauche θ 0 θ 1 η 1 α θ 0 θ 1 Test bilatéral AQC, test d hypothèse, 4/3/2001GR 34
Comparaison de courbes d efficacité η 1 B A α θ 0 θ 1 AQC, test d hypothèse, 4/3/2001GR 35