Pla du cours 3 RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ Christophe Gozales LIP6 Uiversité Paris 6, Frace 1 Itervalles de cofiace Tests d hypothèses 3 La loi du χ Itervalles de cofiace RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ /34 Itervalles de cofiace : exemple 1/ Estimateur T d u paramètre θ = valeur estimée ˆθ Problème : peut-o avoir cofiace das l estimatio poctuelle? Itervalle de cofiace U itervalle de cofiace de iveau 1 α = itervalle ]at, bt tel que : θ Θ, P θ ]at, bt θ = 1 α 1 α = proba que l itervalle cotiee θ X N µ; σ échatillo de taille = X = moyee théorème cetral-limite = X µ σ/ N 0; 1 très grad = la valeur observée x de X µ mois grad = x µ = estimatio par itervalle de cofiace de iveau 95% loi ormale = P 1, 96 X µ σ/ 1, 96 = 95% RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 3/34 RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 4/34
Itervalles de cofiace : exemple / P 1, 96 X µ σ/ 1, 96 = 95% P X 1, 96 σ µ X + 1, 96 σ = 95% = itervalle de cofiace = ]x 1, 96 σ, x + 1, 96 σ seulemet maiteat, o tire u échatillo de taille = observatio de x = o peut calculer ]x 1, 96 σ, x + 1, 96 σ RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 5/34 Itervalles de cofiace : autre exemple / Itervalles de cofiace : autre exemple 1/ Éocé de l exemple plusieurs cetaies de cadidats à u exame variace sur les otes obteues 16 correcteur = oté 100 copies, moyee = 8,75 Problème : moyee sur toutes les copies de l exame? hypothèse : les otes suivet ue loi ormale N µ; 16 X = variable aléatoire moyee des otes d u correcteur théorème cetral-limite = X µ σ/ = X µ N 0; 1 4/10 chercher das la table de la loi ormale z α/ tel que : σ σ P X z α/ µ X + z α/ = 1 α RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 6/34 Exemple : aalyse des déchets cf. cours σ σ P X z α/ µ X + z α/ = 1 α 1 α itervalle de cofiace 50% 8, 75 0, 674 0, 4; 8, 75 + 0, 674 0, 4] = 8, 48; 9, 0] 75% 8, 75 1, 15 0, 4; 8, 75 + 1, 15 0, 4] = 8, 9; 9, 1] 80% 8, 75 1, 8 0, 4; 8, 75 + 1, 8 0, 4] = 8, 4; 9, 6] 90% 8, 75 1, 645 0, 4; 8, 75 + 1, 645 0, 4] = 8, 09; 9, 41] 95% 8, 75 1, 96 0, 4; 8, 75 + 1, 96 0, 4] = 7, 96; 9, 53] 99% 8, 75, 575 0, 4; 8, 75 +, 575 0, 4] = 7, 7; 9, 78] Greelle de l eviroemet = réductio des déchets = aalyse des déchets = échatillo de taille 100 x : moyee de l échatillo = 390 kg/a/habitat écart-type σ = 0 supposé cou X N µ, 4 = P Z α/ X µ Z α/ = 1 α = estimatio par itervalle de cofiace de iveau 1 α : ] x zα/, x + z α/ RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 7/34 RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 8/34
Exemple : aalyse des déchets suite Exemple du réchauffemet climatique cf. cours opiio des ges sur le réchauffemet climatique Estimatio par itervalle de cofiace de iveau 1 α : ] x zα/, x + z α/ 1 α itervalle de cofiace 50% 390 0, 674 ; 390 + 0, 674 ] = 388, 65; 391, 35] 75% 390 1, 15 ; 390 + 1, 15 ] = 387, 70; 39, 30] 80% 390 1, 8 ; 390 + 1, 8 ] = 387, 44; 39, 56] 90% 390 1, 645 ; 390 + 1, 645 ] = 386, 71; 393, 9] 95% 390 1, 96 ; 390 + 1, 96 ] = 386, 08; 393, 9] 99% 390, 575 ; 390 +, 575 ] = 384, 85; 395, 15] RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 9/34 Tests d hypothèses e statistique classique 1/ 1000 persoes de 15 as et + iterrogées 790 peset qu il y a u chagemet climatique 10 e le peset pas P : proportio de succès moyee de l échatillo p : proportio de persoes pesat qu il y a dérèglemet climatique das la populatio fraçaise P p p1 p ] p N 0; 1 = estimatio par itervalle de cofiace de iveau 1 α : ] p1 p p1 p p1 p z α/ ; p + z α/ p z α/ ; p + p1 p z α/ RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 10/34 Tests d hypothèses e statistique classique / Hypothèses Θ = esemble des valeurs du paramètre θ Θ partitioé e Θ 0 et Θ 1 hypothèses = assertios H 0 = θ Θ 0 et H 1 = θ Θ 1 H 0 = hypothèse ulle, H 1 = cotre-hypothèse hypothèse H i est simple si Θ i est u sigleto ; sio elle est multiple test uilatéral = valeurs das Θ 1 toutes soit plus grades, soit plus petites, que celles das Θ 0 ; sio test bilatéral hypothèse test H 0 : µ = 4 simple H 1 : µ = 6 simple uilatéral H 0 : µ = 4 simple H 1 : µ > 4 composée test uilatéral H 0 : µ = 4 simple H 1 : µ 4 composée test bilatéral H 0 : µ = 4 simple formulatio icorrecte : les hypothèses H 1 : µ > 3 composée e sot pas mutuellemet exclusives RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 11/34 RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 1/34
Exemples pratiques d hypothèses associatio de cosommateurs échatillo de 100 bouteilles de Bordeaux Pb : la quatité de vi est-elle bie égale à 75cl? paramètre θ étudié = µ = EX X = quatité de vi das les bouteilles rôle de l associatio = H 0 : µ = 75cl et H 1 : µ < 75cl le mois derier, taux de chômage = 10% échatillo : 400 idividus de la pop. active Pb : le taux de chômage a-t-il été modifié? paramètre étudié = p = % de chômeurs H 0 : p = 10% et H 1 : p 10% RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 13/34 Régios critiques Hypothèses H 0 : µ = µ 0 H 1 : µ > µ 0 H 0 : µ = µ 0 H 1 : µ < µ 0 H 0 : µ = µ 0 H 1 : µ µ 0 Problème : Règle de décisio rejeter H 0 si x > c, où c est u ombre plus grad que µ 0 rejeter H 0 si x < c, où c est u ombre plus petit que µ 0 rejeter H 0 si x < c 1 ou c < x, où c 1 et c sot des ombres respectivemet plus petit et plus grad que µ 0, et égalemet éloigés de celui-ci erreurs das les décisios prises RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 15/34 Tests d hypothèse Défiitio du test test etre deux hypothèses H 0 et H 1 = règle de décisio δ règle fodée sur les observatios esemble des décisios possibles = D = {d 0, d 1 } d 0 = accepter H 0 d 1 = accepter H 1 = rejeter H 0 régio critique échatillo = -uplet x 1,..., x de valeurs das R δ = foctio R D régio critique : W = {-uplets x R : δx = d 1 } régio critique = régio de rejet régio d acceptatio = A = {x R : δx = d 0 } RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 14/34 Erreurs das les décisios Décisio prise H 0 est rejetée Réalité H 0 est pas rejetée H 0 est vraie mauvaise décisio : erreur de type I boe décisio α = risque de première espèce H 1 est vraie boe décisio = probabilité de réaliser ue erreur de type I mauvaise décisio : erreur de type II = probabilité de rejeter H 0 sachat que H 0 est vraie = Prejeter H 0 H 0 est vraie, β = risque de deuxième espèce = probabilité de réaliser ue erreur de type II = probabilité de rejeter H 1 sachat que H 1 est vraie = Prejeter H 1 H 1 est vraie. RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 16/34
Exemple de calcul de α 1/ Exemple de calcul de α / Exemple échatillo de taille 5 paramètre estimé : µ d ue variable X N µ; 100 hypothèses : H 0 : µ = 10 H 1 : µ > 10 Sous H 0 : X µ σ/ = X 10 10/5 = X 10 N 0; 1 Sous H 0 : peu probable que X éloigée de plus de écarts-types de µ 4,56% de chace = peu probable que X < 6 ou X > 14 = régio critique pourrait être rejeter H 0 si x > 14 échatillo de taille 5 paramètre estimé : µ d ue variable X N µ; 100 hypothèses : H 0 : µ = 10 H 1 : µ > 10 régio critique : rejeter H 0 si x > 14 α = Prejeter H 0 H 0 est vraie = PX > 14 µ = 10 X 10 14 10 = P > µ = 10 X 10 = P > = 0, 08 e pricipe α est fixé et o cherche la régio critique RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 17/34 Exemple de test d hypothèses 1/ RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 18/34 Exemple de test d hypothèses / filtre de mails sur u serveur mail : mail extractio de caractéristiques agrégatio = score filtrage par score Z = X µ σ/ = X 18000 5000/ 400 = X 18000 N 0; 1 50 X = score 18000 = spam ; historiques des mails = σ X = 5000 le serveur reçoit u evoi e masse de = 400 mails de xx@yy.fr Problème : xx@yy.fr est-il u spammeur? H 0 : xx@yy.fr = spammeur v.s. H 1 : xx@yy.fr spammeur test : H 0 : µ = 18000 v.s. H 1 : µ < 18000 où µ = EX règle : si x < c alors rejeter H 0 400 mails = théorème cetral limite = sous H 0 : Z = X µ σ/ = X 18000 5000/ 400 = X 18000 N 0; 1 50 RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 19/34 choix du risque de première espèce : α = 0, 01 α = 0, 01 = PX < c µ = 18000 = P X 18000 < 50 c 50 18000 µ = 18000 = P Z < c 50 18000 = c 18000 50 = PZ <, 36 =, 36 = c = 17418, 5 règle de décisio : si x < 17418, 5, rejeter H 0 = o spam RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 0/34
Iterprétatio de α et β Puissace du test e pas rejeter H 0 rejeter H 0 α = Prejeter H 0 H 0 est vraie β = Prejeter H 1 H 1 est vraie loi de X sous H 0 loi de X sous H 1 : µ = 1 4 6 8 10 1 14 16 18 0 4 α et β variet e ses iverse l u de l autre = test = compromis etre les deux risques β 10 1 α H 0 = hypothèse privilégiée, vérifiée jusqu à préset et que l o aimerait pas abadoer à tort = o fixe u seuil α 0 : α α 0 test miimisat β sous cette cotraite mi β = max 1 β 1 β = puissace du test RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 1/34 Exemple de calcul de β 1/ RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ /34 Exemple de calcul de β / 1 β11 = Prejeter H 0 H 1 : µ = 11 est vraie échatillo de taille 5 paramètre estimé : µ d ue variable X N µ; 100 hypothèses : H 0 : µ = 10 H 1 : µ > 10 régio critique : rejeter H 0 si x > 14 sous H 1 : plusieurs valeurs de µ sot possibles = courbe de puissace du test e foctio de µ Supposos que µ = 11 : µ = 11 = X µ σ/ = X 11 N 0; 1 RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 3/34 = PX > 14 µ = 11 X 11 14 11 = P > µ = 11 X 11 = P > 1, 5 = 0, 0668 µ 1 z 1 = 14 µ 1 1 βµ 1 = PZ > z 1 βµ 1 10,0 0,08 0,977 11 1,5 0,0668 0,933 1 1,0 0,1587 0,8413 13 0,5 0,3085 0,6915 14 0,0 0,5000 0,5000 15-0,5 0,6915 0,3085 16-1,0 0,8413 0,1587 17-1,5 0,933 0,0668 RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 4/34
Courbe de puissace du test Exemple : otes d exame de RFIDEC 1/3 1,0 0,8 1 βµ 1 les aées précédetes, otes d exame N 14, 6 cette aée, correctio d u échatillo de 9 copies : 10 8 13 0 1 14 9 7 15 0,6 0,4 0, courbe de puissace Les otes sot-elles e baisse cette aée? hypothèse H 0 = la moyee est égale à 14 hypothèse H 1 = la moyee a baissé, i.e., elle est 14 test d hypothèse de iveau de cofiace 1 α = 95% 10 11 1 13 14 15 16 17 18 19 0 1 µ 1 = détermier seuil c tel que x < c = H 1 plus probable que H 0 RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 5/34 Exemple : otes d exame de RFIDEC /3 RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 6/34 Exemple : otes d exame de RFIDEC 3/3 10 8 13 0 1 14 9 7 15 H 0 : µ = 14, σ = 6 Problème : le risque de ème espèce est-il élevé? sous hypothèse H 0, o sait que X 14 σ/ = X 14 N 0; 1 calcul du seuil c régio de rejet : X 14 P < c 14 X 14 N 0; 1 = 0, 05 Table de la loi ormale : c 14 1, 645 = c = 10, 71 Règle de décisio : rejeter H 0 si x < 10, 71 tableau = x = 1 = o e peut déduire que la moyee a dimiué Puissace du test pour ue moyee de 1 H 1 : la moyee est égale à 1 Puissace du test = 1 β1 = Prejeter H 0 H 1 = P X < 10, 71 X 1 N 0; 1 = P X 1 < 0, 645 X 1 N 0; 1 5, 95%. RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 7/34 RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 8/34
Lemme de Neyma-Pearso 1/ Cas : Θ 0 = {θ 0 } Θ 1 = {θ 1 } Échatillo x 1,..., x de taille Échatillo = les x i = réalisatios de variables aléatoires X i Échatillo i.i.d. = les X i sot mutuellemet idépedats = PX 1 = x 1,..., X = x θ = θ k = i=1 PX i = x i θ = θ k Vraisemblace d u échatillo x = x 1,..., x : échatillo de taille Lx, θ k = Vraisemblace de l échatillo Lx, θ k = proba d obteir cet échatillo sachat que θ = θ k Lx, θ k = Px 1,..., x θ = θ k = Px i θ = θ k RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 9/34 Loi du χ 1/3 populatio = répartie e k classes i=1 p 1 p p 3 p k hypothèse : répartitio das les classes coues = p r = proba qu u idividu appartiee à la classe c r échatillo de idividus N r = variable aléatoire ombre d idividus tirés de classe c r Chaque idividu = p r chaces d apparteir à la classe c r = X r i = v.a. succès si l idividu i appartiet à la classe c r = X r i B1, p r = N r B, p r = N r loi ormale quad grad RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 31/34 Lemme de Neyma-Pearso / Lemme de Neyma-Pearso Cas : Θ 0 = {θ 0 } Θ 1 = {θ 1 } il existe toujours u test aléatoire le plus puissat de seuil doé α 0 c est u test du rapport de vraisemblace : Lx, θ 0 Lx, θ 1 > k x A accepter H 0 Lx, θ 0 Lx, θ 1 < k x W rejeter H 0 Lx, θ 0 Lx, θ 1 = k δx = ρ accepter H 0 avec proba 1 ρ H 1 avec proba ρ k et ρ détermiés de faço uique par α = α 0 RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 30/34 Loi du χ /3 populatio = répartie e k classes p 1 p p 3 p k p r = proba qu u idividu appartiee à la classe c r échatillo de idividus N r = v.a. b d idividus tirés de classe c r loi ormale D = k N r.p r r=1.p r = D = somme des carrés de k v.a. lois ormales D = écart etre théorie et observatio D ted e loi, lorsque, vers ue loi du χ k 1 RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 3/34
Loi du χ 3/3 Table de la loi du χ Loi du χ loi du χ r = la loi de la somme des carrés de r variables idépedates et de même loi N 0, 1 espérace = r variace = r RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 33/34 valeurs das le tableau ci-dessous : les c ;α tels que PZ > c ;α = α 0 c ;α \ α 0,995 0,99 0,975 0,95 0,90 0,10 0,05 0,05 0,01 0,005 1 0,00004 0,000 0,001 0,0039 0,0158,71 3,84 5,0 6,63 7,88 0,0100 0,001 0,0506 0,103 0,11 4,61 5,99 7,38 9,1 10,6 3 0,0717 0,115 0,16 0,35 0,584 6,5 7,81 9,35 11,3 1,8 4 0,07 0,97 0,484 0,711 1,06 7,78 9,49 11,1 13,3 14,9 5 0,41 0,554 0,831 1,15 1,61 9,4 11,1 1,8 15,1 16,7 6 0,676 0,87 1,4 1,64,0 10,6 1,6 14,4 16,8 18,5 7 0,989 1,4 1,69,17,83 1,0 14,1 16,0 18,5 0,3 8 1,34 1,65,18,73 3,49 13,4 15,5 17,5 0,1,0 9 1,73,09,70 3,33 4,17 14,7 16,9 19,0 1,7 3,6 10,16,56 3,5 3,94 4,87 16,0 18,3 0,5 3, 5, RFIDEC cours 3 : Itervalles de cofiace, tests d hypothèses, loi du χ 34/34 α Z