Aide Mémoire de Statistique

Transcription

1 Aide Mémoire de Statistique (E, E, P) modèle statistique (E, E, P) modèle probabiliste E probabilité, o coaît la loi P et o fait des calculs E statistique, o e coaît pas la loi (seulemet ue famille de probabilités P) mais o coaît des observatios et o tete de retrouver la loi. (E, E, P) modèle statistique paramétrique P = {P θ, θ Θ} famille de loi de probabilité dépedat d u paramètre θ. 1 Échatilloage (X 1,.., X ) échatillo aléatoire i.i.d. de même loi que la v.a. parete X. (X 1,.., X ) est u vecteur aléatoire i.i.d. particulier. (x 1,.., x ) échatillo de doées, réalisatio/observatios de échatillo aléatoire (X 1,.., X ). (x 1,.., x ) est u vecteurs de doées (réelles...) Moyee empirique de l échatillo : X = 1 X i E(X ) = E(X) V ar(x ) = V ar(x)/ TCL : X E(X) L N (0, 1) V ar(x) p.s. X E(X) Si X N (µ, σ 2 ) alors X N (µ, σ 2 /) Variace empirique de l échatillo : S 2 = 1 E(S) 2 = 1 V ar(x) (X i X ) 2 = 1 Variace empirique sas biais de l échatillo : S 2 E(S 2 ) = V ar(x) X, S 2, S 2 sot des variables aléatoires. = 1 S2 Rappel : (X 1,..., X ) vecteur aléatoire i.i.d. de loi N (0, 1) = Z = Loi du Chi-deux : Loi de Studet : X χ 2 Y χ 2 m X et Y idépedats U N (0, 1) Z χ 2 U et Z idépedats = X + Y χ2 +m = U Z Xi 2 (X ) 2 X2 i χ2 St() : loi de Studet de degré de liberté (d.d.l.) 1

2 Théorème de Fisher : (X 1,..., X ) échatillo aléatoire i.i.d. de loi parete N (µ, σ 2 ) 1) ( 1) S 2 σ χ = 2) X et S 2 sot 2 v.a. idépedates. 3) X µ S St( 1) 2 Estimatio poctuelle (E, E, P) modèle statistique paramétrique P = {P θ, θ Θ} famille de loi de probabilité dot o e coaît pas le paramètre θ. U estimateur de θ est ue variable aléatoire qui tete d estimer le paramètre θ de la loi icoue P θ, il est oté θ = T = T (X 1,..., X ) Ue estimatio de θ est ue réalisatio/observatio de l estimateur T : t = T (x 1,..., x ). 2.1 Propriétés d u estimateur Biais d u estimateur Estimateur sas biais : E( θ) = θ Estimateur avec biais : E( θ) = θ + b θ ( θ) c-à-d : biais = b θ ( θ) Estimateur asymptotiquemet sas biais : E( θ) θ Erreur quadratique moyee : EQM θ ( θ) = E(( θ θ) 2 ) = V ar( θ) + (b θ ( θ)) 2 Ue erreur liée au biais et ue erreur liée à la précisio. Précisio d u estimateur : V ar( θ) Estimateur optimal : estimateur sas biais de variace miimale (ESBVM) Covergece (e loi) d u estimateur vers le paramètre estimé : E(T ) } θ L V ar(t ) T 2 L θ T θ 0 Remarque : θ estimateur sas biais de θ g( θ) estimateur sas biais de g(θ) 2.2 Iformatio de Fisher (X 1,.., X ) échatillo aléatoire i.i.d. de même loi que la v.a. parete X Foctio de vraisemblace de l échatillo observé (x 1,..., x ) pour le paramètre θ : cas discret : L(θ; x 1,..., x ) = P θ (X = x i ) cas cotiu : L(θ; x 1,..., x ) = f θ (x i ) avec f θ la foctio de répartitio de X 2

3 Les (x 1,..., x ) sot cous (résultat d ue expériece) et le paramètre θ est icou. La log-vraisemblace de l échatillo observé (x 1,..., x ) pour le paramètre θ : l(θ; x 1,..., x ) = ll(θ; x 1,..., x ) Coditio de régularité (H R ) sur la vraisemblace 1. L iformatio de Fisher existe θ Θ 2. La loi parete de X est deux fois dérivable par rapport à θ 3. 2 θ 2 L(θ; x1,..., x )dx 1...dx = 2 θ 2 L(θ; x 1,..., x )dx 1...dx E pratique, les (H R ) sot vérifiées si le support de la loi parete e déped pas du paramètre θ et la vraisemblace est suffisammet régulière. Support(L(X)) = f(θ) = (H R ) e sot pas vérifiées Iformatio de Fisher apportée par l échatillo (X 1,..., X ) sur le paramètre icou θ : ( ( ) ) 2 I (θ) = E θ ll(θ; X 1,..., X ) où L(θ; X 1,..., X ) est u v.a. et sa réalisatio est L(θ; x 1,..., x ) ( ) (H R ) = I (θ) = V ar θ ll(θ; X 1,.., X ) ( ) 2 = E θ 2 ll(θ; X 1,.., X ) ( ( ) ) 2 = I(θ) = I 1 (θ) = E ll(θ; X) θ Iformatio de Fisher apportée par la statistique T sur le paramètre icou θ : ( ( ) ) 2 I T (θ) = E θ ll(θ; T ) T estimateur de θ 0 I T (θ) I (θ) Bore de Cramer-Rao (BCR) est la précisio maximale auquel peut prétedre u estimateur Théorème de Fréchet-Darmois-Cramer-Rao (FDCR) : (H R ) vérifiées I (θ) 0 T estimateur sas biais de θ E(T ) est dérivable sous le sige somme V ar(t ) 1 I (θ) = BCR De plus, si V ar(t ) = BCR alors T est u estimateur efficace. 1 alors T est u estimateur asymptotiquemet efficace. Si V ar(t) BCR Statistique T est exhaustive si L(θ; x 1,..., x ) = φ(t, θ) h(x 1,..., x ), c-à-d si o peut décomposer la vraisemblace e ue foctio φ dépedat de la réalisatio de l estimateur T et du paramètre θ et d ue foctio h e dépedat que de la réalisatio de l échatillo (X 1,..., X ). 3

4 2.3 Commet trouver u estimateur? Estimateur de maximum de vraisemblace à compléter Estimateur des momets à compléter 3 Itervalles de cofiace à compléter 4 Tests d hypothèses Tests paramétriques : test sur u paramètre θ d u loi P θ, θ Θ Hypothèses statistiques : L hypothèse ulle H 0 : θ Θ 0 cotre l hypothèse alterative H 1 : θ Θ 1 test : H 0 à rejeter (pour H 1 ) ou o? Hypothèse simple si Θ = {θ 0 } : sigleto (sio hypothèse composite ou composée) Hypothèses maiteues, H m, hypothèses que l o cosidère toujours vraies Test bilatéral : H 0 : θ = θ 0 cotre H 1 : θ θ 0 Test uilatéral : H 1 composé et test o bilatéral Rôle des hypothèses est o symétrique Deux types d erreur et risques associés Erreur de première espèce ε I : Décider H 1 (rejet de H 0 ) alors que H 0 est vrai Risque de première espèce : α : Θ 0 [0, 1] θ α(θ) = P H0 (rejet de H 0 ) = P H0 ((X 1,..., X ) W ) si H 0 est simple (H 0 : θ = θ 0 ) alors α(θ) = α(θ 0 ) = α est ue costate (si H 0 : iocet alors α est la proba de codamer u iocet) Erreur de deuxième espèce ε II : Décider H 0 (o rejet de H 0 ) alors que H 1 est vrai Risque de deuxième espèce : β : Θ 1 [0, 1] θ β(θ) = P H1 (o rejet de H 0 ) = P H1 ((X 1,..., X ) / W ) si H 1 est simple (H 0 : θ = θ 1 ) alors β(θ) = β(θ 1 ) = β est ue costate (si H 0 : iocet alors β est la proba de libérer u coupable) Puissace d u test : θ Θ 1, γ(θ) = P H1 (rejet de H 0 )= 1 β(θ) Niveau ou seuil d u test : α = sup H 0:θ Θ 0 α(θ) 4

5 Règle de décisio Ψ Régio critique W Statistique de test T Foctio de test ou test d hypothèse ou règle de décisio : Ψ : χ {0, 1} { 1 si o rejette H0 au profit de H (x 1,..., x ) Ψ(x 1,..., x ) = 1 0 si o e rejette{ pas H 0 1 si (x1,..., x = 1 W (x 1,..., x ) = ) W 0 si (x 1,..., x ) / W avec χ esemble des réalisatios de l échatillo aléatoire (X 1,..., X ). Régio critique (RC) du test Ψ : régio de rejet de H 0 c-à-d esemble des observatios qui coduiset à rejeter H 0 : W = {(x 1,..., x ) χ : Ψ(x 1,..., x ) = 1} = Ψ 1 (1) Régio d acceptatio de H 0 = W = Ψ 1 (0) Statistique de test ou variable de décisio est ue foctio de l échatillo T = f(x 1,..., X ) c-à-d ue v.a. particulière dot la loi est coue sous H 0 supposé vrai Très souvet la statistique de test T est u estimateur du paramètre à éprouver O peut réécrire W à l aide de t (ue réalisatio de T ) : W = {(x 1,..., x ) χ : t D} avec D à détermier Doer ue régio critique W Doer ue règle de décisio Ψ Doer ue statistique du test T et so domaie D 4.1 Test d hypothèse à seuil : pricipe de Neyma Cotrôle du risque de premier espèce via le seuil du test : α = Étapes de costructio d u test 1. Choix des hypothèses de test H 0 et H 1 2. Choix de la statistique de test (et doc de la forme de la RC) sup α(θ). H 0:θ Θ 0 3. Fixer le seuil du test α = sup H 0:θ Θ 0 α(θ) ( limite le risque de première espèce) et détermier alors la RC : W α 4. Vérifier si les observatios (x 1,..., x ) se trouvet ou pas das la RC 5. Coclusio : rejet ou o rejet de H 0 au seuil α 6. Si o rejet de H 0 : évaluer si possible de risque de deuxième espèce ou la puissace du test (difficile si (H 1 ) est composée car β est alors ue foctio de θ et o ue costate) 5

6 4.2 p-valeur La p-valeur ou probabilité critique ou seuil critique est le plus petit risque α pour lequel les observatios coduiset au rejet de H 0 : α c (t ) = if{α : (x 1,..., x ) W α } O iverse les poits 3. et 4. das le cas précédat. 4.3 Test optimaux et Test UPP etre 2 hypothèses simples Défiitio Théorème de Neyma-Pearso etre ue hypothèse simple et ue composée Thm Pas de test UPP pour les tests bilatéraux etre 2 hypothèses composées Thm Test du rapport de vraisemblaces maximales Propriété 6