Propriétés des estimateurs

Transcription

1 Propriétés des estimateurs Prof: Aaro Courville Office: 3253 Pav. Adre Aisestadt 1

2 Estimateurs poctuels Retour à estimateurs poctuels (estimatio du maximum de vraisemblace), ous allos laisser tomber la perspective bayésiee (pour le momet). E gééral, l'estimatio poctuelle se réfère à trouver ue seule «meilleure estimatio» d'ue certaie quatité d'itérêt. La quatité d'itérêt pourrait être u paramètre das u modèle paramétrique, u CDF, u PDF, u PMF... Nous occupe de l'estimatio des paramètres d'u modèle paramétrique. 2

3 Estimateurs poctuels des paramètres Covetio: Nous otos ue estimatio poctuelle du vrai paramètre θ par ˆθ. Poit de vue statistique orthodoxe: Le paramètre θ est ue quatité icoue fixe. L'estimateur ˆθ déped des doées doc c est ue variable aléatoire (les doées sot aléatoires) Poit de vue bayésiee: Les variables aléatoires représetet des quatités icoues. Les doées est observée et doc pas aléatoire Le vrai paramètre θ est icou et doc aléatoire. Pour l'istat, ous preos la perspective statistique orthodoxe. 3

4 Biais Soit X 1,...,X poits de doées i.i.d. de u distributio F. L estimateur ˆθ de θ est u foctio de X 1,...,X : ˆθ = g(x 1,...,X ) Défiitio La biais (bias) d ue estimateur : biais(ˆθ )=E θ (ˆθ ) θ o dit que ˆθ soit o biaisé (ubiased) si: E θ (ˆθ )=θ U estimateur sas biais est souhaitable, mais pas idispesable, beaucoup de os estimateurs sot biaisé. 4

5 Exemple de biais: loi de Beroulli Beroulli distributio: X Beroulli(p) X est u v.a. biaire: x {0, 1} The model parameter: θ = p Θ =[0, 1] The Beroulli p.m.f(x): f(x; p) =p x (1 p) 1 x Soit X 1,...,X Beroulli(p) Estimateur (ML): ˆp = 1 biaisé? biais(ˆp )=E(ˆp ) p E(ˆp )= 1 = 1 = p E( ) p 5

6 Biais variace de loi gaussiee: 1. variace de l échatillo L estimateurs de la variace de la loi gaussiee: variace de l'échatillo E(S 2 )=E = E = E = E = 1 1 = ( X) 2 S 2 = 1 1 (Xi 2 2 X + X 2 ) Xi 2 2 X + Xi 2 X 2 = σ 2 o biaisé E(X 2 1 ) E( X 2 ) σ (σ 2 + µ 2 2 ) + µ2 X 2 ( X) 2 Chose qu o besoi: X = 1 Var( X) = Var 1 E(X 2 ) = Var(X)+E(X) 2 E( X) =E doées IID = 1 2 Var = 1 2 Var(X 1) = σ2 1 = 1 E(X 1) = µ 6

7 Biais variace de loi gaussiee: 2. MLE L estimateurs de la variace de la loi gaussiee: Estimateur de ML ˆσ 2 = 1 ( X) 2 X = 1 Trouvée e résolvat le problème du maximum de vraisemblace à deux paramètres (µ, σ 2 ) E(ˆσ 2 )=E 1 = 1 = 1 S2 E S 2 σ2 Chose qu o besoi: ˆσ 2 = 1 S2 biaisé 7

8 Variace et Erreurtype La distributio de ˆθ est appelée la distributio d'échatilloage. Écarttype de ˆθ est appelée l'erreurtype (stadard error): se(ˆθ )= Var(ˆθ ) Souvet, l'écarttype déped de l'icou F. Das ces cas, il s'agit d'ue quatité icoue. Nous pouvos gééralemet estimer. L'erreurtype estimée est otée ŝe. 8

9 Variace de l estimateur: loi de Beroulli Beroulli distributio: X Beroulli(p) X est u v.a. biaire: x {0, 1} The model parameter: θ = p Θ =[0, 1] The Beroulli p.m.f(x): f(x; p) =p x (1 p) 1 x Erreurtype d estimateur? se(ˆp )= Var(ˆp ) = p(1 p)/ Soit X 1,...,X Beroulli(p) Estimateur (ML): ˆp = 1 Variace d estimateur? 1 Var(ˆp ) = Var = 1 2 Var( ) = 1 2 Var(X 1) = 1 p(1 p) Estimateur de l erreurtype ŝe(ˆp )= ˆp(1 ˆp)/ 9

10 Var. variace de loi gaussiee: 1. variace de l échatillo L estimateurs de la variace de la loi gaussiee: variace de l'échatillo S 2 = 1 1 ( X) 2 X = 1 O utilise l idetité χ 2 1 = ( 1) σ 2 S 2 Var ( 1) 2 ( 1) S 2 = Var χ 2 1 σ 2 σ 4 Var S 2 = 2( 1) Var S 2 = 2( 1)σ4 ( 1) 2 = 2σ4 ( 1) Var S 2 = 2σ4 ( 1) 10

11 Var. variace de loi gaussiee: 2. MLE L estimateurs de la variace de la loi gaussiee: Estimateur de ML ˆσ 2 = 1 ( X) 2 X = 1 Trouvée e résolvat le problème du maximum de vraisemblace à deux paramètres (µ, σ 2 ) Var ˆσ 2 = Var 1 S2 2 1 = Var S σ 4 = ( 1) 2( 1) = 2 σ 4 Chose qu o besoi: ˆσ 2 = 1 Var ˆσ 2 = S2 2( 1) 2 σ 4 11

12 Propriétés des estimateurs: l'erreur quadratique moyee La qualité d'ue estimatio poctuelle est parfois évaluée par l'erreur quadratique moyee (mea squared error) ou MSE: MSE = E θ (ˆθ θ) 2 Gardez à l'esprit que E θ ( ) se réfère à l'espérace par rapport à la distributio qui a gééré les doées: f(x 1,...,x ; θ) = f(x i ; θ) Cela e sigifie pas que ous calculos la moyee d'ue distributio pour θ. MSE peut être écrit come: MSE = biais 2 (ˆθ ) + Var(ˆθ ) Commet? Soit θ = E θ (ˆθ ) Remarquer que: E θ ( θ θ) 2 =( θ θ) 2 θ, θ sot pas aléatoire. E θ (ˆθ θ) 2 = E θ (ˆθ θ + θ θ) 2 = E θ (ˆθ θ ) 2 + 2( θ θ)e θ (ˆθ θ )+E θ ( θ θ) 2 = E θ (ˆθ θ ) 2 + 2( θ θ)e θ (ˆθ θ )+E θ ( θ θ) 2 =( θ θ) 2 + E θ (ˆθ θ ) 2 = biais 2 (ˆθ ) + Var(ˆθ ) 12

13 Biais vs Variace Le MSE de l estimateur combie u measure de biais et u measure de variace. Pour trouver u estimateur qui a u bo MSE, ous avos besoi d'u estimateur qui cotrôle à la fois biais et la variace. Il est souvet u compromis etre les deux. Le compromis etre le biais et la variace est au cœur de l'appretissage automatique et les statistiques. E gééral, ous cherchos u équilibre qui réduit au miimum l'effet combié des deux, le MSE est u moye de quatifier le compromis. 13

14 Loi gaussiee: 1. MSE de variace de l échatillo L estimateurs de la variace de la loi gaussiee: variace de l'échatillo S 2 = 1 1 ( X) 2 X = 1 O cherche le MSE: MSE = biais 2 (ˆθ ) + Var(ˆθ ) biais(s 2 )=E(S 2 ) σ 2 =0 Var(S 2 )= 2σ4 ( 1) MSE(S 2 )= 2σ4 1 14

15 Loi gaussiee: 2. MSE d estimateur ML L estimateurs de la variace de la loi gaussiee: Estimateur de ML ˆσ 2 = 1 ( X) 2 X = 1 O cherche le MSE: MSE = biais 2 (ˆθ ) + Var(ˆθ ) biais(ˆσ 2 )=E(ˆσ 2 ) σ 2 = 1 σ2 σ 2 = 1 σ2 Var ˆσ 2 2( 1) = 2 σ 4 MSE(ˆσ 2 )= 1 2( 1) 2 σ4 + 2 σ 4 = σ 4 MSE(ˆσ 2 )= σ 4 15

16 Loi gaussiee: compariso de les estimateurs L estimateurs de la variace de la loi gaussiee: MSE d estimateur de ML: MSE de variace de l'échatillo: MSE(ˆσ 2 )= σ 4 MSE(S 2 )= 2σ4 1 MSE(ˆσ 2 )= σ 4 < 2σ4 1 =MSE(S2 ) 16

17 Propriétés des estimateurs: cohérece Ue exigece raisoable est que ous aimerios l'estimateur coverge vers la vraie valeur du paramètre que ous recueillos de plus e plus de doées. Défiitio U estimateur poctuel d'u paramètre est cohéret: p si ˆθ θ (l estimateur coverge e probabilité au vrai valeur) ˆθ θ ˆθ p θ: pour chaque > 0, P ( ˆθ θ > ) 0 tat que. Therorem Si biais 0 et l erreurtype se 0 alors ˆθ est coherete. 17

18 Exemple: loi de Beroulli Beroulli distributio: X Beroulli(p) X est u v.a. biaire: x {0, 1} The model parameter: θ = p Θ =[0, 1] The Beroulli p.m.f(x): f(x; p) =p x (1 p) 1 x Soit Estimateur (ML): Estce que c est cohéret? X 1,...,X Beroulli(p) ˆp = 1 biais(ˆp )=E(ˆp ) p = p p =0 se(ˆp )= p(1 p)/ 0 quad Oui, l estimateur est cohéret. 18

19 Propriétés des estimateurs de vraisemblace maximale Sous les coditios de régularité sur f(x; λ), les estimateurs de vraisemblace maximale (MLE) possèdet des propriétés désirables: 1. Cohéret: ˆθ p θ 2. Équivariace: si ˆθ est le MLE, alors g(ˆθ ) est le MLE de g(θ) 3. La ormalité asymptotique: (ˆθ θ) se N (0, 1), quad 4. Optimalité asymptotique ou l'efficacité. parmi tous les estimateurs raisoables (wellbehaved), le MLE a le plus petit écarttype (au mois pour grad) 19

20 Équivariace des MLE Theorem. Laissez τ = g(θ) être ue foctio de θ. Laissez ˆθ être le MLE. ˆτ = g(ˆθ) est le MLE de τ. Preuve: Laissez h = g 1 déoter l iverse de g. Alors ˆθ = h(ˆτ). Pour toute τ, L(τ) = i f(x i; h(τ)) = i f(x i; θ) =L(θ) ou θ = h(τ). Aisi, pour toute τ, L(τ) =L(θ) L(ˆθ) =L(ˆτ). E geeral, les estimateurs maximum a posteriori (MAP) e sot pas équivariats. 20