Estimation paramétrique

Transcription

1 Retour au pla du cours Soit Ω, A, P u espace probabilisé et X ue v.a. de Ω, A das E, E. La doée d u modèle statistique c est la doée d ue famille de probabilités sur E, E, {P θ, θ Θ}. Le modèle état doé, o suppose alors que la loi de X appartiet au modèle {P θ, θ Θ}. Par exemple das le modèle de Beroulli, X = X,..., X où les X i sot i.i.d. de loi de Beroulli de paramètre θ ]0, [. E = {0, }, E = PE, Θ =]0, [ et P θ = θδ 0 + θδ. Premières défiitios DÉFINITION. O dit que le modèle {P θ, θ Θ} est idetifiable si l applicatio Θ {P θ, θ Θ} θ P θ est ijective. DÉFINITION 2. Soit g : Θ R k. O appelle estimateur de gθ au vu de l observatio X, toute applicatio T : Ω R k de la forme T = hx où h : E R k mesurable. U estimateur e doit pas dépedre de la quatité gθ que l o cherche à estimer. O itroduit les propriètes suivates d u estimateur : DÉFINITION 3. T est u estimateur sas biais de gθ si pour tout θ Θ, E θ [T ] = gθ. Das le cas cotraire, o dit que l estimateur T est biaisé et o appelle biais la quatité E θ T gθ. Gééralemet X est u vecteur X,..., X d observatios état le ombre d etre elles. U exemple importat est le cas où X,..., X forme u -échatillo c est à dire lorsque que X,..., X sot i.i.d. O peut alors regarder des propriétés asymptotiques de l estimateur, c est à dire e faisat tedre le ombre d observatios vers +. Das ce cas, il est aturel de oter T = T comme dépedat de. O a alors la défiitio suivate : DÉFINITION 4. T est u estimateur cosistat de gθ si pour tout θ Θ, T coverge e probabilité vers gθ sous P θ lorsque. O défiit le risque quadratique de l estimateur das le cas où gθ R. DÉFINITION 5. Soit T est u estimateur de gθ. Le risque quadratique de T est défii par RT, gθ = E θ [T gθ 2 ]. Remarque. Le risque quadratique est la somme de la variace et du carré du biais de l estimateur. L iégalité de Cramer-Rao et la défiitio de l iformatio de Fisher ot été vues e aée 3 et e sot pas rappelées ici. 2 Estimatio par la méthode des momets Das cette sectio, X est le vecteur formé par u -échatillo X,..., X. Les X i sot à valeurs das u esemble X. Soit f = f,..., f k ue applicatio de X das R k telle que l applicatio Θ R k Φ : θ E θ [fx ] soit ijective. O défiit l estimateur ˆθ comme la solutio das Θ quad elle existe de l équatio Φθ = fx i. Souvet, lorsque X R, la foctio o pred f i x = x i et Φ correspod doc au ième momet de la variables X sous P θ. Ce choix justifie le om doé à la méthode. Voici quelques exemples d estimateurs bâtis sur par cette méthode.

2 2 2. Loi expoetielle Ici k =, Q θ = Eθ pour θ R +. Comme pour tout θ, E θ [X ] = /θ o pred Φθ = /θ et f = Id : R + R +. L estimateur obteu par la méthode des momets est ˆθ = X où X = X i. Par cotiuité de l applicatio x /x, ˆθ est u estimateur cosistat de θ. Remarquos que X > 0 p.s. ce qui justifie l égalité ci-dessus. 2.2 Loi uiforme Ici k =, Q θ est la loi uiforme sur [0, θ] avec θ > 0. O a que pour tout θ, E θ [X ] = θ/2, o peut doc predre par exemple Φθ = θ/2 et f = Id : R R. L estimateur obteu par la méthode des momets est alors ˆθ = 2X. Cet estimateur est sas bias et cosistat. 2.3 Loi gaussiee Ici k = 2, o pred θ = m, τ R R +, Q θ = N m, τ. Pour tout θ = m, τ, E θ [X ] = m et E θ [X 2 ] = m 2 + τ. O peut doc predre, par exemple, f x = x et f 2 x = x 2 ce qui doe Φm, τ = m, m 2 + τ. L estimateur obteus par la méthode des momets vérifie c est a dire ˆm = X ˆθ = et ˆm 2 + ˆτ = X, Xi 2. 2 Xi X. L estimateur est cosistat mais l estimateur de la variace est biaisé. 2.4 Propriétés asymptotiques Notos Φθ = E θ fx i. Supposos que X,..., X sot i.i.d. de loi P θ0. Les résultats de cosistace précédets étaiet obteus grâce au fait que d ue part, fx i p.s. Φθ 0, et doc, comme Φ existe et est cotiue au voisiage de Φθ 0, o e déduit que ˆθ existe et vérifie ˆθ p.s. Φ Φθ 0 = θ 0. Mais que peut-o dire de la distace de ˆθ à θ 0? Sous l hypothèse que E θ0 [ f 2 ] < + o a grâce au théorème cetral limite que Loi fx i Φθ 0 N k 0, Γθ 0, où Γθ 0 la matrice covariace de fx sous P θ0. Elle est défiie pour i, j {,..., k} Γ i,j θ 0 = Cov θ0 [f i X f j X ]. La Delta méthode cf Propositio 6 va ous permettre de déduire u résultat similaire pour ˆθ : THÉORÈME 6. Supposos que Φ soit de classe C de Θ das R k et que θ 0 Θ, et que D θ0 Φ : R k R k soit iversible. Supposos de plus que E θ0 [ fx 2 ] < + et otos Γθ 0 la matrice covariace de fx sous P θ0. Alors sous P θ0 : ˆθ existe avec ue probabilité tedat vers o a la covergece e loi ˆθ θ 0 Loi N 0, D θ0 Φ Γθ 0 D θ0 Φ. Démostratio. Comme D θ0 Φ est iversible, D θ Φ reste iversible das u voisiage de θ 0 et doc, d après le théorème de l iversio locale, Φ réalise u difféomorphisme d u voisiage U de θ 0 das V u voisiage de Φθ 0. Par la

3 3 loi des grads ombres, Ŷ = fx i coverge e probabilité car p.s. vers Φθ 0 et doc Ŷ appartiet à V avec ue probabilité tedat vers quad ted vers +. Sur cet évéemet, l équatio admet ue uique solutio ˆθ das Θ par ijectivité de Φ et cette solutio vérifie ˆθ U et ˆθ = Φ Ŷ où Φ est défiie de V das U. O a par ailleurs, ˆθ θ 0 = ˆθ Ŷ / V + ˆθ Ŷ V θ 0 = ˆθ Ŷ / V + [ Φ Ŷ Φ Φθ 0 ] 2 où Φ y = Φ y y V. Or ˆθ Ŷ / V coverge vers 0 e probabilité car pour tout ε > 0, P θ0 [a ˆθ Ŷ / V > ε] P θ 0 [Ŷ V ] + 0. D après le lemme de Slutsky, il suffit doc de motrer que le secod terme du membre de droite de 2 coverge e loi vers la limite aocée. Or par théoreme cetrale limite vectoriel Ŷ Φθ 0 Loi N 0, Γθ 0, et o coclut e utilisat la Propositio 6. 3 Estimatio par maximum de vraisemblace Soit {E, E, {P θ, θ Θ}} u modèle statistique, où Θ R k ous sommes das u cadre paramétrique. O suppose qu il existe ue mesure σ-fiie µ qui domie le modèle, c est à dire que θ Θ, P θ admet ue desité pθ,. par rapport à µ. DÉFINITION 7. Soit X ue observatio. O appelle vraisemblace de X l applicatio Θ R + θ pθ, X. O appelle estimateur du maximum de vraisemblace de θ, tout élémet ˆθ de Θ maximisat la vraisemblace, c est à dire vérifiat ˆθ = arg max pθ, X. θ Θ Remarque. L estimateur de maximum de vraisemblace existe pas toujours et est pas toujours uique. Cosidéros le cas typique où X = X,..., X, les X i format u - échatillo de loi Q θ0 où Q θ0 est ue loi sur X de paramètre icou θ 0 Θ R k. O suppose e outre que pour tout θ Θ, Q θ est absolumet cotiue par rapport à ue mesure ν sur X. Das ce cas, e otat qθ, x = dq θ dν x, et e preat µ = ν o a que la vraisemblace s écrit pθ, X = qθ, X i et doc ˆθ = arg max θ Θ log[qθ, X i ], avec la covetio log0 =. Voyos quelques exemples. 3. Modèle de Beroulli Soit Q θ0 = Bθ avec θ [0, ] = Θ, et ν la mesure de comptage sur N. Pour tout θ ]0, [ et x {0, } θ qθ, x = θ x θ x = θ exp[x log ] θ et doc l estimateur du maximum de vraisemblace doit maximiser das [0, ] log θ S θ S θ = S log + log θ, θ ce qui coduit à ˆθ = X.

4 4 3.2 Lois expoetielles Soit Q θ = Eθ avec θ θ =]0, + [, ν = R+ dx. O a pour tout x > 0, qθ, x = θ exp θx, et le maximum de vraisemblace ˆθ maximisat est doé par ˆθ = X. 3.3 Lois de Poisso logθ θs, Soit Q θ = Pθ avec θ Θ =]0, + [ et ν la mesure de comptage sur N. O a pour tout x N, qθ, x = θx x! e θ = e θ exp[x logθ lx!]. L estimateur du maximum de vraisemblace maximisat est doé par ˆθ = X. S logθ θ, 4 Estimateurs exhaustifs complets DÉFINITION 8. O dit qu u estimateur T est exhaustif ou suffisat si pour tout esemble B E, il existe ue versio de l espérace coditioelle E θ [ X B T ] qui e déped pas de θ. Exemple. Soit X,..., X i.i.d. de loi de Beroulli de paramètre θ. S = X X est ue statistique exhaustive. La loi de X,..., X /S = s e déped pas de θ. THÉORÈME 9. Théorème de factorisatio Si la vraisemblace de l observatio X s écrit sous la forme fx, θ = hxg θ T X, alors T X est ue statistique exhaustive. Exemples X,..., X i.i.d. de loi de Beroulli de paramètre θ, X,..., X i.i.d. de loi de ormale N θ,. PROPOSITION 0. Soit T ue statistique exhaustif et V u estimateur de gθ tel que E θ V 2 < + θ Θ. Soit T = E θ V/T. T est idépedat de θ et pour tout θ Θ, E θ T gθ 2 E θ V gθ 2, ce qui sigifie que le risque quadratique de T pour estimer gθ est iférieur ou égal à celui de V. DÉFINITION. Soit T est u estimateur sas biais de gθ. O dit que T est uiformémet de variace miimale parmi les estimateurs sas biais UMVB si, pour tout estimateur sas biais U de gθ, o a où R désige le risque quadratique. θ Θ, RT, gθ RU, gθ, Soit T u estimateur exhaustif de gθ. O désire itroduire ue otio qui garatisse l uicité d u estimateur ψt qui a les deux propriétés suivates : ψt est sas biais. 2 Parmi les les estimateurs sas biais, il est de variace miimale. S il existe u uique estimateur sas biais de gθ foctio de T alors E θ ψ T = E θ ψ 2 T = gθ = ψ T = ψ 2 T P θ p.s. θ. θ Θ DÉFINITION 2. Ue statistique T est complète si pour toute foctio ψ telle que E θ ψt < + θ Θ, o a E θ ψt = 0 θ Θ = ψt = 0 P θ p.s. θ.

5 5 Si T est ue statistique complète et si ψ T et ψ 2 T sot deux estimateurs sas biais de gθ, alors ψ T = ψ 2 T p.s. Exemple des modèles expoetiels : Remarquos que l o e suppose rie sur la régularité de f ailleurs qu e θ. Notos aussi que l o e suppose pas D θ f 0 et doc la limite peut-etre ulle évetuellemet. DÉFINITION 3. S il existe ue mesure de référece µ telle que la loi P θ admette ue desité par rapport à µ de la forme le modèle est dit expoetiel. fθ, x = Cθ exp T x, Qθ, PROPOSITION 4. Das u modèle expoetiel, T X est ue statistique exhaustive. De plus, si QΘ cotiet u ouvert o vide de R k, alors T X est complète. PROPOSITION 5. Supposos qu il existe au mois u estimateur sas biais de gθ et que T soit exhaustive complète. Alors il existe u uique estimateur sas biais de gθ foctio de T, et cet estimateur est UMVB. Remarque. Si l objectif est de miimiser le risque quadratique, o a parfois itérêt à cosidérer des estimateurs qui sot biaisés. 5 Aexe : rappels sur les covergeces PROPOSITION 6. Delta-Méthode Soit X ue suite de v.a. à valeurs das R k et θ R k tels que r X θ Loi Y, où r est ue suite de réels positifs tedat vers +. Soit f ue applicatio de R k das R m differetiable e θ. O a alors que fx Prob fθ et r fx fθ Loi D θ f[y ]. Remarque. Ce résultat permet d étedre à d autres v.a. le théorème cetral limite. Classiquemet, Y suit ue loi gaussiee N 0, Γ et das ce cas D θ f[y ] N 0, D θ f Γ D θ f.