Cours 5 : ESTIMATION PONCTUELLE

Cours 5 : ESTIMATION PONCTUELLE A- Gééralités B- Précisio d u estimateur C- Exhaustivité D- iformatio E-estimateur sas biais de variace miimale, estimateur efficace F- Quelques méthode s d estimatio

A- ESTIMATION PONCTUELLE: GÉNÉRALITÉS

A- Défiitio O s itéresse à la caractéristique X d ue populatio (évetuellemet à u vecteur de caractéristiques), dot la loi déped d u paramètre icou p, p. f ( x ) θ ϑ R O ote θ la desité de la loi de X au poit x (resp. la loi P θ (X=x) de X au poit x) si X est cotiue (resp. si X est discrète). O dispose d u sodage de taille de la populatio (l observatio de X sur idividus), oté (,..., ). O ote (,..., ) x x X X l échatillo aléatoire associé à ce sodage (il s agit d u vecteur aléatoire dot ue réalisatio particulière est (,..., ). x x

A- Défiitio Estimer le paramètre θ cosiste à doer ue valeur approchée à ce paramètre à partir d u sodage de la populatio. Ex : P X, θ=e(x)? ( x,..., x ) x xi i = = x est ue approximatio ou estimatio de θ.

Estimateur et estimatio : P A- Défiitio X, θ=e(x)? x i = = x (,..., ) x x x i ( ',..., x' ) ( x,..., x ) ( x',..., x ' ) x ' = x' sot deux réalisatios de l échatillo aléatoire i = ' i (,..., ) X X Les deux estimatios x et x' de θ sot deux réalisatios de la statistique appelée estimateur de θ. X = X i i =

A- Défiitio Formalisatio : Soit p θ ϑ R, p le paramètre icou dot déped la loi de X U estimateur Θ de θ est ue statistique de l échatillo aléatoire : telle que pour chaque réalisatio ( x de l échatillo aléatoire, la valeur ˆ,..., x ) θ = h ( x,... x ) prise par Θ approche θ. p Θ = h( X,..., X ), h : R R, p θˆ s appelle ue estimatio de θ. C est ue réalisatio particulière de l estimateur Θ.

A-2 Exemple d estimateurs Estimateur de l espérace E(X) de X : La moyee empirique X i = = X i Pour ue réalisatio doée ( x,..., x ) de l échatillo aléatoire, x = x i i = est l estimatio de E(X) associée à ce jeu de doées. Propriét és : E( X ) = E( X ) V ( X ) = V ( X )

A-2 Exemple d estimateurs Estimateurs de la variace σ² et de l écart-type σ de X lorsque E(X)=m est coue : T = X m 2 T i = = ( ) T 2 i ² est u estimateur de σ² est u estimateur de σ 2 Pour ue réalisatio doée de l échatillo aléatoire, t Sot les estimatios associées. = x m i i = ( ) ² et t Propriétés (cf TD) : 2 E( T ) = σ ² 2 V ( T ) = µ 4 σ 4

A-2 Exemple d estimateurs Cas gééral La variace et l écart-type empirique s S X X 2 = i = i ( ) S = S 2 ² est u estimateur de σ² est u estimateur de σ Pour ue réalisatio doée de l échatillo aléatoire, 2 s = x x i i = ( ) ² et s = 2 s sot les estimatios associées (o les ote ecore σ ² et ˆ σ Propriétés: 2 E( S ) = σ ² V ( S ) = ( ) ( 3) ( µ σ ) 2 4 4 3

A-2 Exemple d estimateurs La variace et l écart-type empiriques corrigés: S X X *2 = i i = S = ( ) S * *2 ² est u estimateur de σ² est u estimateur de de σ Propriétés : E S 2* ( ) = σ ² 2* 4 ( 3) 4 V ( S ) = µ σ ( )

A-2 Exemple d estimateurs Estimateur de la foctio de répartitio F(x) : La foctio de répartitio empirique: F ( x) = i X < x i = est u estimateur de F(x) e tout poit x. Pour ue réalisatio doée ( x,..., x ) de l échatillo aléatoire, F ( x) = i x < x i= est l estimatio de F(x) associée à ce jeu de doées. Propri étés : E( F ( x)) V ( F ( x)) = = F ( x) F( x)( F ( x))

A-2 Exemple d estimateurs Soiet ( X,..., X ) et ( Y,..., Y ) les échatillos aléatoires associés aux variables aléatoires X et Y de P. Estimateurs de la covariace cov(x,y) etre deux v.a. X et Y Lorsque m=e(x) et m2=e(y) sot coues T ( X, Y ) = X m Y m i = ( i )( 2 ) i est u estimateur de cov(x,y). Pour ue réalisatio particulière des échatillos aléatoires, ( )( ) 2 t ( x, y) = x m y m i i = i est l estimatio associée

A-2 Exemple d estimateurs Cas gééral La covariace empirique : S ( X, Y ) = X X Y Y i = i ( i )( ) est u estimateur de cov(x,y). Pour ue réalisatio particulière des échatillos aléatoires, (ecore otée ) s ( X, Y ) = x x y y i c o v ( X, Y ) i = i est l estimatio associée ( )( )

A-2 Exemple d estimateurs La covariace empirique corrigée : * S ( X, Y ) = X X Y Y i i= ( i )( ) est u estimateur de cov(x,y). Propriétés : E T X Y E S X Y 2 2* ( (, )) ( (, )) = = Cov( X, Y ) E S X Y X Y 2 ( (, )) = cov(, )

A-2 Exemple d estimateurs Estimateur de la corrélatio ρ(x,y) etre deux v.a. X et Y : La corrélatio empirique R ( X, Y ) = S( X, Y ) S ( X ) S ( Y ) est u estimateur de ρ(x,y) O ote r ( X, Y ) ou ˆ ρ( X, Y ) l estimatio associée.

B- Précisio d u estimateur

B- Ue mesure de précisio : l erreur quadratique moyee (EQM) Soit p Θ R u estimateur de θ. Erreur Quadratique Moyee : (EQM) Biais d estimatio : [ θ ] B( Θ ) = E( Θ ) θ E ( Θ )² = V ( Θ ) + ( E( Θ) )² Biais^2=erreur Variace=fluctua systématique tio aléatoire de due au fait que Θ autour de sa Θ e fluctue pas moyee autour de θ U bo estimateur poctuel doit être précis : il l est d autat plus que so erreur quadratique est faible : biais et variace les plus faibles possibles. θ

B-2 Absece de biais U estimateur du paramètre θ est dit sas biais ssi : B( Θ ) = 0 E( Θ ) = θ RQ: ue propriété mois forte est l absece de biais asymptotique 2 *2 Ex : X, T et S sot sas biais, S est biaisé mais asymptotiquemet sas biais 2

B-3 Variace miimale U estimateur de θ est dit de variace miimale si, parmi tous les estimateurs possibles de θ il a la plus petite variace : Θ estimateur de θ, V ( Θ ) V ( Θ ) * * Pour deux estimateurs sas biais, le plus précis est celui qui a la plus petite variace. Ex : lorsque E(X) =m est coue, *2 S est mois précis que 2 T

B-4 Covergece Covergece : u estimateur du paramètre θ est dit coverget ssi, Θ P θ Pté : U estimateur sas biais et de variace asymptotiquemet ulle est coverget. RQ : deux estimateurs covergets peuvet e pas coverger à la même vitesse

B-5 : Recherche du meilleur estimateur La propriété la plus désirable pour u estimateur est d'avoir ue faible Erreur Quadratique Moyee (ce qui 'exige pas forcémet d'être sas biais). Pbme : la théorie de l estimatio e permet pas de résoudre le problème de miimisatio de l EQM (foctio dépedat de maière complexe du paramètre) U compromis : recherche d u estimateur sas biais de variace miimale L'absece de biais facilite grademet l'étude des propriétés d'u estimateur car le biais d'u estimateur peut dépedre de faço complexe de la valeur du paramètre. Rque : Il est cepedat possible de trouver des estimateurs biaisés plus précis que le meilleur estimateur sas biais. Pbme : le calcul de la variace d u estimateur et doc l existece et la défiitio d u estimateur de variace miimale écessite gééralemet la coaissace de la loi de probabilité joite de l échatillo aléatoire,

B-5 : Recherche du meilleur estimateur Loi de l échatillo aléatoire das u tirage aléatoire simple: X, f θ ( x) ( X,..., X ) i.i.d., L ( x,..., x ) θ L ( x,..., x ) = f ( x ), ( x,..., x ) R θ θ i i= O coait gééralemet la forme paramétrique de f, mais elle déped du paramètre q icou. Doc, la loi de l échatillo est icoue e gééral (déped de paramètres icous que l o cherche justemet à estimer). Solutio : Trouver u estimateur sas biais de variace miimale e sera possible que si L ifo coteue das l échatillo sur θ est suffisammet riche iformatio O dispose d ue statistique exhaustive pour θ exhaustivité

B-5 : Recherche du meilleur estimateur Remarque s : L'absece de biais e garatit pas la plus faible valeur possible de l'eqm : celle-ci sera atteite lorsque sera trouvé le meilleur compromis etre le biais de l'estimateur et sa variace Das certais cas même, l'itroductio d'u léger biais das u estimateur iitialemet sas biais peut coduire à ue réductio sigificative de sa variace, au poit de provoquer ue dimiutio de so EQM, et doc d'améliorer ses performaces.

C- Exhaustivité et iformatio

C- Itroductio Iformatio : U sodage (= ue réalisatio de l échatillo aléatoire) ous apporte u certaie iformatio sur θ (la répartitio de ses valeurs ous doe ue iformatio sur la loi de X, qui déped de θ). Elle doit être suffisate pour pouvoir espérer estimer θ. Exhaustivité : L estimatio de θ faite à partir de ce sodage perd forcemet ue partie de cette iformatio : partat de valeurs, o e costruit qu ue seule, l estimatio. Et la coaissace de la seule estimatio e permet pas de remoter à l'échatillo tout etier. Affaiblissemet de l iformatio sur la loi Via le sodage Via la costructio d u estimateur La perte doit être miimale pour costruire u estimateur précis

C-2 Vraisemblace d u échatillo Rappels de otatios : p θ le vecteur de paramètre icou ( θ R ) f θ (x) la loi (cotiue ou discrète) de X ( X,..., X ) l échatillo aléatoire associé au sodage ( x,..., x ) ue réalisatio de cet échatillo ((u sodage particulier) Remarque : La loi f θ (x) de X (aisi que toute foctio dépedat de θ) sera otée das ce chapitre f(x, θ), car o s itéressera aux variatios de la loi par rapport à θ.

C-2 Vraisemblace d u échatillo Vraisemblace de l échatillo aléatoire : L( X,..., X, θ ) = f ( X i, θ ) i= NB : C est ue variable aléatoire. Sa réalisatio sur le jeu de doées (x, x2,..., x), est la valeur de la desité de l échatillo aléatoire au poit (x, x2,..., x). Log-vraisemblace de l échatillo aléatoire : l( X,..., X, θ ) l( L( X,..., X, θ )) l( f ( X, θ )) = = i i= NB: Pour des résolutios mathématiques, il est plus commode d étudier la log vraisemblace que la vraisemblace. L et l, cosidérées comme des foctios de θ, ot le même ses de variatio.

C-3 Iformatio de Fisher d u échatillo (θ réel) Score de l échatillo : Si f(x, θ) est différetiable e θ, l est ue foctio dérivable de θ, et le score est sa dérivée : S ( θ ) l( X,..., X, θ = ) = L( X,..., X, θ ) θ L( X,..., X, θ ) θ Pour tout θ, Le score est ue variable aléatoire Le score s aule à u optimum e θ de la foctio de vraisemblace. Pour ue réalisatio doée (x,,x) de l échatillo aléatoire (u sodage particulier) La valeur du score est ue foctio de θ, réalisatio de la variable aléatoire défiie ci-dessus sur ce jeu de doées s( θ ) = l( x,..., x, θ ) θ

C-3 Iformatio de Fisher d u échatillo (θ réel) Le score est cetré : E( S( θ )) = 0 la variace du score (si elle existe) s appelle l iformatio de Fisher apportée par l échatillo sur θ : ( θ ) I ( θ ) = E ( S ( ))² Cette quatité mesure l iformatio apportée par u échatillo sur le paramètre

C-3 Iformatio de Fisher d u échatillo (θ réel) L iformatio de Fisher mesure l iformatio apportée par u échatillo sur le paramètre : ue iformatio de Fisher proche de zero idique u échatillo peu iformatif sur la valeur de θ Pour u sodage particulier, la valeur du score mesure la sesibilité de la vraisemblace à la valeur de θ. Si le score est faible, la vraisemblace est peu sesible à de petites variatios du paramètre : les observatios 'arrivet pas à s'accorder etre elles sur la directio du chagemet à apporter à la valeur de θ pour augmeter la vraisemblace de l'échatillo. O doit doc s'attedre à ce que l'échatillo cotiee peu d'iformatio sur la vraie valeur de ce paramètre. E moyee pour u θ fixé, le score est ul. Si sa variace (iformatio de Fisher) est très petite pour ue valeur doée de θ, alors, presque tous les jeux de doées aurot alors u score proche de 0 (l'espérace du score), et doc presque tous les échatillos e cotiedrot qu'ue faible quatité d'iformatio sur la valeur réelle de θ.

C-3 Iformatio de Fisher d u échatillo (θ réel) Propriétés de l iformatio de Fisher : Autre formulatio : si le domaie de défiitio de X e déped pas de θ et que cette quatité existe, ² l( X,..., X, θ ) S ( θ ) ( θ ) = = θ ² θ I E E Additivité : si le domaie de défiitio de X e déped pas de θ, chaque observatio apporte la même iformatio I θ θ ( ) = I ( )

C-3 Iformatio de Fisher d u échatillo (cas multidimetioel) Extesio au cas multidimesioel : Le score est u vecteur aléatoire de dimesio p: θ = ( θ,..., θ p ) R p S ( θ ) = l ( X,..., X, θ ),..., l( X,..., X, θ ) θ θ p Il est caractérisé par so vecteur espérace (=0) et sa matrice de variace covariace appelée matrice d iformatio de Fisher, I ( ) = ( I ) défiie positive de terme gééral θ i, j i, j p I l( X,..., X, θ ) l( X,..., X, θ ) = Cov, i, j θi θ j

C-4 Statistique exhaustive Dégradatio de l iformatio par ue statistique de l échatillo : soit T ue statistique de l échatillo et g (t, θ) sa loi. Alors avec égalité si la statistique est exhaustive. I ( θ ) I ( θ ) T Dém : La vraisemblace de T est g(t,θ) l iformatio de Fisher I T (θ) apportée par T sur θ est (sous de boes coditios) : I T ²l g( T, θ ) ( θ ) = E θ ² L( X,..., X, θ ) = g( t, θ ) k( X,..., X, θ / T = t) doc ²l k I( θ ) = IT ( θ ) E θ ² Le derier terme est l iformatio coditioelle de l échatillo sachat T et o motre qu il est positif

C-4 Statistique exhaustive Ue statistique de l échatillo e peut pas coteir plus d iformatio sur θ que l échatillo.mais das quel cas peut-o espérer qu elle coserve la majeure partie de l iformatio «utile»? Θ Θ < Θ * Iformatio utile pour l estimatio de θ Iformatio iutile pour l estimatio de θ, bie que pouvat être utile pour d autres applicatios ( X,..., X )

C-4 Statistique exhaustive Statistique exhaustive T: sa créatio e rejettera que de l'iformatio "iutile" tout e préservat itégralemet l'iformatio "utile" à l'estimatio de θ. Costructio de T?

C-4 Statistique exhaustive Idées de costructio : Soit t la valeur de T sur u sodage. Pour que t soit aussi iformative que ce sodage, il faut à partir de la valeur t être capable de recostruire ou ue autre réalisatio de X X ( x,..., x ) ( x,..., x) ( x',..., x' ) (,..., ) L θ ( X,..., X ) Soit la loi de. Soit la loi de T dot ue réalisatio est t. Pour tirer ue réalisatio de o peut : simuler ue réalisatio de loi L θ g θ (,..., ) X X simuler ue réalisatio t de loi g, puis ue réalisatio de la loi k de θ l échatillo coditioellemet à la valeur de t car : L ( x,... x ) = k ( x,... x / T = t) g ( t) θ θ θ

C-4 Statistique exhaustive Statisticie S : dispose d u jeu de doées obteu par sodage. Peut costruire la valeur de t à partir de ce jeu de doées Peut costruire ue estimatio de θ à partir de ce jeu de doées. Statisticie S2 : e dispose pas du jeu de doées s est fait doer t par S Coait g θ Pour disposer d autat d iformatio que S, S2 doit être capable de tirer ue réalisatio de l échatillo aléatoire. Comme il dispose de t, il faut qu il puisse tirer das la loi coditioelle de cet échatillo sachat t, mais celle-ci déped gééralemet de θ. S et S2 k ( x,... x / T = t) e déped pas de θ θ Alors seulemet, S2 sera capable de tirer ue réalisatio de l échatillo aléatoire et de costruire ue estimatio de θ à partir de ce jeu de doées.

C-4 Statistique exhaustive

C-4 Statistique exhaustive Ue statistique T e peut ous reseiger sur la valeur d u paramètre que si sa loi déped de ce paramètre. Puisque L ( x,... x ) = k ( x,... x / T = t) g ( t) θ θ θ Si la loi coditioelle de l échatillo aléatoire sachat la valeur de T e déped plus du paramètre, cela veut dire qu alors, ue fois T cou, ous obteos plus aucue iformatio sur le paramètre par l échatillo et que doc T porte toute l iformatio dispoible sur le paramètre.

C-4 Statistique exhaustive Formalisatio Soit L θ R R R [ ] : (resp. 0, ) la desité joite (resp. la loi de probabilité joite) de l échatillo aléatoire issu de X cotiue (resp.discrète). h : R R p Soit ue foctio et T = h( X,..., X ) ue statistique de l échatillo aléatoire et t = h( x,..., ) sa valeur au poit x ( x,..., x )

C-4 Statistique exhaustive Défiitio : T est dite exhaustive pour le paramètre θ si la distributio de l'échatillo aléatoire coditioellemet T=t e déped pas de θ : Lθ ( x,..., x / T = t ) = k ( x,..., x / T = t ), ( x,..., x ) R, θ ϑ Propriété : Si T est exhaustive, alors I ( θ ) = I ( θ ) T Caractérisatio ( théorème de factorisatio ) Ue statistique T de loi g est dit exhaustive pour le paramètre θ ssi il θ existe ue foctio k : telle que : R R θ (,..., ) = θ ( ) (,..., ), (,..., ) R, θ ϑ L x x g t h x x x x

Exemple C-4 Statistique exhaustive

C-4 Statistique exhaustive Lois de X permettat ue statistique exhaustive (théorème de Darmois) O ote f θ la loi de X (desité si X cotiue, loi de probabilité si X discrète). O suppose que le domaie de défiitio de X e déped pas de θ. a, b, α,β état des foctios, ue CNS pour que l échatillo aléatoire admette ue statistique exhaustive pour θ est que fθ ( x) = exp [ a( x) α( θ ) + b( x) + β ( θ )] (famille expoetielle) i= x Das ce cas, si l applicatio a( xi ) est bijective et = cotiûmet différetiable pour tout xi, alors T a( X i ) est ue statistique exhaustive particulière pour θ. i=

C-4 Statistique exhaustive Coséqueces de l existece d ue statistique exhaustive de θ sur l existece et la défiitio d u estimateur de θ de variace miimale : U estimateur de θ devrait être d autat plus précis qu il capture, pour sa costructio, ue part importate de l ifo sur θ coteue das l échatillo. Das la meilleure des situatio, O devrait pouvoir retrouver toute l ifo de l échatillo à partir de l estimateur les estimateurs les plus précis de θ (e particulier les estimateurs sas biais de variace miimale) sot des statistiques exhaustives ou des foctios de celles-ci., si tat est qu ue statistique exhaustive de θ existe. U autre aspect du problème : l iformatio Ce qui précède est pas suffisat pour avoir u estimateur précis : u estimateur e pourra être bo que si l échatillo lui-même sur lequel il est costruit véhicule (cotiee) suffisammet d ifo sur le paramètre il faut e plus que l iformatio coteue das l échatillo sur le paramètre soit suffisate.

D- Estimateur de variace miimale, estimateur efficace

D- Estimateur sas biais de Variace Miimale Rappel : Il est fréquet qu'u paramètre admette plusieurs, voire ue ifiité d'estimateurs sas biais. Ex : Pour la distributio ormale N(µ, s), la moyee et la médiae empiriques sot toutes deux des estimateurs sas biais de µ). De tous les estimateurs sas biais de θ, le meilleur (au ses de EQM) est celui qui a la plus faible variace. O l'appelle "Estimateur sas biais de Variace Miimale" de θ. L idetificatio et la qualité d u estimateur sas biais de variace miimale est lié à l iformatio coteue das l échatillo sur θ et à l existece d ue statistique exhaustive pour θ. O dispose de quatre résultats théoriques pour idetifier cet estimateur.

D- Estimateur sas biais de Variace Miimale Uicité : s il existe u estimateur sas biais de variace miimale de θ, alors, il est uique p.s. Théorème de Rao-Blackwell Si u estimateur sas biais de θ 'est pas de variace miimale, il est possible de l'améliorer si l'o dispose d'ue statistique exhaustive pour θ. Le Théorème e garatit cepedat pas que le ouvel estimateur "amélioré" soit de variace miimale. Iégalité de Cramér-Rao Permet d établir, sous coditio de régularité, ue bore iférieure de la variace d'u estimateur sas biais. Coditios sous lesquelles la bore est atteite. L estimateur de variace miimale est alors celui ayat la variace de la bore de Cramer- Rao, il s appelle estimateur efficace.

D-2 Théorème de Rao-Blackwell Problème posé : Si o dispose d u estimateur sas biais de θ, est-il possible de l améliorer? Répose : oui si l o dispose d ue statistique exhaustive de θ, Théorème de Rao-Blackwell : Soit Θ u estimateur sas biais de θ et T ue statistique exhaustive de θ. Alors Θ *=E(Θ /T) est u estimateur sas biais de θ au mois aussi bo que Θ. Coséquece : s il existe ue statistique exhaustive T de θ alors l estimateur sas biais de variace miimale de θ est ue foctio de T: Θ *=k(t). Rq : Iversemet si o dispose d u estimateur sas biais foctio d ue statistique exhaustive, o est pas sûrs qu il soit de variace miimale.

D-2 Théorème de Rao-Blackwell Idée de la preuve: o utilise les résultats suivats avec Y = Θ et Z=T Θ ** et u estimateur sas biais quelcoque de θ, Y, Z v. a. E( E( Y Z)) = E( Y ) Théorème de la variace totale : V ( Y ) = V ( E( Y Z)) + E( V ( Y Z) Pour la coséquece : Soit ** *. Comme * Θ est de = E( Θ T )) Θ variace miimale, o a * E( V ( Θ T )) = 0 et doc * Θ = k( T )

D-3 Iégalité de FDCR Problème posé : Etat doé u paramètre θ d'ue distributio, quelle est la plus petite variace que l'o puisse espérer pour u estimateur sas biais de θ (ou d ue foctio k(θ) de θ? Répose : cela déped de l iformatio coteue das l échatillo H : Le domaie de défiitio de X e déped pas de θ et l iformatio de Fisher existe Iégalité de Fréchet-Darmois-Cramer-Rao (FDCR): Si H est satisfaite, o a pour tout estimateur sas biais Θ de θ : V ( Θ ) I ( θ ).

D-3 Iégalité de FDCR Iterprétatio : La valeur de la bore de FDCR est foctio de l iformatio que peut coteir l échatillo sur le paramètre : Plus grade est l'iformatio sur la valeur du paramètre, plus précises serot les prédictios d'u estimateur sas biais dot la variace est égale à la bore de Cramér-Rao. Iversemet, si la variace du score (iformatio de Fisher) est très petite, et doc si presque tous les échatillos e cotieet que peu d'iformatio sur la valeur du paramètre, o e peut pas espérer d u estimateur sas biais qu'il soit précis, c'est à dire qu'il ait ue faible variace. Remarque : L iégalité de FDCR et doc la variace miimale que peut atteidre u estimateur sas biais, est valable que das le cas où l iformatio de Fisher existe et ou H est vérifiée.

D-3 Iégalité de FDCR Gééralisatio à u estimateur sas biais d ue foctio de θ: soit k ue foctio et u estimateur sas biais de k(θ). Si k est ue foctio dérivable et que H est satisfaite: V ( ) ( k θ ) I '( ) ² ( θ )

D-4 Estimateur efficace Estimateur efficace Défiitio : u estimateur efficace de θ (resp. k(θ) ) est u estimateur sas biais dot la variace est égale à la bore iférieure de Cramer-Rao : Propriétés : V ( Θ ) = I ( θ ) ( θ ) k '( ) ² ( resp. V ( ) ) = I ( ) I ( θ ) Si u estimateur efficace de θ (ou de k(θ)) existe, il est uique p.s. Si u estimateur efficace de θ (resp. k(θ)) existe, il est égal p.s. à l estimateur sas biais de variace miimale de θ (resp. k(θ). Pertiece : La défiitio d u estimateur efficace a de ses que si l hypothèse H est vérifiée.

D-4 Estimateur efficace Exemple : Loi de Poisso de paramètre θ : l( X,..., X, θ ) = θ + X lθ l X i! i= X S( θ ) = + θ E( X ) I( θ ) = E S( θ ) = = θ θ ² θ O estime θ par X : o a V ( X ) =. C est u estimateur efficace. θ

D-4 Estimateur efficace Problème posé : Coditios écessaire à l'existece d'u estimateur efficace de k(θ) Réposes : La loi de X permet ue statistique exhaustive (Darmois) de θ. Das ce cas, l estimateur efficace de k(θ ) est ue statistique exhaustive de θ Das la suite, o suppose que H est vérifiée.

D-4 Estimateur efficace Théorème sur l efficacité La bore de Cramer-Rao e peut être atteite (il e peut exister d estimateur efficace) que si la loi de X appartiet à la famille expoetielle [ ] fθ ( x) = exp a( x) α( θ ) + b( x) + β ( θ ) (c est-à-dire si elle permet l existece d ue statistique exhaustive, Car l estimateur efficace est écessairemet exhaustif pour θ.) Si la loi de X est bie de la forme précédete, il existe qu ue seule foctio de θ qui puisse être estimée efficacemet, c est : β '( θ ) k( θ ) = α '( θ ) L estimateur de k(θ) est alors T = a( X i ) de variace (miimale) : ( k '( θ ))² k '( θ ) V ( T ) = = I ( θ ) α '( θ ) i =

D-4 Estimateur efficace Exemple : Loi de Poisso de paramètre θ : = O a vu que : S X i est exhaustive. O peut le retrouver autremet i= : l f ( x, θ ) = θ + xlθ l( x!) doc la loi de poisso appartiet à la famille expoetielle avec a ( x ) = x ; α ( θ ) = l θ ; b ( x ) = l( x!); β ( θ ) = θ Doc d après le théorème de Darmois est exhaustive. D après le théorème précédet la seule foctio qui puisse être estimée efficacemet est β '( θ ) l estimateur efficace est S/ k( θ ) = = θ α '( θ ) S = a( X ) = X i i= i= Remarque :Si S est exhaustive, toute foctio détermiiste de S est exhaustive. Par exemple, S/ est exhaustive. i

D-4 Estimateur efficace Remarque importate: Il existe au plus ue seule foctio k(θ) du paramètre θ qui peut être estimée efficacemet. E coséquece, s'il existe ue foctio k vérifiat la relatio ci-dessus, et si cette foctio 'est pas la foctio idetité, alors il 'existe pas d'estimateur efficace de θ.

D-4 Estimateur efficace Coclusio sur l estimatio de θ : Cas où les hypothèses de L'iégalité de Cramér-Rao sot satisfaites : L'iégalité de Cramér-Rao produit ue bore iférieure de la variace d'u estimateur sas biais. U estimateur sas biais de variace miimale aura doc ue variace supérieure ou égale à la bore iférieure de l iégalité de FDCR. Cette bore est pas forcémet atteite das le cas gééral : O peut par exemple exhiber des cas où cette bore est égale à 0, et doc évidemmet iaccessible. Lorsqu elle l est, O appelle estimateur efficace u estimateur sas biais dot la variace est égale à la bore iférieure de l iégalité de FDCR. Das ce cas, c est l estimateur de variace miimale. Il existe que si X admet ue loi das la famille expoetielle et que k est la foctio idetité, et l estimateur est das ce cas uique et exhaustif. Cas où les hypothèses de L'iégalité de Cramér-Rao e sot sas satisfaites : La otio d estimateur efficace a alors pas de ses, i la bore de Cramer-Rao. Il peut alors même exister des estimateurs sas biais dot les variaces sot iférieures à la bore (sas sigificatio) de Cramér-Rao.

E- Quelques méthodes d estimatio

E- Estimatio par la méthode du maximum de vraisemblace Soit ( X, X 2,..., X ) l échatillo aléatoire associé à u sodage de taille das la populatio de distributio de probabilité f(x, θ), où θ est u vecteur de paramètres icous, p et que l'o cherche à estimer. θ ϑ R Estimatio par la méthode du maximum de vraisemblace (MLE) : O choisit comme estimateur de θ le vecteur θ qui red maximal la vraisemblace (ou la log-vraisemblace) de l'échatillo dot o dispose. Θ = arg max L( X,..., X, θ ) = arg max l( X,..., X, θ ) θ ϑ θ ϑ Pour u sodage particulier, ( x, x 2,..., x ), l estimatio (valeur) du paramètre est : ˆ θ = arg max L ( x,..., x, θ ) = arg max l ( x,..., x, θ ) θ ϑ θ ϑ

E- Estimatio par la méthode du maximum de vraisemblace Mise e œuvre Lorsque f(x, θ) est ue foctio deux fois différetiable e θ, la méthode la plus directe cosiste à : Idetifier les extrema de la vraisemblace (ou log-vraisemblace ) e aulat ses dérivées partielles premières par rapport à θ (le score). O résout doc e θ le système d équatios : S ( ) 0 θ = Reteir parmi ces extrema ceux qui sot des maxima, par exemple e recherchat ceux pour lesquels la matrice des dérivées partielles secodes de la vraisemblace (ou log-vraisemblace ) est égative au voisiage de θ. Reteir, de ces différets maxima, celui qui présete la plus grade valeur de la vraisemblace.

E- Estimatio par la méthode du maximum de vraisemblace Exemple : EMV de l espérace d ue loi expoetielle de paramètre θ i L ( X,..., X, θ ) = θ e θ = θ e i= l ( X,..., X, θ ) = lθ θx S ( θ ) S θ = X Θ = θ ( θ ) = < 0 θ ² X X θ X

E- Estimatio par la méthode du maximum de vraisemblace Propriétés de l estimateur du Maximum de Vraisemblace (EMV) (à titre idicatif) Propriétés à taille d'échatillo fixe Prop : S il existe u estimateur efficace de θ, alors il est égal à l uique EMV de θ. RQ : La réciproque est fausse : u EMV 'est pas obligatoiremet efficace. Prop 2 : Si le paramètre θ admet ue statistique exhaustive, l EMV est ue foctio de cette statistique exhaustive. Prop 3 : Si Θ est l EMV de θ, k(θ) est l EMV de k(θ).

E- Estimatio par la méthode du maximum de vraisemblace Propriétés asymptotiques Prop 4 : Pour des échatillos suffisammet grads, l EMV deviet uique, et ted (e probabilité) vers la vraie valeur du paramètre θ. C'est doc u estimateur coverget : ˆ θ P θ Prop 5 : L EMV est asymptotiquemet gaussie et asymptotiquemet efficace ( pour des échatillos suffisammet grads, sa variace est iférieure à celle de tout autre estimateur et est proche de la bore de Cramér-Rao) : ˆ θ θ L N ( 0,) ( θ ) où I désige l'iformatio de Fisher de l échatillo. I

E- Estimatio par la méthode du maximum de vraisemblace Extesios : Vraisemblace et tests Puisque la vraisemblace mesure la plus ou mois boe adéquatio etre ue distributio de paramètre doé θ et u échatillo, o peut s'attedre à la voir jouer u rôle importat das les tests portat sur le choix etre des distributios paramétriques cadidates pour redre compte d'u échatillo. L'exemple le plus simple d'ue telle apparitio de la vraisemblace das le mode des tests est le Théorème de Neyma-Pearso (cf chapitre suivat) qui établit que la Meilleure Régio Critique d'u test devat décider etre deux distributios cadidates est etièremet détermiée par des cosidératios portat sur les vraisemblaces de ces deux distributios pour l'échatillo dispoible.

E-2 Estimatio par la méthode des momets Soit ( X, X 2,..., X ) l échatillo aléatoire associé à u sodage de taille das la populatio de distributio de probabilité f(x, θ), où θ est u vecteur de paramètres icous de dimesio p et que l'o cherche à estimer. Soiet r r r X = X i et mr ( θ ) = Eθ ( X ) i= les momets empiriques et théoriques d ordre r de l échatillo et de la loi de X respectivemet (lorsque r=, o a la moyee empirique et l espérace). Les momets théoriques dépedet de θ..

E-2 Estimatio par la méthode des momets Estimateur des momets de θ : L estimateur des momets de θ est le vecteur Θ qui vérifie le système d équatios e θ: r X = m ( θ ), r =,... p r Si ce système peut être résolu, est l estimateur des momets de θ. (,..., ) p Θ = k X X Pour u sodage particulier ( x, x 2,..., x ), l estimatio (valeur) correspodate est : ˆ p θ = k x,..., x ( )

E-2 Estimatio par la méthode des momets Exemple : EM de l espérace d ue loi expoetielle de paramètre θ Θ solutio de : Eθ ( X ) = X = X Θ = θ X

E-2 Estimatio par la méthode des momets Propriétés (à titre idicatif) La méthode des momets fourit des estimateurs covergets La méthode des momets est coceptuellemet plus simple que la méthode du maximum de vraisemblace La méthode des momets fourit des estimateurs peu précis lorsque est modéré les estimateurs aisi produits 'ot pas les boes propriétés asymptotiques des estimateurs du Maximum de Vraisemblace. E particulier o a pas e gééral la loi limite de l estimateur