Statistiques Asymptotiques- Notes de cours - M2. Elisabeth Gassiat

Transcription

1 Statistiques Asymptotiques- Notes de cours - M Elisabeth Gassiat

2

3 Table des matières Itroductio 5 Des méthodes d estimatio 7. Outils probabilistes Estimateurs de type momets M- et Z- estimateurs Défiitios Cosistace Normalité asymptotique Exercices Théorie de la vraisemblace 9 3. Modèles différetiables e moyee quadratique et iégalité de Cramer-Rao 9 3. L estimateur du maximum de vraisemblace Estimateurs efficaces au ses du risque asymptotique quadratique local Iégalité de va Trees Estimateurs localemet asymptotiquemet miimax Estimateurs réguliers et efficaces au ses du théorème de covolutio Estimateurs réguliers et théorème de covolutio Cotiguïté Applicatio aux modèles d.m.q Exercices Estimatio semi-paramétrique 5 4. Esembles tagets et foctios d ifluece Efficacité Modèles semi-paramétriques Exercices Estimatio o paramétrique Itroductio et exemples Régressogramme Méthode empirique. Estimateur à oyau Projectio Questios Des résultats de covergece uiverselle Risque quadratique

4 5.. Risque poctuel Risque uiforme Vitesse de covergece sur des classes de Holder Mioratio de risques miimax Pricipes gééraux de réductio Mioratio du risque poctuel Mioratio du risque quadratique Mioratio de risque uiforme Estimatio adaptative Mioratio risque poctuel Estimatio adaptative par la méthode de Lepski risque poctuel Risques miimax et Régios de cofiace Exercices Estimatio Bayésiee Gééralités Estimatio bayésiee paramétrique Cosistace Théorème de Berstei-vo Mises Coséqueces du Théorème de Berstei-vo Mises Estimatio bayésiee o paramétrique Régressio Estimatio de desité Exercices Sujets 3 7. Partiel de Novembre Partiel de Novembre Exame Javier Exame Javier

5 Itroductio E probabilité, o s itéresse au comportemet, à l évolutio, d u processus aléatoire, dot o coait a priori la loi ou u modèle permettat de coaitre sa loi. E statistique, o cosidère doé ou observé u processus, ou ue variable aléatoire, que l o appelle alors observatio, et l o cherche à e déduire quelque chose de sa loi. O cosidèrera das ce cours que l observatio est costituée de X,..., X, où X est ue suite de variables aléatoires de loi P. Il faut idiquer das quel espace X les variables aléatoires X i preet leurs valeurs, et de quelle tribu est mui X. L espace X N est alors mui de la tribu cylidrique. Souvet, o se placera das la situatio où les X i sot des variables aléatoires idépedates et de même loi P, auquel cas P = P N, et P est la loi de l observatio. O fait ue hypothèse de modélisatio, sous la forme P P, où P est u esemble de lois de probabilité sur X, et o cherche alors à estimer ue quatité ψp, par u estimateur T qui est ue variable aléatoire foctio mesurable de X,..., X. E statistique asymptotique, o s itéresse aux propriétés lorsque ted vers l ifii : cosistace des estimateurs, covergece e loi pour la costructio de régios de cofiace, risque et limitatios itrisèques. Cela dépedra : du modèle choisi P et de ce que l o cherche à estimer ψp. Lorsque P peut être paramétré sous la forme P = {P θ, θ Θ} où Θ R k est de dimesio fiie, o parle de modèle paramétrique. Lorsque ce est pas le cas, o parle de modèle o paramétrique. Pour u modèle paramétrique, la vitesse typique d estimatio est. O étudiera aussi ce que l o appellera l estimatio semi-paramétrique, où le modèle est o paramétrique mais où ce que l o cherche à estimer est de dimesio fiie. Référeces bibliographiques. Aad va der Vaart : Asymptotic Statistics Cambridge Uiversity Press, 998. Alexadre Tsybakov : Itroductio à l estimatio o paramétrique Spriger, collectio Mathématiques et Applicatios, 4. J.K Ghosh et R.V. Ramamoorthi : Bayesia Noparametrics Spriger, 3. 5

6

7 Des méthodes d estimatio. Outils probabilistes O aura besoi des otios de covergece et des outils pour prouver des covergece : la covergece e probabilité, et la covergece e loi. Pour toutes ces covergeces, quad ce sera écessaire, o otera sous quelle loi elle a lieu. Quad ce e sera pas précisé, la covergece sera quad ted vers l ifii. Rappelos otios et critères pour ue suite T de variables aléatoires à valeurs das R d. O dit que T coverge e probabilité vers la variable aléatoire T si et seulemet si ɛ >, lim P T T ɛ =. + O dit que T coverge e loi vers la variable aléatoire T si et seulemet si pour toute foctio f cotiue borée de R d das R, lim E [ft ] = E [ft ]. + Les critères suivats sot équivalets : T coverge e loi vers T ; Pour toute foctio réelle cotiue positive f, lim if + E[fT ] E[fT ] ; 3 La foctio caractéristique de T coverge poctuellemet vers celle de T ; 4 Pour tout esemble mesurable B tel que P T B = B désige la frotière de B i.e. sa fermeture mois so itérieur, lim + P T B = P T B. 4bis si il s agit de variables aléatoires réelles La foctio de répartitio de T coverge vers la foctio de répartitio F de T e tout poit de cotiuité de F ; 5 Pour tout esemble ouvert A, lim if + P T A P T A. 6 Pour tout esemble fermé F, lim sup + P T F P T F. Comme la covergece e loi e cocere que les lois, si T est de loi L, o dira aussi par abus de lagage T coverge e loi vers L. Pour ue suite T de variables aléatoires à valeurs das R d, o ote T = o P si T ted e probabilité vers, et o ote T = O P si T est ue suite tedue, c est à dire si : ɛ >, K :, P T K ɛ. Si T est ue suite tedue de variables aléatoires à valeurs das R d, alors o peut e extraire ue suite qui coverge e loi, et si il y a ue seule loi limite possible, alors 7

8 Des méthodes d estimatio T coverge e loi. Loi des grads ombres LGN : si Z est ue suite de variable aléatoires idépedates et de même loi o dira i.i.d. admettat u momet d ordre, c est à dire telles que E Z < +, alors Z i coverge e probabilité et presque sûremet, ce que l o otera p.s. vers EZ. O otera souvet Z la moyee empirique Z i. Théorème de limite cetrale TLC : si Z est ue suite de variable aléatoires i.i.d. admettat u momet d ordre, c est à dire telles que E Z < +, alors Z EZ coverge e loi vers U de loi N d, V où V est la matrice de variace de Z, c est à dire la matrice d d doée par V i,j = CovZ i, Z j, i, j =,..., d. O dira par abus de lagage que Z EZ coverge e loi vers N d, V bie que l objet limite est pas de même ature que les élémets de la suite, et car la covergece e loi e cocere que les lois. Théorème de l image cotiue : Soit T ue suite de variables aléatoires à valeurs das R d et f ue foctio cotiue de R d das R m. Si T coverge e probabilité vers la variable aléatoire T, alors ft coverge e probabilité vers ft. Si T coverge e loi vers la variable aléatoire T, alors ft coverge e loi vers ft. Lemme de Slutsky : Soit T ue suite de variables aléatoires à valeurs das R d qui coverge e loi vers la variable aléatoire T, soit V ue suite de variables aléatoires à valeurs das R m qui coverge e loi vers la costate a R m, alors V coverge e probabilité vers a et T, V coverge e loi vers T, a. Méthode delta : Soiet T ue suite de variables aléatoires à valeurs das R d, r ue suite de réels qui ted vers l ifii, a R d et g ue foctio de R d das R m différetiable e a. O suppose que r T a coverge e loi vers Z. Alors r gt ga coverge e loi vers Dga.Z, où Dga est la matrice m d telle que Dga i,j = g i t j a.. Estimateurs de type momets O cosidère ue suite X de variables aléatoires i.i.d. de loi P à valeurs das R d, et f : R d R m ue foctio mesurable. O ote P f = f X i. Par la LGN, P f est u estimateur cosistat de E[fX ], et P f E[fX ] coverge e loi vers N m, V par le TCL, où V est la matrice de variace de fx, ce qui permet de costruire des régios de cofiace asymptotiques. 8

9 .3 M- et Z- estimateurs O choisit le modèle P = {P θ, θ Θ} avec Θ R k, o suppose que P P, doc qu il existe θ Θ tel que P = P θ. Il s agit alors d estimer θ. Si l o peut trouver f : R d R k et g : R k R k iversible telle que θ Θ, g θ = fxdp θ x := P θ f := E θ fx o peut choisir l estimateur θ = g P f lorsque P f gθ, et u poit fixé T de Θ sio. Théorème... O suppose θ das l itérieur de Θ, que g est de classe C e θ, que Dgθ est iversible, et que E θ [ fx ] < +. Alors θ est u estimateur cosistat de θ et θ θ coverge e loi sous P θ vers N k, Dgθ V ar θ [fx][dgθ ] T. Remarque. O a pas besoi de l iversibilité de g, seulemet de so iversibilité locale. Ceci dit, comme θ est icou... Preuve. Comme Dgθ est ue matrice iversible, il existe u voisiage V de θ tel que g est iversible sur gv voisiage de gθ. Si l o ote E l évéemet P f gv, alors θ θ = g P f θ E + θ θ E C. Remarquos que par la LGN, E C = o P écrire pourquoi, où P = P N θ est la loi de X sous P θ, et que θ θ E C = o P écrire pourquoi. Puis par la méthode delta, g P f θ E coverge e loi sous P θ vers N k, Dgθ V ar θ [fx]dgθ, et o termie par Slutzky écrire le détail. Précisos pour la méthode delta : comme Dgθ est iversible, g est différetiable e gθ, de matrice de dérivée Dgθ, doc θ θ = { Dgθ P f P θ f + o P P f P θ f } E + θ θ E C.3 M- et Z- estimateurs = { Dgθ P f P θ f + o P P f P θ f } E + θ θ E C. D autres idées d estimatio : par moidres carrés, par maximum de vraisemblace. Cela cosiste à choisir comme estimateur u miimisat ou maximisat approximatif d ue foctio réelle costruite à partir des doées. O peut du coup par exemple e cosidérat le gradiet das la méthode par optimisatio choisir l estimateur comme aulat approximativemet ue foctio à valeurs das R k par exemple. 9

10 Des méthodes d estimatio O cosidère ue suite X de variables aléatoires i.i.d. de loi P à valeurs das R d, et o veut estimer ψp = θ Θ. O e précise pas pour l istat Θ, seulemet qu il est iclus das u esemble métrique mui d ue distace d,..3. Défiitios M-estimateur : soit, pour tout θ Θ, m θ : R d R ue foctio réelle. Soit M : Θ R telle que pour tout θ Θ, M θ = m θ X i. Soit u ue suite de réels positifs qui ted vers, cette suite sert pour défiir u maximum approximatif. Le M-estimateur θ vérifie : M θ sup M θ u. θ Θ Z-estimateur : soit, pour tout θ Θ, φ θ : R d R k. Soit Z : Θ R k telle que pour tout θ Θ, Z θ = φ θ X i. Soit u ue suite de réels positifs qui ted vers, cette suite sert pour défiir u zéro approximatif. Le Z-estimateur θ vérifie : Z θ if θ Θ Z θ + u. Exemples : Estimateurs de type momet : φ θ x = fx gθ. Maximum de vraisemblace : o choisit le modèle P = {P θ, θ Θ} que l o suppose domié, c est à dire qu il existe ue mesure µ sur R d tel que pour tout θ Θ, il existe ue foctio mesurable réelle f θ telle que dp θ x = f θ xdµx. L estimateur du maximum de vraisemblace e.m.v. maximise M où m θ = log f θ. Si log f θ x est C sur Θ pour tout x, l e.m.v. est u Z-estimateur e preat φ θ le gradiet de log f θ. Médiae, et plus gééralemet p-quatile : ici Θ = R, et φ θ x = p x<θ p x>θ..3. Cosistace O suppose que pour tout θ Θ, m θ L P. Par la LGN, si o défiit M : Θ R telle que pour tout θ Θ, M θ = P m θ, o a que pour tout θ Θ, M θ = M θ + o P. Du coup, la méthode d estimatio est boe si e effet θ maximise M sur Θ. Pour que cela permette d obteir la cosistace du M-estimateur, il faut u peu plus : Théorème.3.. O suppose : sup θ Θ M θ M θ = o P, Pour tout ɛ >, sup θ Θ:dθ,θ ɛ M θ < M θ. 3 M θ sup θ Θ M θ u où u ted vers. Alors θ est cosistat, c est à dire que d θ, θ = o P.

11 .3 M- et Z- estimateurs Preuve. Soit ɛ > quelcoque. Notos δɛ = M θ sup θ Θ:dθ,θ ɛ M θ. D après l hypothèse, δɛ >. O a maiteat : P d θ, θ ɛ P sup M θ M θ u = P θ Θ:dθ,θ ɛ sup θ Θ:dθ,θ ɛ M θ sup θ Θ:dθ,θ ɛ P sup M θ M θ δɛ u θ Θ P sup M θ M θ δɛ θ Θ 4 M θ M θ M θ + δɛ u pour assez grad tel que u δɛ/, et qui ted doc vers par. O suppose que pour tout θ Θ, φ θ L P. Par la LGN, si o défiit Z : Θ R telle que pour tout θ Θ, Z θ = P φ θ, o a que pour tout θ Θ, Z θ = Z θ+o P. Du coup, la méthode d estimatio est boe si e effet θ est u zéro de Z sur Θ. Pour que cela permette d obteir la cosistace du Z-estimateur, il faut u peu plus : Théorème.3.. O suppose : sup θ Θ Z θ Z θ = o P, Pour tout ɛ >, if θ Θ:dθ,θ ɛ Z θ > = Z θ. 3 Z θ if θ Θ Z θ + u où u ted vers. Alors θ est cosistat, c est à dire que d θ, θ = o P. Preuve. O applique le théorème de cosistace précédet e posat Mθ = Z θ et e remarquat que la preuve utilise pas la forme particulière de moyee empirique de M. Exemple : la médiae empirique. Ici, Θ = R, φ θ x = x<θ x>θ. Pour motrer la cosistace, il s agit alors de motrer que X i <θ X i >θ coverge uiformémet e θ e probabilité vers P X < θ P X > θ. Questio : O a besoi de covergece uiforme. Commet obteir ce gere de résultat? U outil : l etropie à crochet. Soiet l et u deux foctios mesurables de R d das R telles que pour tout x, lx ux. O appelle crochet [l, u] l esemble des foctios f : R d R telles que pour tout x R d, lx fx ux. Soit F u esemble de foctios réelles mesurables de R d das R iclus das L p P, < p +. Pour tout ɛ >, o ote N [] F, L p P, ɛ le ombre miimal de crochets de taille ɛ écessaires pour recouvrir F. C est à dire : si N N et [l, u ],..., [l N, u N ] sot des crochets tels que u i l i L p P ɛ et F N [l i, u i ],

12 Des méthodes d estimatio alors N [] F, L p P, ɛ N. O dit que F est P -Gliveko-Catelli si F L P, et sup f F fx i E P fx = o P. Propositio.3.. Soit F L P. O suppose que pour tout ɛ >, N [] F, L P, ɛ < +. Alors F est P -Gliveko-Catelli. Preuve. Soit ɛ >, et [l, u ],..., [l N, u N ] des crochets tels que u i l i L P ɛ et F N [l i, u i ]. Pour tout f F, il existe j tel que pour tout x R d, l j x fx u j x. O a doc l j X i f X i u j X i, et E P l j X E P fx E P u j X. Comme E P u j X E P l j X ɛ, o obtiet l j X i E P l j X ɛ f X i E P fx u j X i E P u j X + ɛ, et doc { f X i E P fx max l j X i E P l j X ; } u j X i E P u j X +ɛ. Du coup, sup f F f X i E P fx { max max l j X i E j=,...,n P l j X ; } u j X i E P u j X + ɛ. Mais par la LGN, pour tout j =,..., N, l j X i E P l j X = o P et u j X i E P u j X = o P, doc exercice : le démotrer { } max max l j=,...,n j X i E P l j X ; u j X i E P u j X = o P Doc P sup f F P f X i E P fx ɛ { l j X i E P l j X ; max max j=,...,n } u j X i E P u j X ɛ,

13 .3 M- et Z- estimateurs et doc pour tout ɛ >, lim P + sup f F f X i E P fx ɛ =. Voici u exemple simple d applicatio de ce résultat. Propositio.3.. Soit F = {f θ, θ Θ}, où les f θ sot des foctios de R d das R. O suppose que Θ est ue partie compacte d u espace métrique, Pour tout x, θ f θ x est cotiue, sup θ Θ f θ L P. Alors F est P -Gliveko-Catelli. Preuve. O motre que pour tout ɛ >, N [] F, L P, ɛ < +. et o utilise la propositio précédete. Soit doc ɛ >. Soit θ Θ, et soit B ue suite décroissate de boules ouvertes d itersectio {θ} par exemple, cetrées e θ et de rayo /. Pour tout et tout x, o ote l x = if s B f s x et ũ x = sup s B f s x. Ce sot des foctios mesurables telles que si ted vers l ifii, l x et ũ x tedet vers f θ x par cotiuité, doc telles que ũ x l x ted vers pour tout x. De plus, ũ l sup f θ L P, θ Θ doc par covergece domiée, ũ l dp ted vers quad ted vers l ifii. Doc il existe tel que ũ l dp ɛ. Autremet dit, pour tout θ Θ, il existe ue boule ouverte B θ coteat θ telle que sup s Bθ f s if s Bθ f s dp ɛ. Maiteat, θ Θ B θ est u recouvremet de Θ par des ouverts dot, par compacité, o peut extraire u recouvremet fii B θ... B θn. O ote l i = if s Bθi f s et u i = sup s Bθi f s, i =,..., N, et pour tout θ Θ, il existe i tel que θ B θi, et f θ [l i, u i ]. Lorsque l o a ue régularité plus grade que la cotiuité, o sait évaluer N [] F, L p P, ɛ. Propositio.3.3. Soit F = {f θ, θ Θ} L p P, où les f θ sot des foctios de R d das R. O suppose que Θ est ue partie borée de R k, et qu il existe α > et h L p P tels que pour tous θ et θ das Θ, tout x R d, f θ x f θ x θ θ α h x. Alors, il existe C k qui e déped que de k telle que /α k N [] F, L p h L P, ɛ C k diamθ p P, ɛ où diamθ est le diamètre de Θ. 3

14 Des méthodes d estimatio Preuve. Si θ est das la boule cetrée e θ et de rayo δ, alors m θ est das le crochet [l, u] de taille ɛ avec l = f θ δ α h, u = f θ + δ α h, et ɛ = h L p P δ α. O obtiet doc u recouvremet de F par des crochets de taille ɛ à partir d u recouvremet de Θ par des boules de taille δ = ɛ/ h L p P /α. Mais le ombre miimal N écessaire pour recouvrir Θ par des boules de rayo δ vérifie diamθ k N C k, δ et le résultat s e suit. Tout ceci e ous permet pas de traiter la questio de la médiae, car les foctios θ x<θ e sot pas cotiues. O va évaluer directemet le ombre de crochets. Propositio.3.4. Soit F = { x<θ, θ R}. Soit P ue probabilité sur R. Alors pour tout p > et ɛ, N [] F, L p P, ɛ ɛ p Preuve. Soiet t <... < t k des réels. Alors, si θ ]t i, t i+ ] pour u i =,..., k, alors x<θ [ x ti, x<ti+ ], si θ t, x<θ [, x<t ] et si θ > t k, alors x<θ [ x tk, ], ce qui ous fait k + crochets. Ils sot de taille x<ti+ x ti p L p P = P t i < X < t i+, x<t p L p P = P X < t, x tk p L p P = P t k < X. O choisit les t i de faço que ces quatités soiet iférieures ou égales à ɛ p. Ce qui est possible avec k etier tel que k + /ɛ p. Il est clair que le résultat est aalogue pour F = { x>θ, θ R}, et doc que pour F = { x<θ x>θ, θ R}, o a N [] F, L p P, ɛ p /ɛ p + pour ɛ. Maximum de vraisemblace : O suppose que P = {P θ, θ Θ} avec Θ compact das u espace métrique, que le modèle est domié et idetifiable. O suppose que si p θ est la desité de P θ par rapport à la mesure domiate, pour tout x >, pour tout θ, p θ x >, θ p θ x est cotiue, et sup θ Θ log p θ L P θ. Alors l e.m.v. est cosistat e θ le démotrer!..3.3 Normalité asymptotique O cosidère X ue suite de variables aléatoires i.i.d. de loi P, Θ R k, et Z θ = P φ θ. O cosidère le Z-estimateur θ, que l o suppose cosistat covergeat e probabilité vers θ, et l o veut compredre si et commet obteir ue loi asymptotique du gere θ θ coverge e loi vers ue gaussiee, comme o a obteu pour les estimateurs de type momet qui sot des cas particuliers de Z-estimateurs. O peut écrire Taylor : ] Z θ = Z θ + D Z [θ + t θ θ θ θ dt. 4

15 .3 M- et Z- estimateurs Ici D désige l opérateur différetiel, et D Z est la matrice k k dot chaque coloe costitue les dérivées de Z par rapport à ue coordoée de θ. Avec la même otatio o a pour tout θ D Z θ = D φ θ X i. Comme P φ θ =, si de plus P φ θ < +, alors par le TLC, Z θ coverge e loi vers N k, P φθ φ T θ, et o peut écrire [ ] ] D Z [θ + t θ θ dt θ θ = Z θ + Z θ. Si θ coverge e probabilité vers θ, o se dit que pour tout t, θ + t θ θ est proche de [ θ, et comme par la LGN, D Z θ coverge e probabilité vers P D φ θ, o ] ] se dit que D Z [θ + t θ θ dt doit coverger e probabilité vers P D φ θ. Si c est le cas, et si cette limite est ue matrice iversible, si e plus Z θ = o P, o pourra par Slutzky obteir la coverge e loi de θ θ. [ ] ] Pour obteir que D Z [θ + t θ θ dt coverge e probabilité vers P D φ θ, o peut supposer le démotrer e exercice qu il existe u voisiage A de θ tel que Pour tout x, θ φ θ x est C sur A, Il existe h L P telle que pour tout x, sup θ A D φ θ x hx. Mais avec ce résultat, o e peut obteir la covergece e loi de la médiae empirique : θ x<θ x>θ est pas dérivable pour tout x. O peut faire mieux! Outils de processus empirique. Pour f L P, o ote G f = fx i P f. Du coup, P f = P f + G f, et c est ue faço de décomposer ue somme ou moyee e la partie biais et la partie variace qui est cetrée. Si f L P, par le TLC, G f coverge e loi vers ue gaussiee. Si o suppose que θ vérifie le Théorème.3. avec u << /, o a Z θ = o P, et cela se réécrit avec ces otatios e o P = P φ θ = G φ θ + P φ θ. Noter que P φ θ = φ θ xdp x est ue variable aléatoire, et c est à elle que l o veut appliquer Taylor, et comme o a vu des lois des grads ombres uiformes, o aimerait 5

16 Des méthodes d estimatio avoir des TLC uiformes pour traiter G φ θ. L outil que l o utilisera das ce cours est l iégalité maximale suivate : Théorème.3.3. Soit F L P, o suppose que F admet ue foctio eveloppe de carré itégrable, c est à dire qu il existe F L P telle que f F, fx F x pour P -presque tout x. Alors E [sup G f f F pour ue costate uiverselle C IM. ] C IM F L P log N [] F, L P, udu. La petite étoile sigifie qu il peut y avoir des problèmes de mesurabilité, mais o pred alors la mesure extérieure. O e s e iquiètera pas. Noter que l espérace du sup N EST PAS le sup des espéraces. Reveos à otre problème de ormalité asymptotique des Z-estimateurs. O a : Théorème.3.4. O suppose que θ est u estimateur cosistat de θ, que P φ θ =, P = o φ θ P et P φ θ < +. O suppose e outre qu il existe u voisiage A de θ tel que : θ P φ θ est D sur A, et D P φ θ, otée V, est iversible, e otat pour tout j =,..., k, F j = {φ j,θ, θ A}, log N [] F j, L P, u est itégrable e, sup θ θ δ φ θ φ θ dp ted vers quad δ ted vers. Alors θ θ = V G φ θ + o P, et θ θ coverge e loi vers N k ; V P [φ θ φ T θ ]V T. Preuve. O écrit Taylor pour la foctio θ P φ θ au voisiage de θ : Comme θ θ = o P, o e déduit P φ θ = P φ θ + V θ θ + o θ θ. P φ θ = P φ θ + V θ θ + o P θ θ, et o a doc Mais G + V + o φ θ P θ θ = o P. G φ θ = G φ θ + G G φ θ φ θ, 6

17 .3 M- et Z- estimateurs doc si l o motre que o aura G φ θ G φ θ = o P,. V G φ θ + I k + o P θ θ = o P ce qui permet de coclure par Slutzky. Motros doc.. Pour tous α > et δ >, pour toute coordoée j, P G φ j, θ G φ j,θ α P θ θ δ + P sup G f α f F δ e otat F δ = {φ j,θ φ j,θ, θ θ δ}. Pour δ assez petit, F δ F j φ j,θ, doc N [] F δ, L P, u N [] F j, L P, u. Aussi, F δ = sup θ θ δ φ j,θ φ j,θ est ue foctio eveloppe de F δ. Par Markov et e utilisat l iégalité maximale, P sup G f α f F C IM α Fδ L P log N [] F δ, L P, udu C α Fδ L P log N [] F j, L P, udu, doc pour tout δ > assez petit, lim sup P G φ j, θ G φ j,θ α C Fδ IM L P log N + α [] F j, L P, udu et l o coclut par le fait que par hypothèse F δ L P ted vers quad δ ted vers et l itégrabilité de log N [] F j, L P, u e. Applicatio à la médiae. Si la loi P a ue desité f positive, P φ θ = P X < θ P X > θ est dérivable de dérivée fθ. O suppose que cette desité est strictemet positive. O a P φ θ =, et o a déjà vu que N [] F j, L P, u 4/u, doc log N [] F j, L P, u est itégrable e. De plus sup φ θ φ θ dp P θ δ X θ + δ θ θ δ qui ted vers quad δ ted vers car desité, doc θ θ = fθ G φ θ + o P, et θ θ coverge e loi vers N, /4f θ. O s itéresse maiteat aux M-estimateurs. Si o veut leur appliquer le résultat des Z-estimateurs, o doit supposer que le maximisat est u zéro du gradiet, et supposer, 7

18 Des méthodes d estimatio doc que le gradiet existe, soit que θ m θ x est dérivable pour tout x. E fait, o va obteir mieux, e aalysat ecore selo biais/variace. O décompose P m θ = P m θ + G m θ. E fait, e supposat le biais P m θ P m θ d ordre polyomial α et la partie fluctuatios G m θ G m θ d ordre polyomial β, o peut obteir ue vitesse de covergece /α β. Ceci vaut e gééral, pas forcémet e situatio paramétrique : l esemble des θ est pas supposé de dimesio fiie, il est supposé métrique, mui d ue distace d. La preuve du théorème qui suit utilise la techique classique de découpage e rodelles peelig. Théorème.3.5. O suppose qu il existe C >, α > β >, δ > tels que, pour tout et tout δ δ : sup P m θ P m θ Cδ α δ dθ,θ δ et E sup dθ,θ δ G m θ G m θ Cδ β. O suppose que θ coverge e probabilité vers θ, et vérifie P sup P m θ m θ O P α/α β. θ Alors /α β d θ, θ = O P. Preuve. Posos v = /α β, et otos R = P m θ P m θ, o a R O P v α. Soit M quelcoque fixé, et otos j tel que j δ v et j+ > δ v. Notos Soit K > quelcoque. O a S j, = {θ : j v d θ, θ < j+ }. P v d θ, θ M P d θ, θ δ + P vr α K + j j=m Mais si θ S j,, R sup θ Sj, P m θ P m θ, doc P θ S j, et vr α K. P θ S j, et vr α K P sup P m θ P m θ K θ S j, v α. 8

19 .3 M- et Z- estimateurs Maiteat o écrit sup θ S j, P m θ P m θ sup θ S j, P m θ P m θ + de sorte que P θ S j, et vr α K P C jα v α sup θ S j, G m θ G m θ + sup G m θ G m θ θ S j, sup G m θ G m θ C jα K θ S j, v α et pour M tel que Mα K Mα, o a P θ S j, et vr α K P sup G m θ G m θ C jα θ S j, v α. O récapitule et o utilise l iégalité de Markov pour obteir : P v d θ, θ M P d θ, θ δ + P vr α K + j j=m v α j β. C jα v Or v α j β jβ α vα β = C jα v C = jβ α C sommable car β α <. O peut doc redre P v d θ, θ M petit e choisissat M assez grad et assez grad et K assez grad. Précisémet : pour tout ɛ >, il existe K tel que P v α R K ɛ/3, et M tel que jβ α C ɛ 3, j M et tel que si, P d θ, θ δ ɛ 3 car θ est cosistat. O a alors pour tout, P v d θ, θ M ɛ. Puis pour j =,...,, il existe M j tel que P v j d θ j, θ M j ɛ, et l o choisit le max de M et des M j pour obteir l iégalité pour tout. E situatio paramétrique, o peut vérifier les hypothèses par Taylor pour la partie biais et l iégalité maximale pour la partie fluctuatios. O obtiet : 9

20 Des méthodes d estimatio Propositio.3.5. O suppose Θ R k, et qu il existe u voisiage A de θ et ue foctio h L P tels que θ, θ A, m θ m θ h θ θ. O suppose que θ P m θ est maximum e θ, est D e θ, de matrice hessiee D P m θ iversible. O suppose que θ coverge e probabilité vers θ, et vérifie P sup P m θ m θ O P. θ Alors θ θ = O P. Preuve. O va motrer que le Théorème.3.5 s applique avec α = et β =. Par Taylor, P m θ = P m θ + θ θ T D P m θ θ θ + o θ θ car max e θ doc gradiet ul ; aussi comme max e θ, D P m θ θ θ est défiie égative, doc il existe λ > tel que θ θ T D P m θ θ θ λ θ θ λδ si θ θ > δ. O choisit δ tel que si θ θ δ, o θ θ λ θ θ /, et il suffit esuite de predre C < λ/. Soit esuite F δ = {m θ m θ, θ θ < δ}. δh est ue foctio eveloppe de F δ, et N [] Fδ, L P, u C k δ h k L P u doc par l iégalité maximale, pour ue costate D k, E sup dθ,θ <δ δ h L P Dk δ G m θ G m θ C IM k log du u h L P C IM δ k log par chagemet de variable u = δs, et il suffit de choisir C < C IM h L P Dk s ds k log Dk s ds. O obtiet fialemet le théorème de ormalité asymptotique des M-estimateurs : Théorème.3.6. O suppose Θ R k, et qu il existe u voisiage A de θ et ue foctio h L P tels que θ, θ A, m θ m θ h θ θ. O suppose que θ P m θ est maximum e θ, est D e θ, de matrice hessiee V = D P m θ iversible. O suppose que pour P -presque tout x, θ m θ x est D e θ, de gradiet ṁ θ x. O suppose que θ coverge e probabilité vers θ, et vérifie P sup P m θ m θ o P. θ

21 .4 Exercices Alors θ θ = V G ṁ θ + o P et θ θ coverge e loi vers N k, V P ṁ θ ṁ T θ V. Preuve. Voir exercices.4. et.4.3. O peut appliquer ce théorème à la médiae avec m θ x = x θ voir exercice Exercices Exercice.4.. Si X N est ue suite de variables aléatoires, o ote o P X pour X o P, et O P X pour X O P. Motrer que o P +o P = o P, o P +O P = O P, O P o P = o P, o P O P = o P. Soit R ue foctio réelle telle que R u = o u p quad u pour u p >, et X = o P. Motrer qu alors R X = o P X p. Si maiteat R u = O u p quad u pour u p >, motrer qu alors R X = O P X p. Exercice.4.. Méthode de stabilisatio de la variace Soit Pθ θ Θ, Θ R, u modèle statistique, et T u estimateur de θ tel que T θ coverge e loi sous Pθ vers N, σ θ. Motrer que si φ est ue primitive de σθ, φt φθ coverge e loi sous Pθ vers N, et e déduire u itervalle de cofiace pour θ de iveau asymptotique α. Applicatio : itervalle de cofiace asymptotique pour le paramètre d ue loi biomiale ; d ue loi de Poisso. Exercice.4.3. Régio de cofiace pour la variace d ue loi Soit X N ue suite de variables aléatoires i.i.d. de loi ayat des momets jusqu à l ordre 4. Soit σ sa variace, et soit S = X i X, X = X i.. Si l o suppose que les X i sot gaussies, proposer u itervalle de cofiace I pour σ de iveau de cofiace égal à α.. Motrer que si Z N est ue suite de variables aléatoires réelles qui coverge e loi vers ue variable Z de foctio de répartitio cotiue, si u ted vers u quad ted vers l ifii, alors P Z u ted vers P Z u. 3. Motrer que S σ coverge e loi vers N, κ+, où κ = E[X EX 4 ] σ Si la loi des X i est pas gaussiee, quel est le iveau asymptotique de I?

22 Des méthodes d estimatio Exercice.4.4. Modèles expoetiels Soit t de X das R k, µ ue mesure positive sur X, h ue foctio réelle positive ou ulle sur X et { } Θ = θ R k : c θ = h x exp [ θ, tx ] dµ x < +. P θ θ Θ telle que P θ dx = p θ xdµx avec p θ x = c θ h x exp [ θ, tx ] est u modèle expoetiel k-dimesioel de statistique exhaustive tx. La foctio c est de classe C sur l itérieur de Θ, et ses dérivées se calculet e dérivat sous le sige. Soit X N ue suite de variables aléatoires i.i.d. de loi P θ, θ das l itérieur de Θ. O suppose que V artx est iversible. Motrer que l estimateur du maximum de vraisemblace θ est u estimateur de type momets tel que θ θ coverge e loi vers ue gaussiee cetrée de variace [V artx ]. Exercice.4.5. Divergece Iformatio de Kullback Soiet P, Q deux mesures de probabilité défiies sur u même espace, et p, q leur desité par rapport à ue mesure domiate µ.. Motrer que pq> log p p q dµ est toujours fiie.. E déduire que l o peut défiir log dp dp si P Q KP, Q = dq + sio et que si P Q, alors KP, Q = pq> p log p dµ p log p dµ. q + pq> q O appelle KP, Q la divergece ou l iformatio de Kullback etre P et Q 3. Vérifier que si P Q alors dp KP, Q = Qφ, dq où φx = x log x + x. E déduire que KP, Q quelles que soiet P et Q, puis que KP, Q = si et seulemet si P = Q.,

23 .4 Exercices Exercice.4.6. Médiae Soit X N ue suite de variables aléatoires réelles i.i.d. de loi P ayat ue uique médiae θ, doc telle que pour tout ɛ >, P X < θ ɛ < < P X < θ + ɛ. Soit θ vérifiat Xi< θ Xi> θ = o P. E utilisat la mootoie de la foctio X i <θ Xi >θ, motrer que θ est u estimateur cosistat de θ. O suppose que X admet u momet d ordre, et θ maximise M θ = X i θ sur Θ compact coteat θ. Motrer que θ est u estimateur cosistat de θ utiliser le fait que la foctio θ x θ est lipschitziee. Exercice.4.7. U théorème de cosistace Soit X N ue suite de variables aléatoires i.i.d. de loi P. Soit m θ θ Θ des foctios réelles mesurables telles que θ m θ x soit semi-cotiue supérieuremet pour P - presque tout x. O défiit M θ = m θ X i, M θ = m θ x dp x. O suppose que Θ est compact das u espace métrique, et o défiit { } Θ = θ Θ : M θ = sup M u u Θ. Soit θ das Θ, et θ u élémet de Θ tel que M θ M θ +o P par exemple : θ maximise M θ sur Θ. O suppose qu il existe ue foctio h telle que θ Θ, m θ h et h x dp x < +. Motrer que θ coverge e probabilité vers Θ, c est à dire que pour tout ɛ >, lim P d θ, Θ ɛ =. + 3

24 Des méthodes d estimatio Applicatio : doer des coditios suffisates de cosistace de l estimateur du maximum de vraisemblace. Remarque : o e suppose pas ici le modèle paramétrique. Exercice.4.8. Modèle de cesure Soiet T et C deux variables aléatoires réelles idépedates de foctio de répartitio F et G respectivemet. Soit X = C, T C. Soit µ la mesure produit tesoriel de la mesure de Lebesgue et de la mesure de comptage sur {, }. O suppose que G a ue desité coue g par rapport à Lebesgue. Le paramètre d itérêt est doc F. Soit C, N ue suite de variables i.i.d. de même loi que X.. Quelle est la desité p F de X par rapport à µ? E déduire que pour observatios u estimateur du maximum de vraisemblace maximise, sur les foctios de répartitios F : l F = log [ i F C i + i F C i ]. Motrer qu il existe u et u seul estimateur du maximum de vraisemblace ˆF qui soit la foctio de répartitio d ue mesure de probabilité de support les poits C i, i =,...,. 3. Soit m F = l F l F +F. Motrer que m ˆF m F. 4. Si l o cosidère le modèle restreit aux foctios de répartitio sur u itervalle compact K, motrer que ˆF coverge e probabilité, pour la topologie de la covergece faible, vers l esemble F des foctios de répartitio sur K qui maximiset pf MF = p F log dµ. p F + p F 5. O veut motrer que F est l esemble des F égales à F G-p.p. a Motrer que p F = p F µ presque partout si et seulemet si F = F G-p.p. b Motrer que si p et p sot deux desités de probabilité par rapport à ue même mesure domiate λ, p p log dλ, p + p 6. Coclure avec égalité si et seulemet si p = p, λ p.p. Exercice.4.9. Médiae Soit X N ue suite de variables aléatoires réelles i.i.d. de desité de probabilité f sur u itervalle I de R, telle que f est cotiue et strictemet positive sur l itérieur de I. 4

25 .4 Exercices Le paramètre d itérêt est l uique médiae θ de f. Soit θ tel que P = o ψ θ P /, avec ψ θ x = x<θ x>θ. Motrer que ˆθ θ coverge e loi vers N, 4f θ. O suppose maiteat que X admet u momet d ordre, et θ maximise M θ = X i θ. Motrer que θ θ coverge e loi vers N, 4f θ. Exercice.4.. Partiel. Soit Z ue variable aléatoire de loi G sur R +. Soit X, Y ue variable aléatoire sur R telle que, coditioellemet à Z, X et Y sot idépedates de loi expoetielle de paramètre Z et θz respectivemet, θ >. O ote alors P θ,g la loi de X, Y.. Motrer que le modèle P θ,g θ R +,G G, où G est u esemble de lois sur R +, est domié par la mesure de Lebesgue sur R +, et que la desité peut s écrire p θ,g x, y = +. Soit pour tout réel a la foctio θz [exp x + θy z] dg z. ψ a x, y = x ay x + ay. Motrer que pour tous x >, y >, ψ a x, y. O fixe θ > et G G. Motrer que F a = E θ,g ψ a X, Y est bie défiie, cotiue, dérivable et strictemet décroissate sur R Motrer que si l o pose U = X θy et V = X + θy, sous P θ,g, U V est, coditioellemet à V, Z, de loi uiforme sur [, ]. E déduire que F admet u uique zéro e a = θ. 4. Soit X, Y N ue suite de variables aléatoires i.i.d. de loi P θ,g. Motrer que F a = ψ ax i, Y i est ue foctio qui admet u uique zéro, que l o ote θ. Motrer que θ est u estimateur cosistat de θ. 5. Motrer que θ θ = 3θ X i θy i X i + θy i + o Pθ,G. 6. E déduire que θ θ coverge e loi, sous P θ,g, vers N, 3θ. 5

26 Des méthodes d estimatio Exercice.4.. Partiel 9. Estimateur de Huber. Soit X N ue suite de variables aléatoires réelles i.i.d. de loi P θ de desité f θ, où f est ue foctio strictemet positive et paire sur R telle que + fufu =. Soit k u réel fixé, et soit φ la foctio φx = x x k + k x>k k x< k. O pose ψ θ = φx i θ, et o choisit ˆθ tel que ψ ˆθ = o P /.. Doer ψθ telle que pour tout θ R, ψ θ coverge e probabilité sous P θ vers ψθ.. Motrer que ψθ =, que si θ > θ, ψθ < ψθ, et que si θ < θ, ψθ > ψθ. 3. Motrer que ψ est décroissate. E déduire que ˆθ est cosistat. 4. Motrer que pour tous θ, θ, x, réels, φx θ φx θ θ θ. 5. Motrer que ψ est dérivable et calculer ψθ. 6. Motrer que ˆθ θ coverge e loi sous P θ vers ue gaussiee cetrée dot o précisera la variace. Exercice.4.. Soit X N ue suite de variables aléatoires i.i.d. de loi P das X espace poloais. Soit A u voisiage de θ das R d. Pour tout θ A, soit m θ ue foctio mesurable de X das R. O suppose que pour P -presque tout x, θ m θ x est différetiable e θ de dérivée ṁ θ x, et qu il existe ue foctio réelle h L P telle que pour tous θ, θ das A, et tout x X, m θ x m θ x hx θ θ. Le but de l exercice est de motrer que si U N est ue suite de variables aléatoires à valeurs das R d telle que U = O P, et si r N est ue suite de réels qui ted vers + quad ted vers +, alors Notos, pour U R d, G r m θ +U /r m θ U T ṁ θ = op.. Z U = G r m θ +U/r m θ U T ṁ θ. O admettra que si, M état u réel positif fixé, sup U M Z U = O P et si pour tout U fixé Z U = o P, alors sup U M Z U = o P.. Soit U fixé. Motrer que V ar[z U] = o. E déduire que Z U = o P.. Motrer que, pour tout M >, sup U M Z U = O P. 3. E utilisat les deux questios précédetes motrer.. 6

27 .4 Exercices Exercice.4.3. Le but de cet exercice est de démotrer le théorème de ormalité asymptotique des M-estimateurs. Soit doc X N ue suite de variables aléatoires i.i.d. de loi P das X espace poloais. Soit A u voisiage de θ das R d. Pour tout θ A, soit m θ ue foctio mesurable de X das R. O suppose que pour P -presque tout x, θ m θ x est différetiable e θ de dérivée ṁ θ x, et qu il existe ue foctio réelle h L P telle que pour tous θ, θ das A, m θ x m θ x hx θ θ. O suppose de plus que θ P m θ est deux fois différetiable e θ où elle admet u maximum, et que la hessiee V est symétrique iversible. O suppose efi que P sup m θ θ P m θ o P /, et que θ ted e probabilité vers θ.. E utilisat l exercice précédet, motrer que si U = O P, alors. E déduire que et P P m θ +U / m θ = U T V U + U T G ṁ θ + o P. P m θ V G ṁ θ / m θ = G ṁ θ T V G ṁ θ + o P. m θ m θ = θ θ T V θ θ + θ θ T G ṁ θ + o P. 3. Motrer que cela implique que T θ θ + V G ṁ θ V θ θ + V G ṁ θ + o P. 4. E déduire que θ θ + V G ṁ θ = o P et coclure. 7

28

29 3 Théorie de la vraisemblace O s itéresse maiteat au cas où le modèle est paramétrique et domié : P = {P θ = p θ µ, θ Θ} avec µ ue mesure sur R d, et Θ R k. L objectif est d étudier l estimatio par maximum de vraisemblace, et d étudier l optimalité asymptotique des estimateurs : au ses du risque quadratique, et au ses de la loi limite. O sait que das le cadre de l estimatio sas biais, l iverse de l iformatio de Fisher est la variace miimale iégalité de Cramer-Rao. A-t-o ue gééralisatio asymptotique, et qui porte sur tous les estimateurs, sas cotraite de biais? O va voir que d ue part, est la vitesse typique d estimatio, et que d autre part, o peut gééraliser asymptotiquemet l iégalité de Cramer-Rao e u ses miimax local, puis que l estimateur du maximum de vraisemblace est optimal sous des hypothèses de régularité. 3. Modèles différetiables e moyee quadratique et iégalité de Cramer-Rao O dit que le modèle est différetiable e moyee quadratique ce que l o écrira d.m.q. e θ si il existe u vecteur de k foctios l θ appelé score e θ tel que pθ+h p θ ht lθ pθ dµ = o h. 3. Propositio 3... Si le modèle est d.m.q. e θ, alors l θ L P θ k, et P θ lθ =. Le score est cetré et admet ue variace : o la ote I θ, et o l appelle iformatio de Fisher e θ. O a I θ = V ar θ lθ = P θ lθ lt θ. E particulier, o peut appliquer le TLC de sorte que G lθ vers N k, I θ. coverge e loi sous P θ Preuve. Fixos h R k. h/ ted vers, doc e appliquat 3. pθ+h/ p θ ht lθ pθ dµ = o, soit pθ+h/ p θ ht lθ pθ dµ = o. 9

30 3 Théorie de la vraisemblace La suite [ p θ +h/ p θ ] est ue suite de L µ qui coverge vers ht lθ pθ das L µ, qui est complet, doc pour tout h R k, h T lθ pθ L µ, soit h T lθ L P θ, doc l θ L P θ k. De même, p θ +h/ coverge vers p θ das L µ, et par cotiuité du produit scalaire, pθ+h/ pθ p θ +/ + p θ dµ = h T lθ p θ dµ. lim + Or pour tout, pθ+h/ pθ p θ +/ + p θ dµ = p θ +h/ p θ dµ =, doc pour tout h R k, h T lθ p θ dµ =, et P θ lθ =. E gros, le score fois racie de la desité est deux fois la dérivée par rapport à θ de la racie carrée de la dérivée. Quad o dérive p θ, o obtiet ṗ θ / p θ, doc le score est le quotiet de la dérivée de p θ par p θ mais la dérivatio est au ses L. O retrouve les coaissaces atérieures : Fisher est la variace de la dérivée de la log-desité. Mais peut-o relier plus précisémet tout ça? Propositio 3... O suppose que θ est das l itérieur de Θ, et que, si l o ote s θ x = p θ x : il existe A, voisiage de θ tel que Pour µ-presque tout x, θ s θ x est D sur A, de gradiet ṡ θ x, Pour tout θ A, ṡ θ L µ, et θ [ṡ θ ṡ T θ ]dµ est cotiue e θ. Alors le modèle est d.m.q. e θ de score l θ = ṡ θ /s θ. Remarques. Comme s θ x, si s θ x = c est u miimum de θ s θ x, et comme θ est das l itérieur de Θ, si il y a u gradiet, alors il est ul. Doc µ presque partout, ṡ θ x = quad s θ x =. Du coup, p θ x = s θ x est D sur A pour µ-presque tout x, de gradiet ṗ θ = ṡ θ xs θ x. Compte-teu de la remarque précédete, Preuve. O veut motrer 3. qui s écrit sθ+h s θ ht ṡ θ dµ = o h, ṗ θ p θ est bie défii P θ -p.s. et vaut l θ P θ -p.s. soit, e otat t = h et u t = h/ h, sθ+tut s θ tut t ṡ θ dµ = ot. 3. Il suffit de le motrer pour toute suite u t qui coverge vers u vecteur u quad t ted vers, e effet, si alors ce était pas vrai pour toute suite de vecteurs de orme, comme la boule uité est compacte, o pourrait extraire ue sous-suite qui coverge 3

31 3. Modèles différetiables e moyee quadratique et iégalité de Cramer-Rao vers u vecteur u et obteir ue cotradictio. O pose alors r t = s θ +tu t s θ t et o veut motrer que r t dµ = o. Posos aussi sθ +tu g t = t s θ t u T t ṡ θ, + u T t ṡ θ r t. O a g t, et µ presque partout, par l hypothèse de différetiabilité, quad t ted vers, s θ +tu t s θ = u T t ṡ θ + o = u T ṡ θ + o, t et g t ted vers u T ṡ θ + ut ṡ θ ut ṡ θ u T ṡ θ = 4 ut ṡ θ. Doc par le lemme de Fatou, lim if t g t dµ lim if t g t dµ, soit : lim sup t r t dµ lim if t sθ +tu t s θ dµ u T t ṡ θ ṡ T θ dµ u. Maiteat : doc et par Fubii, s θ +tu t s θ = tu T t ṡ θ +vtu t dv, sθ +tu t s θ = u T t ṡ θ +vtu t t dv sθ +tu t s θ dµ t u T t ṡ θ +vtu t dµ dv = u T t ṡ θ +vtu t dv u T t ṡ θ +vtu t ṡ T θ +vtu t dµ u t dv. par l hypothèse de cotiuité, ṡ θ +vtu t ṡ T θ +vtu t dµ coverge vers ṡ θ ṡ T θ dµ quad t ted vers et est majorée das u voisiage de θ, doc par covergece domiée, u T t ṡθ +vtu t ṡ T θ +vtu t dµ u t dv ted vers u T ṡ θ ṡ T θ dµu quad t ted vers, et l o a doc obteu lim sup t r t dµ. O va pouvoir maiteat éocer l iégalité de Cramer-Rao das le cadre des modèles d.m.q. comme ue coséquece d u résultat de dérivabilité : 3

32 3 Théorie de la vraisemblace Théorème 3... O suppose que θ est das l itérieur de Θ, et que le modèle est d.m.q. e θ. Soit T : R d R mesurable. Si il existe u voisiage A de θ tel que sup P θ T X < +, θ A alors la foctio g de Θ das R doée par θ gθ = P θ T X est différetiable e θ de gradiet ġ θ = P θ T l θ. Si de plus l iformatio de Fisher I θ est iversible, alors V ar θ T ġ T θ I θ ġ θ. Remarque. P θ T = T xp θ xdx, et si o dérive sous le sige somme et qu o iterprète le score comme ṗθ p θ o obtiet le résultat, mais il est pas obteu sous les hypothèses habituelles de dérivatio sous le sige somme. Preuve. O veut motrer Dh := T p θ +h T p θ ht T l θ p θ dµ = o h. Posos r h = p θ +h p θ ht lθ pθ, o sait que r h dµ = o h. O a Dh = = = [ T pθ +h p θ pθ +h + ] p θ h T lθ p θ dµ T [r h + ht lθ pθ pθ+h + ] p θ h T lθ p θ dµ T r h pθ +h + p θ dµ + T ht lθ pθ pθ +h p θ dµ. Par Cauchy-Schwarz, et si h est tel que θ + h A, T r h pθ +h + p θ dµ r h dµ / T pθ +h + p θ dµ / / rh 4 dµ sup P θ T X / = o h. θ A Pour le deuxième terme, o décompose selo que T K ou T > K et l o obtiet ecore par Cauchy-Schwarz 3

33 3. Modèles différetiables e moyee quadratique et iégalité de Cramer-Rao T ht lθ pθ pθ +h p θ dµ + / h T lθ pθ dµ p θ +h / p θ dµ K T p θ +h / p θ / dµ T >K ht lθ pθ dµ / T >K l θ p dµ θ O K h + h O = o h e preat par exemple K h = / h. Ce résultat se gééralise pour des foctios g à valeur das R m. Rappelos qu alors la différetielle de g est ue matrice, dot les liges sot les gradiets de ses foctios coordoées. Théorème 3... O suppose que θ est das l itérieur de Θ, et que le modèle est d.m.q. e θ. Soit T : R d R m mesurable. Si il existe u voisiage A de θ tel que sup P θ T X < +, θ A alors la foctio g de Θ das R m doée par θ gθ = P θ T X est différetiable e θ de matrice différetielle Dgθ = P θ T l T θ. La matrice suivate est semi-défiie positive : V arθ T Dgθ Dgθ T I θ Si de plus l iformatio de Fisher I θ est semi-défiie positive. est iversible, alors V ar θ T Dgθ I θ Dgθ T Preuve. La première partie du théorème différetiabilité est ue applicatio du Théorème 3.. appliqué à g coordoée par coordoée. Puis, compte-teu de ce résultat, la première matrice est ue matrice de variace V arθ T Dgθ Dgθ T Pour la deuxième, le résultat viet de : I θ = V ar θ [ Ṫ l θ V ar θ T Dgθ I θ Dgθ T = I m Dgθ I θ V ar θ T Dgθ Dgθ T ] I θ I θ I m Dgθ T. 33

34 3 Théorie de la vraisemblace Que se passe-t-il quad o dispose d u -échatillo? Théorème O suppose le modèle {P θ = p θ µ, θ Θ} d.m.q. e θ de score l θ et d iformatio de Fisher I θ. Alors pour tout N, le modèle {P θ, θ Θ} est d.m.q. e θ de score l θ, x,..., x = l θ x i et d iformatio de Fisher I θ. Corollaire 3... Si de plus T : R d R est mesurable et tel que il existe u voisiage A de θ tel que P θ T X,..., X < +, sup θ A si o pose gθ = P θ T, alors E θ [ T gθ ] ġ T θ I θ ġ θ. Preuve. A faire e exercice!!! Et à compléter par le résultat multidimesioel!!! 3. L estimateur du maximum de vraisemblace O s itéresse à l estimateur du maximum de vraisemblace et à so asymptotique. O va commecer par motrer u développemet de la log-vraisemblace sous la seule hypothèse de différetiabilité e moyee quadratique. O ote l θ la log-vraisemblace : l θ = log p θ X i. Théorème 3... Si le modèle est d.m.q. e θ, alors pour toute suite h de R k covergeat vers u h R k : l θ + h l θ = G h T lθ ht I θ h + o Pθ. Preuve. Posos pour tout et tout i =,..., : p θ + h X i W,i = p θ X i de sorte que l θ + h l θ = log + W,i. 34

35 3. L estimateur du maximum de vraisemblace Taylor doe : log + u = u u + u Ru où Ru ted vers quad u ted vers. Du coup l θ + h l θ = W,i W,i + W 4,iRW,i. O va motrer et W,i = G h T lθ 4 ht I θ h + o Pθ, ce qui suffit à prouver le théorème. Motros 3.3. E θ W,i = p θ + h pθ dµ = Mais das L µ par d.m.q. W,i = 4 ht I θ h + o Pθ 3.4 W,iRW,i = o Pθ 3.5 pθ + h = p θ + ht lθ pθ + o. p θ + h p θ dµ. Doc p θ + h p θ dµ ted vers ht lθ pθ dµ, soit 4 ht I θ h. Par ailleurs, V ar θ W,i G h [ W,i ] T lθ E θ h T lθ X i = 4 pθ + h p θ ht lθ pθ dµ = o, et o déduit facilemet 3.3. Motros maiteat 3.4. Puisque W,i h T lθ X i ted vers das L P θ, o peut écrire W,i = h T lθ X i + A,i où pour i =,..., sot i.i.d. tels que E θ A,i ted vers quad ted vers l ifii, et doc W,i = h T lθ X i + A,i = 4 ht I θ h + o Pθ + 4 A,i = 4 ht I θ h + o Pθ 35

36 3 Théorie de la vraisemblace par la LGN, puis la covergece vers das L P θ de A,i. Motros efi 3.5. O a W,iRW,i max RW,i W,i = O Pθ max RW,i. i i Motros doc que max i RW,i = o Pθ. Comme Ru ted vers quad u ted vers, pour tout ɛ >, il existe δ > tel que si Ru ɛ, alors u δ. Puis P θ max RW,i ɛ i P θ W,i δ ted vers quad ted vers l ifii. = P θ h T lθ X + A, δ P θ h T δ lθ X + P θ A, δ [ ] δ E θ h T lθ X h T lθ X + δ δ E θ A, O peut maiteat obteir le théorème asymptotique de l e.m.v. estimateur du maximum de vraisemblace. Théorème 3... O suppose que θ vérifie l θ sup θ l θ o Pθ. O suppose qu il existe u voisiage A de θ tel que :. θ p θ x est D sur A. θ I θ est bie défiie et cotiue sur A, 3. Il existe H L P θ tel que pour tous θ, θ A, 4. I θ est iversible 5. θ coverge e P θ -probabilité vers θ. log p θ x log p θ x θ θ Hx, Alors θ θ = I θ G lθ + o Pθ. E particulier, θ θ coverge e loi vers N k, I θ. Remarque. Si Θ est compact et si l hypothèse 3. vaut sur Θ et pas seulemet sur A, alors θ coverge e P θ -probabilité vers θ exercice : le démotrer!. Preuve. O va vérifier les hypothèses du Théorème.3.6. O a bie, comme remarqué lors de la Propositio 3.., que θ log p θ x est D sur A pour µ-presque tout x, et so gradiet e θ est l θ. Il reste à motrer que θ P θ log p θ est D e θ de hessiee 36

37 3. L estimateur du maximum de vraisemblace I θ. Par la Propositio 3.., le modèle est d.m.q. e θ, et doc, par le Théorème 3.., pour toute suite h de R k covergeat vers u h R k : G log p θ + h log p θ h T lθ +P θ log p θ + h log p θ = ht I θ h+o Pθ. O va motrer que G log p θ + h log p θ h T lθ = o Pθ, ce qui doera que : pour toute suite h de R k covergeat vers u h R k, P θ log p θ + h log p θ = ht I θ h + o, ce qui est suffisat pour obteir le résultat souhaité. O a [ ] V ar θ G log p θ + h log p θ h T lθ = log p θ + h log p θ h T lθ dµ. log p θ + h log p θ h T lθ ted vers µ-presque partout, et est domiée pour assez grad par h H + l θ doc par covergece domiée [ ] V ar θ G log p θ + h log p θ h T lθ = o. Questios : L e.m.v. est il optimal, et e quel ses? Si T est u estimateur de θ basé sur X,..., X, la variace asymptotique de T θ est-elle toujours miorée par I θ? La loi gaussiee cetrée de variace I θ est-elle optimale comme limite e loi de T θ et e quel ses? Cotre-exemple de Hodge : Cosidéros la situatio où P θ = N θ,. L iformatio de Fisher e tout θ est I θ =, l e.m.v. est T = X i. Soit maiteat { T si T S = /4 si T < /4. Si θ, alors S θ coverge e loi vers N,, et si θ =, S θ coverge e probabilité vers, et même, pour toute suite r tedat vers l ifii, r S θ coverge e probabilité vers exercice : le démotrer!. Au ses de la covergece e loi regardée poctuellemet θ par θ, S est meilleur que T, e ayat privilégié arbitrairemet ue valeur la valeur. Par cotre, si o regarde le risque quadratique au voisiage de, [ E h S h ] + h exercice : le démotrer! peut être arbitrairemet grad! 37

38 3 Théorie de la vraisemblace 3.3 Estimateurs efficaces au ses du risque asymptotique quadratique local Pour miorer u risque maximum, o utilise classiquemet que le risque maximum est plus grad que le risque bayésie. O itroduit ue probabilité sur A Θ de desité q par rapport à Lebesgue, et si T est u estimateur de gθ, o a toujours sup E θ [T gθ ] E θ [T gθ ] qθdθ. θ A 3.3. Iégalité de va Trees O va commecer par le cas où Θ est u itervalle a, b de R et g : Θ R. A Théorème 3.3. Iégalité de va Trees. O suppose que le modèle {p θ µ, θ Θ} est d.m.q. e tout θ, et que θ p θ x est C pour tout x. O suppose que q est dérivable sur [a, b], ulle au bord de Θ, et o ote q θ Jq = dθ. qθ Θ O suppose e outre que g est C sur [a, b] et telle que Θ g θ qθdθ < +. Alors si T est u estimateur : Θ E θ [T gθ ] qθdθ g θqθdθ Θ I θqθdθ + Jq. Θ Preuve. La preuve est simple : Fubii, itégratio par parties, et Cauchy-Schwarz. Tout d abord, il y a rie à démotrer si Θ I θqθdθ = + ou Jq = + ou [ T gθ ] qθdθ = +. Puis Θ E θ g θqθdθ = g θqθp θ xdµxdθ { = [gθ T x qθp θ x] θ=b θ=a gθ T x d } dθ qθp θx dθ dµx = gθ T x q θp θ x + qθ p θ x dθdµx q θ = gθ T x qθ + p θx p θ dµxqθdθ. p θ x Puis par Cauchy-Schwarz das L p θ dµxqθdθ : g θqθdθ gθ T x q θ p θ dµxqθdθ qθ + p θx p θ dµxqθdθ p θ x = E θ [T gθ ] [ ] qθdθ I θ qθdθ + Jq. Θ Θ 38