Statistiques Asymptotiques- Notes de cours - M2. Elisabeth Gassiat

Statistiques Asymptotiques- Notes de cours - M Elisabeth Gassiat

Table des matières Itroductio 5 Des méthodes d estimatio 7. Outils probabilistes............................... 7. Estimateurs de type momets......................... 8.3 M- et Z- estimateurs.............................. 9.3. Défiitios................................3. Cosistace................................3.3 Normalité asymptotique........................ 4.4 Exercices.................................... 3 Théorie de la vraisemblace 9 3. Modèles différetiables e moyee quadratique et iégalité de Cramer-Rao 9 3. L estimateur du maximum de vraisemblace................. 34 3.3 Estimateurs efficaces au ses du risque asymptotique quadratique local.. 38 3.3. Iégalité de va Trees......................... 38 3.3. Estimateurs localemet asymptotiquemet miimax........ 4 3.4 Estimateurs réguliers et efficaces au ses du théorème de covolutio... 4 3.4. Estimateurs réguliers et théorème de covolutio.......... 4 3.4. Cotiguïté................................ 43 3.4.3 Applicatio aux modèles d.m.q..................... 44 3.5 Exercices.................................... 46 4 Estimatio semi-paramétrique 5 4. Esembles tagets et foctios d ifluece................. 5 4. Efficacité.................................... 53 4.3 Modèles semi-paramétriques.......................... 57 4.4 Exercices.................................... 59 5 Estimatio o paramétrique 63 5. Itroductio et exemples............................ 63 5.. Régressogramme............................ 63 5.. Méthode empirique. Estimateur à oyau............... 64 5..3 Projectio................................ 65 5..4 Questios................................ 66 5. Des résultats de covergece uiverselle................... 66 5.. Risque quadratique........................... 67 3

5.. Risque poctuel............................ 69 5..3 Risque uiforme............................ 69 5.3 Vitesse de covergece sur des classes de Holder.............. 7 5.4 Mioratio de risques miimax........................ 73 5.4. Pricipes gééraux de réductio................... 73 5.4. Mioratio du risque poctuel.................... 76 5.4.3 Mioratio du risque quadratique.................. 77 5.4.4 Mioratio de risque uiforme.................... 8 5.5 Estimatio adaptative............................. 8 5.5. Mioratio risque poctuel..................... 8 5.5. Estimatio adaptative par la méthode de Lepski risque poctuel 84 5.6 Risques miimax et Régios de cofiace.................. 85 5.7 Exercices.................................... 89 6 Estimatio Bayésiee 99 6. Gééralités................................... 99 6. Estimatio bayésiee paramétrique..................... 6.. Cosistace............................... 6.. Théorème de Berstei-vo Mises.................. 3 6..3 Coséqueces du Théorème de Berstei-vo Mises........ 7 6.3 Estimatio bayésiee o paramétrique................... 9 6.3. Régressio................................ 9 6.3. Estimatio de desité......................... 5 6.4 Exercices.................................... 7 Sujets 3 7. Partiel de Novembre........................... 3 7. Partiel de Novembre........................... 4 7.3 Exame Javier.............................. 7 7.4 Exame Javier 3.............................. 3

Itroductio E probabilité, o s itéresse au comportemet, à l évolutio, d u processus aléatoire, dot o coait a priori la loi ou u modèle permettat de coaitre sa loi. E statistique, o cosidère doé ou observé u processus, ou ue variable aléatoire, que l o appelle alors observatio, et l o cherche à e déduire quelque chose de sa loi. O cosidèrera das ce cours que l observatio est costituée de X,..., X, où X est ue suite de variables aléatoires de loi P. Il faut idiquer das quel espace X les variables aléatoires X i preet leurs valeurs, et de quelle tribu est mui X. L espace X N est alors mui de la tribu cylidrique. Souvet, o se placera das la situatio où les X i sot des variables aléatoires idépedates et de même loi P, auquel cas P = P N, et P est la loi de l observatio. O fait ue hypothèse de modélisatio, sous la forme P P, où P est u esemble de lois de probabilité sur X, et o cherche alors à estimer ue quatité ψp, par u estimateur T qui est ue variable aléatoire foctio mesurable de X,..., X. E statistique asymptotique, o s itéresse aux propriétés lorsque ted vers l ifii : cosistace des estimateurs, covergece e loi pour la costructio de régios de cofiace, risque et limitatios itrisèques. Cela dépedra : du modèle choisi P et de ce que l o cherche à estimer ψp. Lorsque P peut être paramétré sous la forme P = {P θ, θ Θ} où Θ R k est de dimesio fiie, o parle de modèle paramétrique. Lorsque ce est pas le cas, o parle de modèle o paramétrique. Pour u modèle paramétrique, la vitesse typique d estimatio est. O étudiera aussi ce que l o appellera l estimatio semi-paramétrique, où le modèle est o paramétrique mais où ce que l o cherche à estimer est de dimesio fiie. Référeces bibliographiques. Aad va der Vaart : Asymptotic Statistics Cambridge Uiversity Press, 998. Alexadre Tsybakov : Itroductio à l estimatio o paramétrique Spriger, collectio Mathématiques et Applicatios, 4. J.K Ghosh et R.V. Ramamoorthi : Bayesia Noparametrics Spriger, 3. 5

Des méthodes d estimatio. Outils probabilistes O aura besoi des otios de covergece et des outils pour prouver des covergece : la covergece e probabilité, et la covergece e loi. Pour toutes ces covergeces, quad ce sera écessaire, o otera sous quelle loi elle a lieu. Quad ce e sera pas précisé, la covergece sera quad ted vers l ifii. Rappelos otios et critères pour ue suite T de variables aléatoires à valeurs das R d. O dit que T coverge e probabilité vers la variable aléatoire T si et seulemet si ɛ >, lim P T T ɛ =. + O dit que T coverge e loi vers la variable aléatoire T si et seulemet si pour toute foctio f cotiue borée de R d das R, lim E [ft ] = E [ft ]. + Les critères suivats sot équivalets : T coverge e loi vers T ; Pour toute foctio réelle cotiue positive f, lim if + E[fT ] E[fT ] ; 3 La foctio caractéristique de T coverge poctuellemet vers celle de T ; 4 Pour tout esemble mesurable B tel que P T B = B désige la frotière de B i.e. sa fermeture mois so itérieur, lim + P T B = P T B. 4bis si il s agit de variables aléatoires réelles La foctio de répartitio de T coverge vers la foctio de répartitio F de T e tout poit de cotiuité de F ; 5 Pour tout esemble ouvert A, lim if + P T A P T A. 6 Pour tout esemble fermé F, lim sup + P T F P T F. Comme la covergece e loi e cocere que les lois, si T est de loi L, o dira aussi par abus de lagage T coverge e loi vers L. Pour ue suite T de variables aléatoires à valeurs das R d, o ote T = o P si T ted e probabilité vers, et o ote T = O P si T est ue suite tedue, c est à dire si : ɛ >, K :, P T K ɛ. Si T est ue suite tedue de variables aléatoires à valeurs das R d, alors o peut e extraire ue suite qui coverge e loi, et si il y a ue seule loi limite possible, alors 7

Des méthodes d estimatio T coverge e loi. Loi des grads ombres LGN : si Z est ue suite de variable aléatoires idépedates et de même loi o dira i.i.d. admettat u momet d ordre, c est à dire telles que E Z < +, alors Z i coverge e probabilité et presque sûremet, ce que l o otera p.s. vers EZ. O otera souvet Z la moyee empirique Z i. Théorème de limite cetrale TLC : si Z est ue suite de variable aléatoires i.i.d. admettat u momet d ordre, c est à dire telles que E Z < +, alors Z EZ coverge e loi vers U de loi N d, V où V est la matrice de variace de Z, c est à dire la matrice d d doée par V i,j = CovZ i, Z j, i, j =,..., d. O dira par abus de lagage que Z EZ coverge e loi vers N d, V bie que l objet limite est pas de même ature que les élémets de la suite, et car la covergece e loi e cocere que les lois. Théorème de l image cotiue : Soit T ue suite de variables aléatoires à valeurs das R d et f ue foctio cotiue de R d das R m. Si T coverge e probabilité vers la variable aléatoire T, alors ft coverge e probabilité vers ft. Si T coverge e loi vers la variable aléatoire T, alors ft coverge e loi vers ft. Lemme de Slutsky : Soit T ue suite de variables aléatoires à valeurs das R d qui coverge e loi vers la variable aléatoire T, soit V ue suite de variables aléatoires à valeurs das R m qui coverge e loi vers la costate a R m, alors V coverge e probabilité vers a et T, V coverge e loi vers T, a. Méthode delta : Soiet T ue suite de variables aléatoires à valeurs das R d, r ue suite de réels qui ted vers l ifii, a R d et g ue foctio de R d das R m différetiable e a. O suppose que r T a coverge e loi vers Z. Alors r gt ga coverge e loi vers Dga.Z, où Dga est la matrice m d telle que Dga i,j = g i t j a.. Estimateurs de type momets O cosidère ue suite X de variables aléatoires i.i.d. de loi P à valeurs das R d, et f : R d R m ue foctio mesurable. O ote P f = f X i. Par la LGN, P f est u estimateur cosistat de E[fX ], et P f E[fX ] coverge e loi vers N m, V par le TCL, où V est la matrice de variace de fx, ce qui permet de costruire des régios de cofiace asymptotiques. 8

.3 M- et Z- estimateurs O choisit le modèle P = {P θ, θ Θ} avec Θ R k, o suppose que P P, doc qu il existe θ Θ tel que P = P θ. Il s agit alors d estimer θ. Si l o peut trouver f : R d R k et g : R k R k iversible telle que θ Θ, g θ = fxdp θ x := P θ f := E θ fx o peut choisir l estimateur θ = g P f lorsque P f gθ, et u poit fixé T de Θ sio. Théorème... O suppose θ das l itérieur de Θ, que g est de classe C e θ, que Dgθ est iversible, et que E θ [ fx ] < +. Alors θ est u estimateur cosistat de θ et θ θ coverge e loi sous P θ vers N k, Dgθ V ar θ [fx][dgθ ] T. Remarque. O a pas besoi de l iversibilité de g, seulemet de so iversibilité locale. Ceci dit, comme θ est icou... Preuve. Comme Dgθ est ue matrice iversible, il existe u voisiage V de θ tel que g est iversible sur gv voisiage de gθ. Si l o ote E l évéemet P f gv, alors θ θ = g P f θ E + θ θ E C. Remarquos que par la LGN, E C = o P écrire pourquoi, où P = P N θ est la loi de X sous P θ, et que θ θ E C = o P écrire pourquoi. Puis par la méthode delta, g P f θ E coverge e loi sous P θ vers N k, Dgθ V ar θ [fx]dgθ, et o termie par Slutzky écrire le détail. Précisos pour la méthode delta : comme Dgθ est iversible, g est différetiable e gθ, de matrice de dérivée Dgθ, doc θ θ = { Dgθ P f P θ f + o P P f P θ f } E + θ θ E C.3 M- et Z- estimateurs = { Dgθ P f P θ f + o P P f P θ f } E + θ θ E C. D autres idées d estimatio : par moidres carrés, par maximum de vraisemblace. Cela cosiste à choisir comme estimateur u miimisat ou maximisat approximatif d ue foctio réelle costruite à partir des doées. O peut du coup par exemple e cosidérat le gradiet das la méthode par optimisatio choisir l estimateur comme aulat approximativemet ue foctio à valeurs das R k par exemple. 9

Des méthodes d estimatio O cosidère ue suite X de variables aléatoires i.i.d. de loi P à valeurs das R d, et o veut estimer ψp = θ Θ. O e précise pas pour l istat Θ, seulemet qu il est iclus das u esemble métrique mui d ue distace d,..3. Défiitios M-estimateur : soit, pour tout θ Θ, m θ : R d R ue foctio réelle. Soit M : Θ R telle que pour tout θ Θ, M θ = m θ X i. Soit u ue suite de réels positifs qui ted vers, cette suite sert pour défiir u maximum approximatif. Le M-estimateur θ vérifie : M θ sup M θ u. θ Θ Z-estimateur : soit, pour tout θ Θ, φ θ : R d R k. Soit Z : Θ R k telle que pour tout θ Θ, Z θ = φ θ X i. Soit u ue suite de réels positifs qui ted vers, cette suite sert pour défiir u zéro approximatif. Le Z-estimateur θ vérifie : Z θ if θ Θ Z θ + u. Exemples : Estimateurs de type momet : φ θ x = fx gθ. Maximum de vraisemblace : o choisit le modèle P = {P θ, θ Θ} que l o suppose domié, c est à dire qu il existe ue mesure µ sur R d tel que pour tout θ Θ, il existe ue foctio mesurable réelle f θ telle que dp θ x = f θ xdµx. L estimateur du maximum de vraisemblace e.m.v. maximise M où m θ = log f θ. Si log f θ x est C sur Θ pour tout x, l e.m.v. est u Z-estimateur e preat φ θ le gradiet de log f θ. Médiae, et plus gééralemet p-quatile : ici Θ = R, et φ θ x = p x<θ p x>θ..3. Cosistace O suppose que pour tout θ Θ, m θ L P. Par la LGN, si o défiit M : Θ R telle que pour tout θ Θ, M θ = P m θ, o a que pour tout θ Θ, M θ = M θ + o P. Du coup, la méthode d estimatio est boe si e effet θ maximise M sur Θ. Pour que cela permette d obteir la cosistace du M-estimateur, il faut u peu plus : Théorème.3.. O suppose : sup θ Θ M θ M θ = o P, Pour tout ɛ >, sup θ Θ:dθ,θ ɛ M θ < M θ. 3 M θ sup θ Θ M θ u où u ted vers. Alors θ est cosistat, c est à dire que d θ, θ = o P.

.3 M- et Z- estimateurs Preuve. Soit ɛ > quelcoque. Notos δɛ = M θ sup θ Θ:dθ,θ ɛ M θ. D après l hypothèse, δɛ >. O a maiteat : P d θ, θ ɛ P sup M θ M θ u = P θ Θ:dθ,θ ɛ sup θ Θ:dθ,θ ɛ M θ sup θ Θ:dθ,θ ɛ P sup M θ M θ δɛ u θ Θ P sup M θ M θ δɛ θ Θ 4 M θ M θ M θ + δɛ u pour assez grad tel que u δɛ/, et qui ted doc vers par. O suppose que pour tout θ Θ, φ θ L P. Par la LGN, si o défiit Z : Θ R telle que pour tout θ Θ, Z θ = P φ θ, o a que pour tout θ Θ, Z θ = Z θ+o P. Du coup, la méthode d estimatio est boe si e effet θ est u zéro de Z sur Θ. Pour que cela permette d obteir la cosistace du Z-estimateur, il faut u peu plus : Théorème.3.. O suppose : sup θ Θ Z θ Z θ = o P, Pour tout ɛ >, if θ Θ:dθ,θ ɛ Z θ > = Z θ. 3 Z θ if θ Θ Z θ + u où u ted vers. Alors θ est cosistat, c est à dire que d θ, θ = o P. Preuve. O applique le théorème de cosistace précédet e posat Mθ = Z θ et e remarquat que la preuve utilise pas la forme particulière de moyee empirique de M. Exemple : la médiae empirique. Ici, Θ = R, φ θ x = x<θ x>θ. Pour motrer la cosistace, il s agit alors de motrer que X i <θ X i >θ coverge uiformémet e θ e probabilité vers P X < θ P X > θ. Questio : O a besoi de covergece uiforme. Commet obteir ce gere de résultat? U outil : l etropie à crochet. Soiet l et u deux foctios mesurables de R d das R telles que pour tout x, lx ux. O appelle crochet [l, u] l esemble des foctios f : R d R telles que pour tout x R d, lx fx ux. Soit F u esemble de foctios réelles mesurables de R d das R iclus das L p P, < p +. Pour tout ɛ >, o ote N [] F, L p P, ɛ le ombre miimal de crochets de taille ɛ écessaires pour recouvrir F. C est à dire : si N N et [l, u ],..., [l N, u N ] sot des crochets tels que u i l i L p P ɛ et F N [l i, u i ],

Des méthodes d estimatio alors N [] F, L p P, ɛ N. O dit que F est P -Gliveko-Catelli si F L P, et sup f F fx i E P fx = o P. Propositio.3.. Soit F L P. O suppose que pour tout ɛ >, N [] F, L P, ɛ < +. Alors F est P -Gliveko-Catelli. Preuve. Soit ɛ >, et [l, u ],..., [l N, u N ] des crochets tels que u i l i L P ɛ et F N [l i, u i ]. Pour tout f F, il existe j tel que pour tout x R d, l j x fx u j x. O a doc l j X i f X i u j X i, et E P l j X E P fx E P u j X. Comme E P u j X E P l j X ɛ, o obtiet l j X i E P l j X ɛ f X i E P fx u j X i E P u j X + ɛ, et doc { f X i E P fx max l j X i E P l j X ; } u j X i E P u j X +ɛ. Du coup, sup f F f X i E P fx { max max l j X i E j=,...,n P l j X ; } u j X i E P u j X + ɛ. Mais par la LGN, pour tout j =,..., N, l j X i E P l j X = o P et u j X i E P u j X = o P, doc exercice : le démotrer { } max max l j=,...,n j X i E P l j X ; u j X i E P u j X = o P Doc P sup f F P f X i E P fx ɛ { l j X i E P l j X ; max max j=,...,n } u j X i E P u j X ɛ,

.3 M- et Z- estimateurs et doc pour tout ɛ >, lim P + sup f F f X i E P fx ɛ =. Voici u exemple simple d applicatio de ce résultat. Propositio.3.. Soit F = {f θ, θ Θ}, où les f θ sot des foctios de R d das R. O suppose que Θ est ue partie compacte d u espace métrique, Pour tout x, θ f θ x est cotiue, sup θ Θ f θ L P. Alors F est P -Gliveko-Catelli. Preuve. O motre que pour tout ɛ >, N [] F, L P, ɛ < +. et o utilise la propositio précédete. Soit doc ɛ >. Soit θ Θ, et soit B ue suite décroissate de boules ouvertes d itersectio {θ} par exemple, cetrées e θ et de rayo /. Pour tout et tout x, o ote l x = if s B f s x et ũ x = sup s B f s x. Ce sot des foctios mesurables telles que si ted vers l ifii, l x et ũ x tedet vers f θ x par cotiuité, doc telles que ũ x l x ted vers pour tout x. De plus, ũ l sup f θ L P, θ Θ doc par covergece domiée, ũ l dp ted vers quad ted vers l ifii. Doc il existe tel que ũ l dp ɛ. Autremet dit, pour tout θ Θ, il existe ue boule ouverte B θ coteat θ telle que sup s Bθ f s if s Bθ f s dp ɛ. Maiteat, θ Θ B θ est u recouvremet de Θ par des ouverts dot, par compacité, o peut extraire u recouvremet fii B θ... B θn. O ote l i = if s Bθi f s et u i = sup s Bθi f s, i =,..., N, et pour tout θ Θ, il existe i tel que θ B θi, et f θ [l i, u i ]. Lorsque l o a ue régularité plus grade que la cotiuité, o sait évaluer N [] F, L p P, ɛ. Propositio.3.3. Soit F = {f θ, θ Θ} L p P, où les f θ sot des foctios de R d das R. O suppose que Θ est ue partie borée de R k, et qu il existe α > et h L p P tels que pour tous θ et θ das Θ, tout x R d, f θ x f θ x θ θ α h x. Alors, il existe C k qui e déped que de k telle que /α k N [] F, L p h L P, ɛ C k diamθ p P, ɛ où diamθ est le diamètre de Θ. 3

Des méthodes d estimatio Preuve. Si θ est das la boule cetrée e θ et de rayo δ, alors m θ est das le crochet [l, u] de taille ɛ avec l = f θ δ α h, u = f θ + δ α h, et ɛ = h L p P δ α. O obtiet doc u recouvremet de F par des crochets de taille ɛ à partir d u recouvremet de Θ par des boules de taille δ = ɛ/ h L p P /α. Mais le ombre miimal N écessaire pour recouvrir Θ par des boules de rayo δ vérifie diamθ k N C k, δ et le résultat s e suit. Tout ceci e ous permet pas de traiter la questio de la médiae, car les foctios θ x<θ e sot pas cotiues. O va évaluer directemet le ombre de crochets. Propositio.3.4. Soit F = { x<θ, θ R}. Soit P ue probabilité sur R. Alors pour tout p > et ɛ, N [] F, L p P, ɛ ɛ p Preuve. Soiet t <... < t k des réels. Alors, si θ ]t i, t i+ ] pour u i =,..., k, alors x<θ [ x ti, x<ti+ ], si θ t, x<θ [, x<t ] et si θ > t k, alors x<θ [ x tk, ], ce qui ous fait k + crochets. Ils sot de taille x<ti+ x ti p L p P = P t i < X < t i+, x<t p L p P = P X < t, x tk p L p P = P t k < X. O choisit les t i de faço que ces quatités soiet iférieures ou égales à ɛ p. Ce qui est possible avec k etier tel que k + /ɛ p. Il est clair que le résultat est aalogue pour F = { x>θ, θ R}, et doc que pour F = { x<θ x>θ, θ R}, o a N [] F, L p P, ɛ p /ɛ p + pour ɛ. Maximum de vraisemblace : O suppose que P = {P θ, θ Θ} avec Θ compact das u espace métrique, que le modèle est domié et idetifiable. O suppose que si p θ est la desité de P θ par rapport à la mesure domiate, pour tout x >, pour tout θ, p θ x >, θ p θ x est cotiue, et sup θ Θ log p θ L P θ. Alors l e.m.v. est cosistat e θ le démotrer!..3.3 Normalité asymptotique O cosidère X ue suite de variables aléatoires i.i.d. de loi P, Θ R k, et Z θ = P φ θ. O cosidère le Z-estimateur θ, que l o suppose cosistat covergeat e probabilité vers θ, et l o veut compredre si et commet obteir ue loi asymptotique du gere θ θ coverge e loi vers ue gaussiee, comme o a obteu pour les estimateurs de type momet qui sot des cas particuliers de Z-estimateurs. O peut écrire Taylor : ] Z θ = Z θ + D Z [θ + t θ θ θ θ dt. 4

.3 M- et Z- estimateurs Ici D désige l opérateur différetiel, et D Z est la matrice k k dot chaque coloe costitue les dérivées de Z par rapport à ue coordoée de θ. Avec la même otatio o a pour tout θ D Z θ = D φ θ X i. Comme P φ θ =, si de plus P φ θ < +, alors par le TLC, Z θ coverge e loi vers N k, P φθ φ T θ, et o peut écrire [ ] ] D Z [θ + t θ θ dt θ θ = Z θ + Z θ. Si θ coverge e probabilité vers θ, o se dit que pour tout t, θ + t θ θ est proche de [ θ, et comme par la LGN, D Z θ coverge e probabilité vers P D φ θ, o ] ] se dit que D Z [θ + t θ θ dt doit coverger e probabilité vers P D φ θ. Si c est le cas, et si cette limite est ue matrice iversible, si e plus Z θ = o P, o pourra par Slutzky obteir la coverge e loi de θ θ. [ ] ] Pour obteir que D Z [θ + t θ θ dt coverge e probabilité vers P D φ θ, o peut supposer le démotrer e exercice qu il existe u voisiage A de θ tel que Pour tout x, θ φ θ x est C sur A, Il existe h L P telle que pour tout x, sup θ A D φ θ x hx. Mais avec ce résultat, o e peut obteir la covergece e loi de la médiae empirique : θ x<θ x>θ est pas dérivable pour tout x. O peut faire mieux! Outils de processus empirique. Pour f L P, o ote G f = fx i P f. Du coup, P f = P f + G f, et c est ue faço de décomposer ue somme ou moyee e la partie biais et la partie variace qui est cetrée. Si f L P, par le TLC, G f coverge e loi vers ue gaussiee. Si o suppose que θ vérifie le Théorème.3. avec u << /, o a Z θ = o P, et cela se réécrit avec ces otatios e o P = P φ θ = G φ θ + P φ θ. Noter que P φ θ = φ θ xdp x est ue variable aléatoire, et c est à elle que l o veut appliquer Taylor, et comme o a vu des lois des grads ombres uiformes, o aimerait 5

Des méthodes d estimatio avoir des TLC uiformes pour traiter G φ θ. L outil que l o utilisera das ce cours est l iégalité maximale suivate : Théorème.3.3. Soit F L P, o suppose que F admet ue foctio eveloppe de carré itégrable, c est à dire qu il existe F L P telle que f F, fx F x pour P -presque tout x. Alors E [sup G f f F pour ue costate uiverselle C IM. ] C IM F L P log N [] F, L P, udu. La petite étoile sigifie qu il peut y avoir des problèmes de mesurabilité, mais o pred alors la mesure extérieure. O e s e iquiètera pas. Noter que l espérace du sup N EST PAS le sup des espéraces. Reveos à otre problème de ormalité asymptotique des Z-estimateurs. O a : Théorème.3.4. O suppose que θ est u estimateur cosistat de θ, que P φ θ =, P = o φ θ P et P φ θ < +. O suppose e outre qu il existe u voisiage A de θ tel que : θ P φ θ est D sur A, et D P φ θ, otée V, est iversible, e otat pour tout j =,..., k, F j = {φ j,θ, θ A}, log N [] F j, L P, u est itégrable e, sup θ θ δ φ θ φ θ dp ted vers quad δ ted vers. Alors θ θ = V G φ θ + o P, et θ θ coverge e loi vers N k ; V P [φ θ φ T θ ]V T. Preuve. O écrit Taylor pour la foctio θ P φ θ au voisiage de θ : Comme θ θ = o P, o e déduit P φ θ = P φ θ + V θ θ + o θ θ. P φ θ = P φ θ + V θ θ + o P θ θ, et o a doc Mais G + V + o φ θ P θ θ = o P. G φ θ = G φ θ + G G φ θ φ θ, 6

.3 M- et Z- estimateurs doc si l o motre que o aura G φ θ G φ θ = o P,. V G φ θ + I k + o P θ θ = o P ce qui permet de coclure par Slutzky. Motros doc.. Pour tous α > et δ >, pour toute coordoée j, P G φ j, θ G φ j,θ α P θ θ δ + P sup G f α f F δ e otat F δ = {φ j,θ φ j,θ, θ θ δ}. Pour δ assez petit, F δ F j φ j,θ, doc N [] F δ, L P, u N [] F j, L P, u. Aussi, F δ = sup θ θ δ φ j,θ φ j,θ est ue foctio eveloppe de F δ. Par Markov et e utilisat l iégalité maximale, P sup G f α f F C IM α Fδ L P log N [] F δ, L P, udu C α Fδ L P log N [] F j, L P, udu, doc pour tout δ > assez petit, lim sup P G φ j, θ G φ j,θ α C Fδ IM L P log N + α [] F j, L P, udu et l o coclut par le fait que par hypothèse F δ L P ted vers quad δ ted vers et l itégrabilité de log N [] F j, L P, u e. Applicatio à la médiae. Si la loi P a ue desité f positive, P φ θ = P X < θ P X > θ est dérivable de dérivée fθ. O suppose que cette desité est strictemet positive. O a P φ θ =, et o a déjà vu que N [] F j, L P, u 4/u, doc log N [] F j, L P, u est itégrable e. De plus sup φ θ φ θ dp P θ δ X θ + δ θ θ δ qui ted vers quad δ ted vers car desité, doc θ θ = fθ G φ θ + o P, et θ θ coverge e loi vers N, /4f θ. O s itéresse maiteat aux M-estimateurs. Si o veut leur appliquer le résultat des Z-estimateurs, o doit supposer que le maximisat est u zéro du gradiet, et supposer, 7

Des méthodes d estimatio doc que le gradiet existe, soit que θ m θ x est dérivable pour tout x. E fait, o va obteir mieux, e aalysat ecore selo biais/variace. O décompose P m θ = P m θ + G m θ. E fait, e supposat le biais P m θ P m θ d ordre polyomial α et la partie fluctuatios G m θ G m θ d ordre polyomial β, o peut obteir ue vitesse de covergece /α β. Ceci vaut e gééral, pas forcémet e situatio paramétrique : l esemble des θ est pas supposé de dimesio fiie, il est supposé métrique, mui d ue distace d. La preuve du théorème qui suit utilise la techique classique de découpage e rodelles peelig. Théorème.3.5. O suppose qu il existe C >, α > β >, δ > tels que, pour tout et tout δ δ : sup P m θ P m θ Cδ α δ dθ,θ δ et E sup dθ,θ δ G m θ G m θ Cδ β. O suppose que θ coverge e probabilité vers θ, et vérifie P sup P m θ m θ O P α/α β. θ Alors /α β d θ, θ = O P. Preuve. Posos v = /α β, et otos R = P m θ P m θ, o a R O P v α. Soit M quelcoque fixé, et otos j tel que j δ v et j+ > δ v. Notos Soit K > quelcoque. O a S j, = {θ : j v d θ, θ < j+ }. P v d θ, θ M P d θ, θ δ + P vr α K + j j=m Mais si θ S j,, R sup θ Sj, P m θ P m θ, doc P θ S j, et vr α K. P θ S j, et vr α K P sup P m θ P m θ K θ S j, v α. 8

.3 M- et Z- estimateurs Maiteat o écrit sup θ S j, P m θ P m θ sup θ S j, P m θ P m θ + de sorte que P θ S j, et vr α K P C jα v α sup θ S j, G m θ G m θ + sup G m θ G m θ θ S j, sup G m θ G m θ C jα K θ S j, v α et pour M tel que Mα K Mα, o a P θ S j, et vr α K P sup G m θ G m θ C jα θ S j, v α. O récapitule et o utilise l iégalité de Markov pour obteir : P v d θ, θ M P d θ, θ δ + P vr α K + j j=m v α j β. C jα v Or v α j β jβ α vα β = C jα v C = jβ α C sommable car β α <. O peut doc redre P v d θ, θ M petit e choisissat M assez grad et assez grad et K assez grad. Précisémet : pour tout ɛ >, il existe K tel que P v α R K ɛ/3, et M tel que jβ α C ɛ 3, j M et tel que si, P d θ, θ δ ɛ 3 car θ est cosistat. O a alors pour tout, P v d θ, θ M ɛ. Puis pour j =,...,, il existe M j tel que P v j d θ j, θ M j ɛ, et l o choisit le max de M et des M j pour obteir l iégalité pour tout. E situatio paramétrique, o peut vérifier les hypothèses par Taylor pour la partie biais et l iégalité maximale pour la partie fluctuatios. O obtiet : 9

Des méthodes d estimatio Propositio.3.5. O suppose Θ R k, et qu il existe u voisiage A de θ et ue foctio h L P tels que θ, θ A, m θ m θ h θ θ. O suppose que θ P m θ est maximum e θ, est D e θ, de matrice hessiee D P m θ iversible. O suppose que θ coverge e probabilité vers θ, et vérifie P sup P m θ m θ O P. θ Alors θ θ = O P. Preuve. O va motrer que le Théorème.3.5 s applique avec α = et β =. Par Taylor, P m θ = P m θ + θ θ T D P m θ θ θ + o θ θ car max e θ doc gradiet ul ; aussi comme max e θ, D P m θ θ θ est défiie égative, doc il existe λ > tel que θ θ T D P m θ θ θ λ θ θ λδ si θ θ > δ. O choisit δ tel que si θ θ δ, o θ θ λ θ θ /, et il suffit esuite de predre C < λ/. Soit esuite F δ = {m θ m θ, θ θ < δ}. δh est ue foctio eveloppe de F δ, et N [] Fδ, L P, u C k δ h k L P u doc par l iégalité maximale, pour ue costate D k, E sup dθ,θ <δ δ h L P Dk δ G m θ G m θ C IM k log du u h L P C IM δ k log par chagemet de variable u = δs, et il suffit de choisir C < C IM h L P Dk s ds k log Dk s ds. O obtiet fialemet le théorème de ormalité asymptotique des M-estimateurs : Théorème.3.6. O suppose Θ R k, et qu il existe u voisiage A de θ et ue foctio h L P tels que θ, θ A, m θ m θ h θ θ. O suppose que θ P m θ est maximum e θ, est D e θ, de matrice hessiee V = D P m θ iversible. O suppose que pour P -presque tout x, θ m θ x est D e θ, de gradiet ṁ θ x. O suppose que θ coverge e probabilité vers θ, et vérifie P sup P m θ m θ o P. θ

.4 Exercices Alors θ θ = V G ṁ θ + o P et θ θ coverge e loi vers N k, V P ṁ θ ṁ T θ V. Preuve. Voir exercices.4. et.4.3. O peut appliquer ce théorème à la médiae avec m θ x = x θ voir exercice.4.9..4 Exercices Exercice.4.. Si X N est ue suite de variables aléatoires, o ote o P X pour X o P, et O P X pour X O P. Motrer que o P +o P = o P, o P +O P = O P, O P o P = o P, o P O P = o P. Soit R ue foctio réelle telle que R u = o u p quad u pour u p >, et X = o P. Motrer qu alors R X = o P X p. Si maiteat R u = O u p quad u pour u p >, motrer qu alors R X = O P X p. Exercice.4.. Méthode de stabilisatio de la variace Soit Pθ θ Θ, Θ R, u modèle statistique, et T u estimateur de θ tel que T θ coverge e loi sous Pθ vers N, σ θ. Motrer que si φ est ue primitive de σθ, φt φθ coverge e loi sous Pθ vers N, et e déduire u itervalle de cofiace pour θ de iveau asymptotique α. Applicatio : itervalle de cofiace asymptotique pour le paramètre d ue loi biomiale ; d ue loi de Poisso. Exercice.4.3. Régio de cofiace pour la variace d ue loi Soit X N ue suite de variables aléatoires i.i.d. de loi ayat des momets jusqu à l ordre 4. Soit σ sa variace, et soit S = X i X, X = X i.. Si l o suppose que les X i sot gaussies, proposer u itervalle de cofiace I pour σ de iveau de cofiace égal à α.. Motrer que si Z N est ue suite de variables aléatoires réelles qui coverge e loi vers ue variable Z de foctio de répartitio cotiue, si u ted vers u quad ted vers l ifii, alors P Z u ted vers P Z u. 3. Motrer que S σ coverge e loi vers N, κ+, où κ = E[X EX 4 ] σ 4 3. 4. Si la loi des X i est pas gaussiee, quel est le iveau asymptotique de I?

Des méthodes d estimatio Exercice.4.4. Modèles expoetiels Soit t de X das R k, µ ue mesure positive sur X, h ue foctio réelle positive ou ulle sur X et { } Θ = θ R k : c θ = h x exp [ θ, tx ] dµ x < +. P θ θ Θ telle que P θ dx = p θ xdµx avec p θ x = c θ h x exp [ θ, tx ] est u modèle expoetiel k-dimesioel de statistique exhaustive tx. La foctio c est de classe C sur l itérieur de Θ, et ses dérivées se calculet e dérivat sous le sige. Soit X N ue suite de variables aléatoires i.i.d. de loi P θ, θ das l itérieur de Θ. O suppose que V artx est iversible. Motrer que l estimateur du maximum de vraisemblace θ est u estimateur de type momets tel que θ θ coverge e loi vers ue gaussiee cetrée de variace [V artx ]. Exercice.4.5. Divergece Iformatio de Kullback Soiet P, Q deux mesures de probabilité défiies sur u même espace, et p, q leur desité par rapport à ue mesure domiate µ.. Motrer que pq> log p p q dµ est toujours fiie.. E déduire que l o peut défiir log dp dp si P Q KP, Q = dq + sio et que si P Q, alors KP, Q = pq> p log p dµ p log p dµ. q + pq> q O appelle KP, Q la divergece ou l iformatio de Kullback etre P et Q 3. Vérifier que si P Q alors dp KP, Q = Qφ, dq où φx = x log x + x. E déduire que KP, Q quelles que soiet P et Q, puis que KP, Q = si et seulemet si P = Q.,

.4 Exercices Exercice.4.6. Médiae Soit X N ue suite de variables aléatoires réelles i.i.d. de loi P ayat ue uique médiae θ, doc telle que pour tout ɛ >, P X < θ ɛ < < P X < θ + ɛ. Soit θ vérifiat Xi< θ Xi> θ = o P. E utilisat la mootoie de la foctio X i <θ Xi >θ, motrer que θ est u estimateur cosistat de θ. O suppose que X admet u momet d ordre, et θ maximise M θ = X i θ sur Θ compact coteat θ. Motrer que θ est u estimateur cosistat de θ utiliser le fait que la foctio θ x θ est lipschitziee. Exercice.4.7. U théorème de cosistace Soit X N ue suite de variables aléatoires i.i.d. de loi P. Soit m θ θ Θ des foctios réelles mesurables telles que θ m θ x soit semi-cotiue supérieuremet pour P - presque tout x. O défiit M θ = m θ X i, M θ = m θ x dp x. O suppose que Θ est compact das u espace métrique, et o défiit { } Θ = θ Θ : M θ = sup M u u Θ. Soit θ das Θ, et θ u élémet de Θ tel que M θ M θ +o P par exemple : θ maximise M θ sur Θ. O suppose qu il existe ue foctio h telle que θ Θ, m θ h et h x dp x < +. Motrer que θ coverge e probabilité vers Θ, c est à dire que pour tout ɛ >, lim P d θ, Θ ɛ =. + 3

Des méthodes d estimatio Applicatio : doer des coditios suffisates de cosistace de l estimateur du maximum de vraisemblace. Remarque : o e suppose pas ici le modèle paramétrique. Exercice.4.8. Modèle de cesure Soiet T et C deux variables aléatoires réelles idépedates de foctio de répartitio F et G respectivemet. Soit X = C, T C. Soit µ la mesure produit tesoriel de la mesure de Lebesgue et de la mesure de comptage sur {, }. O suppose que G a ue desité coue g par rapport à Lebesgue. Le paramètre d itérêt est doc F. Soit C, N ue suite de variables i.i.d. de même loi que X.. Quelle est la desité p F de X par rapport à µ? E déduire que pour observatios u estimateur du maximum de vraisemblace maximise, sur les foctios de répartitios F : l F = log [ i F C i + i F C i ]. Motrer qu il existe u et u seul estimateur du maximum de vraisemblace ˆF qui soit la foctio de répartitio d ue mesure de probabilité de support les poits C i, i =,...,. 3. Soit m F = l F l F +F. Motrer que m ˆF m F. 4. Si l o cosidère le modèle restreit aux foctios de répartitio sur u itervalle compact K, motrer que ˆF coverge e probabilité, pour la topologie de la covergece faible, vers l esemble F des foctios de répartitio sur K qui maximiset pf MF = p F log dµ. p F + p F 5. O veut motrer que F est l esemble des F égales à F G-p.p. a Motrer que p F = p F µ presque partout si et seulemet si F = F G-p.p. b Motrer que si p et p sot deux desités de probabilité par rapport à ue même mesure domiate λ, p p log dλ, p + p 6. Coclure avec égalité si et seulemet si p = p, λ p.p. Exercice.4.9. Médiae Soit X N ue suite de variables aléatoires réelles i.i.d. de desité de probabilité f sur u itervalle I de R, telle que f est cotiue et strictemet positive sur l itérieur de I. 4

.4 Exercices Le paramètre d itérêt est l uique médiae θ de f. Soit θ tel que P = o ψ θ P /, avec ψ θ x = x<θ x>θ. Motrer que ˆθ θ coverge e loi vers N, 4f θ. O suppose maiteat que X admet u momet d ordre, et θ maximise M θ = X i θ. Motrer que θ θ coverge e loi vers N, 4f θ. Exercice.4.. Partiel. Soit Z ue variable aléatoire de loi G sur R +. Soit X, Y ue variable aléatoire sur R telle que, coditioellemet à Z, X et Y sot idépedates de loi expoetielle de paramètre Z et θz respectivemet, θ >. O ote alors P θ,g la loi de X, Y.. Motrer que le modèle P θ,g θ R +,G G, où G est u esemble de lois sur R +, est domié par la mesure de Lebesgue sur R +, et que la desité peut s écrire p θ,g x, y = +. Soit pour tout réel a la foctio θz [exp x + θy z] dg z. ψ a x, y = x ay x + ay. Motrer que pour tous x >, y >, ψ a x, y. O fixe θ > et G G. Motrer que F a = E θ,g ψ a X, Y est bie défiie, cotiue, dérivable et strictemet décroissate sur R +. 3. Motrer que si l o pose U = X θy et V = X + θy, sous P θ,g, U V est, coditioellemet à V, Z, de loi uiforme sur [, ]. E déduire que F admet u uique zéro e a = θ. 4. Soit X, Y N ue suite de variables aléatoires i.i.d. de loi P θ,g. Motrer que F a = ψ ax i, Y i est ue foctio qui admet u uique zéro, que l o ote θ. Motrer que θ est u estimateur cosistat de θ. 5. Motrer que θ θ = 3θ X i θy i X i + θy i + o Pθ,G. 6. E déduire que θ θ coverge e loi, sous P θ,g, vers N, 3θ. 5

Des méthodes d estimatio Exercice.4.. Partiel 9. Estimateur de Huber. Soit X N ue suite de variables aléatoires réelles i.i.d. de loi P θ de desité f θ, où f est ue foctio strictemet positive et paire sur R telle que + fufu =. Soit k u réel fixé, et soit φ la foctio φx = x x k + k x>k k x< k. O pose ψ θ = φx i θ, et o choisit ˆθ tel que ψ ˆθ = o P /.. Doer ψθ telle que pour tout θ R, ψ θ coverge e probabilité sous P θ vers ψθ.. Motrer que ψθ =, que si θ > θ, ψθ < ψθ, et que si θ < θ, ψθ > ψθ. 3. Motrer que ψ est décroissate. E déduire que ˆθ est cosistat. 4. Motrer que pour tous θ, θ, x, réels, φx θ φx θ θ θ. 5. Motrer que ψ est dérivable et calculer ψθ. 6. Motrer que ˆθ θ coverge e loi sous P θ vers ue gaussiee cetrée dot o précisera la variace. Exercice.4.. Soit X N ue suite de variables aléatoires i.i.d. de loi P das X espace poloais. Soit A u voisiage de θ das R d. Pour tout θ A, soit m θ ue foctio mesurable de X das R. O suppose que pour P -presque tout x, θ m θ x est différetiable e θ de dérivée ṁ θ x, et qu il existe ue foctio réelle h L P telle que pour tous θ, θ das A, et tout x X, m θ x m θ x hx θ θ. Le but de l exercice est de motrer que si U N est ue suite de variables aléatoires à valeurs das R d telle que U = O P, et si r N est ue suite de réels qui ted vers + quad ted vers +, alors Notos, pour U R d, G r m θ +U /r m θ U T ṁ θ = op.. Z U = G r m θ +U/r m θ U T ṁ θ. O admettra que si, M état u réel positif fixé, sup U M Z U = O P et si pour tout U fixé Z U = o P, alors sup U M Z U = o P.. Soit U fixé. Motrer que V ar[z U] = o. E déduire que Z U = o P.. Motrer que, pour tout M >, sup U M Z U = O P. 3. E utilisat les deux questios précédetes motrer.. 6

.4 Exercices Exercice.4.3. Le but de cet exercice est de démotrer le théorème de ormalité asymptotique des M-estimateurs. Soit doc X N ue suite de variables aléatoires i.i.d. de loi P das X espace poloais. Soit A u voisiage de θ das R d. Pour tout θ A, soit m θ ue foctio mesurable de X das R. O suppose que pour P -presque tout x, θ m θ x est différetiable e θ de dérivée ṁ θ x, et qu il existe ue foctio réelle h L P telle que pour tous θ, θ das A, m θ x m θ x hx θ θ. O suppose de plus que θ P m θ est deux fois différetiable e θ où elle admet u maximum, et que la hessiee V est symétrique iversible. O suppose efi que P sup m θ θ P m θ o P /, et que θ ted e probabilité vers θ.. E utilisat l exercice précédet, motrer que si U = O P, alors. E déduire que et P P m θ +U / m θ = U T V U + U T G ṁ θ + o P. P m θ V G ṁ θ / m θ = G ṁ θ T V G ṁ θ + o P. m θ m θ = θ θ T V θ θ + θ θ T G ṁ θ + o P. 3. Motrer que cela implique que T θ θ + V G ṁ θ V θ θ + V G ṁ θ + o P. 4. E déduire que θ θ + V G ṁ θ = o P et coclure. 7

3 Théorie de la vraisemblace O s itéresse maiteat au cas où le modèle est paramétrique et domié : P = {P θ = p θ µ, θ Θ} avec µ ue mesure sur R d, et Θ R k. L objectif est d étudier l estimatio par maximum de vraisemblace, et d étudier l optimalité asymptotique des estimateurs : au ses du risque quadratique, et au ses de la loi limite. O sait que das le cadre de l estimatio sas biais, l iverse de l iformatio de Fisher est la variace miimale iégalité de Cramer-Rao. A-t-o ue gééralisatio asymptotique, et qui porte sur tous les estimateurs, sas cotraite de biais? O va voir que d ue part, est la vitesse typique d estimatio, et que d autre part, o peut gééraliser asymptotiquemet l iégalité de Cramer-Rao e u ses miimax local, puis que l estimateur du maximum de vraisemblace est optimal sous des hypothèses de régularité. 3. Modèles différetiables e moyee quadratique et iégalité de Cramer-Rao O dit que le modèle est différetiable e moyee quadratique ce que l o écrira d.m.q. e θ si il existe u vecteur de k foctios l θ appelé score e θ tel que pθ+h p θ ht lθ pθ dµ = o h. 3. Propositio 3... Si le modèle est d.m.q. e θ, alors l θ L P θ k, et P θ lθ =. Le score est cetré et admet ue variace : o la ote I θ, et o l appelle iformatio de Fisher e θ. O a I θ = V ar θ lθ = P θ lθ lt θ. E particulier, o peut appliquer le TLC de sorte que G lθ vers N k, I θ. coverge e loi sous P θ Preuve. Fixos h R k. h/ ted vers, doc e appliquat 3. pθ+h/ p θ ht lθ pθ dµ = o, soit pθ+h/ p θ ht lθ pθ dµ = o. 9

3 Théorie de la vraisemblace La suite [ p θ +h/ p θ ] est ue suite de L µ qui coverge vers ht lθ pθ das L µ, qui est complet, doc pour tout h R k, h T lθ pθ L µ, soit h T lθ L P θ, doc l θ L P θ k. De même, p θ +h/ coverge vers p θ das L µ, et par cotiuité du produit scalaire, pθ+h/ pθ p θ +/ + p θ dµ = h T lθ p θ dµ. lim + Or pour tout, pθ+h/ pθ p θ +/ + p θ dµ = p θ +h/ p θ dµ =, doc pour tout h R k, h T lθ p θ dµ =, et P θ lθ =. E gros, le score fois racie de la desité est deux fois la dérivée par rapport à θ de la racie carrée de la dérivée. Quad o dérive p θ, o obtiet ṗ θ / p θ, doc le score est le quotiet de la dérivée de p θ par p θ mais la dérivatio est au ses L. O retrouve les coaissaces atérieures : Fisher est la variace de la dérivée de la log-desité. Mais peut-o relier plus précisémet tout ça? Propositio 3... O suppose que θ est das l itérieur de Θ, et que, si l o ote s θ x = p θ x : il existe A, voisiage de θ tel que Pour µ-presque tout x, θ s θ x est D sur A, de gradiet ṡ θ x, Pour tout θ A, ṡ θ L µ, et θ [ṡ θ ṡ T θ ]dµ est cotiue e θ. Alors le modèle est d.m.q. e θ de score l θ = ṡ θ /s θ. Remarques. Comme s θ x, si s θ x = c est u miimum de θ s θ x, et comme θ est das l itérieur de Θ, si il y a u gradiet, alors il est ul. Doc µ presque partout, ṡ θ x = quad s θ x =. Du coup, p θ x = s θ x est D sur A pour µ-presque tout x, de gradiet ṗ θ = ṡ θ xs θ x. Compte-teu de la remarque précédete, Preuve. O veut motrer 3. qui s écrit sθ+h s θ ht ṡ θ dµ = o h, ṗ θ p θ est bie défii P θ -p.s. et vaut l θ P θ -p.s. soit, e otat t = h et u t = h/ h, sθ+tut s θ tut t ṡ θ dµ = ot. 3. Il suffit de le motrer pour toute suite u t qui coverge vers u vecteur u quad t ted vers, e effet, si alors ce était pas vrai pour toute suite de vecteurs de orme, comme la boule uité est compacte, o pourrait extraire ue sous-suite qui coverge 3

3. Modèles différetiables e moyee quadratique et iégalité de Cramer-Rao vers u vecteur u et obteir ue cotradictio. O pose alors r t = s θ +tu t s θ t et o veut motrer que r t dµ = o. Posos aussi sθ +tu g t = t s θ t u T t ṡ θ, + u T t ṡ θ r t. O a g t, et µ presque partout, par l hypothèse de différetiabilité, quad t ted vers, s θ +tu t s θ = u T t ṡ θ + o = u T ṡ θ + o, t et g t ted vers u T ṡ θ + ut ṡ θ ut ṡ θ u T ṡ θ = 4 ut ṡ θ. Doc par le lemme de Fatou, lim if t g t dµ lim if t g t dµ, soit : lim sup t r t dµ lim if t sθ +tu t s θ dµ u T t ṡ θ ṡ T θ dµ u. Maiteat : doc et par Fubii, s θ +tu t s θ = tu T t ṡ θ +vtu t dv, sθ +tu t s θ = u T t ṡ θ +vtu t t dv sθ +tu t s θ dµ t u T t ṡ θ +vtu t dµ dv = u T t ṡ θ +vtu t dv u T t ṡ θ +vtu t ṡ T θ +vtu t dµ u t dv. par l hypothèse de cotiuité, ṡ θ +vtu t ṡ T θ +vtu t dµ coverge vers ṡ θ ṡ T θ dµ quad t ted vers et est majorée das u voisiage de θ, doc par covergece domiée, u T t ṡθ +vtu t ṡ T θ +vtu t dµ u t dv ted vers u T ṡ θ ṡ T θ dµu quad t ted vers, et l o a doc obteu lim sup t r t dµ. O va pouvoir maiteat éocer l iégalité de Cramer-Rao das le cadre des modèles d.m.q. comme ue coséquece d u résultat de dérivabilité : 3

3 Théorie de la vraisemblace Théorème 3... O suppose que θ est das l itérieur de Θ, et que le modèle est d.m.q. e θ. Soit T : R d R mesurable. Si il existe u voisiage A de θ tel que sup P θ T X < +, θ A alors la foctio g de Θ das R doée par θ gθ = P θ T X est différetiable e θ de gradiet ġ θ = P θ T l θ. Si de plus l iformatio de Fisher I θ est iversible, alors V ar θ T ġ T θ I θ ġ θ. Remarque. P θ T = T xp θ xdx, et si o dérive sous le sige somme et qu o iterprète le score comme ṗθ p θ o obtiet le résultat, mais il est pas obteu sous les hypothèses habituelles de dérivatio sous le sige somme. Preuve. O veut motrer Dh := T p θ +h T p θ ht T l θ p θ dµ = o h. Posos r h = p θ +h p θ ht lθ pθ, o sait que r h dµ = o h. O a Dh = = = [ T pθ +h p θ pθ +h + ] p θ h T lθ p θ dµ T [r h + ht lθ pθ pθ+h + ] p θ h T lθ p θ dµ T r h pθ +h + p θ dµ + T ht lθ pθ pθ +h p θ dµ. Par Cauchy-Schwarz, et si h est tel que θ + h A, T r h pθ +h + p θ dµ r h dµ / T pθ +h + p θ dµ / / rh 4 dµ sup P θ T X / = o h. θ A Pour le deuxième terme, o décompose selo que T K ou T > K et l o obtiet ecore par Cauchy-Schwarz 3

3. Modèles différetiables e moyee quadratique et iégalité de Cramer-Rao T ht lθ pθ pθ +h p θ dµ + / h T lθ pθ dµ p θ +h / p θ dµ K T p θ +h / p θ / dµ T >K ht lθ pθ dµ / T >K l θ p dµ θ O K h + h O = o h e preat par exemple K h = / h. Ce résultat se gééralise pour des foctios g à valeur das R m. Rappelos qu alors la différetielle de g est ue matrice, dot les liges sot les gradiets de ses foctios coordoées. Théorème 3... O suppose que θ est das l itérieur de Θ, et que le modèle est d.m.q. e θ. Soit T : R d R m mesurable. Si il existe u voisiage A de θ tel que sup P θ T X < +, θ A alors la foctio g de Θ das R m doée par θ gθ = P θ T X est différetiable e θ de matrice différetielle Dgθ = P θ T l T θ. La matrice suivate est semi-défiie positive : V arθ T Dgθ Dgθ T I θ Si de plus l iformatio de Fisher I θ est semi-défiie positive. est iversible, alors V ar θ T Dgθ I θ Dgθ T Preuve. La première partie du théorème différetiabilité est ue applicatio du Théorème 3.. appliqué à g coordoée par coordoée. Puis, compte-teu de ce résultat, la première matrice est ue matrice de variace V arθ T Dgθ Dgθ T Pour la deuxième, le résultat viet de : I θ = V ar θ [ Ṫ l θ V ar θ T Dgθ I θ Dgθ T = I m Dgθ I θ V ar θ T Dgθ Dgθ T ] I θ I θ I m Dgθ T. 33

3 Théorie de la vraisemblace Que se passe-t-il quad o dispose d u -échatillo? Théorème 3..3. O suppose le modèle {P θ = p θ µ, θ Θ} d.m.q. e θ de score l θ et d iformatio de Fisher I θ. Alors pour tout N, le modèle {P θ, θ Θ} est d.m.q. e θ de score l θ, x,..., x = l θ x i et d iformatio de Fisher I θ. Corollaire 3... Si de plus T : R d R est mesurable et tel que il existe u voisiage A de θ tel que P θ T X,..., X < +, sup θ A si o pose gθ = P θ T, alors E θ [ T gθ ] ġ T θ I θ ġ θ. Preuve. A faire e exercice!!! Et à compléter par le résultat multidimesioel!!! 3. L estimateur du maximum de vraisemblace O s itéresse à l estimateur du maximum de vraisemblace et à so asymptotique. O va commecer par motrer u développemet de la log-vraisemblace sous la seule hypothèse de différetiabilité e moyee quadratique. O ote l θ la log-vraisemblace : l θ = log p θ X i. Théorème 3... Si le modèle est d.m.q. e θ, alors pour toute suite h de R k covergeat vers u h R k : l θ + h l θ = G h T lθ ht I θ h + o Pθ. Preuve. Posos pour tout et tout i =,..., : p θ + h X i W,i = p θ X i de sorte que l θ + h l θ = log + W,i. 34

3. L estimateur du maximum de vraisemblace Taylor doe : log + u = u u + u Ru où Ru ted vers quad u ted vers. Du coup l θ + h l θ = W,i W,i + W 4,iRW,i. O va motrer et W,i = G h T lθ 4 ht I θ h + o Pθ, 3.3 4 ce qui suffit à prouver le théorème. Motros 3.3. E θ W,i = p θ + h pθ dµ = Mais das L µ par d.m.q. W,i = 4 ht I θ h + o Pθ 3.4 W,iRW,i = o Pθ 3.5 pθ + h = p θ + ht lθ pθ + o. p θ + h p θ dµ. Doc p θ + h p θ dµ ted vers ht lθ pθ dµ, soit 4 ht I θ h. Par ailleurs, V ar θ W,i G h [ W,i ] T lθ E θ h T lθ X i = 4 pθ + h p θ ht lθ pθ dµ = o, et o déduit facilemet 3.3. Motros maiteat 3.4. Puisque W,i h T lθ X i ted vers das L P θ, o peut écrire W,i = h T lθ X i + A,i où pour i =,..., sot i.i.d. tels que E θ A,i ted vers quad ted vers l ifii, et doc W,i = h T lθ X i + A,i 4 4 4 = 4 ht I θ h + o Pθ + 4 A,i = 4 ht I θ h + o Pθ 35

3 Théorie de la vraisemblace par la LGN, puis la covergece vers das L P θ de A,i. Motros efi 3.5. O a W,iRW,i max RW,i W,i = O Pθ max RW,i. i i Motros doc que max i RW,i = o Pθ. Comme Ru ted vers quad u ted vers, pour tout ɛ >, il existe δ > tel que si Ru ɛ, alors u δ. Puis P θ max RW,i ɛ i P θ W,i δ ted vers quad ted vers l ifii. = P θ h T lθ X + A, δ P θ h T δ lθ X + P θ A, δ [ ] δ E θ h T lθ X h T lθ X + δ δ E θ A, O peut maiteat obteir le théorème asymptotique de l e.m.v. estimateur du maximum de vraisemblace. Théorème 3... O suppose que θ vérifie l θ sup θ l θ o Pθ. O suppose qu il existe u voisiage A de θ tel que :. θ p θ x est D sur A. θ I θ est bie défiie et cotiue sur A, 3. Il existe H L P θ tel que pour tous θ, θ A, 4. I θ est iversible 5. θ coverge e P θ -probabilité vers θ. log p θ x log p θ x θ θ Hx, Alors θ θ = I θ G lθ + o Pθ. E particulier, θ θ coverge e loi vers N k, I θ. Remarque. Si Θ est compact et si l hypothèse 3. vaut sur Θ et pas seulemet sur A, alors θ coverge e P θ -probabilité vers θ exercice : le démotrer!. Preuve. O va vérifier les hypothèses du Théorème.3.6. O a bie, comme remarqué lors de la Propositio 3.., que θ log p θ x est D sur A pour µ-presque tout x, et so gradiet e θ est l θ. Il reste à motrer que θ P θ log p θ est D e θ de hessiee 36

3. L estimateur du maximum de vraisemblace I θ. Par la Propositio 3.., le modèle est d.m.q. e θ, et doc, par le Théorème 3.., pour toute suite h de R k covergeat vers u h R k : G log p θ + h log p θ h T lθ +P θ log p θ + h log p θ = ht I θ h+o Pθ. O va motrer que G log p θ + h log p θ h T lθ = o Pθ, ce qui doera que : pour toute suite h de R k covergeat vers u h R k, P θ log p θ + h log p θ = ht I θ h + o, ce qui est suffisat pour obteir le résultat souhaité. O a [ ] V ar θ G log p θ + h log p θ h T lθ = log p θ + h log p θ h T lθ dµ. log p θ + h log p θ h T lθ ted vers µ-presque partout, et est domiée pour assez grad par h H + l θ doc par covergece domiée [ ] V ar θ G log p θ + h log p θ h T lθ = o. Questios : L e.m.v. est il optimal, et e quel ses? Si T est u estimateur de θ basé sur X,..., X, la variace asymptotique de T θ est-elle toujours miorée par I θ? La loi gaussiee cetrée de variace I θ est-elle optimale comme limite e loi de T θ et e quel ses? Cotre-exemple de Hodge : Cosidéros la situatio où P θ = N θ,. L iformatio de Fisher e tout θ est I θ =, l e.m.v. est T = X i. Soit maiteat { T si T S = /4 si T < /4. Si θ, alors S θ coverge e loi vers N,, et si θ =, S θ coverge e probabilité vers, et même, pour toute suite r tedat vers l ifii, r S θ coverge e probabilité vers exercice : le démotrer!. Au ses de la covergece e loi regardée poctuellemet θ par θ, S est meilleur que T, e ayat privilégié arbitrairemet ue valeur la valeur. Par cotre, si o regarde le risque quadratique au voisiage de, [ E h S h ] + h exercice : le démotrer! peut être arbitrairemet grad! 37

3 Théorie de la vraisemblace 3.3 Estimateurs efficaces au ses du risque asymptotique quadratique local Pour miorer u risque maximum, o utilise classiquemet que le risque maximum est plus grad que le risque bayésie. O itroduit ue probabilité sur A Θ de desité q par rapport à Lebesgue, et si T est u estimateur de gθ, o a toujours sup E θ [T gθ ] E θ [T gθ ] qθdθ. θ A 3.3. Iégalité de va Trees O va commecer par le cas où Θ est u itervalle a, b de R et g : Θ R. A Théorème 3.3. Iégalité de va Trees. O suppose que le modèle {p θ µ, θ Θ} est d.m.q. e tout θ, et que θ p θ x est C pour tout x. O suppose que q est dérivable sur [a, b], ulle au bord de Θ, et o ote q θ Jq = dθ. qθ Θ O suppose e outre que g est C sur [a, b] et telle que Θ g θ qθdθ < +. Alors si T est u estimateur : Θ E θ [T gθ ] qθdθ g θqθdθ Θ I θqθdθ + Jq. Θ Preuve. La preuve est simple : Fubii, itégratio par parties, et Cauchy-Schwarz. Tout d abord, il y a rie à démotrer si Θ I θqθdθ = + ou Jq = + ou [ T gθ ] qθdθ = +. Puis Θ E θ g θqθdθ = g θqθp θ xdµxdθ { = [gθ T x qθp θ x] θ=b θ=a gθ T x d } dθ qθp θx dθ dµx = gθ T x q θp θ x + qθ p θ x dθdµx q θ = gθ T x qθ + p θx p θ dµxqθdθ. p θ x Puis par Cauchy-Schwarz das L p θ dµxqθdθ : g θqθdθ gθ T x q θ p θ dµxqθdθ qθ + p θx p θ dµxqθdθ p θ x = E θ [T gθ ] [ ] qθdθ I θ qθdθ + Jq. Θ Θ 38