Statistiques Asymptotiques- Notes de cours - M2. Elisabeth Gassiat

Statistiques Asymptotiques- Notes de cours - M Elisabeth Gassiat

Table des matières Itroductio 5 Des méthodes d estimatio 7. Outils probabilistes............................... 7. Estimateurs de type momets......................... 8.3 M- et Z- estimateurs.............................. 9.3. Défiitios................................3. Cosistace................................3.3 Normalité asymptotique........................ 4.4 Exercices.................................... 3 Théorie de la vraisemblace 9 3. Modèles différetiables e moyee quadratique et iégalité de Cramer-Rao 9 3. L estimateur du maximum de vraisemblace................. 34 3.3 Estimateurs efficaces au ses du risque asymptotique quadratique local.. 38 3.3. Iégalité de va Trees......................... 38 3.3. Estimateurs localemet asymptotiquemet miimax........ 4 3.4 Estimateurs réguliers et efficaces au ses du théorème de covolutio... 4 3.4. Estimateurs réguliers et théorème de covolutio.......... 4 3.4. Cotiguïté................................ 43 3.4.3 Applicatio aux modèles d.m.q..................... 44 3.5 Exercices.................................... 46 4 Estimatio semi-paramétrique 5 4. Esembles tagets et foctios d ifluece................. 5 4. Efficacité.................................... 53 4.3 Modèles semi-paramétriques.......................... 57 4.4 Exercices.................................... 59 5 Estimatio o paramétrique 63 5. Itroductio et exemples............................ 63 5.. Régressogramme............................ 63 5.. Méthode empirique. Estimateur à oyau............... 64 5..3 Projectio................................ 65 5..4 Questios................................ 66 5. Des résultats de covergece uiverselle................... 66 5.. Risque quadratique........................... 67 3

5.. Risque poctuel............................ 69 5..3 Risque uiforme............................ 69 5.3 Vitesse de covergece sur des classes de Holder.............. 7 5.4 Mioratio de risques miimax........................ 73 5.4. Pricipes gééraux de réductio................... 73 5.4. Mioratio du risque poctuel.................... 76 5.4.3 Mioratio du risque quadratique.................. 77 5.4.4 Mioratio de risque uiforme.................... 8 5.5 Estimatio adaptative............................. 8 5.5. Mioratio risque poctuel..................... 8 5.5. Estimatio adaptative par la méthode de Lepski risque poctuel 84 5.6 Risques miimax et Régios de cofiace.................. 85 5.7 Exercices.................................... 89 6 Estimatio Bayésiee 99 6. Gééralités................................... 99 6. Estimatio bayésiee paramétrique..................... 6.. Cosistace............................... 6.. Théorème de Berstei-vo Mises.................. 3 6..3 Coséqueces du Théorème de Berstei-vo Mises........ 7 6.3 Estimatio bayésiee o paramétrique................... 9 6.3. Régressio................................ 9 6.3. Estimatio de desité......................... 5 6.4 Exercices.................................... 7 Sujets 3 7. Partiel de Novembre........................... 3 7. Partiel de Novembre........................... 4 7.3 Exame Javier.............................. 7 7.4 Exame Javier 3.............................. 3

Itroductio E probabilité, o s itéresse au comportemet, à l évolutio, d u processus aléatoire, dot o coait a priori la loi ou u modèle permettat de coaitre sa loi. E statistique, o cosidère doé ou observé u processus, ou ue variable aléatoire, que l o appelle alors observatio, et l o cherche à e déduire quelque chose de sa loi. O cosidèrera das ce cours que l observatio est costituée de X,..., X, où X est ue suite de variables aléatoires de loi P. Il faut idiquer das quel espace X les variables aléatoires X i preet leurs valeurs, et de quelle tribu est mui X. L espace X N est alors mui de la tribu cylidrique. Souvet, o se placera das la situatio où les X i sot des variables aléatoires idépedates et de même loi P, auquel cas P = P N, et P est la loi de l observatio. O fait ue hypothèse de modélisatio, sous la forme P P, où P est u esemble de lois de probabilité sur X, et o cherche alors à estimer ue quatité ψp, par u estimateur T qui est ue variable aléatoire foctio mesurable de X,..., X. E statistique asymptotique, o s itéresse aux propriétés lorsque ted vers l ifii : cosistace des estimateurs, covergece e loi pour la costructio de régios de cofiace, risque et limitatios itrisèques. Cela dépedra : du modèle choisi P et de ce que l o cherche à estimer ψp. Lorsque P peut être paramétré sous la forme P = {P θ, θ Θ} où Θ R k est de dimesio fiie, o parle de modèle paramétrique. Lorsque ce est pas le cas, o parle de modèle o paramétrique. Pour u modèle paramétrique, la vitesse typique d estimatio est. O étudiera aussi ce que l o appellera l estimatio semi-paramétrique, où le modèle est o paramétrique mais où ce que l o cherche à estimer est de dimesio fiie. Référeces bibliographiques. Aad va der Vaart : Asymptotic Statistics Cambridge Uiversity Press, 998. Alexadre Tsybakov : Itroductio à l estimatio o paramétrique Spriger, collectio Mathématiques et Applicatios, 4. J.K Ghosh et R.V. Ramamoorthi : Bayesia Noparametrics Spriger, 3. 5

Des méthodes d estimatio. Outils probabilistes O aura besoi des otios de covergece et des outils pour prouver des covergece : la covergece e probabilité, et la covergece e loi. Pour toutes ces covergeces, quad ce sera écessaire, o otera sous quelle loi elle a lieu. Quad ce e sera pas précisé, la covergece sera quad ted vers l ifii. Rappelos otios et critères pour ue suite T de variables aléatoires à valeurs das R d. O dit que T coverge e probabilité vers la variable aléatoire T si et seulemet si ɛ >, lim P T T ɛ =. + O dit que T coverge e loi vers la variable aléatoire T si et seulemet si pour toute foctio f cotiue borée de R d das R, lim E [ft ] = E [ft ]. + Les critères suivats sot équivalets : T coverge e loi vers T ; Pour toute foctio réelle cotiue positive f, lim if + E[fT ] E[fT ] ; 3 La foctio caractéristique de T coverge poctuellemet vers celle de T ; 4 Pour tout esemble mesurable B tel que P T B = B désige la frotière de B i.e. sa fermeture mois so itérieur, lim + P T B = P T B. 4bis si il s agit de variables aléatoires réelles La foctio de répartitio de T coverge vers la foctio de répartitio F de T e tout poit de cotiuité de F ; 5 Pour tout esemble ouvert A, lim if + P T A P T A. 6 Pour tout esemble fermé F, lim sup + P T F P T F. Comme la covergece e loi e cocere que les lois, si T est de loi L, o dira aussi par abus de lagage T coverge e loi vers L. Pour ue suite T de variables aléatoires à valeurs das R d, o ote T = o P si T ted e probabilité vers, et o ote T = O P si T est ue suite tedue, c est à dire si : ɛ >, K :, P T K ɛ. Si T est ue suite tedue de variables aléatoires à valeurs das R d, alors o peut e extraire ue suite qui coverge e loi, et si il y a ue seule loi limite possible, alors 7

Des méthodes d estimatio T coverge e loi. Loi des grads ombres LGN : si Z est ue suite de variable aléatoires idépedates et de même loi o dira i.i.d. admettat u momet d ordre, c est à dire telles que E Z < +, alors Z i coverge e probabilité et presque sûremet, ce que l o otera p.s. vers EZ. O otera souvet Z la moyee empirique Z i. Théorème de limite cetrale TLC : si Z est ue suite de variable aléatoires i.i.d. admettat u momet d ordre, c est à dire telles que E Z < +, alors Z EZ coverge e loi vers U de loi N d, V où V est la matrice de variace de Z, c est à dire la matrice d d doée par V i,j = CovZ i, Z j, i, j =,..., d. O dira par abus de lagage que Z EZ coverge e loi vers N d, V bie que l objet limite est pas de même ature que les élémets de la suite, et car la covergece e loi e cocere que les lois. Théorème de l image cotiue : Soit T ue suite de variables aléatoires à valeurs das R d et f ue foctio cotiue de R d das R m. Si T coverge e probabilité vers la variable aléatoire T, alors ft coverge e probabilité vers ft. Si T coverge e loi vers la variable aléatoire T, alors ft coverge e loi vers ft. Lemme de Slutsky : Soit T ue suite de variables aléatoires à valeurs das R d qui coverge e loi vers la variable aléatoire T, soit V ue suite de variables aléatoires à valeurs das R m qui coverge e loi vers la costate a R m, alors V coverge e probabilité vers a et T, V coverge e loi vers T, a. Méthode delta : Soiet T ue suite de variables aléatoires à valeurs das R d, r ue suite de réels qui ted vers l ifii, a R d et g ue foctio de R d das R m différetiable e a. O suppose que r T a coverge e loi vers Z. Alors r gt ga coverge e loi vers Dga.Z, où Dga est la matrice m d telle que Dga i,j = g i t j a.. Estimateurs de type momets O cosidère ue suite X de variables aléatoires i.i.d. de loi P à valeurs das R d, et f : R d R m ue foctio mesurable. O ote P f = f X i. Par la LGN, P f est u estimateur cosistat de E[fX ], et P f E[fX ] coverge e loi vers N m, V par le TCL, où V est la matrice de variace de fx, ce qui permet de costruire des régios de cofiace asymptotiques. 8

.3 M- et Z- estimateurs O choisit le modèle P = {P θ, θ Θ} avec Θ R k, o suppose que P P, doc qu il existe θ Θ tel que P = P θ. Il s agit alors d estimer θ. Si l o peut trouver f : R d R k et g : R k R k iversible telle que θ Θ, g θ = fxdp θ x := P θ f := E θ fx o peut choisir l estimateur θ = g P f lorsque P f gθ, et u poit fixé T de Θ sio. Théorème... O suppose θ das l itérieur de Θ, que g est de classe C e θ, que Dgθ est iversible, et que E θ [ fx ] < +. Alors θ est u estimateur cosistat de θ et θ θ coverge e loi sous P θ vers N k, Dgθ V ar θ [fx][dgθ ] T. Remarque. O a pas besoi de l iversibilité de g, seulemet de so iversibilité locale. Ceci dit, comme θ est icou... Preuve. Comme Dgθ est ue matrice iversible, il existe u voisiage V de θ tel que g est iversible sur gv voisiage de gθ. Si l o ote E l évéemet P f gv, alors θ θ = g P f θ E + θ θ E C. Remarquos que par la LGN, E C = o P écrire pourquoi, où P = P N θ est la loi de X sous P θ, et que θ θ E C = o P écrire pourquoi. Puis par la méthode delta, g P f θ E coverge e loi sous P θ vers N k, Dgθ V ar θ [fx]dgθ, et o termie par Slutzky écrire le détail. Précisos pour la méthode delta : comme Dgθ est iversible, g est différetiable e gθ, de matrice de dérivée Dgθ, doc θ θ = { Dgθ P f P θ f + o P P f P θ f } E + θ θ E C.3 M- et Z- estimateurs = { Dgθ P f P θ f + o P P f P θ f } E + θ θ E C. D autres idées d estimatio : par moidres carrés, par maximum de vraisemblace. Cela cosiste à choisir comme estimateur u miimisat ou maximisat approximatif d ue foctio réelle costruite à partir des doées. O peut du coup par exemple e cosidérat le gradiet das la méthode par optimisatio choisir l estimateur comme aulat approximativemet ue foctio à valeurs das R k par exemple. 9

Des méthodes d estimatio O cosidère ue suite X de variables aléatoires i.i.d. de loi P à valeurs das R d, et o veut estimer ψp = θ Θ. O e précise pas pour l istat Θ, seulemet qu il est iclus das u esemble métrique mui d ue distace d,..3. Défiitios M-estimateur : soit, pour tout θ Θ, m θ : R d R ue foctio réelle. Soit M : Θ R telle que pour tout θ Θ, M θ = m θ X i. Soit u ue suite de réels positifs qui ted vers, cette suite sert pour défiir u maximum approximatif. Le M-estimateur θ vérifie : M θ sup M θ u. θ Θ Z-estimateur : soit, pour tout θ Θ, φ θ : R d R k. Soit Z : Θ R k telle que pour tout θ Θ, Z θ = φ θ X i. Soit u ue suite de réels positifs qui ted vers, cette suite sert pour défiir u zéro approximatif. Le Z-estimateur θ vérifie : Z θ if θ Θ Z θ + u. Exemples : Estimateurs de type momet : φ θ x = fx gθ. Maximum de vraisemblace : o choisit le modèle P = {P θ, θ Θ} que l o suppose domié, c est à dire qu il existe ue mesure µ sur R d tel que pour tout θ Θ, il existe ue foctio mesurable réelle f θ telle que dp θ x = f θ xdµx. L estimateur du maximum de vraisemblace e.m.v. maximise M où m θ = log f θ. Si log f θ x est C sur Θ pour tout x, l e.m.v. est u Z-estimateur e preat φ θ le gradiet de log f θ. Médiae, et plus gééralemet p-quatile : ici Θ = R, et φ θ x = p x<θ p x>θ..3. Cosistace O suppose que pour tout θ Θ, m θ L P. Par la LGN, si o défiit M : Θ R telle que pour tout θ Θ, M θ = P m θ, o a que pour tout θ Θ, M θ = M θ + o P. Du coup, la méthode d estimatio est boe si e effet θ maximise M sur Θ. Pour que cela permette d obteir la cosistace du M-estimateur, il faut u peu plus : Théorème.3.. O suppose : sup θ Θ M θ M θ = o P, Pour tout ɛ >, sup θ Θ:dθ,θ ɛ M θ < M θ. 3 M θ sup θ Θ M θ u où u ted vers. Alors θ est cosistat, c est à dire que d θ, θ = o P.

.3 M- et Z- estimateurs Preuve. Soit ɛ > quelcoque. Notos δɛ = M θ sup θ Θ:dθ,θ ɛ M θ. D après l hypothèse, δɛ >. O a maiteat : P d θ, θ ɛ P sup M θ M θ u = P θ Θ:dθ,θ ɛ sup θ Θ:dθ,θ ɛ M θ sup θ Θ:dθ,θ ɛ P sup M θ M θ δɛ u θ Θ P sup M θ M θ δɛ θ Θ 4 M θ M θ M θ + δɛ u pour assez grad tel que u δɛ/, et qui ted doc vers par. O suppose que pour tout θ Θ, φ θ L P. Par la LGN, si o défiit Z : Θ R telle que pour tout θ Θ, Z θ = P φ θ, o a que pour tout θ Θ, Z θ = Z θ+o P. Du coup, la méthode d estimatio est boe si e effet θ est u zéro de Z sur Θ. Pour que cela permette d obteir la cosistace du Z-estimateur, il faut u peu plus : Théorème.3.. O suppose : sup θ Θ Z θ Z θ = o P, Pour tout ɛ >, if θ Θ:dθ,θ ɛ Z θ > = Z θ. 3 Z θ if θ Θ Z θ + u où u ted vers. Alors θ est cosistat, c est à dire que d θ, θ = o P. Preuve. O applique le théorème de cosistace précédet e posat Mθ = Z θ et e remarquat que la preuve utilise pas la forme particulière de moyee empirique de M. Exemple : la médiae empirique. Ici, Θ = R, φ θ x = x<θ x>θ. Pour motrer la cosistace, il s agit alors de motrer que X i <θ X i >θ coverge uiformémet e θ e probabilité vers P X < θ P X > θ. Questio : O a besoi de covergece uiforme. Commet obteir ce gere de résultat? U outil : l etropie à crochet. Soiet l et u deux foctios mesurables de R d das R telles que pour tout x, lx ux. O appelle crochet [l, u] l esemble des foctios f : R d R telles que pour tout x R d, lx fx ux. Soit F u esemble de foctios réelles mesurables de R d das R iclus das L p P, < p +. Pour tout ɛ >, o ote N [] F, L p P, ɛ le ombre miimal de crochets de taille ɛ écessaires pour recouvrir F. C est à dire : si N N et [l, u ],..., [l N, u N ] sot des crochets tels que u i l i L p P ɛ et F N [l i, u i ],

Des méthodes d estimatio alors N [] F, L p P, ɛ N. O dit que F est P -Gliveko-Catelli si F L P, et sup f F fx i E P fx = o P. Propositio.3.. Soit F L P. O suppose que pour tout ɛ >, N [] F, L P, ɛ < +. Alors F est P -Gliveko-Catelli. Preuve. Soit ɛ >, et [l, u ],..., [l N, u N ] des crochets tels que u i l i L P ɛ et F N [l i, u i ]. Pour tout f F, il existe j tel que pour tout x R d, l j x fx u j x. O a doc l j X i f X i u j X i, et E P l j X E P fx E P u j X. Comme E P u j X E P l j X ɛ, o obtiet l j X i E P l j X ɛ f X i E P fx u j X i E P u j X + ɛ, et doc { f X i E P fx max l j X i E P l j X ; } u j X i E P u j X +ɛ. Du coup, sup f F f X i E P fx { max max l j X i E j=,...,n P l j X ; } u j X i E P u j X + ɛ. Mais par la LGN, pour tout j =,..., N, l j X i E P l j X = o P et u j X i E P u j X = o P, doc exercice : le démotrer { } max max l j=,...,n j X i E P l j X ; u j X i E P u j X = o P Doc P sup f F P f X i E P fx ɛ { l j X i E P l j X ; max max j=,...,n } u j X i E P u j X ɛ,

.3 M- et Z- estimateurs et doc pour tout ɛ >, lim P + sup f F f X i E P fx ɛ =. Voici u exemple simple d applicatio de ce résultat. Propositio.3.. Soit F = {f θ, θ Θ}, où les f θ sot des foctios de R d das R. O suppose que Θ est ue partie compacte d u espace métrique, Pour tout x, θ f θ x est cotiue, sup θ Θ f θ L P. Alors F est P -Gliveko-Catelli. Preuve. O motre que pour tout ɛ >, N [] F, L P, ɛ < +. et o utilise la propositio précédete. Soit doc ɛ >. Soit θ Θ, et soit B ue suite décroissate de boules ouvertes d itersectio {θ} par exemple, cetrées e θ et de rayo /. Pour tout et tout x, o ote l x = if s B f s x et ũ x = sup s B f s x. Ce sot des foctios mesurables telles que si ted vers l ifii, l x et ũ x tedet vers f θ x par cotiuité, doc telles que ũ x l x ted vers pour tout x. De plus, ũ l sup f θ L P, θ Θ doc par covergece domiée, ũ l dp ted vers quad ted vers l ifii. Doc il existe tel que ũ l dp ɛ. Autremet dit, pour tout θ Θ, il existe ue boule ouverte B θ coteat θ telle que sup s Bθ f s if s Bθ f s dp ɛ. Maiteat, θ Θ B θ est u recouvremet de Θ par des ouverts dot, par compacité, o peut extraire u recouvremet fii B θ... B θn. O ote l i = if s Bθi f s et u i = sup s Bθi f s, i =,..., N, et pour tout θ Θ, il existe i tel que θ B θi, et f θ [l i, u i ]. Lorsque l o a ue régularité plus grade que la cotiuité, o sait évaluer N [] F, L p P, ɛ. Propositio.3.3. Soit F = {f θ, θ Θ} L p P, où les f θ sot des foctios de R d das R. O suppose que Θ est ue partie borée de R k, et qu il existe α > et h L p P tels que pour tous θ et θ das Θ, tout x R d, f θ x f θ x θ θ α h x. Alors, il existe C k qui e déped que de k telle que /α k N [] F, L p h L P, ɛ C k diamθ p P, ɛ où diamθ est le diamètre de Θ. 3

Des méthodes d estimatio Preuve. Si θ est das la boule cetrée e θ et de rayo δ, alors m θ est das le crochet [l, u] de taille ɛ avec l = f θ δ α h, u = f θ + δ α h, et ɛ = h L p P δ α. O obtiet doc u recouvremet de F par des crochets de taille ɛ à partir d u recouvremet de Θ par des boules de taille δ = ɛ/ h L p P /α. Mais le ombre miimal N écessaire pour recouvrir Θ par des boules de rayo δ vérifie diamθ k N C k, δ et le résultat s e suit. Tout ceci e ous permet pas de traiter la questio de la médiae, car les foctios θ x<θ e sot pas cotiues. O va évaluer directemet le ombre de crochets. Propositio.3.4. Soit F = { x<θ, θ R}. Soit P ue probabilité sur R. Alors pour tout p > et ɛ, N [] F, L p P, ɛ ɛ p Preuve. Soiet t <... < t k des réels. Alors, si θ ]t i, t i+ ] pour u i =,..., k, alors x<θ [ x ti, x<ti+ ], si θ t, x<θ [, x<t ] et si θ > t k, alors x<θ [ x tk, ], ce qui ous fait k + crochets. Ils sot de taille x<ti+ x ti p L p P = P t i < X < t i+, x<t p L p P = P X < t, x tk p L p P = P t k < X. O choisit les t i de faço que ces quatités soiet iférieures ou égales à ɛ p. Ce qui est possible avec k etier tel que k + /ɛ p. Il est clair que le résultat est aalogue pour F = { x>θ, θ R}, et doc que pour F = { x<θ x>θ, θ R}, o a N [] F, L p P, ɛ p /ɛ p + pour ɛ. Maximum de vraisemblace : O suppose que P = {P θ, θ Θ} avec Θ compact das u espace métrique, que le modèle est domié et idetifiable. O suppose que si p θ est la desité de P θ par rapport à la mesure domiate, pour tout x >, pour tout θ, p θ x >, θ p θ x est cotiue, et sup θ Θ log p θ L P θ. Alors l e.m.v. est cosistat e θ le démotrer!..3.3 Normalité asymptotique O cosidère X ue suite de variables aléatoires i.i.d. de loi P, Θ R k, et Z θ = P φ θ. O cosidère le Z-estimateur θ, que l o suppose cosistat covergeat e probabilité vers θ, et l o veut compredre si et commet obteir ue loi asymptotique du gere θ θ coverge e loi vers ue gaussiee, comme o a obteu pour les estimateurs de type momet qui sot des cas particuliers de Z-estimateurs. O peut écrire Taylor : ] Z θ = Z θ + D Z [θ + t θ θ θ θ dt. 4

.3 M- et Z- estimateurs Ici D désige l opérateur différetiel, et D Z est la matrice k k dot chaque coloe costitue les dérivées de Z par rapport à ue coordoée de θ. Avec la même otatio o a pour tout θ D Z θ = D φ θ X i. Comme P φ θ =, si de plus P φ θ < +, alors par le TLC, Z θ coverge e loi vers N k, P φθ φ T θ, et o peut écrire [ ] ] D Z [θ + t θ θ dt θ θ = Z θ + Z θ. Si θ coverge e probabilité vers θ, o se dit que pour tout t, θ + t θ θ est proche de [ θ, et comme par la LGN, D Z θ coverge e probabilité vers P D φ θ, o ] ] se dit que D Z [θ + t θ θ dt doit coverger e probabilité vers P D φ θ. Si c est le cas, et si cette limite est ue matrice iversible, si e plus Z θ = o P, o pourra par Slutzky obteir la coverge e loi de θ θ. [ ] ] Pour obteir que D Z [θ + t θ θ dt coverge e probabilité vers P D φ θ, o peut supposer le démotrer e exercice qu il existe u voisiage A de θ tel que Pour tout x, θ φ θ x est C sur A, Il existe h L P telle que pour tout x, sup θ A D φ θ x hx. Mais avec ce résultat, o e peut obteir la covergece e loi de la médiae empirique : θ x<θ x>θ est pas dérivable pour tout x. O peut faire mieux! Outils de processus empirique. Pour f L P, o ote G f = fx i P f. Du coup, P f = P f + G f, et c est ue faço de décomposer ue somme ou moyee e la partie biais et la partie variace qui est cetrée. Si f L P, par le TLC, G f coverge e loi vers ue gaussiee. Si o suppose que θ vérifie le Théorème.3. avec u << /, o a Z θ = o P, et cela se réécrit avec ces otatios e o P = P φ θ = G φ θ + P φ θ. Noter que P φ θ = φ θ xdp x est ue variable aléatoire, et c est à elle que l o veut appliquer Taylor, et comme o a vu des lois des grads ombres uiformes, o aimerait 5

Des méthodes d estimatio avoir des TLC uiformes pour traiter G φ θ. L outil que l o utilisera das ce cours est l iégalité maximale suivate : Théorème.3.3. Soit F L P, o suppose que F admet ue foctio eveloppe de carré itégrable, c est à dire qu il existe F L P telle que f F, fx F x pour P -presque tout x. Alors E [sup G f f F pour ue costate uiverselle C IM. ] C IM F L P log N [] F, L P, udu. La petite étoile sigifie qu il peut y avoir des problèmes de mesurabilité, mais o pred alors la mesure extérieure. O e s e iquiètera pas. Noter que l espérace du sup N EST PAS le sup des espéraces. Reveos à otre problème de ormalité asymptotique des Z-estimateurs. O a : Théorème.3.4. O suppose que θ est u estimateur cosistat de θ, que P φ θ =, P = o φ θ P et P φ θ < +. O suppose e outre qu il existe u voisiage A de θ tel que : θ P φ θ est D sur A, et D P φ θ, otée V, est iversible, e otat pour tout j =,..., k, F j = {φ j,θ, θ A}, log N [] F j, L P, u est itégrable e, sup θ θ δ φ θ φ θ dp ted vers quad δ ted vers. Alors θ θ = V G φ θ + o P, et θ θ coverge e loi vers N k ; V P [φ θ φ T θ ]V T. Preuve. O écrit Taylor pour la foctio θ P φ θ au voisiage de θ : Comme θ θ = o P, o e déduit P φ θ = P φ θ + V θ θ + o θ θ. P φ θ = P φ θ + V θ θ + o P θ θ, et o a doc Mais G + V + o φ θ P θ θ = o P. G φ θ = G φ θ + G G φ θ φ θ, 6

.3 M- et Z- estimateurs doc si l o motre que o aura G φ θ G φ θ = o P,. V G φ θ + I k + o P θ θ = o P ce qui permet de coclure par Slutzky. Motros doc.. Pour tous α > et δ >, pour toute coordoée j, P G φ j, θ G φ j,θ α P θ θ δ + P sup G f α f F δ e otat F δ = {φ j,θ φ j,θ, θ θ δ}. Pour δ assez petit, F δ F j φ j,θ, doc N [] F δ, L P, u N [] F j, L P, u. Aussi, F δ = sup θ θ δ φ j,θ φ j,θ est ue foctio eveloppe de F δ. Par Markov et e utilisat l iégalité maximale, P sup G f α f F C IM α Fδ L P log N [] F δ, L P, udu C α Fδ L P log N [] F j, L P, udu, doc pour tout δ > assez petit, lim sup P G φ j, θ G φ j,θ α C Fδ IM L P log N + α [] F j, L P, udu et l o coclut par le fait que par hypothèse F δ L P ted vers quad δ ted vers et l itégrabilité de log N [] F j, L P, u e. Applicatio à la médiae. Si la loi P a ue desité f positive, P φ θ = P X < θ P X > θ est dérivable de dérivée fθ. O suppose que cette desité est strictemet positive. O a P φ θ =, et o a déjà vu que N [] F j, L P, u 4/u, doc log N [] F j, L P, u est itégrable e. De plus sup φ θ φ θ dp P θ δ X θ + δ θ θ δ qui ted vers quad δ ted vers car desité, doc θ θ = fθ G φ θ + o P, et θ θ coverge e loi vers N, /4f θ. O s itéresse maiteat aux M-estimateurs. Si o veut leur appliquer le résultat des Z-estimateurs, o doit supposer que le maximisat est u zéro du gradiet, et supposer, 7

Des méthodes d estimatio doc que le gradiet existe, soit que θ m θ x est dérivable pour tout x. E fait, o va obteir mieux, e aalysat ecore selo biais/variace. O décompose P m θ = P m θ + G m θ. E fait, e supposat le biais P m θ P m θ d ordre polyomial α et la partie fluctuatios G m θ G m θ d ordre polyomial β, o peut obteir ue vitesse de covergece /α β. Ceci vaut e gééral, pas forcémet e situatio paramétrique : l esemble des θ est pas supposé de dimesio fiie, il est supposé métrique, mui d ue distace d. La preuve du théorème qui suit utilise la techique classique de découpage e rodelles peelig. Théorème.3.5. O suppose qu il existe C >, α > β >, δ > tels que, pour tout et tout δ δ : sup P m θ P m θ Cδ α δ dθ,θ δ et E sup dθ,θ δ G m θ G m θ Cδ β. O suppose que θ coverge e probabilité vers θ, et vérifie P sup P m θ m θ O P α/α β. θ Alors /α β d θ, θ = O P. Preuve. Posos v = /α β, et otos R = P m θ P m θ, o a R O P v α. Soit M quelcoque fixé, et otos j tel que j δ v et j+ > δ v. Notos Soit K > quelcoque. O a S j, = {θ : j v d θ, θ < j+ }. P v d θ, θ M P d θ, θ δ + P vr α K + j j=m Mais si θ S j,, R sup θ Sj, P m θ P m θ, doc P θ S j, et vr α K. P θ S j, et vr α K P sup P m θ P m θ K θ S j, v α. 8

.3 M- et Z- estimateurs Maiteat o écrit sup θ S j, P m θ P m θ sup θ S j, P m θ P m θ + de sorte que P θ S j, et vr α K P C jα v α sup θ S j, G m θ G m θ + sup G m θ G m θ θ S j, sup G m θ G m θ C jα K θ S j, v α et pour M tel que Mα K Mα, o a P θ S j, et vr α K P sup G m θ G m θ C jα θ S j, v α. O récapitule et o utilise l iégalité de Markov pour obteir : P v d θ, θ M P d θ, θ δ + P vr α K + j j=m v α j β. C jα v Or v α j β jβ α vα β = C jα v C = jβ α C sommable car β α <. O peut doc redre P v d θ, θ M petit e choisissat M assez grad et assez grad et K assez grad. Précisémet : pour tout ɛ >, il existe K tel que P v α R K ɛ/3, et M tel que jβ α C ɛ 3, j M et tel que si, P d θ, θ δ ɛ 3 car θ est cosistat. O a alors pour tout, P v d θ, θ M ɛ. Puis pour j =,...,, il existe M j tel que P v j d θ j, θ M j ɛ, et l o choisit le max de M et des M j pour obteir l iégalité pour tout. E situatio paramétrique, o peut vérifier les hypothèses par Taylor pour la partie biais et l iégalité maximale pour la partie fluctuatios. O obtiet : 9

Des méthodes d estimatio Propositio.3.5. O suppose Θ R k, et qu il existe u voisiage A de θ et ue foctio h L P tels que θ, θ A, m θ m θ h θ θ. O suppose que θ P m θ est maximum e θ, est D e θ, de matrice hessiee D P m θ iversible. O suppose que θ coverge e probabilité vers θ, et vérifie P sup P m θ m θ O P. θ Alors θ θ = O P. Preuve. O va motrer que le Théorème.3.5 s applique avec α = et β =. Par Taylor, P m θ = P m θ + θ θ T D P m θ θ θ + o θ θ car max e θ doc gradiet ul ; aussi comme max e θ, D P m θ θ θ est défiie égative, doc il existe λ > tel que θ θ T D P m θ θ θ λ θ θ λδ si θ θ > δ. O choisit δ tel que si θ θ δ, o θ θ λ θ θ /, et il suffit esuite de predre C < λ/. Soit esuite F δ = {m θ m θ, θ θ < δ}. δh est ue foctio eveloppe de F δ, et N [] Fδ, L P, u C k δ h k L P u doc par l iégalité maximale, pour ue costate D k, E sup dθ,θ <δ δ h L P Dk δ G m θ G m θ C IM k log du u h L P C IM δ k log par chagemet de variable u = δs, et il suffit de choisir C < C IM h L P Dk s ds k log Dk s ds. O obtiet fialemet le théorème de ormalité asymptotique des M-estimateurs : Théorème.3.6. O suppose Θ R k, et qu il existe u voisiage A de θ et ue foctio h L P tels que θ, θ A, m θ m θ h θ θ. O suppose que θ P m θ est maximum e θ, est D e θ, de matrice hessiee V = D P m θ iversible. O suppose que pour P -presque tout x, θ m θ x est D e θ, de gradiet ṁ θ x. O suppose que θ coverge e probabilité vers θ, et vérifie P sup P m θ m θ o P. θ

.4 Exercices Alors θ θ = V G ṁ θ + o P et θ θ coverge e loi vers N k, V P ṁ θ ṁ T θ V. Preuve. Voir exercices.4. et.4.3. O peut appliquer ce théorème à la médiae avec m θ x = x θ voir exercice.4.9..4 Exercices Exercice.4.. Si X N est ue suite de variables aléatoires, o ote o P X pour X o P, et O P X pour X O P. Motrer que o P +o P = o P, o P +O P = O P, O P o P = o P, o P O P = o P. Soit R ue foctio réelle telle que R u = o u p quad u pour u p >, et X = o P. Motrer qu alors R X = o P X p. Si maiteat R u = O u p quad u pour u p >, motrer qu alors R X = O P X p. Exercice.4.. Méthode de stabilisatio de la variace Soit Pθ θ Θ, Θ R, u modèle statistique, et T u estimateur de θ tel que T θ coverge e loi sous Pθ vers N, σ θ. Motrer que si φ est ue primitive de σθ, φt φθ coverge e loi sous Pθ vers N, et e déduire u itervalle de cofiace pour θ de iveau asymptotique α. Applicatio : itervalle de cofiace asymptotique pour le paramètre d ue loi biomiale ; d ue loi de Poisso. Exercice.4.3. Régio de cofiace pour la variace d ue loi Soit X N ue suite de variables aléatoires i.i.d. de loi ayat des momets jusqu à l ordre 4. Soit σ sa variace, et soit S = X i X, X = X i.. Si l o suppose que les X i sot gaussies, proposer u itervalle de cofiace I pour σ de iveau de cofiace égal à α.. Motrer que si Z N est ue suite de variables aléatoires réelles qui coverge e loi vers ue variable Z de foctio de répartitio cotiue, si u ted vers u quad ted vers l ifii, alors P Z u ted vers P Z u. 3. Motrer que S σ coverge e loi vers N, κ+, où κ = E[X EX 4 ] σ 4 3. 4. Si la loi des X i est pas gaussiee, quel est le iveau asymptotique de I?

Des méthodes d estimatio Exercice.4.4. Modèles expoetiels Soit t de X das R k, µ ue mesure positive sur X, h ue foctio réelle positive ou ulle sur X et { } Θ = θ R k : c θ = h x exp [ θ, tx ] dµ x < +. P θ θ Θ telle que P θ dx = p θ xdµx avec p θ x = c θ h x exp [ θ, tx ] est u modèle expoetiel k-dimesioel de statistique exhaustive tx. La foctio c est de classe C sur l itérieur de Θ, et ses dérivées se calculet e dérivat sous le sige. Soit X N ue suite de variables aléatoires i.i.d. de loi P θ, θ das l itérieur de Θ. O suppose que V artx est iversible. Motrer que l estimateur du maximum de vraisemblace θ est u estimateur de type momets tel que θ θ coverge e loi vers ue gaussiee cetrée de variace [V artx ]. Exercice.4.5. Divergece Iformatio de Kullback Soiet P, Q deux mesures de probabilité défiies sur u même espace, et p, q leur desité par rapport à ue mesure domiate µ.. Motrer que pq> log p p q dµ est toujours fiie.. E déduire que l o peut défiir log dp dp si P Q KP, Q = dq + sio et que si P Q, alors KP, Q = pq> p log p dµ p log p dµ. q + pq> q O appelle KP, Q la divergece ou l iformatio de Kullback etre P et Q 3. Vérifier que si P Q alors dp KP, Q = Qφ, dq où φx = x log x + x. E déduire que KP, Q quelles que soiet P et Q, puis que KP, Q = si et seulemet si P = Q.,

.4 Exercices Exercice.4.6. Médiae Soit X N ue suite de variables aléatoires réelles i.i.d. de loi P ayat ue uique médiae θ, doc telle que pour tout ɛ >, P X < θ ɛ < < P X < θ + ɛ. Soit θ vérifiat Xi< θ Xi> θ = o P. E utilisat la mootoie de la foctio X i <θ Xi >θ, motrer que θ est u estimateur cosistat de θ. O suppose que X admet u momet d ordre, et θ maximise M θ = X i θ sur Θ compact coteat θ. Motrer que θ est u estimateur cosistat de θ utiliser le fait que la foctio θ x θ est lipschitziee. Exercice.4.7. U théorème de cosistace Soit X N ue suite de variables aléatoires i.i.d. de loi P. Soit m θ θ Θ des foctios réelles mesurables telles que θ m θ x soit semi-cotiue supérieuremet pour P - presque tout x. O défiit M θ = m θ X i, M θ = m θ x dp x. O suppose que Θ est compact das u espace métrique, et o défiit { } Θ = θ Θ : M θ = sup M u u Θ. Soit θ das Θ, et θ u élémet de Θ tel que M θ M θ +o P par exemple : θ maximise M θ sur Θ. O suppose qu il existe ue foctio h telle que θ Θ, m θ h et h x dp x < +. Motrer que θ coverge e probabilité vers Θ, c est à dire que pour tout ɛ >, lim P d θ, Θ ɛ =. + 3

Des méthodes d estimatio Applicatio : doer des coditios suffisates de cosistace de l estimateur du maximum de vraisemblace. Remarque : o e suppose pas ici le modèle paramétrique. Exercice.4.8. Modèle de cesure Soiet T et C deux variables aléatoires réelles idépedates de foctio de répartitio F et G respectivemet. Soit X = C, T C. Soit µ la mesure produit tesoriel de la mesure de Lebesgue et de la mesure de comptage sur {, }. O suppose que G a ue desité coue g par rapport à Lebesgue. Le paramètre d itérêt est doc F. Soit C, N ue suite de variables i.i.d. de même loi que X.. Quelle est la desité p F de X par rapport à µ? E déduire que pour observatios u estimateur du maximum de vraisemblace maximise, sur les foctios de répartitios F : l F = log [ i F C i + i F C i ]. Motrer qu il existe u et u seul estimateur du maximum de vraisemblace ˆF qui soit la foctio de répartitio d ue mesure de probabilité de support les poits C i, i =,...,. 3. Soit m F = l F l F +F. Motrer que m ˆF m F. 4. Si l o cosidère le modèle restreit aux foctios de répartitio sur u itervalle compact K, motrer que ˆF coverge e probabilité, pour la topologie de la covergece faible, vers l esemble F des foctios de répartitio sur K qui maximiset pf MF = p F log dµ. p F + p F 5. O veut motrer que F est l esemble des F égales à F G-p.p. a Motrer que p F = p F µ presque partout si et seulemet si F = F G-p.p. b Motrer que si p et p sot deux desités de probabilité par rapport à ue même mesure domiate λ, p p log dλ, p + p 6. Coclure avec égalité si et seulemet si p = p, λ p.p. Exercice.4.9. Médiae Soit X N ue suite de variables aléatoires réelles i.i.d. de desité de probabilité f sur u itervalle I de R, telle que f est cotiue et strictemet positive sur l itérieur de I. 4

.4 Exercices Le paramètre d itérêt est l uique médiae θ de f. Soit θ tel que P = o ψ θ P /, avec ψ θ x = x<θ x>θ. Motrer que ˆθ θ coverge e loi vers N, 4f θ. O suppose maiteat que X admet u momet d ordre, et θ maximise M θ = X i θ. Motrer que θ θ coverge e loi vers N, 4f θ. Exercice.4.. Partiel. Soit Z ue variable aléatoire de loi G sur R +. Soit X, Y ue variable aléatoire sur R telle que, coditioellemet à Z, X et Y sot idépedates de loi expoetielle de paramètre Z et θz respectivemet, θ >. O ote alors P θ,g la loi de X, Y.. Motrer que le modèle P θ,g θ R +,G G, où G est u esemble de lois sur R +, est domié par la mesure de Lebesgue sur R +, et que la desité peut s écrire p θ,g x, y = +. Soit pour tout réel a la foctio θz [exp x + θy z] dg z. ψ a x, y = x ay x + ay. Motrer que pour tous x >, y >, ψ a x, y. O fixe θ > et G G. Motrer que F a = E θ,g ψ a X, Y est bie défiie, cotiue, dérivable et strictemet décroissate sur R +. 3. Motrer que si l o pose U = X θy et V = X + θy, sous P θ,g, U V est, coditioellemet à V, Z, de loi uiforme sur [, ]. E déduire que F admet u uique zéro e a = θ. 4. Soit X, Y N ue suite de variables aléatoires i.i.d. de loi P θ,g. Motrer que F a = ψ ax i, Y i est ue foctio qui admet u uique zéro, que l o ote θ. Motrer que θ est u estimateur cosistat de θ. 5. Motrer que θ θ = 3θ X i θy i X i + θy i + o Pθ,G. 6. E déduire que θ θ coverge e loi, sous P θ,g, vers N, 3θ. 5

Des méthodes d estimatio Exercice.4.. Partiel 9. Estimateur de Huber. Soit X N ue suite de variables aléatoires réelles i.i.d. de loi P θ de desité f θ, où f est ue foctio strictemet positive et paire sur R telle que + fufu =. Soit k u réel fixé, et soit φ la foctio φx = x x k + k x>k k x< k. O pose ψ θ = φx i θ, et o choisit ˆθ tel que ψ ˆθ = o P /.. Doer ψθ telle que pour tout θ R, ψ θ coverge e probabilité sous P θ vers ψθ.. Motrer que ψθ =, que si θ > θ, ψθ < ψθ, et que si θ < θ, ψθ > ψθ. 3. Motrer que ψ est décroissate. E déduire que ˆθ est cosistat. 4. Motrer que pour tous θ, θ, x, réels, φx θ φx θ θ θ. 5. Motrer que ψ est dérivable et calculer ψθ. 6. Motrer que ˆθ θ coverge e loi sous P θ vers ue gaussiee cetrée dot o précisera la variace. Exercice.4.. Soit X N ue suite de variables aléatoires i.i.d. de loi P das X espace poloais. Soit A u voisiage de θ das R d. Pour tout θ A, soit m θ ue foctio mesurable de X das R. O suppose que pour P -presque tout x, θ m θ x est différetiable e θ de dérivée ṁ θ x, et qu il existe ue foctio réelle h L P telle que pour tous θ, θ das A, et tout x X, m θ x m θ x hx θ θ. Le but de l exercice est de motrer que si U N est ue suite de variables aléatoires à valeurs das R d telle que U = O P, et si r N est ue suite de réels qui ted vers + quad ted vers +, alors Notos, pour U R d, G r m θ +U /r m θ U T ṁ θ = op.. Z U = G r m θ +U/r m θ U T ṁ θ. O admettra que si, M état u réel positif fixé, sup U M Z U = O P et si pour tout U fixé Z U = o P, alors sup U M Z U = o P.. Soit U fixé. Motrer que V ar[z U] = o. E déduire que Z U = o P.. Motrer que, pour tout M >, sup U M Z U = O P. 3. E utilisat les deux questios précédetes motrer.. 6

.4 Exercices Exercice.4.3. Le but de cet exercice est de démotrer le théorème de ormalité asymptotique des M-estimateurs. Soit doc X N ue suite de variables aléatoires i.i.d. de loi P das X espace poloais. Soit A u voisiage de θ das R d. Pour tout θ A, soit m θ ue foctio mesurable de X das R. O suppose que pour P -presque tout x, θ m θ x est différetiable e θ de dérivée ṁ θ x, et qu il existe ue foctio réelle h L P telle que pour tous θ, θ das A, m θ x m θ x hx θ θ. O suppose de plus que θ P m θ est deux fois différetiable e θ où elle admet u maximum, et que la hessiee V est symétrique iversible. O suppose efi que P sup m θ θ P m θ o P /, et que θ ted e probabilité vers θ.. E utilisat l exercice précédet, motrer que si U = O P, alors. E déduire que et P P m θ +U / m θ = U T V U + U T G ṁ θ + o P. P m θ V G ṁ θ / m θ = G ṁ θ T V G ṁ θ + o P. m θ m θ = θ θ T V θ θ + θ θ T G ṁ θ + o P. 3. Motrer que cela implique que T θ θ + V G ṁ θ V θ θ + V G ṁ θ + o P. 4. E déduire que θ θ + V G ṁ θ = o P et coclure. 7

3 Théorie de la vraisemblace O s itéresse maiteat au cas où le modèle est paramétrique et domié : P = {P θ = p θ µ, θ Θ} avec µ ue mesure sur R d, et Θ R k. L objectif est d étudier l estimatio par maximum de vraisemblace, et d étudier l optimalité asymptotique des estimateurs : au ses du risque quadratique, et au ses de la loi limite. O sait que das le cadre de l estimatio sas biais, l iverse de l iformatio de Fisher est la variace miimale iégalité de Cramer-Rao. A-t-o ue gééralisatio asymptotique, et qui porte sur tous les estimateurs, sas cotraite de biais? O va voir que d ue part, est la vitesse typique d estimatio, et que d autre part, o peut gééraliser asymptotiquemet l iégalité de Cramer-Rao e u ses miimax local, puis que l estimateur du maximum de vraisemblace est optimal sous des hypothèses de régularité. 3. Modèles différetiables e moyee quadratique et iégalité de Cramer-Rao O dit que le modèle est différetiable e moyee quadratique ce que l o écrira d.m.q. e θ si il existe u vecteur de k foctios l θ appelé score e θ tel que pθ+h p θ ht lθ pθ dµ = o h. 3. Propositio 3... Si le modèle est d.m.q. e θ, alors l θ L P θ k, et P θ lθ =. Le score est cetré et admet ue variace : o la ote I θ, et o l appelle iformatio de Fisher e θ. O a I θ = V ar θ lθ = P θ lθ lt θ. E particulier, o peut appliquer le TLC de sorte que G lθ vers N k, I θ. coverge e loi sous P θ Preuve. Fixos h R k. h/ ted vers, doc e appliquat 3. pθ+h/ p θ ht lθ pθ dµ = o, soit pθ+h/ p θ ht lθ pθ dµ = o. 9

3 Théorie de la vraisemblace La suite [ p θ +h/ p θ ] est ue suite de L µ qui coverge vers ht lθ pθ das L µ, qui est complet, doc pour tout h R k, h T lθ pθ L µ, soit h T lθ L P θ, doc l θ L P θ k. De même, p θ +h/ coverge vers p θ das L µ, et par cotiuité du produit scalaire, pθ+h/ pθ p θ +/ + p θ dµ = h T lθ p θ dµ. lim + Or pour tout, pθ+h/ pθ p θ +/ + p θ dµ = p θ +h/ p θ dµ =, doc pour tout h R k, h T lθ p θ dµ =, et P θ lθ =. E gros, le score fois racie de la desité est deux fois la dérivée par rapport à θ de la racie carrée de la dérivée. Quad o dérive p θ, o obtiet ṗ θ / p θ, doc le score est le quotiet de la dérivée de p θ par p θ mais la dérivatio est au ses L. O retrouve les coaissaces atérieures : Fisher est la variace de la dérivée de la log-desité. Mais peut-o relier plus précisémet tout ça? Propositio 3... O suppose que θ est das l itérieur de Θ, et que, si l o ote s θ x = p θ x : il existe A, voisiage de θ tel que Pour µ-presque tout x, θ s θ x est D sur A, de gradiet ṡ θ x, Pour tout θ A, ṡ θ L µ, et θ [ṡ θ ṡ T θ ]dµ est cotiue e θ. Alors le modèle est d.m.q. e θ de score l θ = ṡ θ /s θ. Remarques. Comme s θ x, si s θ x = c est u miimum de θ s θ x, et comme θ est das l itérieur de Θ, si il y a u gradiet, alors il est ul. Doc µ presque partout, ṡ θ x = quad s θ x =. Du coup, p θ x = s θ x est D sur A pour µ-presque tout x, de gradiet ṗ θ = ṡ θ xs θ x. Compte-teu de la remarque précédete, Preuve. O veut motrer 3. qui s écrit sθ+h s θ ht ṡ θ dµ = o h, ṗ θ p θ est bie défii P θ -p.s. et vaut l θ P θ -p.s. soit, e otat t = h et u t = h/ h, sθ+tut s θ tut t ṡ θ dµ = ot. 3. Il suffit de le motrer pour toute suite u t qui coverge vers u vecteur u quad t ted vers, e effet, si alors ce était pas vrai pour toute suite de vecteurs de orme, comme la boule uité est compacte, o pourrait extraire ue sous-suite qui coverge 3

3. Modèles différetiables e moyee quadratique et iégalité de Cramer-Rao vers u vecteur u et obteir ue cotradictio. O pose alors r t = s θ +tu t s θ t et o veut motrer que r t dµ = o. Posos aussi sθ +tu g t = t s θ t u T t ṡ θ, + u T t ṡ θ r t. O a g t, et µ presque partout, par l hypothèse de différetiabilité, quad t ted vers, s θ +tu t s θ = u T t ṡ θ + o = u T ṡ θ + o, t et g t ted vers u T ṡ θ + ut ṡ θ ut ṡ θ u T ṡ θ = 4 ut ṡ θ. Doc par le lemme de Fatou, lim if t g t dµ lim if t g t dµ, soit : lim sup t r t dµ lim if t sθ +tu t s θ dµ u T t ṡ θ ṡ T θ dµ u. Maiteat : doc et par Fubii, s θ +tu t s θ = tu T t ṡ θ +vtu t dv, sθ +tu t s θ = u T t ṡ θ +vtu t t dv sθ +tu t s θ dµ t u T t ṡ θ +vtu t dµ dv = u T t ṡ θ +vtu t dv u T t ṡ θ +vtu t ṡ T θ +vtu t dµ u t dv. par l hypothèse de cotiuité, ṡ θ +vtu t ṡ T θ +vtu t dµ coverge vers ṡ θ ṡ T θ dµ quad t ted vers et est majorée das u voisiage de θ, doc par covergece domiée, u T t ṡθ +vtu t ṡ T θ +vtu t dµ u t dv ted vers u T ṡ θ ṡ T θ dµu quad t ted vers, et l o a doc obteu lim sup t r t dµ. O va pouvoir maiteat éocer l iégalité de Cramer-Rao das le cadre des modèles d.m.q. comme ue coséquece d u résultat de dérivabilité : 3

3 Théorie de la vraisemblace Théorème 3... O suppose que θ est das l itérieur de Θ, et que le modèle est d.m.q. e θ. Soit T : R d R mesurable. Si il existe u voisiage A de θ tel que sup P θ T X < +, θ A alors la foctio g de Θ das R doée par θ gθ = P θ T X est différetiable e θ de gradiet ġ θ = P θ T l θ. Si de plus l iformatio de Fisher I θ est iversible, alors V ar θ T ġ T θ I θ ġ θ. Remarque. P θ T = T xp θ xdx, et si o dérive sous le sige somme et qu o iterprète le score comme ṗθ p θ o obtiet le résultat, mais il est pas obteu sous les hypothèses habituelles de dérivatio sous le sige somme. Preuve. O veut motrer Dh := T p θ +h T p θ ht T l θ p θ dµ = o h. Posos r h = p θ +h p θ ht lθ pθ, o sait que r h dµ = o h. O a Dh = = = [ T pθ +h p θ pθ +h + ] p θ h T lθ p θ dµ T [r h + ht lθ pθ pθ+h + ] p θ h T lθ p θ dµ T r h pθ +h + p θ dµ + T ht lθ pθ pθ +h p θ dµ. Par Cauchy-Schwarz, et si h est tel que θ + h A, T r h pθ +h + p θ dµ r h dµ / T pθ +h + p θ dµ / / rh 4 dµ sup P θ T X / = o h. θ A Pour le deuxième terme, o décompose selo que T K ou T > K et l o obtiet ecore par Cauchy-Schwarz 3

3. Modèles différetiables e moyee quadratique et iégalité de Cramer-Rao T ht lθ pθ pθ +h p θ dµ + / h T lθ pθ dµ p θ +h / p θ dµ K T p θ +h / p θ / dµ T >K ht lθ pθ dµ / T >K l θ p dµ θ O K h + h O = o h e preat par exemple K h = / h. Ce résultat se gééralise pour des foctios g à valeur das R m. Rappelos qu alors la différetielle de g est ue matrice, dot les liges sot les gradiets de ses foctios coordoées. Théorème 3... O suppose que θ est das l itérieur de Θ, et que le modèle est d.m.q. e θ. Soit T : R d R m mesurable. Si il existe u voisiage A de θ tel que sup P θ T X < +, θ A alors la foctio g de Θ das R m doée par θ gθ = P θ T X est différetiable e θ de matrice différetielle Dgθ = P θ T l T θ. La matrice suivate est semi-défiie positive : V arθ T Dgθ Dgθ T I θ Si de plus l iformatio de Fisher I θ est semi-défiie positive. est iversible, alors V ar θ T Dgθ I θ Dgθ T Preuve. La première partie du théorème différetiabilité est ue applicatio du Théorème 3.. appliqué à g coordoée par coordoée. Puis, compte-teu de ce résultat, la première matrice est ue matrice de variace V arθ T Dgθ Dgθ T Pour la deuxième, le résultat viet de : I θ = V ar θ [ Ṫ l θ V ar θ T Dgθ I θ Dgθ T = I m Dgθ I θ V ar θ T Dgθ Dgθ T ] I θ I θ I m Dgθ T. 33

3 Théorie de la vraisemblace Que se passe-t-il quad o dispose d u -échatillo? Théorème 3..3. O suppose le modèle {P θ = p θ µ, θ Θ} d.m.q. e θ de score l θ et d iformatio de Fisher I θ. Alors pour tout N, le modèle {P θ, θ Θ} est d.m.q. e θ de score l θ, x,..., x = l θ x i et d iformatio de Fisher I θ. Corollaire 3... Si de plus T : R d R est mesurable et tel que il existe u voisiage A de θ tel que P θ T X,..., X < +, sup θ A si o pose gθ = P θ T, alors E θ [ T gθ ] ġ T θ I θ ġ θ. Preuve. A faire e exercice!!! Et à compléter par le résultat multidimesioel!!! 3. L estimateur du maximum de vraisemblace O s itéresse à l estimateur du maximum de vraisemblace et à so asymptotique. O va commecer par motrer u développemet de la log-vraisemblace sous la seule hypothèse de différetiabilité e moyee quadratique. O ote l θ la log-vraisemblace : l θ = log p θ X i. Théorème 3... Si le modèle est d.m.q. e θ, alors pour toute suite h de R k covergeat vers u h R k : l θ + h l θ = G h T lθ ht I θ h + o Pθ. Preuve. Posos pour tout et tout i =,..., : p θ + h X i W,i = p θ X i de sorte que l θ + h l θ = log + W,i. 34

3. L estimateur du maximum de vraisemblace Taylor doe : log + u = u u + u Ru où Ru ted vers quad u ted vers. Du coup l θ + h l θ = W,i W,i + W 4,iRW,i. O va motrer et W,i = G h T lθ 4 ht I θ h + o Pθ, 3.3 4 ce qui suffit à prouver le théorème. Motros 3.3. E θ W,i = p θ + h pθ dµ = Mais das L µ par d.m.q. W,i = 4 ht I θ h + o Pθ 3.4 W,iRW,i = o Pθ 3.5 pθ + h = p θ + ht lθ pθ + o. p θ + h p θ dµ. Doc p θ + h p θ dµ ted vers ht lθ pθ dµ, soit 4 ht I θ h. Par ailleurs, V ar θ W,i G h [ W,i ] T lθ E θ h T lθ X i = 4 pθ + h p θ ht lθ pθ dµ = o, et o déduit facilemet 3.3. Motros maiteat 3.4. Puisque W,i h T lθ X i ted vers das L P θ, o peut écrire W,i = h T lθ X i + A,i où pour i =,..., sot i.i.d. tels que E θ A,i ted vers quad ted vers l ifii, et doc W,i = h T lθ X i + A,i 4 4 4 = 4 ht I θ h + o Pθ + 4 A,i = 4 ht I θ h + o Pθ 35

3 Théorie de la vraisemblace par la LGN, puis la covergece vers das L P θ de A,i. Motros efi 3.5. O a W,iRW,i max RW,i W,i = O Pθ max RW,i. i i Motros doc que max i RW,i = o Pθ. Comme Ru ted vers quad u ted vers, pour tout ɛ >, il existe δ > tel que si Ru ɛ, alors u δ. Puis P θ max RW,i ɛ i P θ W,i δ ted vers quad ted vers l ifii. = P θ h T lθ X + A, δ P θ h T δ lθ X + P θ A, δ [ ] δ E θ h T lθ X h T lθ X + δ δ E θ A, O peut maiteat obteir le théorème asymptotique de l e.m.v. estimateur du maximum de vraisemblace. Théorème 3... O suppose que θ vérifie l θ sup θ l θ o Pθ. O suppose qu il existe u voisiage A de θ tel que :. θ p θ x est D sur A. θ I θ est bie défiie et cotiue sur A, 3. Il existe H L P θ tel que pour tous θ, θ A, 4. I θ est iversible 5. θ coverge e P θ -probabilité vers θ. log p θ x log p θ x θ θ Hx, Alors θ θ = I θ G lθ + o Pθ. E particulier, θ θ coverge e loi vers N k, I θ. Remarque. Si Θ est compact et si l hypothèse 3. vaut sur Θ et pas seulemet sur A, alors θ coverge e P θ -probabilité vers θ exercice : le démotrer!. Preuve. O va vérifier les hypothèses du Théorème.3.6. O a bie, comme remarqué lors de la Propositio 3.., que θ log p θ x est D sur A pour µ-presque tout x, et so gradiet e θ est l θ. Il reste à motrer que θ P θ log p θ est D e θ de hessiee 36

3. L estimateur du maximum de vraisemblace I θ. Par la Propositio 3.., le modèle est d.m.q. e θ, et doc, par le Théorème 3.., pour toute suite h de R k covergeat vers u h R k : G log p θ + h log p θ h T lθ +P θ log p θ + h log p θ = ht I θ h+o Pθ. O va motrer que G log p θ + h log p θ h T lθ = o Pθ, ce qui doera que : pour toute suite h de R k covergeat vers u h R k, P θ log p θ + h log p θ = ht I θ h + o, ce qui est suffisat pour obteir le résultat souhaité. O a [ ] V ar θ G log p θ + h log p θ h T lθ = log p θ + h log p θ h T lθ dµ. log p θ + h log p θ h T lθ ted vers µ-presque partout, et est domiée pour assez grad par h H + l θ doc par covergece domiée [ ] V ar θ G log p θ + h log p θ h T lθ = o. Questios : L e.m.v. est il optimal, et e quel ses? Si T est u estimateur de θ basé sur X,..., X, la variace asymptotique de T θ est-elle toujours miorée par I θ? La loi gaussiee cetrée de variace I θ est-elle optimale comme limite e loi de T θ et e quel ses? Cotre-exemple de Hodge : Cosidéros la situatio où P θ = N θ,. L iformatio de Fisher e tout θ est I θ =, l e.m.v. est T = X i. Soit maiteat { T si T S = /4 si T < /4. Si θ, alors S θ coverge e loi vers N,, et si θ =, S θ coverge e probabilité vers, et même, pour toute suite r tedat vers l ifii, r S θ coverge e probabilité vers exercice : le démotrer!. Au ses de la covergece e loi regardée poctuellemet θ par θ, S est meilleur que T, e ayat privilégié arbitrairemet ue valeur la valeur. Par cotre, si o regarde le risque quadratique au voisiage de, [ E h S h ] + h exercice : le démotrer! peut être arbitrairemet grad! 37

3 Théorie de la vraisemblace 3.3 Estimateurs efficaces au ses du risque asymptotique quadratique local Pour miorer u risque maximum, o utilise classiquemet que le risque maximum est plus grad que le risque bayésie. O itroduit ue probabilité sur A Θ de desité q par rapport à Lebesgue, et si T est u estimateur de gθ, o a toujours sup E θ [T gθ ] E θ [T gθ ] qθdθ. θ A 3.3. Iégalité de va Trees O va commecer par le cas où Θ est u itervalle a, b de R et g : Θ R. A Théorème 3.3. Iégalité de va Trees. O suppose que le modèle {p θ µ, θ Θ} est d.m.q. e tout θ, et que θ p θ x est C pour tout x. O suppose que q est dérivable sur [a, b], ulle au bord de Θ, et o ote q θ Jq = dθ. qθ Θ O suppose e outre que g est C sur [a, b] et telle que Θ g θ qθdθ < +. Alors si T est u estimateur : Θ E θ [T gθ ] qθdθ g θqθdθ Θ I θqθdθ + Jq. Θ Preuve. La preuve est simple : Fubii, itégratio par parties, et Cauchy-Schwarz. Tout d abord, il y a rie à démotrer si Θ I θqθdθ = + ou Jq = + ou [ T gθ ] qθdθ = +. Puis Θ E θ g θqθdθ = g θqθp θ xdµxdθ { = [gθ T x qθp θ x] θ=b θ=a gθ T x d } dθ qθp θx dθ dµx = gθ T x q θp θ x + qθ p θ x dθdµx q θ = gθ T x qθ + p θx p θ dµxqθdθ. p θ x Puis par Cauchy-Schwarz das L p θ dµxqθdθ : g θqθdθ gθ T x q θ p θ dµxqθdθ qθ + p θx p θ dµxqθdθ p θ x = E θ [T gθ ] [ ] qθdθ I θ qθdθ + Jq. Θ Θ 38

3.3 Estimateurs efficaces au ses du risque asymptotique quadratique local Remarque. Jq est l iformatio de Fisher pour le modèle {qθ αdθ, α R} e étedat q sur R, ulle e-dehors de a, b. O peut étedre ce résultat à a, b = R. L iégalité de va Trees a ue gééralisatio multi-dimesioelle, et peut se démotrer sous des hypothèses plus faibles. Voici u éocé gééral que l o admettra. Ici Θ R k, et q est ue desité de probabilité sur Θ. O utilise la otio de foctio absolumet cotiue, voir plus loi. Théorème 3.3.. O suppose que le modèle {p θ µ, θ Θ} est d.m.q. e tout θ, que q : Θ R et g : Θ R m sot absolumet cotiues, o ote q le gradiet de q et Dgθ la matrice différetielle de g qui existet presque partout, et o ote Jq la matrice qθ qθ T Jq = dθ. qθ Θ O suppose e outre que : La trace de Jq est fiie Les foctios θ qθ et θ qθgθ tedet vers quad θ ted vers le bord de Θ Les itégrales θ gθ qθdθ et θ Dgθ i,j qθdθ, i =,..., m, j =,..., k, sot fiies. Alors si T est u estimateur, la matrice suivate est semi-défiie positive : [ ] Θ E θ T gθ T gθ T qθdθ Θ Dgθqθdθ Θ Dgθqθdθ T Θ I. θqθdθ + Jq Si de plus Θ I θqθdθ + Jq est iversible, alors E θ [T ] gθ T gθ T qθdθ Dgθqθdθ I θ qθdθ + Jq Dgθqθdθ Θ Θ Θ Θ est semi-défiie positive. La preuve de ce théorème repose sur les mêmes étapes que précédemmet. O motre tout d abord que l o peut appliquer le pricipe itégratio par parties couplé à Fubii pour obteir qθ T T x gθ qθ + l θ x p θ xqθdµxdθ = Dgθqθdθ. Esuite o a alors T T x gθ x gθ T qθ qθ + l qθ qθ + l θ x T p θ x θ xqθdµxdθ [ ] = Θ E θ T gθ T gθ T qθdθ Θ Dgθqθdθ Θ Dgθqθdθ T Θ I θqθdθ + Jq T 39

3 Théorie de la vraisemblace qui motre que cette matrice est semi-défiie positive et o achève comme pour l iégalité de Cramer-Rao multidimesioelle. Quelques mots sur les foctios absolumet cotiues. Ue foctio réelle F est absolumet cotiue sur u itervalle I de R si pour tout ɛ > il existe δ > tel que, pour toute suite [a, b ] d itervalles de I disjoits, b a < δ = F b F a < ɛ. F est absolumet cotiue sur [a, b] si et seulemet si il existe ue foctio f itégrable telle que pour tout x [a, b], F x F a = x a ftdt. Alors F est presque partout dérivable de dérivée f. Si F : R k R m o dit que F est absolumet cotiue si pour tout j =,..., m, et tout i =,..., k, x F j x,..., x i, x, x i+,..., x k est absolumet cotiue. 3.3. Estimateurs localemet asymptotiquemet miimax O cosidère u modèle d.m.q. au voisiage de θ, et l o cherche à miorer le risque quadratique miimax sur u voisiage de θ de taille d ordre / voir cotre-exemple de Hodge. Cosidéros tout d abord le cas simple uidimesioel, avec Θ R et g foctio réelle. SI T est ue suite d estimateurs basés sur X,..., X o veut doc miorer [ sup E θ T gθ ]. θ θ c Il s agit doc de mettre ue loi a priori sur [θ c ; θ + c ]. Soit doc q ue probabilité sur [, ], qui vérifie les hypothèses du Théorème 3.3., avec Jq < +. Soit q la desité de la loi de la variable aléatoire θ + c U où U a pour desité q, q est ue desité de probabilité sur [θ c ; θ + c ], q θ = c q c θ θ. Si l o applique l iégalité de va-trees, o obtiet [ sup E θ T gθ ] θ θ c θ + c θ c Mais Jq = c Jq. Doc o obtiet facilemet : [ E θ T gθ ] q θ dθ θ + c θ c g θq θ dθ θ + c θ c I θ q θ dθ + Jq. 4

3.3 Estimateurs efficaces au ses du risque asymptotique quadratique local Théorème 3.3.3. O suppose Θ R, et que le modèle est d.m.q. au voisiage de θ, d iformatio de Fisher I θ cotiue au voisiage de θ, avec I θ. O suppose que la foctio réelle g est de classe C au voisiage de θ. Alors pour toute suite T d estimateurs [ lim if lim if sup E θ T gθ ] g θ. c + + θ θ c I θ O dit alors que T est localemet asymptotiquemet miimax si [ lim if lim if sup E θ T gθ ] = g θ. c + + θ θ c I θ Remarque. Si l o reviet au cotre-exemple de Hodge, o a [ lim if lim if sup E θ S θ ] = +, c + + θ c et S est pas localemet asymptotiquemet miimax. O peut étedre ce résultat de mioratio asymptotique e situatio multidimesioelle. O se place das la situatio du Théorème 3.3., Θ R k et g : Θ R m. Soit q ue desité borée et différetiable sur la boule uité B k, das R k, telle que qv = si v est sur la frotière de B k,, et telle que la trace de Jq soit fiie. Soit c >. Alors pour assez grad, la boule ouverte cetrée e θ et de rayo c est icluse das Θ. Soit q la desité de la variable aléatoire U = θ + cv où V a pour desité q. Alors Jq = Jq. E appliquat le Théorème 3.3., si T c est ue suite d estimateurs, pour assez grad, si Jq + c Θ I θqθdθ est iversible, alors [ T E θ + cv gθ + cv T gθ + cv ] T qv dv v Dgθ + cv qv dv v c Jq + v est semi-défiie positive. O obtiet alors facilemet : I θ + cv qv dv Théorème 3.3.4. O suppose Θ R k, et que le modèle est d.m.q. au voisiage de θ, d iformatio de Fisher I θ cotiue au voisiage de θ et iversible. O suppose que la foctio g à valeurs das R m est de classe C au voisiage de θ. Alors pour toute suite T d estimateurs, pour tout U R m, [ lim if lim if sup U T E θ + c + + cv T gθ + cv T ψθ + cv ] T U v U T Dgθ I θ Dgθ T U. Dgθ + cv qv dv v T 4

3 Théorie de la vraisemblace Aussi, [ lim if lim if sup E θ + c + + cv T gθ + cv ] Tr v [ Dgθ I θ Dgθ T ]. 3.4 Estimateurs réguliers et efficaces au ses du théorème de covolutio O va maiteat chercher à doer u ses à ue optimalité asymptotique e loi. Le cadre est celui de suites X i.i.d., si o dit que T est u estimateur, cela sous-eted ue foctio mesurable de X,..., X. 3.4. Estimateurs réguliers et théorème de covolutio Soit g : Θ R m ue foctio. O dit que T est u estimateur régulier e θ de gθ si, pour tout c R k, T g θ + c coverge e loi sous P θ + c vers L θ qui e déped pas de c, autremet dit la même loi pour tout c. Remarque. La covergece a lieu sous ue loi qui varie avec. Doc o e peut pas l obteir e appliquat u TLC comme o l a fait souvet. Doc pour obteir la régularité d u estimateur, o pourra avoir besoi de ouveaux outils : ce sera la cotiguïté, que l o défiira et étudiera plus loi. Le théorème essetiel que l o admettra est le suivat. Théorème 3.4.. O suppose le modèle d.m.q. e θ itérieur à Θ, d iformatio de Fisher I θ iversible. O suppose aussi g différetiable e θ. Alors, si T est u estimateur régulier e θ de gθ, il existe ue probabilité M sur R m telle que L θ = M N m, Dg θ I θ Dg θ T. Ici, L θ est la loi limite de T g θ + c pour tout c R k. Remarques. Comme la covolutio étale la loi, N m, Dg θ I θ Dg θ T est la loi optimale pour les estimateurs réguliers. L estimateur de Hodge S est régulier e θ mais est pas régulier e exercice : le démotrer!. Commet voir si T est régulier? Commet obteir la loi asymptotique sous P θ + c? Il s agit de trouver ue probabilité L sur R m telle que pour toute foctio réelle ϕ cotiue borée, lim E θ + + c ϕ T = ϕtdlt 4

3.4 Estimateurs réguliers et efficaces au ses du théorème de covolutio Comme E θ + c ϕ T = ϕ T x,..., x dp θ + c x,..., x p θ + c x i = ϕ T x,..., x p dp θ x i θ x,..., x, il s agit de maière géérale de trouver la loi asymptotique d ue v.a. Z sous Q quad o sait dire des choses asymptotiques sous P e utilisat, si Q est absolumet cotiue par rapport à P, [ E Q [ϕ Z ] = E P ϕ Z dq ]. dp Il est logique de se dire pour cela qu il faut coaitre des choses sur la loi limite joite de Z, dq dp sous P. C est l objet de la cotiguïté itroduite et étudiée par Hajek et Le Cam. 3.4. Cotiguïté Soiet Q et P deux suite de probabilités sur les mêmes espaces pouvat chager avec. O dit que Q est cotiguë par rapport à P si pour toute suite d évéemets A, si P A ted vers, alors Q A ted vers. Remarque. La cotiguïté est ue otio d absolue cotiuité asymptotique. Si P et Q sot deux probabilités sur u même espace, Q est absolumet cotiue par rapport à P si, pour tout évéemet A, si P A =, alors QA =. Si Q est absolumet cotiue par rapport à P, alors il existe ue foctio mesurable q telle que Q = qp, q est la desité de Q par rapport à P. O peut toujours décomposer Q e la somme Q a + Q o, où Q a est absolumet cotiue par rapport à P et Q o est étragère à P, c est à dire qu il existe A tel que Q o A = et P A = A est le complémetaire de A. La otatio dq dp Q a par rapport à P. C est ue foctio mesurable x dq dp variable aléatoire, que l o otera ecore dq dp. Par exemple : E P de dq dp X lorsque X est de loi P. O a Q absolumet cotiue par rapport à P E P dq dp désige la desité de dq x. Doc dp X est ue sigifie l espérace dq dp dp = Q dq > =. Remarquos que cosidérées sous P, dq dp est toujours ue suite tedue : pour tout M >, par l iégalité de Markov, dq P M dp M E dq P dp M, qui a doc au mois ue valeur d adhérece pour la topologie de la covergece e loi valeur d adhérece = limite d ue suite extraite. 43

3 Théorie de la vraisemblace Théorème 3.4. Premier Lemme de Le-Cam. Les propriété suivates sot équivaletes :. Q est cotiguë par rapport à P. Si V est ue valeur d adhérece pour la covergece e loi de dq dp sous P, alors EV =. 3. Si U est ue valeur d adhérece pour la covergece e loi de dp dq sous Q, alors P U > =. 4. Si T coverge e probabilité vers sous P, alors T coverge e probabilité vers sous Q. Preuve. Voir livre de va der Vaart. Théorème 3.4.3 Troisième Lemme de Le-Cam. Soit Z ue variable aléatoire telle que sous P, Z, dq dp coverge e loi vers la variable aléatoire Z, V. Si Q est cotiguë par rapport à P, alors la mesure L défiie par LB = E Z B V pour tout évéemet B est ue probabilité, et Z coverge e loi vers L sous Q. Preuve. Tout d abord, L est bie ue mesure positive, et de masse égale à par le poit. du premier Lemme de Le-Cam. O a alors pour toute foctio ϕ mesurable borée ou mesurable positive, ϕudlu = EϕZV. Pour motrer que Z coverge e loi vers L sous Q il suffit doc de motrer que pour toute foctio ϕ mesurable positive, lim if E Q + [ϕ Z ] E [ϕ Z V ]. Remarquos que l o a pas supposé que Q est absolumet cotiue par rapport à P, doc o a seulemet l iégalité qui est pas forcémet ue égalité : [ E Q [ϕ Z ] E P ϕ Z dq ]. dp Mais la foctio z, v ϕzv est cotiue positive, doc comme Z, dq dp coverge e loi vers la variable aléatoire Z, V, et la preuve est fiie. lim if + E P [ ϕ Z dq dp 3.4.3 Applicatio aux modèles d.m.q. ] E [ϕ Z V ]. O va voir que das les modèles d.m.q., sous les hypothèses de ormalité asymptotique, l e.m.v. est efficace au ses du théorème de covolutio, aisi que tous les estimateurs de foctio régulières de θ obteus par plug-i de l e.m.v. Propositio 3.4.. Si le modèle est d.m.q. e θ, alors pour tout c R k, P θ+ c cotiguë par rapport à P θ. est 44

3.4 Estimateurs réguliers et efficaces au ses du théorème de covolutio Preuve. Notos Q = P θ+ c et P = P θ. O a, si le modèle est d.m.q. log dq dp = G h T lθ ct I θ c + o Pθ. Doc par le TCL, log dq dp coverge e loi sous P vers W de loi N σ, σ, e otat σ = c T I θ c ; doc par image cotiue dq dp coverge e loi sous P vers V = e W uique valeur d adhérece. O écrit W = σ + σu avec U de loi N,, et E V = E e σ +σu = e σ + σ = doc Q est cotiguë par rapport à P par le premier Lemme de Le-Cam. Propositio 3.4.. O suppose que Z est ue variable aléatoire à valeurs das R m. Si dp θ+ Z c, log dp θ coverge e loi sous P θ vers N m+ µ σ Σ τ ; τ T σ alors Z coverge e loi sous P θ+ c vers N m µ + τ; Σ. Preuve. Avec les otatios de la propositio précédete, Q est cotiguë par rapport à P, doc par le troisième Lemme de Le-Cam, Z coverge e loi vers L doée par µ Σ τ ϕxdlx = E[ϕZe W ], avec Z, W de loi N m+ ; σ τ T σ. Calculos la foctio caractéristique de L. Pour tout t R m, e i t,x R m dlx = E e i t,z R m e W e i t, i,z,w R m+ = E [ = exp i t, i, µ, σ R m+ Σ τ t, it τ T σ [ = exp i t, µ + τ R m ] tt Σt qui est la foctio caractéristique de N m µ + τ; Σ. Corollaire 3.4.. Si le modèle est d.m.q. e θ et que θ vérifie θ θ = I θ dg lθ + o Pθ. t i alors θ est efficace au ses du théorème de covolutio. Si de plus g : Θ R m est différetiable e θ, alors g θ est efficace au ses du théorème de covolutio. Preuve. A faire e exercice! ] 45

3 Théorie de la vraisemblace 3.5 Exercices Exercice 3.5.. Vitesse d estimatio paramétrique Soit {P θ, θ Θ}, Θ R k, u modèle domié sur R d qui soit e tout θ : idetifiable, DMQ différetiable e moyee quadratique et d iformatio de Fisher I θ iversible. Soiet f θ la desité de P θ par rapport à µ, l θ la foctio score e θ, θ u poit itérieur à Θ. Soit X,..., X u -échatillo de P θ. Le but de l exercice est de motrer que sous ces hypothèses et si e plus Θ est compact, alors il existe u estimateur -cosistat de θ.. a O ote H la distace de Helliger, c est à dire HP θ, P θ = f θ fθ dµ /. Motrer que < lim if h HP θ +h, P θ h lim sup h HP θ +h, P θ h <. b E déduire que les deux assertios suivates sot équivaletes pour h tel que h. i. < lim if HPθ +h, P θ lim sup HPθ +h, P θ <, ii. < lim if h lim sup h <. Das la suite, o suppose Θ compact. O défiit la distace etre deux lois sur R d par dp, Q = sup x R d F P x F Q x, où F P resp. F Q est la foctio de répartitio associée à P resp. Q. Soiet X,..., X u -échatillo de P θ, P la mesure empirique associée, et T u élémet de Θ tel que dp T, P dp θ, P + O. O va motrer que T est -cosistat de θ, i.e. T θ = O Pθ. O rappelle o admettra que dp θ, P = O Pθ.. Motrer que pour tout θ, f θ+h f θ h T lθ f θ dµ = o h. 3. Motrer que θ dp θ, P θ est cotiue e θ, puis que T est cosistat. 4. Motrer que lim if h E déduire qu il existe ɛ >, c >, tels que h dp θ +h, P θ >. θ θ ɛ = dp θ, P θ c θ θ. 46

3.5 Exercices 5. Motrer que T est -cosistat. Exercice 3.5.. Ue applicatio de l iégalité de Va Trees : estimatio de θ α avec u échatillo de N θ,. Soit X N ue suite de variables aléatoires idépedates de loi N θ,, avec θ. O s itéresse à l estimatio de θ α pour u < α <.. Soit θ >. Motrer que sous θ = θ, X α θ α coverge e loi vers N, α θ α. Motrer que si ψ est u estimateur, lim if lim if sup E θ ψ θ α α θ c + + θ θ c α.. Soit δ >, et soit λ ue desité de probabilité sur [, M] cotiûmet dérivable, telle que λ = λm =. O ote Jλ = M λ u λu du. E utilisat la desité de probabilité λ δ,c θ = θ δ c λ c, motrer que pour tout etier, si ψ est u estimateur, lim if sup E θ ψ θ α α + δ α, e déduire que θ δ lim sup E θ ψ θ α = +. + θ 3. Motrer que u α λu est itégrable e, puis que M M lim δ + cu α λ u du = c α u α λ u du. δ E déduire que si ψ est u estimateur, où A = M u α λudu, puis que sup E θ ψ θ α Acα α θ + Jλc sup E θ ψ θ α α α α +α A θ α Jλ α. Remarquer la vitesse d estimatio et comparer avec la questio. Commetaire? 4. E étudiat la foctio fh = x + h α x α h α pour h et x >, motrer que pour tous réels x et y, y α x α y x α. 47

3 Théorie de la vraisemblace 5. Motrer que ψ = X α réalise la vitesse, i.e. il existe ue costate Cα telle que α sup E θ X α θ α Cα. θ Exercice 3.5.3. Soit P = P = N, et Q = N m,. Motrer que P est cotigüe par rapport à Q si et seulemet si Q est cotigüe par rapport à P si et seulemet si la suite m N est borée. Exercice 3.5.4. Soit P la loi de la moyee empirique d u -échatillo de N, et Q la loi de la moyee empirique d u -échatillo de N m,. Motrer que P et Q sot mutuellemet cotigües si et seulemet si la suite m N est borée. Exercice 3.5.5. Soit P la loi d u -échatillo de la loi uiforme sur [, ] et Q la loi d u -échatillo de la loi uiforme sur [, + ]. Motrer que P est cotigüe par rapport à Q. Q est-elle cotigüe par rapport à P? Exercice 3.5.6. O ote la distace e variatio, i.e. si P et Q sot deux probabilités sur u même espace probabilisable, P Q = sup P A Q A. A. Soit µ ue mesure domiate par exemple P +Q et p et q les desités respectives de P et Q par rapport à µ. Motrer que P Q = p q dµ = p q + dµ.. Motrer que si P Q ted vers quad ted vers l ifii, alors P et Q sot mutuellemet cotigües. 3. Motrer que si P et Q sot mutuellemet cotigües, alors lim sup + P Q <. 4. Soit ɛ >. Trouver ue suite de probabilités P et Q qui sot mutuellemet cotigües mais telles que P Q ted vers ɛ quad ted vers l ifii. Exercice 3.5.7. Soit P θ,f la loi de θ + ɛ, ɛ de desité f paire, cotiûmet dérivable et telle que f f dx < modèle de traslatio vu au TD 5. O veut estimer gθ = P θ,f X z pour u réel z doé. O suppose que f est coue, et que x f xdx < +. O cosidère les deux estimateurs 48

3.5 Exercices U = X i z V = F z X, F foctio de répartitio associée à la desité f.. Motrer que U et V sot cosistats.. Motrer que U gθ coverge e loi vers ue gaussiee cetrée dot o précisera la variace. Motrer que V gθ coverge e loi vers ue gaussiee cetrée dot o précisera la variace. 3. Soit c u réel o ul. Sous P θ + c,f, quelle est la loi asymptotique de U gθ + c? Sous P θ + c,f, quelle est la loi asymptotique de V gθ + c? Ces deux estimateurs sot-ils réguliers? Efficaces? 49

4 Estimatio semi-paramétrique Le cadre est toujours celui d ue suite de variables aléatoires i.i.d. X de loi P P. O s itéresse maiteat au cas où P est pas écessairemet paramétrique, et où l o veut estimer ψ P avec ψ ue foctio coue de P das R ou R k. O va explorer la situatio où o peut estimer ψ P avec vitesse. Quelques exemples : Momet : ψp = fdp, f état ue foctio coue. O sait estimer avec l estimateur empirique, mais existe-t-il u estimateur efficace et lequel si P est l esemble de toutes les lois de probabilité? Cetre de symétrie : P est l esemble des lois sur R de desité par rapport à Lebesgue f θ, f F, F esemble des desités de probabilité strictemet positives sur R et cetrées e. O peut estimer θ par la moyee empirique, mais peut-o trouver u estimateur meilleur? Et e restreigat F? Régressio : si o observe X = Y, Z, avec Y = g θ Z + ɛ, Z, ɛ de loi η icoue mais telle que ɛ soit cetré et de variace. Si M est u sous-modèle de P paramétré par u réel, i.e. M = {P θ, θ Θ} P avec Θ R et que la foctio g est défiie par gθ = ψ P θ, si M est d.m.q. e θ et g dérivable e θ, o sait que pour estimer ψ P θ, la bore iférieure de variace que ce soit pour l efficacité au ses du risque miimax local asymptotique, ou au ses du théorème de covolutio est g θ /I θ. L idée est de maximiser cette bore iférieure e les sous-modèles M possibles de dimesio pour lesquels Θ R coteat le poit P = P θ. 4. Esembles tagets et foctios d ifluece O ote P la probabilité de P pour laquelle o s itéresse à l efficacité des estimateurs pour estimer ψp. Si M est u sous-modèle de dimesio passat par P et d.m.q. pour le paramètre e ce poit et de score g, alors o otera P θ,g la paramétrisatio de M, et o coviedra quitte à opérer ue traslatio du paramètre que c est e θ = que l o passe par P, i.e. P,g = P. O dit que T est u esemble taget à P e P si c est u sous-esemble de L P tel que, pour tout g T, il existe u sous-modèle de dimesio {P θ,g, θ Θ}, Θ R, tel que P,g = P, qui soit d.m.q. e et de score g. 5

4 Estimatio semi-paramétrique Remarques. Bie que la otatio e l idique pas, u esemble taget à P e P déped de P. L iformatio de Fisher e das le modèle {P θ,g, θ Θ} est P g. Si a est u réel fixé, le sous-modèle de dimesio {P aθ,g, θ Θ} est d.m.q. e et de score ag. Doc o peut toujours cosidérer qu u esemble taget est u côe. La bore iférieure de variace pour estimer ψp est, si θ ψp θ,g est dérivable, d dθ ψp θ,g θ= /P g das le modèle {P θ,g, θ Θ}, c est la même das le modèle {P aθ,g, θ Θ}. Doc chercher à maximiser cette bore, c est chercher toutes les directios d approche de P par des sous-modèles de dimesio. O dit que la foctio ψ : P R est différetiable à P relativemet à l esemble taget T si il existe ψ P liéaire et cotiue de L P das R telle que : pour tout g T, score e θ = du sous-modèle de dimesio {P θ,g, θ Θ}, ψp θ,g ψp lim = θ θ ψ P g. Remarque. Cela sigifie que la foctio θ ψp θ,g est dérivable e das tous les sous-modèles, et que la dérivée peut s iterpréter comme ue compositio de différetielles. Das les espaces de Hilbert, o sait Théorème de Riesz que les applicatios liéaires cotiues à valeurs das R sot les produits sacalaires avec ue foctio fixe de l espace de Hilbert. Doc si ψ : P R est différetiable à P relativemet à l esemble taget T, il existe ψ P L P telle que pour tout g T, ψ P g = ψp gdp. Y a-t-il uicité de cette foctio ψ P? Si ψ L P et ψ L P sot telles que pour tout g T, ψ P g = ψ gdp = ψ gdp, alors pour tout g T, ψ ψ gdp =. Si l o ote HT l espace de Hilbert egedré par T c est à dire la fermeture, das L P, de l esemble des combiaisos liéaires de foctios de T, et HT o so orthogoal das L P, les foctios ψ i, i =, se décomposet comme la somme d ue foctio de HT et d ue foctio de HT o, et il y a uicité de la foctio das HT das cette décompositio. Comme par ailleurs la partie de la décompositio das HT o iterviet pas das ψi gdp, o peut choisir pour ψ P la foctio de HT qui représete ψ P sur T. C est ce que dit la défiitio suivate. Si ψ est différetiable à P relativemet à l esemble taget T, la foctio d ifluece efficace ψ P est l uique foctio qui vérifie : ψ P HT, espace de Hilbert egedré par T, g T, ψ P g = ψp gdp. Remarques. Les foctios scores sot toujours cetrées, doc les foctios de HT aussi, et o a doc toujours ψ P dp =. La bore iférieure de variace pour estimer ψp das le sous-modèle {P θ,g, θ Θ} 5

4. Efficacité est CRg = ψp gdp g dp ψ P dp par Cauchy-Schwarz. Et si o peut approcher ψ P das L P par des foctios de T, alors la maximisatio de CRg das les sous-modèles coduit à ψ P dp. O peut étedre tout cela à l estimatio de quatités multidimesioelles. O dit que la foctio ψ : P R m est différetiable à P relativemet à l esemble taget T si chacue des coordoées ψ j, j =,..., m de ψ est différetiable à P relativemet à l esemble taget T. La foctio d ifluece efficace est l uique m-uplet ψ = ψ,..., ψ m de foctios qui vérifie : ψ HT m, g T, j =,..., m, lim θ ψp θ,g j ψp j θ = ψj gdp. 4. Efficacité O s itéresse tout d abord à l efficacité au ses du risque miimax asymptotique local. Théorème 4... Soit ψ : P R différetiable à P relativemet à l esemble taget T et de foctio d ifluece efficace ψ. O suppose que T est u espace liéaire. Alors, si T est ue suite d estimateurs, lim if lim if sup E P c + +,g g T, g c [ ] T ψp,g ψ dp. Preuve. Soit g p p ue suite de foctios de T qui coverge das L P vers ψ, et pour tout p, soit h p = gp c p avec c p = gpdp. O fixe p. Das le sous-modèle de dimesio et de score h p, o a P c,h p = P,ch p et doc et doc sup E P,g g T, g c lim if lim if sup E P c + +,g g T, g c [ ] [ T ψp,g sup E Pθ,hp T ψp θ,hp ] [ θ c ] d T ψp,g dθ ψp θ,h p θ= h p dp ψhp dp = h p dp et l o obtiet le théorème e faisat tedre p vers l ifii. 53

4 Estimatio semi-paramétrique O dit que T est localemet asymptotiquemet miimax pour estimer ψp, ou efficace au ses du risque local miimax asymptotique pour estimer ψp si [ ] lim if lim if sup E P c + + T,g ψp,g = ψ dp. g T, g c Remarque. Comme P cθ,g a pour score cg o pourrait aussi écrire de maière équivalete [ ] lim if lim if sup E P c T c + +,g ψp c g T, g,g E multidimesioel, o obtiet ψ dp. Théorème 4... Soit ψ : P R m différetiable à P relativemet à l esemble taget T et de foctio d ifluece efficace ψ. O suppose que T est u espace liéaire. Alors, si T est ue suite d estimateurs, pour tout U R m, lim if lim if sup E P c + +,g g T, g c [ ] U T T ψp,g U T V ar P ψ U et [ ] [ ] lim if lim if sup E P c + + T,g ψp,g Tr V ar P ψ. g T, g c O s itéresse maiteat à l efficacité au ses du théorème de covolutio. O dit que T est régulier pour estimer ψp si il existe ue loi de probabilité L telle que, pour tout g T, T ψp,g coverge e loi sous P,g vers L. Théorème 4..3. Soit ψ : P R m différetiable à P relativemet à l esemble taget T et de foctio d ifluece efficace ψ. O suppose que T est u espace liéaire. Alors, si T est régulier pour estimer ψp, il existe ue loi de probabilité M sur R m telle que L = M N m ; V ar P ψ. Si M est la masse de Dirac e, o dit que T est efficace pour estimer ψp au ses du théorème de covolutio. Preuve. O commece par faire la preuve pour m =. Soit g p p ue suite de foctios de T qui coverge das L P vers ψ. Pour tout p fixé, par le théorème de covolutio paramétrique Théorème 3.4., il existe ue loi de probabilité M p sur R telle que L = M p N, σp 54

4. Efficacité avec ψgp dp σ p = g p dp, qui ted vers σ = ψ dp. Doc si φ L est la foctio caractéristique de L et φ p celle de M p, alors pour tout t R, φ L t = φ p t exp σ p t, et quad p ted vers l ifii, φ p t coverge vers φt = φ L t exp σ t qui est cotiue e et vaut e, doc par le Théorème de Lévy, c est la foctio caractéristique d ue probabilité M sur R. O a alors, pour tout t R, φ L t = φt exp σ, t ce qui sigifie que L = M N ; σ. Si maiteat m > : soit U R m quelcoque. O applique le résultat précédet à U T T qui est u estimateur régulier de U T ψp, de foctio d ifluece efficace U T ψ, et l o obtiet que pour tout réel t, U T V ar P ψ U φ L tu = φ U t exp t, où φ U est la foctio caractéristique d ue probabilité M U sur R. Mais alors, pour tout U R m, la foctio U φu = φ U vérifie φu = φ L U exp, U T V ar P ψu elle est cotiue e et vaut e, doc par le Théorème de Lévy, c est la foctio caractéristique d ue probabilité M sur R m. O a alors pour tout U R m U T V ar P ψ U φ L U = φu exp, ce qui sigifie que L = M N m ; V ar P ψ. O peut maiteat se demader quad u estimateur régulier est efficace au ses du théorème de covolutio. O a : Théorème 4..4. Soit ψ : P R m différetiable à P relativemet à l esemble taget T et de foctio d ifluece efficace ψ. O suppose que pour ue foctio f L P m telle que fdp =, T ψp = f X i + o P. Alors T est régulier et efficace au ses du théorème de covolutio si et seulemet si f = ψ. 55

4 Estimatio semi-paramétrique Preuve. Soit g quelcoque das T. Alors das le sous-modèle P θ,g θ, log dp,g dp X,..., X = g X i g dp + o P, et doc T ψp, log dp,g dp X,..., X coverge e loi sous P vers N m+ V arp f fgdp g ; dp fgdp T g dp. Doc par le troisième Lemme de Le-Cam, T ψp coverge e loi sous P,g vers N m fgdp ; V ar P f. Par ailleurs, ψ P,g = ψp + ψgdp, doc T ψp,g coverge e loi sous P,g vers N m f ψgdp ; V ar P f. Cette loi e déped pas de g si f ψgdp e déped pas de g, doc vaut, c est à dire si f ψ est orthogoale coordoée par coordoée à T. T est régulier et efficace si de plus V ar P f = V ar P ψ. Ces deux coditios sot vérifiées si et seulemet f = ψ. Exemple : modèle paramétrique. Soit P = {P θ = p θ µ, θ Θ}, Θ R k u modèle paramétrique d.m.q. e θ de score l θ. Alors T = {h T lθ, h R k} est u esemble taget à P e P θ. C est l esemble taget maximal. Si o suppose l iformatio de Fisher I θ iversible, soit g : Θ R m différetiable et otos ψp θ = gθ. Alors ψ est différetiable à P θ relativemet à l esemble taget T, la foctio d ifluece efficace est ψ = D g θ I θ l θ, et la bore iférieure de variace pour estimer gθ est [ ] V ar Pθ ψ = D g θ I θ D g θ T. O retrouve les résultats déjà vus e paramétrique. Exercice : démotrer tout ça!. 56

4.3 Modèles semi-paramétriques Exemple : modèle o paramétrique maximum. Soit P l esemble des mesures de probabilité sur R d et soit P ue probabilité sur R d. Alors { } T = g L P : gdp = est u esemble taget à P e P θ. C est l esemble taget maximal. Pour le démotrer, cosidérer le sous-modèle {p θ P, θ R} où p θ x = cθhθgx, la foctio H état doée par Hu = / + e u, et voir qu il est d.m.q. e de score g. Exercice : le faire! Commecer par motrer que H et H sot comprises etre et et valet e u =. Soit esuite f L P fixée, et posos ψp = fdp. Alors ψ est différetiable à P relativemet à l esemble taget T, de foctio d ifluece efficace ψ = f fdp, et la bore iférieure de variace pour estimer fdp est V ar P fx. La moyee empirique fx i est efficace das les deux ses d efficacité! Exercice : démotrer tout ça!. 4.3 Modèles semi-paramétriques Il s agit du cas où P = {P θ,η, θ Θ, η H} où Θ R k et H est u esemble qui peut être de dimesio ifiie. O s itéresse alors à ψ : P R k doée par P θ,η ψ P θ,η = θ. Exemples : Cetre de symétrie : P est l esemble des lois sur R de desité par rapport à Lebesgue η θ, η H = F, F esemble des desités de probabilité strictemet positives sur R et cetrées e. Régressio : si o observe X = Y, Z, avec Y = g θ Z + ɛ, Z, ɛ de loi η icoue mais telle que ɛ soit cetré et de variace. O cherche u esemble taget, la foctio d ifluece efficace, et la variace miimale pour estimer θ. Regardos pour commecer le cas paramétrique où η est u paramètre de uisace de dimesio fiie, c est à dire quad H R m. O ote α = θ, η R k+m, et α = θ, η. O otera aussi P = P θ,η. Si le modèle est l d.m.q. e α, de score, avec l score e θ du modèle P θ,η θ et ḣ score e η du ḣ modèle P θ,η η alors pour tout u R k, pour tout v R m, le modèle P θ +tu,η +tv t est d.m.q. e t = de score u T l + v T ḣ. Doc ici, l esemble taget à P e P α esemble taget maximal est { T = u T l + v T ḣ, u R k, v R m}. 57

4 Estimatio semi-paramétrique d Par ailleurs, dt θ + tu = u, doc o cherche ψ T k telle que : u R k, v R m, ψ u T l + v T ḣ dp = u. Ceci implique : ψ l T dp = I k, la matrice idetité de dimesio k, et v R m, ψv T ḣ dp =. Notos F = {v T ḣ, v R m} sous-esemble fermé de L P et Π la projectio orthogoale au ses de L P sur F, puis l = l i i k avec l i = l i Π l Notos aussi Ĩ = V ar P l. Alors, si Ĩ est iversible, o a et V ar P ψ = Ĩ. Exercice : démotrer ces deux formules ψ = Ĩ l, i. Maiteat, si I α est l iformatio de Fisher paramétrique, avec Jθ C I α = C T K η o a Exercice : le démotrer. l = l CKη ḣ, Ĩ = J θ CKη C T. Ĩ est la variace miimale pour estimer θ d après la théorie semi-paramétrique. Ceci coicide avec ce que ous dit la théorie paramétrique, qui dit que la variace miimale pour estimer θ est la matrice k k e haut à gauche de Iα. Exercice : démotrer cette affirmatio, et que cela coicide avec [J θ CKη C T ]. Si l o coait η, par cotre, c est à dire das le modèle P θ,η θ, la variace miimale pour estimer θ est J θ. Doc il y a pas de perte pour l estimatio veat du fait de e pas coaitre η si et seulemet si CKη C T =, soit si et seulemet si C =, c est à dire si et seulemet si les scores relatifs à θ et les scores relatifs à η sot orthogoaux, 58

4.4 Exercices soit si l et ḣ ot des coordoées deux à deux orthogoales das L P. Reveos maiteat au cas gééral. Supposos que pour tout u R k le modèle P θ +tu,η t est d.m.q. e t = de score u T l, et que G est u esemble taget à P θ,η η e P θ,η = P. Alors souvet mais il faut le vérifier das chaque situatio, u esemble taget à P e P est { } T = u T l + g, u R k, g G, u T l + g état le score e t = das le sous-modèle P θ +tu,η t t quad g est le score e t = das le sous-modèle P θ,η t t. O ote Π la projectio orthogoale de L P sur la fermeture de l espace liéaire egedré par G. Soit l = l i i k avec l i = l i Π l et soit Ĩ = V ar P l. Alors, si Ĩ est iversible, o a Exercice : le démotrer! ψ = Ĩ l. O appelle l le score efficace et Ĩ l iformatio de Fisher efficace. Si maiteat T est u estimateur qui vérifie alors T est régulier et efficace. 4.4 Exercices T θ = Ĩ i, l X i + o P, Exercice 4.4.. Modèle de traslatio Soit F l esemble des desités de probabilités f par rapport à Lebesgue sur R qui sot paires, strictemet positives sur R, de racie carrée cotiûmet dérivable sur R, et telles que I f = f x fx dx est fiie. Soit P θ,f θ R,f F le modèle doé par dp θ,f = fx θdx.. Motrer que le modèle est idetifiable.. Motrer que pour tout f F, le modèle P θ,f θ R est différetiable e moyee quadratique e tout θ, d iformatio de Fisher I f. 3. Soit f F, et soit G l esemble des foctios paires, cotiûmet dérivables, telles que g x f x dx =, g x f x dx < + et g x f x dx < +. 59

4 Estimatio semi-paramétrique Soit k la foctio doée par k x = +exp x. O défiit pour toute g G et tout réel h, f h,g x = chf xk[hgx], où ch = f xk[hgx]dx. Motrer qu il existe u voisiage V de tel que le modèle P θ+h,fh,g h V soit différetiable e moyee quadratique, de score f f x θ + g x θ. 4. Motrer que l iformatio de Fisher efficace est I f. Coséquece : si o trouve u estimateur efficace, il y a pas de perte asymptotique due au fait que l o e coait pas f. Exercice 4.4.. Modèle de Neyma-Scott Soit X, Y u couple de variables aléatoires réelles et Z ue variable aléatoire réelle telles que, coditioellemet à Z, X et Y sot idépedates de loi N Z, θ, θ >. O s itéresse à l estimatio de θ, lorsque la loi η de Z est icoue, sur la base d u -échatillo X, Y,..., X, Y de X, Y, dot la loi est otée P θ,η.. Motrer que E[X Y ] = θ, et calculer V ar[x Y ].. E déduire que T = X i Y i est u estimateur cosistat de θ, et costruire u itervalle de cofiace pour θ asymptotiquemet de iveau de cofiace α. 3. Quelle est la loi de X Y sous P θ,η? 4. Motrer que sous P θ+ c,η, T θ + c coverge e loi vers ue gaussiee cetrée et de variace θ. 5. O pose U = X Y Motrer que et V = X+Y. Soit p θ,η la desité de P θ,η par rapport à Lebesgue. p θ,η X, Y = f θ U q θ,η V où f θ est la desité de U et q θ,η celle de V, que l o détermiera. E déduire e particulier que sous P θ,η, U et V sot des variables aléatoires idépedates. 6. Soit θ > et η ue loi de probabilité sur R. Soit T l esemble des foctios réelles t telles que tzdη z = et tz dη z < +. Soit esuite πθ exp x+y z θ t z dη z G = g : g x, y = πθ exp x+y z, t T. dη z Soit g G, soit t la foctio de T associée à g, et soit le modèle P θ +h,η h,g h V, V =] θ, θ [ avec dη h,g z = chkhtzdη z, où k est la foctio doée par θ 6

4.4 Exercices k x = +exp x et ch = khtzdη z. Motrer que ce modèle vérifie les hypothèses du premier exercice avec l X, Y = U [ V z θ + θ ] πθ exp V z θ dη z. θ q θ,η V θ 7. O suppose que le support de η cotiet u itervalle ouvert. O admettra qu alors la fermeture de G est l esemble des foctios m x+y telles que, sous P θ,η, mv est cetrée et a ue variace fiie. Calculer le score efficace et l iformatio de Fisher efficace. 8. Motrer que T est u estimateur asymptotiquemet efficace de θ au ses du théorème asymptotique miimax local aisi qu au ses du théorème de covolutio. 6

5 Estimatio o paramétrique 5. Itroductio et exemples O va s itéresser au modèle de régressio, où Y i = f x i + ε i, i =,...,. 5. Ici, les x i [, ] sot cous, les ε i sot i.i.d., cetrés et de même variace σ, et o cherche à estimer f, foctio de [, ] das R. Noter que les x i dépedet aussi de, par exemple, x i = i/, et devraiet être otés x i, par exemple. Noter aussi que les Y i sot des variables aléatoires idépedates mais pas idetiquemet distribuées. Si l o e précise rie sur f, o voit mal commet o pourrait l estimer correctemet. O doit doc préciser f F, avec F ue classe de foctios : par exemple les foctios cotiues, ou les foctios croissates, etc... 5.. Régressogramme O suppose que f est cotiue, et o choisit d approcher f par ue foctio e escalier. Soit I = I,..., I m ue partitio de [, ] I,..., I m sot des itervalles disjoits dot la réuio recouvre [, ], soit F I l esemble des foctios f de [, ] das R de la forme x [, ], f x = m a j x Ij, avec a,..., a m R m. O peut estimer f par moidres carrés, e choisissat f qui miimise sur F I Y i f x i. C est aussi l estimateur du maximum de vraisemblace lorsque les ε i sot gaussiees. O obtiet alors x [, ], f m x = â j x Ij, avec pour j =,..., m j= j= â j = Y i xi I j x i I j 63

5 Estimatio o paramétrique â j est la moyee empirique des Y i pour les x i das I j. O a alors avec W,i x = m j= x [, ], f x = x Ij xi I j l= x l I j = W,i x Y i { si xi / I jx #{x l :x l I jx } si x i I jx où jx est le j tel que x I j. f x est la moyee locale des Y i sur l itervalle auquel x appartiet. Si l o veut que l estimateur soit coverget, il faut raffier la partitio avec réductio du biais et augmeter le ombre d observatios par itervalle réductio de la variace. Si la partitio est régulière, que chaque itervalle I j est de logueur h alors il faut, pour réduire le biais, que h tede vers, et pour réduire la variace, que h tede vers l ifii. Exercice : vérifier ces affirmatios. 5.. Méthode empirique. Estimateur à oyau O suppose ecore que f est cotiue, et doc qu elle est la dérivée de F telle que t [, ], F t = t f x dx. O peut estimer F de maière empirique par F doée par puis f par u taux d accroissemet t [, ], F t = Y i xi t, f x = F x + h F x h. h O a alors f x = h Y i x h<xi x+h. f x est ecore la moyee locale des Y i, mais sur ue feêtre glissate cetrée sur x. Si o pose K x = <x o a f x = Y i h K xi x h. 5. 64

5. Itroductio et exemples Remarquos que et o peut aussi choisir h K x xi = h x h<xi x+h h f x = Y ik x i x h K x i x. 5.3 h Das les deux cas, il s agit d u estimateur liéaire tel que f x = W,i x Y i avec W,i x = h K x i x h si o a choisi 5. ou W,i x = K x i x h / k= K x k x h si o a choisi 5.3. Pour gééraliser la moyee locale avec feêtre glissate, o peut choisir d autres types de oyaux, i.e. de foctios K, que l o choisit souvet positives, à support compact, paires, d itégrale. 5..3 Projectio O suppose que f L [, ]. Soit φ j j ue base orthoormée de L [, ] par exemple la base trigoométrique. O a avec pour j, f = a j = f, φ j = + j= a j φ j, f x φ j x dx. O peut estimer f par projectio par u élémet de F m = { m j= a jφ j, a,..., a m R m+ } avec m f = â j φ j, où â j = j= Y i φ j x i est u estimateur empirique de a j. f est ecore u estimateur liéaire : avec x [, ], f x = W,i x Y i W,i x = m φ j x i φ j x. j= 65

5 Estimatio o paramétrique 5..4 Questios Quad o se pose des questios de cosistace, la première questio cocere la métrique choisie e quel ses souhaite-t-o que f coverge vers f. Autremet dit, quel est le choix du risque : Risque poctuel : au poit x fixé, o s itéresse à R f, f [ ] = E f f x f x ; Risque quadratique das L [, ] : o s itéresse à R f, f [ ] = E f f x f x dx ; Risque uiforme das L [, ] : o s itéresse à R f, f [ = E f f ] f où f. f = sup x [,] f x f x O commece par voir si, sur ue classe F très large, o a des estimateurs f pour lesquels, pour tout f F, R f, f ted vers quad ted vers l ifii. Esuite, pour des classes F plus précises, o peut s itéresser au risque miimax, c est à dire à if sup R f, f := R F, f f F et chercher u estimateur f dot le risque maximum sup f F R f, f soit voisi de R F. O s itéressera e fait à la vitesse de covergece vers de R F, c est à dire que l o cherchera ue vitesse v F telle que l o puisse motrer que pour u c > et u C >, et pour assez grad, cv F R F Cv F. 5.4 Pour motrer l iégalité de gauche, o aura besoi de techiques de mioratio c.f. Théorème de mioratio de Le-Cam vu e M ; pour motrer le membre de droite, il suffira de trouver u estimateur f dot le risque maximum vérifie cette majoratio. Noter que e gééral, la vitesse v F déped effectivemet de F. O s itéressera aussi à la questio de l adaptativité, c est à dire de trouver des estimateurs qui réaliset la vitesse pour ue collectio d esembles F. Pour bâtir ue procédure statistique, o costruit des régios de cofiace ou des tests, o verra commet le faire et les questios qui se poset. 5. Des résultats de covergece uiverselle O se place das le modèle 5., avec échatilloage régulier : x i = i, i =,...,. O suppose que f est u estimateur liéaire : x [, ], f x = W,i x Y i 66

5. Des résultats de covergece uiverselle tel que : Pour tout x [, ], pour tout, pour tout i =,...,, W,i x Et pour tout x [, ], pour tout, W,i x =. C est le cas du régressogramme avec partitio régulière, quad I j = [j h ; jh [, j =,..., k, = k h, et de l estimateur à oyau défii par 5.3. 5.. Risque quadratique Le risque quadratique ted vers sur la classe des foctios cotiues : Théorème 5... O suppose f cotiue, et que les deux coditios suivates sot vérifiées : i lim + W,i x dx = ii pour tout δ >, lim + x x i >δ W,i x dx =. Alors [ ] lim E f f x f x dx =. + Regardos les hypothèses das le cas du régressogramme et das le cas de l estimateur à oyau. Das le cas du régressogramme avec partitio régulière, si x ], [, W,i x si et seulemet si i I jx, auquel cas W,i x = h. Das le cas de l estimateur à oyau, si K est de support [ M, M], W,i x seulemet si x i x Mh. Das les deux cas, o a, pour u A > : W,i x = dès que x x i > Ah et ii est vérifiée dès que h quad +. Si l o suppose qu il existe C > tel que de plus, pour tout x, W,i x C h c est vrai pour le régressogramme avec partitio régulière, et á vérifier selo le oyau pour l estimateur à oyau, o a W,i x dx = W,i x dx x x i Ah C h W,i x dx C A x x i Ah h et i est vérifiée dès que h + quad +. 67

5 Estimatio o paramétrique Preuve. Chaque fois qu o étudie u risque quadratique, o fait la décompositio biais/variace : [ ] E f f x f x dx = = E f [ f x f x dx ] [E f f x f x ] dx + V ar f f x dx. O a pour tout x, V ar f W,i x Y i = σ W,i x car les Y i sot idépedats de variace σ, et le terme de variace s écrit : qui ted vers par i. V ar f f x dx = σ W,i x dx Regardos maiteat le terme de biais. O a EY i = fx i, doc ] [E f f x f x dx = = [ W,i x fx i f x] dx [ W,i x fx i f x] dx e utilisat que W,i x =, puis par Cauchy-Schwarz = [ W,i x fx i f x] dx x x i >δ W,i x fx i f x dx + E utilisat ii o a doc pour tout δ >, lim sup + [ ] [ ] W,i x W,i x fx i f x dx x x i δ 4 f o + W,i x fx i f x dx sup u v δ [E f f x f x] dx sup fu fv u v δ fu fv. qui ted vers quad δ ted vers, car f est cotiue sur [, ] compact, doc uiformémet cotiue. 68

5. Des résultats de covergece uiverselle 5.. Risque poctuel Soit x fixé das [, ]. Le risque poctuel ted vers sur la classe des foctios cotiues : Théorème 5... O suppose f cotiue, et qu il existe h telle que les coditios suivates sot vérifiées : i lim + W,i x dx = ii pour tout δ >, lim + x x i >δw,i x dx =. Alors [ ] lim E f f x f x =. + Preuve. La preuve est la même que pour le risque quadratique e elevat les. 5..3 Risque uiforme Pour l étude du risque uiforme, la décompositio biais-variace coduit à { } f f = sup W,i x fx i f x + W,i x ε i x [,] sup x [,] { } W,i x fx i f x + sup x [,] { } W,i x ε i. Le terme de biais peut s étudier comme pour les risques quadratiques poctuels ou itégrés, mais le terme de variace est plus délicat à traiter. Pour cela, o utilisera le lemme suivat. Lemme 5... Soiet Z,..., Z M des variables aléatoires réelles telles qu il existe α > et C > tels que pour tout j =,..., M, E[expαZ j ] C. Alors [ ] E max Z j j M α logcm. Preuve. O a [ ] E max Z j j M = [ ] α E max log expαz j j M = ] [log α E max expαz j j M M α E log expαz j Puis par Jese M M E log expαz j log E expαz j log [MC]. j= j= j= 69

5 Estimatio o paramétrique Théorème 5..3. O suppose f cotiue, et que les variables aléatoires ε i, i =,..., sot de loi N, σ. O cosidère les deux cas suivats : ou bie f est le régressogramme régulier sur la partitio d itervalles de logueur h, ou bie f est u estimateur à oyau de type 5.3 avec feêtre h et oyau K à support compact, boré, dérivable et de dérivée borée, et tel que il existe c > tel que, pour tout, pour tout x [, ], K xi x h ch. O suppose efi que les deux coditios suivates sot vérifiées : i lim + h =, ii lim + h / log = +, Alors lim E f f f + =. Preuve. O commece par { E f f f E f sup x [,] W,i x fx i f x} + E f sup x [,] O sait que, das les deux cas, il existe A > tel que W,i x = dès que x x i > Ah Pour le terme de biais, o a alors das les deux cas e utilisat i : sup x [,] { { W,i x fx i f x} sup u v Ah fu fv } W,i x ε i. qui ted vers quad ted vers l ifii car f est uiformémet cotiue sur [, ]. Pour le terme de variace, o cosidère séparémet les deux familles d estimateurs. Cosidéros tout d abord le cas où f est le régressogramme régulier sur la partitio d itervalles de logueur h, c est à dire h = /k où k est u etier. Alors, pour j =,..., k, le ombre j de i tels que x i I j = [j /k ; j/k est compris etre [h ] et [h ] +. O a alors, si o ote, pour j =,..., k, Z j = i:x i I j ε i, et sup x [,] { } W,i x ε i [h ] max Z j. j k La variable aléatoire Z j a même loi que j σ U où U suit la loi N,. O a alors pour α > assez petit E expαz j =, doc e preat α = αj σ 4σ [h, o a ]+ E expαz j, et e utilisat le lemme 5.. o obtiet E f [ max j k Z j ] σ k [h ] + log, 7

5.3 Vitesse de covergece sur des classes de Holder ce qui doe E f sup x [,] { } W,i x ε i = O log h h et les coditios i et ii doet le résultat. Cosidéros maiteat le cas où f est u estimateur à oyau. Notos M =, et t j = j M, j =,..., M. O a pour tout x [, ], si j est l idice miimisat x t j : { W,i x ε i ch Notos pour j =,..., M, E f sup x [,] xi t j K { } W,i x ε i h ε i + xi x K K xi t j Z j = K O a alors, e utilisat les propriétés du oyau K : ch E f h ε i. max j M Z j E utilisat le lemme 5.. o obtiet que E f max Z j = O h log M, j M et doc E f sup x [,] et le théorème s e suit. h xi t j h } ε i. + K Mh E f ε i. { } log M log W,i x ε i = O + h h Mh = O h 5.3 Vitesse de covergece sur des classes de Holder O s itéresse maiteat aux vitesses de covergece sur des classes plus restreites que celle des foctios cotiues. O itroduit, si α ], ] et L > l esemble de foctios de [, ] das R F α,l = { f : x, y [, ], fx fy L x y α}, et o va chercher à évaluer le risque maximum sur cette classe des estimateurs que l o a itroduits. 7

5 Estimatio o paramétrique O se place das le modèle 5., avec échatilloage régulier : x i = i, i =,...,. O suppose que f est u estimateur liéaire : x [, ], f x = W,i x Y i tel que : Pour tout x [, ], pour tout, pour tout i =,...,, W,i x Et pour tout x [, ], pour tout, W,i x =. O suppose de plus qu il existe A > W,i x = dès que x x i > Ah et qu il existe C > tel que de plus, pour tout x, W,i x C h. E repreat l étude du biais, o voit que pour tout x [, ], si f F α,l, E f fx fx L Ah α et pour le terme de variace, pour tout x [, ], V ar f fx σ C h. Comme ces termes e dépedet pas de f, e choisissat h de l ordre de /α+, o obtiet facilemet que le risque quadratique maximum et le risque poctuel maximum sot d ordre α/α+ : Théorème 5.3.. O suppose que f est u estimateur liéaire vérifiat les propriétés idiquées ci-dessus. Alors, il existe C > tel que pour tout > : [ ] α/α+ sup f x f x dx C, f F α,l E f et pour tout x [, ] et pour tout > : [ ] α/α+ sup f x f x C. f F α,l E f Pour le risque uiforme, das le cadre du Théorème 5..3, le terme de variace est d ordre log /h, et e choisissat h de l ordre de / log /α+, o obtiet facilemet que le risque uiforme est d ordre / log α/α+ : Théorème 5.3.. O suppose que les variables aléatoires ε i, i =,..., sot de loi N, σ. O cosidère les deux cas suivats : 7

5.4 Mioratio de risques miimax ou bie f est le régressogramme régulier sur la partitio d itervalles de logueur h, ou bie f est u estimateur à oyau de type 5.3 avec feêtre h et oyau K à support compact, boré, dérivable et de dérivée borée, et tel que il existe c > tel que, pour tout, pour tout x [, ], K xi x h ch. O suppose efi que les deux coditios suivates sot vérifiées : i lim + h =, ii lim + h / log = +, Alors il existe C > tel que pour tout > : α/α+ sup E f log f f C. f F α,l Les ordres de gradeur de vitesse des risques sot-ils corrects? E risque ifii, o perd u log α/α+ par rapport aux risques quadratiques. Est-ce parce qu o a évalué trop largemet? C est ce que l o va étudier maiteat. 5.4 Mioratio de risques miimax Etat doée ue classe F de foctios de [, ] das R, o veut évaluer le risque miimax if sup E f d f, f, f f F pour le risque poctuel e x avec d f, f = fx fx, ou le risque quadratique avec d f, f = fx fx dx, ou le risque uiforme avec d f, f = f f. E particulier, o cherche ue vitesse, c est à dire ue suite v qui ted vers, telle qu il existe c > tel que pour assez grad, if sup v E f d f, f c. f f F Cette vitesse déped de F. Pour cela o va chercher à miorer le risque miimax, et v est la boe vitesse si par ailleurs o sait costruire u estimateur f pour lequel il existe C > tel que, pour assez grad, sup f F v E f d f, f C. 5.4. Pricipes gééraux de réductio Soit s > quelcoque. Pour miorer v E s f d f, f, o va se rameer à chercher u ombre fii de foctios de F bie séparées au ses du risque, mais qui coduiset à des observatios de lois suffisammet proches. E effet o cherche quad le problême d estimatio est le plus difficile. 73

5 Estimatio o paramétrique Réductio aux bores e probabilité : par l iégalité de Markov, P f d f, f sv s v E f d f, f et o va doc chercher à miorer if f sup f F P f d f, f sv. Réductio au problème de test d u ombre fii d hypothèses : Si N est u etier et f,..., f N des élémets de F, o a if f sup P f d f, f sv if f F f sup P fi d f, f i sv.,...,n et pour miorer cette quatité o cosidère, pour tester les N hypothèses f = f i, le test φ égal à l idice j qui réalise l ifimum e i de d f, f i. Choix d hypothèses séparées mais de loi assez proches : si pour tous i j, df i, f j sv, alors φ i d f, f i sv. E effet, par l iégalité triagulaire, et compte-teu de la défiitio de φ, d f φ, f i d f φ, f + d f, fi d f, fi et doc si φ i, d f φ, f i sv et d f, f i sv. O a doc motré que si f,..., f N sot des élémets de F tels que pour tous i j, df i, f j sv, alors if sup E f d f, f s v if sup P fi φ i. 5.5 f f F φ,...,n Toute la questio maiteat reviet à trouver f,..., f N das F de sorte que pour tous i j, df i, f j sv, et que les probabilités d erreur P fi φ i soiet miorées uiformémet e les tests, doc que les lois P fi, i =,..., N, soiet les plus proches possibles. Das le cas N =, o peut utiliser : Propositio 5.4.. Soiet P = p µ et P = p µ deux probabilités, et φ mesurable quelcoque. Alors if φ max P j φ j j=, P P V T, où P P V T est la distace e variatio totale etre P et P. Preuve. O a if φ max P j φ j j=, [P φ + P φ ] = [P φ + P φ ] = P P V T 74

5.4 Mioratio de risques miimax où φ est le test de Neyma-Pearso de P = P cotre P = P doé par : { φ si p z p z = z sio. Exercice : démotrer les deux égalités de l iégalité!!! Quelques rappels : la distace e variatio totale etre deux probabiités P et Q défiies sur le même espace est P Q V T := sup P A QA = p q dµ A où µ est ue mesure positive qui domie P et Q, P = pµ et Q = qµ, ce qui motre que p q dµ e déped pas de la mesure domiate choisie. Exercice : rappeler la preuve. La distace de Helliger hp, Q etre P et Q est doée par h P, Q := p q dµ et e déped pas de la mesure domiate choisie. Divergece de Kullback KP, Q : voir exercice.4.5. Lemme 5.4.. Si P et Q sot deux probabilités défiies sur le même espace, Preuve. P Q V T h P, Q K P, Q. 4 P Q V T = doc P Q V T h P, Q. K P, Q = = p q dµ p + q p q dµ p q dµ p + q dµ = h P, Q [4 h P, Q], = pq> pq> = p p log dµ q p p log dµ q q p log p + dµ q p p dµ pq> pq> = h P, Q. 75

5 Estimatio o paramétrique 5.4. Mioratio du risque poctuel Il s agit de trouver f et f das F α,l tels que f x f x sv et KP f, P f c, avec c <. Théorème 5.4.. Soit x [, ] fixé. O suppose que les ε i sot i.i.d. de loi N, σ. Alors il existe a > tel que pour tout, [ ] if sup E f fx fx a α/α+. f f F α,l Preuve. O pose v = α/α+. O pose f =, qui est bie das F α,l, et o cherche f sous la forme f u = c A u x h, de faço à mettre u pic e x. O veut maiteat choisir le oyau A et h de sorte que : f F α,l, f x sv, KP f, P f c, avec c <. Choisissos A tel que : A = /, Au = si u /, et Au Av u v α pour tous u, v. Par exemple : Au = u u /. O a alors pour tous u, v : f u f v c u v h et f F α,l dès que c h L. α f x = c /, et o veut doc c 4sv. Efi, sous P f, les Y i sot i.i.d. de loi N, σ, et sous P f, les Y i sot idépedats de loi N f x i, σ. O a log P f Y,..., Y log P f Y,..., Y = σ α = σ et doc e preat l espérace sous P f o obtiet KP f, P f = σ f x i = c σ i: x i x h /, Y i Y i f x i Yi f x i f x i xi x A h c σ [h ] +. Si o pred c = Lh α, o a f F α,l, puis o choisit h = γ /α+, et c 4sv dès que Lγ α 4s, doc o pose 4s = Lγ α, efi c σ [h ] + σ L γ α+ + L γ α α/α+ L γ α σ 76

5.4 Mioratio de risques miimax si γ <, et e preat γ > assez petit o a bie L γ α σ <. 5.4.3 Mioratio du risque quadratique Si l o veut utiliser ce que l o a fait pour le risque poctuel, avec le choix de f = et f = c A x h, o a toujours besoi que : c Lh α et h c b pour ue costate b > assez petite. Maiteat, u x d f, f = f u du = c A du = c h A udu. h Si l o veut d f, f sv, o veut c h / sv. Comme o veut la meilleure vitesse possible comme miorat, o veut v le plus grad possible. Pour cela, il faut choisir c h le plus grad possible, doc choisir c = Lh α, ce qui doe h α+ b/l, soit h b /α+. Comme o doit avoir Lh α+/ sv, o obtiet v L α+//α+ / s, ce qui est o α/α+ qui est la vitesse attedue. Se rameer à deux hypothèses e suffit pas, ce qui est pas étoat puisque le risque itégré compare les foctios sur [, ]. O va utiliser deux outils : Le lemme de Fao-Birgé, pour cotrôler l erreur de test avec N hypothèses, Le lemme de Varshamov-Gilbert, pour costruire des familles de poits écartés. Soit m u etier, et t,..., t m des poits das [, ] que l o précisera plus tard. Soiet ϕ,..., ϕ m les foctios doées par ϕ j = c A sorte que ϕ j F α,l, j =,..., m. Soit Ω = {, } m. Pour tout ω Ω, o défiit f ω = m ω j ϕ j. j= tj h /. O pose c = Lh α, de O va chercher J Ω de sorte que {f ω, ω J} soit l esemble des élémets de F α,l avec lesquels travailler. O commece par choisir t j = j h, et m = [/h ]. O a x tj h alors, si A, alors j h + h 4 < x < jh h 4. Du coup, pour tout x, ϕ j x est o ul pour au plus u seul j, les esembles {x : ϕ j x }, j =,..., m sot disjoits, et pour tout x, si k j, ϕ j xϕ k x =. Motros maiteat que pour tout ω Ω, f ω F α,l. Soit doc ω Ω. Soiet u, v quelcoques das [, ]. Si f ω u = f ω v =, alors o a bie f ω u f ω v L u v α. Si f ω u, alors il existe j tel que f ω u = ϕ j u. E ce cas, si j h + h 4 < v < jh h 4, alors f ωu f ω v = ϕ j u ϕ j v L u v α, ou bie il existe k j tels que f ω u f ω v ϕ j u ϕ k v Lhα L u v α, car alors u v > h / car j k. O a bie motré que f ω F α,l. 77

5 Estimatio o paramétrique Soiet maiteat ω ω deux élémets de Ω. O a m f ω x f ω x dx = ω j ω jϕ j x = j= dx m ω j ω j ϕ j x dx j= m = c h ω j ω j j= A xdx. car les supports des ϕ j sot disjoits deux à deux. Si o ote ρω, ω = m j= ω j ω j la distace de Hammig etre ω et ω, o a m j= ω j ω j = ρω, ω, et o cherche doc J tel que, pour u s >, ω, ω J tels que ω ω, L h α+ ρω, ω sv. Si l o pred v = α/α+, comme m = [/h ], cela reviet à trouver s de sorte que ω, ω J tels que ω ω, ρω, ω sm. 5.6 Pour miorer if φ sup ω J P fω φ ω, o va utiliser le lemme de Fao-Birgé. Lemme 5.4. Lemme de Fao-Birgé. Soiet P,..., P N des probabilités sur u même espace, et A,..., A N des évéemets disjoits. Alors { } mi P N ia i γ KP, P i i N N logn + pour ue costate uiverselle γ <. Preuve. Voir l exercice 5.7.4. Soit ω ω. O a [ KP fω, P fω = E fω σ [ = E fω σ = σ = σ { Y i f ω x i Y i f ω x i }] ] {Y i f ω x i f ω x i f ω x i f ω x i } f ω x i f ω x i m ω j ω j j= 8σ mh c = 8σ L m. i:j h <i<jh ϕ j x i 78

5.4 Mioratio de risques miimax Maiteat, état doée la variable aléatoire φ, les évéemets φ = ω, ω J sot disjoits. Doc e appliquat le lemme de fao-birgé, mi P L m f ω φ = ω γ ω J 8σ logn + si N + = J cardial de J. O souhaite doc avoir ml 8γσ log J. 5.7 Ce que l o cherche doc, fialemet, c est si il existe J sous-esemble de {, } m tel que 5.6 et 5.7 soiet vérifiées. Pour cela o utilise le Lemme 5.4.3 Lemme de Varshamov-Gilbert. Soit m 8. Alors il existe u sousesemble {ω,..., ω M } de Ω = {, } m tel que ω =,...,, ρω j, ω k > m/8 pour tous j k, et M m/8. Quitte à predre L plus petit ce qui red plus petit le risque miimax, ce lemme motre qu il existe J sous-esemble de {, } m tel que 5.6 et 5.7 soiet vérifiées. O a aisi démotré : Théorème 5.4.. O suppose que les ε i sot i.i.d. de loi N, σ. Alors il existe a > tel que pour tout, if f sup f F α,l E f [ ] fx fx dx a α/α+. Reste à prouver le Lemme de Varshamov-Gilbert. O défiit ue suite ω j, j =,..., M aisi : ω =,..., ; o ote Ω = Ω ; Si o défiit Ω j = {ω Ω j : ρω, ω j > m 8 }, o choisit ωj das Ω j ; M est le plus petit etier tel que Ω M+ =. Il s agit doc de motrer que M m/8. Motros tout d abord que m/8 m M + k k= m. Notos j le ombre de ω Ω j tels que ρω, ω j m 8. Ces esembles sot disjoits et recouvret Ω, doc +... + M = m. Par ailleurs, j m/8 m k=, et l iégalité k s e suit. Maiteat, m/8 m m k k= = P Z m 8 79

5 Estimatio o paramétrique où Z suit ue loi de Bm,. O a doc M + P Z m. 8 Mais e utilisat l iégalité de Hoeffdig : P Z m = P m Z Em Z m m 8 8 m ] exp [ 3m/8 m doc M + m/4 m/8 + pour m 8. = exp 9m m/4, 3 Lemme 5.4.4 Iégalité de Hoeffdig. Si U,..., U m sot des variables aléatoires idépedates telles que pour tout i, a i U i b i, alors pour tout t >, m [ t ] P U i Eu i t exp m a i b i. 5.4.4 Mioratio de risque uiforme O va chercher ue mioratio avec v = log / α/α+. O va travailler avec les foctios f j, j =,..., M, M = [/h ], t j = j /h, j =,..., M. f = et f j x = Lh α x tj A h. O a déjà vu qu alors, f j F α,l, j =,..., M. Pour j k, o a f j f k = Lhα les f j ot des supports disjoits. O veut doc avoir Lh α sv pour ue costate s >, o choisit doc, pour u c >, log /α+ h = c = cv /α. O a efi M M KP f, P fj = M j= pour ue costate C >. Mais M j= σ fj x i σ h L h α 4 = C log logm + α + log log log α + log pour assez grad. O a doc : Théorème 5.4.3. O suppose que les ε i sot i.i.d. de loi N, σ. Alors il existe a > tel que pour tout assez grad, [ if sup E f f ] log α/α+ fx a. f f F α,l 8

5.5 Estimatio adaptative 5.5 Estimatio adaptative O se place das le modèle 5. où les ε i sot i.i.d. de loi N, σ, et x i = i. O a vu que sur la classe F α,l des foctios α-hölderiees < α de rapport de Hölder majoré par L, le risque miimax quadratique et le risque miimax poctuel sot miorés, à costate près, par α/α+, tadis que le risque uiforme est mioré, à costate près, par / log α/α+. O a été capables de proposer des estimateurs dot le risque maximum est, à costate près, majoré par le risque miimax. Les estimateurs miimax à costate près que l o a vus sot par exemple des estimateurs à oyau, dépedat du choix d u paramètre feêtre h. Pour obteir la majoratio optimale du risque maximum, le choix de h pred e compte la valeur de α : h = /α+ pour le risque miimax quadratique et le risque miimax poctuel, et h = / log /α+ pour le risque uiforme. Du coup, sur ue classe de foctios différetes, l estimateur est plus miimax. O a besoi de coaitre la régularité de la foctio que l o estime. Si o e la coait pas précisémet, o va choisir la pire régularité a priori possible, et du coup, perdre e vitesse. O se demade doc si il est possible de faire mieux : Est-il possible de costruire u estimateur qui utilise aucue iformatio de régularité de la foctio à estimer, et qui fasse aussi bie qu u estimateur miimax qui utilise la coaissace a priori de régularité? Autremet dit : est-il possible de costruire u estimateur qui s adapte à la régularité icoue de la foctio à estimer? O va voir que l o peut proposer des estimateurs qui utiliset aucue iformatio de régularité de la foctio à estimer, mais que, e ce qui cocere le risque miimax poctuel, ils e peuvet pas atteidre les mêmes performaces que les estimateurs miimax : il y a ue perte de vitesse itrisèque au fait de devoir s adapter. 5.5. Mioratio risque poctuel E ce qui cocere le risque poctuel, le fait de e pas coaitre α fait perdre ue puissace de log e vitesse. Théorème 5.5.. Soiet α et α tels que < α < α, et L >. Soit x fixé das [, ]. Il existe f F α,l et f F α,l et c > tels que lim if if max + T { [ E f log α α + T f x ] [ ]} α α + ; E f T f x c. log Ue coséquece de ce résultat est que, si T est u estimateur, alors il est impossible que : [ α ], ], lim sup sup E f α α+ T fx ] < +. + f F α,l 8

5 Estimatio o paramétrique La seule chose que l o puisse espérer, maiteat, est de costruire u estimateur T tel que [ α ] α+ α ], ], L >, lim sup sup T fx < +. + log f F α,l E f O dira alors que T est adaptatif à costate près. Preuve. Soit A le oyau déjà utilisé doé par Au = / u u /, qui vérifie : A est symétrique, A F,/, Au = pour u /, et A = /. O pose f =, et f est doée par f u = Lh α A u x h. O cherche h sous la forme h = u /α +, où u ted vers quad ted vers l ifii. O a déjà vu qu alors, f F α,l. Esuite, il est aturel de chercher la vitesse miimax sous la forme u α/α+, et l o étudie doc [ α ] α ]} α M := max {E f u + T f x α ; E f [u + T. Le but est de chercher u qui ted vers, le mois vite possible, de sorte que M soit mioré par ue costate >. O sait que e preat u =, o obtiet u miorat, das chaque classe, et que, avec deux classes, o a bie if max T { [ ] [ ] } sup E f α α + T fx ; sup E f α α + T fx >. f F α,l f F α,l O va doc chercher si o peut obteir u miorat avec u tel que u ted vers l ifii. E otat U = T /f x et D = u, avec = α α + α α + <, o a M = L { [ 4 max E f U ] [ ] } ; D E f U {E f [U ] [ ] } + D E f U L 8 = L 8 E f { U + D U dp f dp f }. Par ailleurs, dpf log dp f = σ [ ] Y i f x i Yi = σ = σ Y i f x i + σ f x i Y i f x i f x i σ f x i. 8

5.5 Estimatio adaptative Notos avec O a M L 8 E f q Z = σ Y i f x i f x i q = σ q = L σ u f x i. et sous P f, Z suit la loi N,. O a doc : { U + U exp A udu + o, [ ]} q Z q + log u. O cherche à trouver q tedat vers l ifii tel que le membre de droite soit mioré, sachat que U et Z e sot pas idépedates. O voit bie que cela coduit à chercher u tel que l ordre de gradeur de u soit le même que celui de log u, doc sous la forme u = a log pour u a >. Soit maiteat M >, et itroduisos les évéemets B = U e q et C = Z M. Notos Φ la foctio de répartitio de la loi N,. O a tout d abord M 8 L P f B e q + Pf B C C exp Par ailleurs, [ M + q q + log u P f B C C Pf B C Pf C C = Pf B C ΦM. Si P f B C ΦM, alors [ ] 8 M ΦM exp M + q L q + log u. Si P f B C ΦM, alors M 8 L [ ΦM] e q. Choisissos M tel que ΦM = /4, o a { [ ]} 8 M L mi e q ; 4 exp M + q q + log u Il est possible de choisir a > tel que le deuxième membre ted vers l ifii, et avec ce choix o obtiet le théorème. ]. 83

5 Estimatio o paramétrique 5.5. Estimatio adaptative par la méthode de Lepski risque poctuel Il s agit maiteat de trouver u estimateur adaptatif T, c est à dire tel que : [ α ] α+ α ], ], L >, lim sup sup T fx < +. + log f F α,l E f Il s agit de faire de la sélectio de modèle : o sait costruire des estimateurs si le modèle F α,l est cou, l estimateur déped e gééral d u paramètre h feêtre pour u oyau, dimesio pour ue projectio, et il s agit de choisir h. Il existe différetes méthodes : validatio croisée, moidres carrés ou vraisemblace péalisés voir cours de P. Massart. O va ici préseter la méthode de Lepski. Das tout les cas, il s agit de réaliser u bo compromis biais-variace. O ote H = { } i, i =,...,. Pour tout h H, o ote V h = {i : x i ]x h; x + h]} et N h le cardial de V h. Pour tout réel h >, soit f h x = Y i, N h i V h et o défiit, avec c = 6, Puis C h = h cσ log. ĥ = max{h H : max C h H, h h f h x f h x }. h O pose alors, pour M =, O a alors T = fĥx M M. Théorème 5.5.. L estimateur T est adaptatif : α ], ], L >, lim sup + sup f F α,l E f Preuve. O fixe α ], ], L >, et f F α,l. Tout d abord, pour tout h H, N h h et [ α ] α+ T fx < +. log [ ] E f fh x fx L h α + σ h. 84

5.6 Risques miimax et Régios de cofiace Exercice : démotrer ces deux iégalités. Esuite o motre que pour assez grad, E f [ T fx ĥ h ] Exercice : le démotrer. Puis o motre que pour assez grad, [ ] E f T fx ĥ<h M h H,h h {L h α + σ h + C h }. 5.8 P f C h f h x f h x >. 5.9 Exercice : le démotrer. O fixe h H, h h. Motrer qu il existe ue variable aléatoire Uh de loi N, telle que f h x f σ h x Lh α + Uh h 5. Exercice : le démotrer. O déduit alors de 5.9 et 5. que si h c σ /α+ log 6L, 5. alors E f [ T fx ĥ<h ] M c /8. 5. Exercice : le démotrer. O utilise que si U N,, alors pour tout t >, P U > t exp t. Déduire de 5.8 et 5., et des choix c = 6 et M =, que T est adaptatif. 5.6 Risques miimax et Régios de cofiace O va dire maiteat quelques mots sur la questio de la costructio de régios de cofiace o paramétriques. O se place das le cadre de la sectio 5.5 du modèle de régressio, et o cherche par exemple à costruire ue régio de cofiace I pour f, c est-à dire ue collectio d itervalles I x, x ], [, dot les bores sot des foctios mesurables des observatios. O s itéresse alors à l évéemet f I := x [, ], fx I x. Aisi o appellera aussi I ue bade de cofiace. Pour bâtir ue régio de cofiace, e gééral, o part d u estimateur, et o évalue sa loi, de sorte que l o puisse évaluer la probabilité que la valeur icoue soit das u 85

5 Estimatio o paramétrique itervalle autour de l estimateur. Cette loi déped de la quatité icoue, et ce est pas évidet que l évaluatio du risque miimax et l existece d estimateurs miimax coduise simplemet à des itervalles de cofiace. E fait, o va voir que u estimateur adaptatif peut s adapter à u modèle sous-jacet, mais e révèle pas à quel modèle il s adapte, avec la coséquece que des itervalles de cofiace o paramétriques sot plus larges que le risque etre l estimateur adaptatif et la quatité estimée. O cosidère doc I ue bade de cofiace, c est à dire u itervalle dot les bores sot des foctios mesurables de Y,..., Y. O dira que I est ue bade de cofiace asymptotiquemet hoête pour estimer f au iveau de cofiace δ pour la famille F si lim if if P f f I δ. 5.3 + f F Maiteat, o a vu que pour l estimatio adaptative de f, l écart poctuel de l estimateur adaptatif à la vraie valeur icoue avait ue espérace majorée uiformémet sur F α,l avec ue vitesse v α, pour tout α ], ] : log α/α+ v α =. O espère doc que la largeur d ue bade de cofiace I ait ue espérace majorée uiformémet sur F α,l par la vitesse v α, c est à dire qu il existe ue costate C > telle que pour tout α >, o ait, sup E f [ I ] Cv α, f F α,l où l o a défii, si A est u itervalle et A est sa largeur : I := sup I x. x [,] E ce cas o dira que I est adaptatif simultaémet sur les F α,l. E fait, o va motrer que ce est pas possible : I e peut pas être à la fois hoête et adaptatif. Soiet α et α fixés tels que < α < α <, et soit F = F α,l F α,l. O a F α,l F α,l, doc e fait F = F α,l. Le résultat suivat est ue coséquece du Théorème de M. Low Aals of Stat. 997. Théorème 5.6.. Si I est ue bade de cofiace asymptotiquemet hoête pour estimer f au iveau de cofiace δ > pour la famille F, alors lim sup + f F α,l E f [ I ] v α = +. 86

5.6 Risques miimax et Régios de cofiace Preuve. O pose f = et pour u x fixé das ], [, f = Lh α A u x h, avec h = u /α +. O a f F α,l et f F α,l. Comme f x >, o a et doc I I x = + sup E f [ I ] f x f F α,l f x λf x I xdλ f x λf x I xdλ, P f λf x I x dλ. Maiteat, si λ, alors λf F α,l. Doc comme I est u itervalle de cofiace asymptotiquemet hoête pour estimer fx au iveau de cofiace δ > pour la famille F, pour assez grad, P λf λf x I x P λf λf I δ. Par défiitio de la orme e variatio, P f λf I P λf λf I P λf P f V T. Mais P λf P f V T KP λf, P f λ Cu pour ue costate C > calcul déjà vu. O a fialemet pour assez grad [ δ sup E f [ I ] f x f F α,l [ δ = f x Lh α δ/8 ] Ca λ ] Cadλ e choisissat u = a > assez petit. Comme h = a/ /α+ et < α < α <, o a h α lim + v α = +. Ce résultat est assez perturbat. Sigifie-t-il que, bie que l o dispose d estimateurs adaptatifs de fx pour tout x, o e puisse faire de l iférece statistique sur f qui soit adaptative, c est à dire sas coaissace a priori de la régularité de f? Des travaux 87

5 Estimatio o paramétrique récets motret que o, l idée de départ est de repredre le lie etre itervalles de cofiace et tests. Voir travaux de R. Nickl. Il s agit de séparer les esembles de régularité. Etat doée ue suite ρ de réels strictemet positifs ayat vocatio à tedre vers, o ote cet esemble déped aussi de α : F α,l ρ = { } f F α,l : if g f ρ. g F α,l O dira que I est adaptatif pour F = F α,l F α,l ρ si il existe ue costate C > telle que O a alors sup E f [ I ] Cv α et f F α,l sup E f [ I ] Cv α. f F α,lρ Propositio 5.6.. Si il existe ue bade de cofiace I adaptative et asymptotiquemet hoête pour estimer f au iveau de cofiace δ > / pour F = F α,l F α,l ρ, alors lim if + ρ α /α + >. Preuve. O suppose le cotraire, et o va motrer ue cotradictio. Soit doc I ue bade de cofiace adaptative et asymptotiquemet hoête pour estimer f au iveau de cofiace δ > / pour F = F α,l F α,l ρ avec lim + ρ α /α + =. Remarquos tout d abord que si ρ ρ, alors F α,l ρ F α,l ρ et doc I est adaptatif et asymptotiquemet hoête pour estimer fx au iveau de cofiace δ > / pour F = F α,l F α,l ρ. O peut doc choisir ρ de sorte que ρ ρ, lim + α /α + ρ = et lim + log α /α + ρ = +. Soit maiteat f = et, pour u x fixé de ], [, f = Lh α A x h, avec h = u /α +, tel que Lh α / = ρ, de sorte que f F α,l ρ. Soit efi φ = f I. O a E f φ P f f I et f I + P f f I et f / I P f f f I + P f f / I P f I ρ + δ + o E f I + δ + o ρ o + δ + o 88

5.7 Exercices car I est adaptatif et asymptotiquemet hoête pour estimer f au iveau de cofiace δ pour F = F α,l F α,l ρ. De plus, comme I est asymptotiquemet hoête, E f φ δ + o, et doc Mais aussi E f φ + E f φ δ + o. if ψ test {E f ψ + E f ψ} = P f P f V T cotradictio car δ < /. 5.7 Exercices = O u = O / ρ α +/α = o Exercice 5.7.. Estimatio par polyômes locaux O observe Y i = fx i + ε i, i =,...,, où x i = i/, les ε i sot idépedates et de même loi N, σ où σ est cou, et f : [, ] R est icoue. O suppose que f F β,l, où, si l est la partie etière de β : { F β,l = f : u, v [, ], f l u f l v L u v β l}. Soit K u oyau à support compact iclus das [, ] tel qu il existe K mi >, K max <, et > tels que pour tout réel u, K mi u K u K max u. Soit x u poit fixé das ], [, et h N ue suite de réels strictemet positifs tels que lim + h = et lim + h = +. O ote U u = T, u, u!,..., ul T, θ x = f x, f x h, f x h l!,..., f l x h l. O appelle estimateur localemet polyômial d ordre l le vecteur de R l+ : θ x = arg mi θ R l+ [ Y i θ T U ] xi x xi x K h h. E particulier, f x = U T θ x. 89

5 Estimatio o paramétrique. Soit M,x la matrice symétrique M,x = h xi x xi x T xi x U U K Motrer que pour assez grad, if V T M,x V K mi if V T Uz dz. V = V = h. E déduire qu il existe et λ > tels que pour, la plus petite valeur propre de M,x est supérieure ou égale à λ et doc que M,x est iversible. 3. Motrer que pour, f x est u estimateur liéaire, i.e. que h h. f x = Y i W,i x pour des poids W,i x que l o calculera. 4. Motrer que si Q est u polyôme de degré iférieur ou égal à l, Q x i W,i x = Q x. 5. Motrer que 6. Motrer que sup W,i x K max. i,x h λ W,i x 6K max λ. 7. Motrer que pour [ ] E f x f x 6K maxl h β λ l!, et [ ] K E f x E f x maxσ λ. h 8. E déduire qu il existe ue costate C < + telle que lim sup sup E f [ ] β/β+ f x f x C. + f F β,l x [,] 9

5.7 Exercices Exercice 5.7.. Risque asymptotique local d u estimateur à oyau O observe Y,..., Y qui vérifiet : Y i = f x i + ε i, i =,...,. Les valeurs d observatios de la foctio de régressio f sot x i = i, et ε i i N est ue suite de variables aléatoires i.i.d. cetrées et de variace σ. O s itéresse à l estimateur à oyau de la foctio de régressio f au poit x ], [ : f Y xi x ik h x =. K xi x h Le oyau K est ue foctio positive ou ulle, à support compact, paire, lipschitziee, et d itégrale sur R. La feêtre h N est ue suite de réels tedat vers.. Motrer que si lim + h = +, si f est deux fois cotiûmet dérivable et si f x, alors [ ] V ar f x = σ K u du + o, h et [ ] E f x f x = h f x u K u du + o. [ ]. E déduire que la feêtre optimale qui miimise asymptotiquemet E f x f x est [ h = /5 σ ] /5 K u du f x u K u du, [ ] et que si h = a /5, lim + E 4/5 f x f x est ue costate positive fiie. 3. Et si f est s fois dérivable? Exercice 5.7.3. O observe Y i = fx i + ε i, i =,...,, où x i = i/, les ε i sot idépedates et de même loi N, σ où σ est cou, et f : [, ] R est icoue. O suppose que f F β,l, où, si l est la partie etière de β : { F β,l = f : u, v [, ], f l u f l v L u v β l}. Motrer qu il existe ue costate c > telle que pour tout etier, [ if sup E f β/β+ T f x ] c. T f F β,l 9

5 Estimatio o paramétrique. Avec la méthode du cours, e preat F = {, f} avec f u = c m u x h et m u = [ ] exp u u.. Avec l iégalité de va Trees, e preat la famille f θ doée par f θ u = L u x a θβ m θ pour u bo choix de a, et si q est ue desité de probabilité dérivable sur [, ], qui s aule e et e, q u = u q. v v Exercice 5.7.4. Lemme de Fao-Birgé Soit P,..., P N des probabilités sur u même espace de probabilité. Soit a = sup T mi P it = i, i N où le sup e T est pris sur les estimateurs radomisés ie foctio de X de loi ue des P k et d ue variable aléatoire U, idépedate de X.. Motrer que a N+. O cosidérera maiteat u T tel que a T = mi i N P i T = i otera A i l évéemet T = i.. Motrer que si P et Q sot deux probabilités, { K P, Q = sup fdp : } exp fdq =. N+, et l o 3. Motrer que pour tout λ, K P i, P λp i A i log exp λ Ai dp. 4. E déduire que at K λa T g N, λ où K = N N K P i, P et gp, λ = log pe λ + p. 9

5.7 Exercices 5. E déduire que avec ψ a T K, Nx N x ψx = x log + x log. x N + x 6. Motrer que sur [ N+, ], ψ est croissate de à +. E déduire que a T ψ K. 7. Pour redre plus explicite le résultat précédet, o essaye de cotrôler ψ. O peut par exemple motrer que ψx = x logn + + hx, N, et que si l o pose fy = sup{x : hx, y }, f est décroissate et ted vers ue limite fiie l quad y ted vers +. Motrer que K a f N logn +. Exercice 5.7.5. Exame Javier 9 Nous admettros les résultats suivats : O ote L [, ] l esemble des foctios mesurables f : [, ] R telles que f xdx <. Si l o ote φ x =, φ k x = cosπkx et φk+ x = siπkx pour tout x [, ] et k =,,..., alors {φ j } j= est ue base orthoormée de L [, ], c est-à-dire que pour tout j, k, φ j xφ k xdx = δ jk avec δ jk = si j = k et sio. E outre, pour tout etier, o a : φ j i/φ k i/ = δ jk pour tous j, k. Si pour ue f L [, ], les coefficiets de Fourier θ j := fxφ j xdx vérifiet alors o a la représetatio θ j <, 5.4 j= fx = θ j φ j x j= 93

5 Estimatio o paramétrique pour tout x [, ]. Par ailleurs, si f = f et fu fv L u v pour tout u, v et u réel L >, alors j θj L/π. j= Cosidéros le modèle de régressio y i = fx i + ε i, i =,...,, où les ε i sot idépedates cetrées et de même variace σ >, x i = i/ et f L [, ] est icoue. O suppose que f = f, fu fv L u v pour tout u, v et u réel L >, et que les coefficiets de fourier {θ j } de f vérifiet 5.4. O estime alors f par N ˆf N = ˆθ j φ j, j= où N est u etier positif fixé et où pour tout j, ˆθ j = y i φ j x i.. Motrer que ˆf N est u estimateur de type moidres carrés, au ses où il miimise y i fx i sur l esemble des foctios f de la forme f = N j= a jφ j, a j R.. Vérifier que ˆf N est u estimateur liéaire. 3. Das la suite, o ote α j = fx i φ j x i θ j. Motrer que pour tout j =,...,, Eˆθ j = θ j + α j et E[ˆθ j θ j ] = σ / + α j. 4. E déduire que [ ] E ˆf N x fx dx = σ N + θj + j=n+ N αj. j= 5. Motrer que max α j θ j. j j + 94

5.7 Exercices 6. E appliquat l iégalité de Cauchy-Schwarz, e déduire qu il existe C L > e dépedat que de L tel que max α j C L. j 7. Motrer alors que [ ] E ˆf N x fx dx σ + CL N + L π N. 8. Commet choisir N? Majorer le risque quadratique itégré de ˆf N pour ce choix de N. Commeter. Exercice 5.7.6. Exame Javier O observe y i = fx i + ε i pour tout i =,..., où x i = i/, les ε i sot i.i.d. cetrés de variace σ >, et f : [, ] R est icoue. Pour u d ], [ fixé, o estime f d par ˆf d = h d h <i<d+h d y i K xi h où h est ue feêtre telle que h et h lorsque et K est par exemple le oyau d Epaechikov. Pour u réel A > doé, o ote F A l esemble des foctios g : [, ] R deux fois dérivable avec g A, g A et g A, et o suppose f F A.. Motrer qu il existe CA > e dépedat que de A tel que E ˆf d f d CA h + h.. Motrer qu il exists ue costate C > telle que var ˆf d Cσ. 3. E déduire qu il existe CA, σ > e dépedat que de A et σ tel que E ˆf d f d CA, σ h + h 3. 4. Motrer que si ε i N, σ, alors il existe ca, σ > e dépedat que de A et σ tel que if sup E T f d ca, σ /5 T f F où l if est pris sur l esemble des estimateurs. O pourra pour cela cosidérer la famille costituée de la foctio idetiquemet ulle et de f u = c kd u/h pour des c et h bie choisis avec par exemple, ku = Ku + /. h 3 95

5 Estimatio o paramétrique 5. Commet proposez-vous de choisir h das la défiitio de ˆf? Quelle propriété de ˆf pouvez-vous éocer pour ce choix de h? Exercice 5.7.7. Exame Javier Soit X ue suite de variables aléatoires réelles idépedates de desité f par rapport à Lebesgue, dot o otera P f la loi. Soit K ue foctio de R das R telle que Kx = si x, Kx et Kx Ky x y pour tous réels x et y. O suppose de plus que R Kudu =. Pour tout h >, o otera K h la foctio de R das R telle que pour tout réel x, K h x = h K x h, et f h l estimateur doé par : pour tout réel x, f h x = K h x X i. Pour tout α ], ], L >, M >, o ote F α,l,m l esemble des desités f sur [, ] telles que fx M, fx fy L x y α pour tous réels x et y das [, ]. O ote aussi, pour toute foctio g de R das R, g = R gx dx et g = R g xdx /, et o rappelle que le produit de covolutio de deux foctios réelles g et m itégrables et de carré itégrable est la foctio g m doée par : pour tout réel x, g m x = g x u m u du. R. Motrer que pour toutes foctios réelles g et m itégrables et de carré itégrable,. O ote E f l espérace prise sous P f. g m g m. 5.5 a Motrer que E f fh = K h f, puis que si f F α,l,m, pour tout h >, E f fh f L h α. b Motrer que si f F α,l,m, pour tout h >, E f fh E f fh h K. c E déduire que sup E f f h f CL, α, K α/α+ f F α,l,m pour ue costate CL, α, K qui e déped que de L, α, et K. 96

5.7 Exercices 3. O va maiteat proposer ue maière de choisir h sas coaissace a priori sur f d après A. Goldeshluger et O. Lepski. Soit H = [h, H ] avec < h < H <. O ote pour tous h > et k > f h,k = K k f h. O admettra que l o peut choisir a > tel que si est tel que 8 f H + 4, alors { [ E f sup f h E f f h a ] } h H k K C log H { exp + h 6 f H + 4 5.6 pour ue costate C > qui e déped pas de f, et o défiit pour tout h H [ f k f h,k a K ] k A h = sup k H puis o choisit ĥ qui miimise {Ah+ a K h } sur H. L estimateur fial est f = fĥ. a Motrer que pour tous h > et k >, f h,k = f k,h. b Soit h H quelcoque fixé. Motrer que f f h, ĥ + f h, ĥ f h A h + A ĥ +, + a K ĥ et e déduire que f f f f h + a K + A h. h c E utilisat 7., motrer que pour tout k H, f k f h,k E f fk f h,k f k E f fk, + a K h } et que Ef fk f h,k f K h f. d E déduire que A h sup k H [ f k E f f k a ] k K + f K h f. + e O choisit h = et H =. Motrer que pour des costates C log, C et C 3 qui e dépedet pas de f, o a f E f f if h H { } K C f K h f + C + C 3 h dès que où est u etier qui déped de f. f Coclure. 97

6 Estimatio Bayésiee 6. Gééralités O dispose d ue observatio X = X,..., X, et d u modèle {P,θ, θ Θ}, esemble de lois possibles pour l observatio. O met sur Θ ue loi Π, dite loi a priori. Cela suppose que Θ est probabilisable mui d ue tribu. Cela reviet à cosidérer que θ est ue variable aléatoire T de loi Π, et que le modèle décrit les lois de X coditioellemet à T = θ. O se placera das la situatio où le modèle est domié, et l o otera, pour tout θ Θ, p,θ la desité de P,θ par rapport à la mesure domiate. La méthodologie bayésiee cosiste à baser l iférece statistique sur la loi a posteriori : loi de T coditioellemet à X, que l o otera Π X. O a pour tout esemble mesurable A Π T A X = A Π dθ p,θ X Θ Π dθ p,θ X. 6. Remarque importate : La loi a posteriori est aléatoire. Exemple : O cosidère le cas où Θ = R, P,θ = N θ,, la loi a priori est Π = N, σ. Alors la loi a posteriori est σ Π X,..., X = N X i σ +, σ σ. + Exercice : le démotrer. A partir de la loi a posteriori, o peut bâtir des estimateurs : par exemple moyee a posteriori, médiae a posteriori, e miimisat u risque a posteriori estimateurs bayésies : voir cours de M. O peut aussi costruire des esembles de crédibilité : I est u esemble de crédibilité pour θ de iveau de crédibilité α si Π T I X,..., X α. Reprise de l exemple : das l exemple précédet, si u α/ est u quatile d ordre α/ de la loi gaussiee cetrée réduite, [ σ I = X i σ σ + σ + u α/; σ X ] i σ σ + + σ + u α/ 99

6 Estimatio Bayésiee est u esemble de crédibilité pour θ de iveau de crédibilité α. O peut le comparer avec l itervalle de cofiace obteu avec la moyee empirique. Le faire!. Mise e oeuvre des méthodes bayésiees : calcul de la loi a posteriori par algorithmes performats Metropolis-Hastig, Gibbs. Cela déped quad même de la complexité de la loi a priori : si Θ est o paramétrique, choisir ue loi a priori est u sujet e soi. Le calcul d esembles de crédibilité e demade rie d autre que la calcul de la loi a posteriori ; pas besoi de calculer d iformatio de Fisher par exemple, avec le problème de so estimatio plug-i, etc... Etude fréquetiste : Si X,..., X est de loi P, que peut-o dire de la loi a posteriori? E particulier, si P = P θ, pour u θ Θ, la loi a posteriori se cocetre-t-elle e θ quad ted vers l ifii? O va adopter le poit de vue fréquetiste, et étudier la questio de la cocetratio de la loi a posteriori cosistace, aisi que la vitesse de cocetratio ; quelles sot les coditios que cela impose sur la loi a priori. E paramétrique : commet cela se compare à l estimatio par maximum de vraisemblace? E o paramétrique : obtiet-o les vitesses miimax? Peut-o obteir des résultats adaptatifs? 6. Estimatio bayésiee paramétrique O se place das la situatio où Θ R k, et le modèle est celui de variables i.i.d., soit P,θ = P θ. Souvet o cosidérera que le modèle P θ θ Θ est domié par ue mesure domiate λ, doc que P,θ = p θ λ, et que la loi a priori Π admet ue desité π par rapport à Lebesgue. La loi a posteriori das ce cas a doc ue desité π X,..., X par rapport à Lebesgue qui est doée par : π θ X = π θ p θ X i Θ π s p s X i ds. 6. O voit que la compréhesio du comportemet de la loi a posteriori passe par la compréhesio du comportemet de la vraisemblace sur Θ. 6.. Cosistace Si θ Θ, o ote P θ la loi de X, suite de variables aléatoires i.i.d. de loi P θ. O dit que la suite de lois a posteriori Π X,..., X est P θ -cosistate si elle coverge e loi vers δ θ, e P θ -probabilité.

6. Estimatio bayésiee paramétrique O dit que la suite de lois a posteriori Π X,..., X est fortemet P θ - cosistate si elle coverge e loi vers δ θ, P θ -ps. Remarque. : attetio à ce que cela sigifie. Si ρ, métrise la covergece e loi exemples de telles métriques?, cela sigifie que ρπ X,..., X, δ θ coverge e P θ -probabilité ou P θ -ps vers. O a u résultat de cosistace très gééral, qui e vaut pas seulemet pour Θ R k, mais si Θ est métrique, séparable et complet. Théorème 6.. Théorème de cosistace de Doob. O suppose que le modèle P θ θ Θ est idetifiable. Alors il existe Θ Θ mesurable tel que Π Θ =, et pour tout θ Θ, la suite de loi a posteriori Π X,..., X est P θ -cosistate. Remarque. La preuve de ce théorème est omise mais est pas costructive : elle e costruit pas l esemble Θ. Doc ce résultat e dit rie pour u θ particulier, sauf si Π est ue mesure discrète. Questio : comparer les situatios de cosistace de l estimateur du maximum de vraisemblace et de la loi a posteriori? Il est possible d avoir l u et pas l autre : voir exercices 6.4.3 et 6.4.4. Voici des coditios suffisates sous lesquelles les deux cosistaces ot lieu. O se place das le cadre d u modèle domié. Théorème 6... O suppose Θ compact, que le modèle P θ θ Θ est idetifiable, et que pour tout x, θ log p θ x est cotiue. Soit θ Θ. O suppose que sup θ Θ log p θ L P θ. Alors. L estimateur du maximum de vraisemblace est fortemet cosistat.. Si θ est das le support de Π, alors la suite de lois a posteriori Π X,..., X est fortemet P θ -cosistate. Preuve. Soit Ω l évéemet sur lequel lim sup + θ Θ pθ X i log p θ X i + K P θ, P θ =. O a P θ Ω = exercice : dire pourquoi. Sur cet évéemet, la seule valeur d adhérece possible de la suite θ θ est l estimateur du maximum de vraisemblace avec observatios est θ, doc θ coverge P θ -ps vers θ.

6 Estimatio Bayésiee Soit maiteat U u voisiage de θ. O a U exp log pθ X i p θ X i Π dθ Π U X,..., X = Θ exp log pθ X i p θ X i Π dθ U exp log pθ X i p θ X i Π dθ = U exp log pθ X i p θ X i Π dθ + U exp C = + U C exp log pθ X i Πdθ p θ X i U exp log pθ X i Πdθ p θ X i. log pθ X i p θ X i Comme pour tout x, θ log p θ x est cotiue, et que sup θ Θ log p θ L P θ, la foctio θ K P θ, P θ est cotiue, doc e otat A = sup θ U C K P θ, P θ, A <. Soit maiteat ɛ > tel que A + ɛ <. Pour tout ω Ω, il existe ω tel que si ω alors, pour tout θ U C, et doc si ω, U C exp pθ X i log A + ɛ p θ X i pθ X i log Π dθ Π U C e A+ɛ. p θ X i Aussi, o peut choisir V U ouvert et coteat θ tel que if K P θ, P θ > A + ɛ. θ V Exercice : dire pourquoi. Pour tout ω Ω, il existe ω tel que si ω alors, e posat B = A + ɛ, pθ X i θ V, log B ɛ p θ X i. U Π dθ Par ailleurs, comme θ est das le support de Π, Π V >. O a alors, si ω, pθ X i pθ X i exp log Π dθ exp log Π dθ Π V e B ɛ. p θ X i p θ X i Doc si ω ω, Π U X,..., X V + ΠU C e A+ɛ ΠV e B ɛ + ΠV ea+3 ɛ B = + ΠV e ɛ et doc, pour tout ouvert U coteat θ, Π U X,..., X ted vers quad ted vers l ifii sur l évéemet Ω. Exercice : dire pourquoi cela suffit pour coclure.

6. Estimatio bayésiee paramétrique 6.. Théorème de Berstei-vo Mises O veut savoir maiteat commet la loi a posteriori se cocetre e θ. O suppose que Π a ue desité par rapport à Lebesgue, et doc la loi a posteriori a ue desité doée par 6.. Si l o ote l θ la log-vraisemblace, cela se réécrit πθ exp l θ Θ πs exp l sds. Si l o ote H = T θ, alors la loi de H coditioellemet à X,..., X a pour desité { } πθ + h exp l θ + h πθ + h πθ + s exp l θ + s ds = exp l θ + h l θ } πθ + s exp { l θ + s l θ Maiteat, si le modèle P θ θ Θ est d.m.q. e θ, le Théorème 3.. doe pour tout s : l θ + s l θ = G s T lθ st I θ s + o Pθ. ds avec l θ le score et I θ l iformatio de Fisher du modèle e θ. Si l o suppose que I θ est iversible et que l o ote θ = I θ G lθ = I θ l θ X i, la desité de H a posteriori, pour assez grad, devrait être approximativemet πθ + h exp { h, I θ θ ht I θ h } πθ + s exp { s, I θ θ st I θ s } ds, soit, si π est cotiue et strictemet positive e θ, approximativemet exp { h, I θ θ ht I θ h } exp { s, Iθ θ st I θ s } ds. Cette desité est la desité de N θ, I θ. Doc si cette heuristique est valide, cela sigifie que la loi a posteriori de T θ est approximativemet N θ, I θ. Par ailleurs, o a vu que sous de boe hypothèses, si θ est l estimateur du maximum de vraisemblace, o a θ θ = θ + o Pθ, doc si tout cela est valide, cela sigifie que la loi a posteriori de T est approximativemet N θ, I θ. Le Théorème de Berstei-vo Mises dit quad et e quel ses ce résultat est valide. Le Théorème de Berstei-vo Mises implique qu ue régio de crédibilité pour θ de iveau de crédibilité α est ue régio de cofiace asymptotique pour θ de iveau de cofiace α. C est ce que ous allos voir maiteat. 3

6 Estimatio Bayésiee Théorème 6..3 Théorème de Berstei-vo Mises. O suppose que la desité a priori π est cotiue et strictemet positive e θ. O suppose que le modèle P θ θ Θ est d.m.q. e θ, que l iformatio de Fisher I θ est iversible, et que pour tout ɛ >, il existe ue suite de tests φ tels que et lim lim P θ φ = + sup + θ θ ɛ P θ φ =. Alors, si l o ote L T θ X,..., X la loi a posteriori de T θ, L T θ X,..., X N θ, I V θ T = o Pθ. Remarques. La orme e variatio totale est ivariate par traslatio et chagemet d échelle. L hypothèse sur l existece de tels tests est faible, voir par exemple le livre de Va der Vaart pages 45-46. Preuve. O admettra voir livre de Va der Vaart pages 43-44 que sous les hypothèses du Théorème 6..3, pour toute suite M tedat vers +, il existe ue suite de tests ψ, ue costate c >, et u etier tels que lim + P θ ψ = et pour tout θ Θ tel que θ θ M, si, P θ ψ e c θ θ. 6.3 O va faire la preuve du Théorème 6..3 sous l hypothèse supplémetaire qu il existe u voisiage A de θ et ue foctio H L P θ tels que θ, θ A, log p θ log p θ θ θ H. Rappelos que sous cette hypothèse, suivat l exercice.4., si l o ote R h = l θ + h l θ h T θ + ht I θ h, o a pour tout M >, sup R h = o Pθ. h M Soit M > quelcoque. Si U est de loi N θ, I θ, o ote Q,M la loi de U coditioellemet à U M. O ote aussi L,M la loi a posteriori de H coditioellemet à H M H est la variable aléatoire H = T θ. Ces deux lois sot aléatoires foctios de X,..., X. O va commecer par motrer que si o ote Z M = L,M Q,M V T, 4

6. Estimatio bayésiee paramétrique alors Z M = o Pθ. Q,M a pour desité par rapport à Lebesgue h M exp[h T θ ht I θ h] g M exp[gt θ gt I θ g]dg et L,M a pour desité par rapport à Lebesgue O sait que πθ >. Notos O obtiet alors, Z M h M δ h M πθ + h exp[l θ + h l θ ] g M πθ + g exp[l θ + g l θ ]dg δ = sup h M πθ + h πθ sup h M πθ πθ + h. exp[sup g M R g ] exp[ sup g M R g ] Q,Mdh = exp[o Pθ δ ] exp[ o Pθ = δ + o Pθ. Comme π est cotiue e θ, δ ted vers quad ted vers l ifii, et l o obtiet bie que Z M = o Pθ. Ceci est vrai pour tout M >, doc il existe ue suite M qui ted vers l ifii telle que Z M = o Pθ. 6.4 Maiteat, L T θ X,..., X N θ, I θ V T L T θ X,..., X L,M V T + N θ, I θ Q,M V T + o Pθ. Maiteat, o a calcul immédiat : N θ, I θ Q,M V T = N θ, I θ [ U M ] M/ + C I / θ v M / exp [ C v ] du = o Pθ + o pour des costates C et C qui dépedet uiquemet de I θ, doc N θ, I θ Q,M V T = o Pθ. 5

6 Estimatio Bayésiee De même, L T θ X,..., X L,M V T = Π H M X,..., X O a doc = Π H M X,..., X ψ + Π H M X,..., X ψ. E Pθ [Π H M X,..., X ψ ] P θ ψ = o, Π H M X,..., X ψ = o Pθ. Esuite, h M πθ + h exp[l θ + h l θ ]dh Π H M X,..., X ψ = πθ + g exp[l θ + g l θ ψ. ]dg O fixe M >, et o a, pour des costates C 3 > et C 4 >, πθ + g exp[l θ + g l θ ]dg πθ + g exp[l θ + g l θ ]dg C 3 exp g M doc il reste à motrer que πθ + h M Mais par Fubii [ P θ h M πθ + [ C M + θ h exp[l θ + sup g M R g ] = exp [ O Pθ ] h l θ ] ψ dh = o Pθ. ] h exp[l θ + h l θ ] ψ dh = πθ + h P h M θ + h ψ dh πθ + h M h e c h/ dh par 6.3. Efi, il existe δ > et C > tels que pour u δ, πθ + u C par cotiuité e θ et o a h e c h/ dh πθ + h M C M h δ e c h dh + e cδ h δ = o + O πθ + h dh k e cδ = o. 6

6. Estimatio bayésiee paramétrique 6..3 Coséqueces du Théorème de Berstei-vo Mises 6..3. Esembles de crédibilité Dire que E,α est u esemble de crédibilité pour θ de iveau de crédibilité α sigifie que E,α est u esemble aléatoire qui déped des observatios X,..., X tel que Π T E,α X,..., X α. U tel esemble est costruit à partir du calcul de la loi a posteriori par des algorithmes MCMC appropriés et e choisissat u esemble de couverture de cette loi il est aturel de le choisir le plus cocetré possible. Si l o ote D = L T θ X,..., X N θ, I θ V T, o a par défiitio de la orme e variatio totale et du fait qu elle est ivariate par traslatio et chagemet d échelle Π T E,α X,..., X N θ + θ, I θ [E,α ] D. Si par ailleurs θ est u estimateur par exemple l estimateur du maximum de vraisemblace, si les hypothèses assuret que tel que θ θ = θ + w, avec w = o Pθ, o a que E,α = θ w + I / avec A,α tel que, si U suit la loi N k, Id, θ A,α α D P U A,α. Par ailleurs, comme θ coverge e loi vers N, I θ, si l o choisit Aα telle que l esemble P U A α = α, C,α = θ + I / θ A α est ue régio de cofiace pour θ asymptotiquemet de iveau de cofiace α. O a aisi E,α = C,α w + I / θ A,α A α. Le Théorème de Berstei-vo Mises implique que P U A,α = α+o Pθ. Doc si A,α est par exemple choisi de cocetratio maximum de la loi a posteriori, et que 7

6 Estimatio Bayésiee A α est la boule cetrée e telle que P U A α = α, o a A,α = A α + o Pθ, et doc e ce cas E,α = C,α + o Pθ, et e ce cas, le Théorème de Berstei-vo Mises implique que, asymptotiquemet, esemble de crédibilité et régio de cofiace costruite à partir de θ par exemple l estimateur du maximum de vraisemblace si les hypothèses permettet d écrire so asymptotique coicidet e probabilité. 6..3. Estimateurs poctuels bayésies Etat doée ue foctio de perte L,, o peut choisir Z qui miimise z E Lz, T X,..., X, c est l estimateur bayésie relativemet à L. Par exemple, pour la foctio de perte quadratique Lz, t = z t, Z est l espérace de la loi a posteriori, et si k =, pour la foctio de perte Lz, t = z t, Z est la médiae de la loi a posteriori. Das ces deux cas, le Théorème de Berstei-vo Mises semble dire que Z θ est l espérace resp. la médiae de la loi N θ, I θ, et doc que Z θ = θ +o Pθ. C est facile à voir pour la médiae a posteriori. Propositio 6... O se place das le cas k =, et sous les hypothèses du Théorème de Berstei-vo Mises. Soit Z la médiae de la loi a posteriori. Alors Z θ = θ + o Pθ et Z θ coverge e loi vers N, /I θ. Preuve. Par défiitio, Π T < Z X,..., X Π T Z X,..., X. Par le Théorème de Berstei-vo Mises, Π T < Z X,..., X = N θ + θ, I θ {], Z [} + o Pθ et Π T Z X,..., X = N θ + θ, I θ {], Z ]} + o Pθ. Comme la loi gaussiee e charge aucu poit, cela implique que N θ + θ, I θ {], Z ]} = + o P θ, soit, e otat Φ la foctio de répartitio de la loi gaussiee cetrée réduite, Φ Iθ [ Z θ θ ] = + o P θ. Comme Φ est iversible d iverse cotiue, le théorème de l image cotiue implique que Iθ [ Z θ θ ] coverge e P θ -probabilité vers Φ =. 8

6.3 Estimatio bayésiee o paramétrique 6.3 Estimatio bayésiee o paramétrique Maiteat o cosidère le cas où l esemble des paramètres F est de dimesio ifiie. E ce cas, le choix d ue loi a priori Π sur F est u sujet e soi. Par ailleurs, pour défiir la cocetratio de la loi a posteriori, il faut choisir e quel ses cette cocetratio a lieu, par exemple e fixat ue métrique sur F. O va commecer par étudier le cas de la régressio o paramétrique, où le paramètre est la foctio de régressio f, o verra ue faço simple de costruire des lois a priori, o va pouvoir obteir facilemet u théorème BVM, et obteir des vitesses de cocetratio a posteriori, que l o pourra comparer aux vitesses vues au chapitre 5. Esuite o étudiera la cosistace de la loi a posteriori das le cadre de suites de variables aléatoires i.i.d. de desité f. 6.3. Régressio Les observatios sot Y,..., Y, o suppose qu elles vérifiet Y i = f x i + ε i, i =,..., 6.5 où les x i sot cous, et les ε i sot i.i.d. de loi N, σ. Les paramètres icous sot f et σ, et o suppose que f F. O a alors de maière équivalete, e otat F R le vecteur f x i i, avec Y R, et ɛ suit la loi N, σ Id. Y = F + ε, 6.6 O suppose que l o dispose d ue base ϕ j j de F, et o ote pour tout etier k, k F k = θ j ϕ j, θ,..., θ k R k. j= Le modèle bayésie cosiste à choisir pour tout k ue loi a priori Π k sur R k qui iduit aisi ue loi a priori sur F k, puis de choisir k ue suite qui ted vers l ifii avec, ombre d observatios, puis de cosidérer la loi a posteriori calculée e cosidérat le modèle Y = Φθ + ε, 6.7 avec Y R, Φ la matrice k qui cotiet e coloes les vecteurs φ,..., φ k, où φ j est le vecteur ϕ j x i i, θ = θ,..., θ k, et ɛ suit la loi N, σ Id. Rappelos que l estimateur du maximum de vraisemblace = des moidres carrés calculé das le modèle 6.7 est θ = Φ T Φ Φ T Y, 9

6 Estimatio Bayésiee et qu alors Φ θ est la projectio orthogoale de Y sur { F k = Φθ, θ R k}. Notos Σ = Φ Φ T Φ Φ T la projectio orthogoale sur F k. Les observatios vérifiet alors Y = F ΣF + ΣF + ε, F ΣF est le biais, différet de celui que l o a das le modèle liéaire paramétrique habituel où l o suppose f F k. O va mettre ue loi a priori Π k gaussiee isotrope sur F k, Π k = N, τσ. Cela reviet à choisir Π k = N k, τ Φ T Φ car si θ suit la loi Πk, Φθ suit la loi Π k. Attetio qu avec k = k qui chage avec, la loi a priori a u support qui chage avec et doc la loi a posteriori aussi. O va maiteat calculer la loi a posteriori, otée Π k Y,..., Y qui doe Π k Y,..., Y par image par Φ, e faisat ce calcul avec le modèle 6.7, et o s itéresse à so comportemet quad Y,..., Y, vérifiet 6.6 ou de maière équivalete 6.5. O peut esuite évaluer par exemple le risque quadratique F ΣF = F ΣF + ΣF ΣF, où le premier terme est le biais, qui est proche de fois le risque quadratique itégré par approximatio de l itégrale. Le biais détermiiste déped de k et c est le secod terme qui est évalué par la cocetratio de la loi a posteriori. Ici, la orme est la orme eucidiee das R. Théorème 6.3. BVM croissat. O suppose que, quad ted vers l ifii, σ = oτ, k = o τ /σ 4, F = oτ /σ. Alors lim E Πk F + Y,..., Y N Φ θ, σσ V =, T et lim + E F Πk Y,..., Y N k θ, σ Φ T Φ V T =. Remarques. a Le théorème dit que la loi a posteriori est asymptotiquemet la même que celle du maximum de vraisemblace e modèle gaussie, l estimateur du maximum de vraisemblace est gaussie. b Si f est borée, F f, et o a F = oτ/σ dès que σ = oτ ; par exemple lorsque σ est costat, il suffit de predre k = et τ = γ pour u γ > /. c Le Théorème de Berstei vo Mises paramétrique pour le modèle gaussie est coteu das le Théorème 6.3.. Preuve. Remarquos tout d abord que pour tout borélie A de R k, Π k θ A Y,..., Y = Π k F ΦA Y,..., Y

6.3 Estimatio bayésiee o paramétrique et pour tout borélie B de R, Π k F B Y,..., Y = Π k θ Φ B Y,..., Y, et doc Π k Y,..., Y N Φ θ, σσ V Πk Y,..., Y N k θ, σ Φ T Φ V. T T O va faire le calcul de Π k Y,..., Y. Pour tout y R, otos θ y = Φ T Φ Φ T y, de sorte que Φθ y est la projectio orthogoale de y sur F k. O a alors y Φθ = y Φθ y + Φθ Φθ y = y Φθ y + Φθ + Φθ y Φθ, Φθ y et la desité par rapport à Lebesgue de Π k Y,..., Y est doc proportioelle à { exp σ + τ Φθ + σ Φθ, Φθ y σ Φθ y } σ y Φθ y à lire comme foctio de θ. U petit calcul aalogue à celui de l exercice 6.4. motre que τ Π k Y,..., Y = N τ k θ, σ Φ T τ + σ τ + σ Φ. O écrit esuite Π k Y,..., Y N k θ, σ Φ T Φ V T τ N τ k θ, σ Φ T τ + σ τ + σ Φ N k + τ θ, σ Φ T Φ N k τ + σ = N τ k, σ τ + σ + τ N k τ + σ τ τ + σ θ, σ Φ T Φ N k θ, σ Φ T Φ V T Φ T Φ N k, σ Φ T Φ V T V T θ, σ Φ T Φ N k θ, σ Φ T Φ V. T Il faut être u peu attetif esuite au fait que k déped de et doc il e suffit pas de comparer moyees et variaces. Regardos le premier terme. Tout d abord, par la trasformatio bijective θ σ Φ T Φ /, o a N k, τ σ τ + σ Φ T Φ N k, σ Φ T Φ V T = N k, τ τ + σ Id N k, Id V T

6 Estimatio Bayésiee τ Si o ote g la desité de N k, Id et f τ celle de N k, Id, o a +σ N τ k, τ + σ Id N k, Id = g f + dx = V T R k x g f dx k α e otat α = τ σ log + σ τ car g x f x si et seulemet si σ + τ τ k exp σ + τ τ x + x ce qui équivaut à x k α. Maiteat, si U suit la loi χ k, o peut écrire x g f dx = P U k α σ + τ k α τ P U k α = P = P [ k [ α U k k σ τ + o k k U k k α σ + τ τ k ] ] σ τ + o par u développemet à l ordre de log + u car σ = oτ. Mais U k k coverge e loi vers N,, doc le terme calculé ted vers quad ted vers l ifii puisque k = o τ /σ 4. Regardos maiteat le deuxième terme. Par la trasformatio bijective θ Φ T Φ / θ τ θ σ τ + σ o obtiet que τ N k τ + σ θ, σ Φ T Φ N k θ, σ Φ T Φ V T = N σ Φ T Φ / θ k, Id N k τ + σ, Id. V T Maiteat, si Z R k, et si g désige la desité de N k, Id o a N k, Id N k Z, Id V T = gx gx Z + dx = gx gx Z + dx. R k x,z Z Mais si X suit la loi N k, Id, X,Z X,Z Z suit la loi N,, et si X suit la loi N k Z, Id, Z suit la loi N Z,. O obtiet aisi que si U suit la loi N,, gx gx Z + dx = P U Z P U Z Z x,z Z

6.3 Estimatio bayésiee o paramétrique car pour tout u R, π exp u. Du coup, N σ Φ T Φ / θ k, Id N k τ + σ, Id V T = = σ Φ T Φ / θ τ + σ σ τ + σ Φ θ σ τ + σ ΣY σ τ + σ F + Σε car Σ est ue projectio qui réduit la orme. Comme F = oτ/σ, o. Maiteat, par Jese, E Σε E Σε = σ k σ F = τ+σ car Σε suit la loi σχ k par Cochra. Efi sous les hypothèses du Théorème 6.3., σ σ τ+σ k = o. Regardos maiteat les coséqueces du Théorème 6.3. e ce qui cocere la vitesse de cocetratio o paramétrique de la loi a posteriori. O se place doc das le cadre où σ = σ est costat, x i = i/, et ϕ j j est la base de Fourier de L [, ]. Soit F α,l la boule de Sobolev F α,l = θ j ϕ j, θ j j Θ α,l avec j Θ α,l = θ j j, a jθj L π α, j où a j = j α si j est pair et a j = j α si j est impair. O sait que la vitesse d estimatio optimale pour le risque quadratique itégré sur cette classe est α/α+ lorsque α > /. Ici, si f = j θ j ϕ j, le risque quadratique itégré est k j= θj θ j + + j=k + θ j avec k j= θ j θj cotrôlé par la loi a posteriori, et + j=k + θ j le biais détermiiste. Maiteat, si k = /α+, o a si f F α,l + j=k + θj = O α/α+, 3

6 Estimatio Bayésiee et il reste doc à cotrôler la cocetratio a posteriori de k j= θ j θ j. Théorème 6.3.. O suppose α > /, L > et f F α,l. O choisit k = /α+ et τ tel que = oτ. Alors pour toute suite λ qui ted vers l ifii, lim E F + Πk f f λ α/α+ Y,..., Y =. Preuve. Reste à voir que lim + E F Πk k j= θj θj λ α/α+ Y,..., Y =. Mais θ θ θ θ + θ θ. O a doc Π k k j= θj θj λ α/α+ Y,..., Y Comme α/α+ = k /, o a E F Πk k j= Π k θj θj λ α/α+ Y,..., Y E F Πk k j= k j= θ j θ λ k j 4 Y,..., Y θ j θ λ α/α+ j Y,..., Y 4 +. θ θ λ α/α+ 4 + P θ θ λ k 4 Ici, Φ T Φ = Id. Doc θ θ suit la loi N k, σ θ Id et θ suit la loi σχ k, et doc le deuxième terme du majorat ted vers quad ted vers l ifii par exemple e appliquat l iégalité de Markov. Pour le premier terme, o peut appliquer le Théorème 6.3. et o obtiet E F Πk k j= qui ted vers. θ j θ λ k j 4 Y,..., Y o+n k, [{ Id h : h λ }] k 4 4

6.3 Estimatio bayésiee o paramétrique O voit doc que la méthode bayésiee permet d obteir la vitesse miimax sur la classe F α,l. Pour costruire ue méthode bayésiee qui réalise l adaptativité, il faut, au lieu de choisir k, mettre ue loi a priori sur k de sorte que Π = k pkπ k. 6.3. Estimatio de desité O se place das la situatio où X est ue suite de variables aléatoires i.i.d. de desité f à estimer. O s itéresse doc au cas où Π a u support iclus das l esemble des desités de probabilité par rapport à ue mesure domiate µ { } L µ = f L µ : f, fdµ =. Pour obteir la cosistace de la loi a posteriori, o va avoir besoi de deux choses : Que la loi a priori mette de la masse autour de f, Que, si l o veut motrer que la loi a posteriori se cocetre sur u esemble mesurable U coteat f, o puisse séparer au ses des tests f et U C. O va doc commecer par des résultats sur les tests. Rappelos que l o appelle test ue variable aléatoire mesurable par rapport aux observatios et à valeurs das [, ]. Soit φ ue suite de tests doc pour tout, φ est ue foctio mesurable de X,..., X. O dit que c est ue suite de tests uiformémet cosistats pour tester H : f = f cotre H : f U C si et lim E f φ = + lim + if E f φ =. f U C O dit que φ est u test strictemet o biaisé pour tester H : f = f cotre H : f U C si E f φ < if f U C E f φ. O dit que la suite φ est ue suite de tests uiformémet expoetiellemet cosistats pour tester H : f = f cotre H : f U C si il existe C > et β > tels que, pour tout etier, et E f φ Ce β if E f φ Ce β. f U C Propositio 6.3.. Il y a équivalece etre 5

6 Estimatio Bayésiee i Il existe ue suite φ de tests uiformémet cosistats pour tester H : f = f cotre H : f U C ii Il existe u etier m et u test φ m X,..., X m strictemet o biaisé pour tester H : f = f cotre H : f U C iii Il existe ue suite φ de tests uiformémet expoetiellemet cosistats pour tester H : f = f cotre H : f U C. Preuve. i implique ii et iii implique i. reste doc à prouver que ii implique iii. Soit doc m tel que Pour tout etier k, o pose { si k ψ km = k φ m sio. α := E f φ m < if f U C E f φ m := γ. Xi m+,..., X im > α+γ Noter que l o utilise toujours le même test, mais appliqué à des paquets idépedats de groupes de variables. Notos Z i = X i m+,..., X im. O a E f ψ km = P f = P f k k exp { k k φ m Z i > α + γ k [φ m Z i E f φ m Z i ] > γ α } γ α par l iégalité de Hoeffdig, car φ m [, ]. Aussi, pour tout f U C, E f ψ k = P f k P f k k k car E f φ m γ si f U C,, et doc par Hoeffdig, φ m Z i α + γ [φ m Z i E f φ m Z i ] α γ } γ α E f ψ km exp { k. Pour = km, o pose φ = ψ km et l o a } γ α E f φ exp { m 6

6.3 Estimatio bayésiee o paramétrique et } if E f φ γ α exp {. f U C m Pour tel que km < < k + m, o pose φ = ψ km et l o a } } γ α γ α k E f φ exp { k exp { m k + et } } if E f φ γ α γ α k exp { k exp { f U C m k + Preat C = et β = γ α 4m, o voit que la suite φ est ue suite de tests uiformémet expoetiellemet cosistats pour tester H : f = f cotre H : f U C. Corollaire 6.3.. Soit ν ue probabilité sur U C. Si il existe u test φ X,..., X et des costates C > et β > tel que et E f φ Ce β if E f φ Ce β, f U C alors, e otat pour toute foctio f L µ, f la foctio doée par f x,..., x = fx fx f f dνf e β. Preuve. O a f f dνf = f f dνf φ + φ = φ f f dνf dµ + φ f f dνf dµ φ f dνf f dµ + φ f f dνf = E f φ dνf E f φ + E f φ E f φ dνf U C U C e β par Fubii puis l hypothèse faite sur φ. Théorème 6.3.3 Théorème de Schwartz. O suppose que :. pour tout ɛ >, Π {f : Kf µ; fµ ɛ} >, dµ 7

6 Estimatio Bayésiee. et il existe ue suite de tests uiformémet cosistats pour tester H : f = f cotre H : f U C. Alors, P f -p.s., Preuve. O a Pour tout ɛ >, e ɛ L µ lim Π U X,..., X =. + Π U C X,..., X = U C L µ fx i f X i Πdf fx i f X i Πdf. fx i f Πdf eɛ e log f X i fx i Πdf. X i {f : Kf µ;fµ ɛ} Sur {f : Kf µ; fµ ɛ}, lim if + log f X i fx i ɛ P f -p.s., et doc sur {f : Kf µ; fµ ɛ}, lim if + e ɛ e log f X i fx i = +. Comme Π {f : Kf µ; fµ ɛ} >, o obtiet par Fatou, P f -p.s., Maiteat, otos E otat ɛ >, lim if + eɛ L µ q x,..., x = ΠU C U C fx i f Πdf = +. X i fx i Πdf. A f, q = f q dµ = h f µ ; q µ, comme la orme au carré est majorée par deux fois Helliger au carré, o a A f f q, q. 4 Puisqu il existe ue suite de tests uiformémet cosistats pour tester H : f = f cotre H : f U C, par la Propositio 6.3., il existe ue suite de tests uiformémet expoetiellemet cosistats pour tester H : f = f cotre H : f U C, et par le Corollaire 6.3. appliqué avec ν la loi Π coditioé à U C, pour u C > et u β >, A f, q Ce β. Maiteat, P f q X,..., X f X i e β = P f q X,..., X f e β/ Ce β/ e β = Ce β/ X i 8

6.3 Estimatio bayésiee o paramétrique par l iégalité de Markov, et e appliquat le Lemme de Borel-Catelli, o obtiet que P f -p.s., pour assez grad, q X,..., X f X i < e β. Doc P f -p.s., lim + eβ/ ΠU C U C et o fiit la preuve e preat ɛ = β/4. fx i f X i Πdf = Théorème 6.3.4. O suppose que pour tout ɛ >, Π {f : Kf µ; fµ ɛ} >. Alors la loi a posteriori est faiblemet cosistate, au ses où, P f -p.s., pour tout voisiage U de f das la topologie de la covergece étroite, Π U X,..., X ted vers. Preuve. Si h est ue foctio cotiue borée, et si ɛ >, o ote { } U h,ɛ = f : hfdµ hf dµ < ɛ, et O a alors φ h [, ], et { } U h,ɛ = φ h f f dµ < ɛ φ h = h + h h. { } φ h f f dµ < ɛ. Doc pour motrer que pour toute foctio cotiue borée h et tout ɛ >, P f -p.s., lim Π U h,ɛ X,..., X =. + il suffit de motrer que pour toute foctio mesurable φ à valeur das [, ], P f -p.s., avec V φ,ɛ = lim Π V φ,ɛ X,..., X =, + { f : φfdµ } φf dµ < ɛ. Mais alors, φ est u test strictemet sas biais de H : f = f cotre H : f Vφ,ɛ C, et o peut appliquer la Propositio 6.3. puis le Théorème de Schwartz pour obteir le résultat. Maiteat, les voisiages U de f das la topologie de la covergece étroite sot de la forme U = i I { f : h i fdµ } h i f dµ < ɛ, 9

6 Estimatio Bayésiee où I est u esemble fii, h i, i I, sot des foctios cotiues borées et ɛ >. O a motré que pour tout voisiage U de f das la topologie de la covergece étroite, P f -p.s., lim + Π U X,..., X =, et o veut échager le pour tout U et P f -p.s.. Pour ceci, il suffit de predre ue base déombrable de voisiages de f pour la topologie de la covergece étroite 6.4 Exercices Das tous les exercices, o cosidère ue famille de lois P θ θ Θ et ue loi de probabilité a priori, loi d ue variable aléatoire T sur Θ. Pour tout etier, la loi de X,..., X coditioellemet à T = θ est P θ, c est-à-dire que, coditioellemet à T = θ, X,..., X sot idépedates et de même loi P θ. La loi dite a posteriori est la loi de T coditioellemet à X,..., X. Exercice 6.4.. Soit Π la loi gaussiee sur R k d espérace τ et de variace Σ iversible. Soit P θ la loi gaussiee sur R k d espérace θ et de variace idetité.. Quelle est la loi a posteriori?. O suppose que X,..., X sot i.i.d. de loi P θ a O choisit comme estimateur θ de θ l espérace de la loi a posteriori. Quelles sot les propriétés asymptotiques de θ? b Vérifier directemet que le théorème de Berstei-vo-Mises est vrai. Exercice 6.4.. Soit P θ la loi de Beroulli de paramètre θ et Π la loi a priori Beta de paramètre α, β α >, β > c est-à-dire de desité π θ = Γα + β ΓαΓβ θα θ β ],[ θ, où Γ est la foctio doée par Γs = + x s e x dx.. Quelle est la loi a posteriori?. O suppose que X,..., X sot i.i.d. de loi P θ O choisit comme estimateur θ de θ l espérace de la loi a posteriori. Quelles sot les propriétés asymptotiques de θ?

6.4 Exercices Exercice 6.4.3. U exemple où l estimateur du maximum de vraisemblace est pas cosistat et la loi a posteriori est cosistate. Θ = N esemble des etiers positifs o uls. O fixe C ], [, et hx = e /x pour tout x >. O défiit a = et pour tout etier k, a k par a k a k hx Cdx = C. Efi, soit alors f k la foctio défiie sur [, ] par { hx si ak < x < a f k x = k C sio O fixe Π ue probabilité sur Θ telle que pour tout etier j, Π{j} >.. Motrer que pour tout etier k, a k ], [, que lim k + a k =, et que f k est ue desité de probabilité.. Motrer que pour tout etier j, Π X,..., X est P j -cosistate. 3. Soit j fixé. O ote ˆθ l estimateur du maximum de vraisemblace, X = mi{x,..., X }, et o défiit la variable aléatoire k par k = k si et seulemet si X ]a k, a k [. O ote l θ = log f θx i. a Soit Y ue variable aléatoire de loi uiforme sur [, /C]. Motrer que pour tout réel x >, P j X > x P Y > x. E déduire que X ted vers e Pj -probabilité. b Motrer que pour tout M >, Pj ˆθ j Pj l k l j M. c Motrer que, si Nj est le ombre de X i, i =,...,, tels que X i ]a j, a j [, l k l j log h X d E déduire que lim + P j ˆθ j =. C N j log h a j C. Exercice 6.4.4. U exemple où l estimateur du maximum de vraisemblace est cosistat et la loi a posteriori est pas cosistate. O pose Θ = [, ] [, 3], P θ la loi uiforme sur [, θ], et Π ue probabilité sur Θ de desité π cotiue et strictemet positive sur l itérieur de Θ telle que πθ = e /θ si θ [, [, ce qui est possible car e /θ dθ <. O pose θ =.. Motrer que l estimateur du maximum de vraisemblace est cosistat.. O va motrer que Π[, 3] X,..., X ted vers e P θ -probabilité, ce qui suffira à déduire que la loi a posteriori est pas P θ -cosistate. O ote X = max{x,..., X } a Motrer que, P θ -p.s., Π [, 3] X,..., X = + X θ πθdθ 3 θ πθdθ.

6 Estimatio Bayésiee b Motrer que c Motrer que log 3Π[, 3] 3 log θ πθdθ log Π[, 3]. log θ πθdθ log X X + log X + log π X. d Coclure.

7 Sujets 7. Partiel de Novembre Exercice 7... Soit X N ue suite de variables aléatoires réelles i.i.d. de loi P. O suppose que {h θ, θ Θ} est u esemble de foctios réelles P -Gliveko-Catelli, que θ P h θ est ue foctio cotiue d u ouvert Θ R das R, et que θ N est ue suite d estimateurs cosistat de θ, θ Θ. Motrer qu alors P h θ ted e probabilité vers P h θ quad ted vers l ifii. E déduire u estimateur cosistat de P X EX lorsque X admet ue espérace, et que sa foctio de répartitio est cotiue. Exercice 7... Soit Θ R k, et P θ θ Θ u modèle différetiable e moyee quadratique e θ, poit itérieur à Θ, de score l θ et d iformatio de Fisher I θ iversible. Soit X N ue suite de variables aléatoires i.i.d.. Doer des coditios suffisates pour que l estimateur du maximum de vraisemblace θ soit u estimateur cosistat de θ.. Doer des coditios suffisates pour que l estimateur du maximum de vraisemblace θ vérifie θ θ = I θ l θ X i + o P θ. 7. 3. Soit g ue foctio cotiumet différetiable de R k das R. Motrer que si 7. est vérifiée, alors g θ gθ = g T θ I θ où g θ est le vecteur gradiet de g e θ. l θ X i + o P θ 4. E déduire que si 7. est vérifiée, alors g θ est u estimateur régulier de gθ, asymptotiquemet efficace au ses du théorème de covolutio. 3

7 Sujets Exercice 7..3. Estimateur de James-Stei. Soit X N ue suite de variables aléatoires i.i.d. à valeurs das R k, k 3. O cosidère la suite de modèles [Pm m R k], avec P m = N k m, I où I est la matrice idetité. O ote X = X i, et la orme euclidiee. L estimateur de James-Stei est défii par : T = k X. X O admettra que si Z est ue variable aléatoire das R k gaussiee cetrée réduite, pour tout a de R k, Z, Z + a E Z + a = k E Z + a, qui est fiie dès que k 3.. Motrer que le modèle P m m R k est différetiable e moyee quadratique e tout m R k, et que l iformatio de Fisher est la matrice idetité I.. Motrer que sous Pm, Z + m T m = Z k Z + m où Z est ue variable aléatoire das R k gaussiee cetrée réduite. 3. Motrer que pour tout m R k, E m X m = k et que E m T m = k k E Z + m. 4. E déduire que pour tout M >, lim sup + sup h M E h T h < k. 5. Motrer que, pour tout m R k, T est asymptotiquemet efficace au ses du risque miimax local. 6. Motrer que si m, T est u estimateur régulier efficace au ses du théorème de covolutio. 7. Qu e est-il e m =? 8. Commeter les résultats des questios 3 à 7. 7. Partiel de Novembre Exercice 7... Soit X ue suite de variables aléatoires réelles i.i.d. de loi P admettat u momet d ordre 4. O ote σ = V arx où X est ue variable aléatoire réelle de loi P. Soit σ = Xi X i. 4

7. Partiel de Novembre. Motrer que σ = U i U i où l o a posé Ui = X i EX.. Motrer que σ σ coverge e loi vers ue variable gaussiee cetrée et de variace V = E[X EX 4 ] E[X EX ]. 3. Proposer u estimateur cosistat de V et u itervalle de cofiace pour σ asymptotiquemet de iveau α. Exercice 7... Soit P θ la probabilité sur R de desité par rapport à Lebesgue p θ x = π[+x θ ]. O ote I = 4 + π asymptotiquemet efficace de θ pour tout réel θ. O ote l θ = u du = +u 3. Le but de l exercice est de costruire u estimateur log p θx i.. Motrer que le modèle P θ θ R est différetiable e moyee quadratique e tout réel θ, de score l θ x = x θ +x θ et d iformatio de Fisher I e θ.. Soit θ ue médiae empirique qui vérifie Xi < θ = Xi > θ a Motrer que pour tout réel θ, θ coverge e P θ -probabilité vers θ. b Motrer que θ θ = π Xi >θ Xi <θ + o P θ c θ est-il régulier? θ est-il asymptotiquemet efficace au ses du théorème de covolutio? 3. Soit M > positif fixé. Soit θ M l estimateur du maximum de vraisemblace sur [ M, M], c est-à-dire tel que θ M [ M, M] et l θ M sup l θ θ M. a Motrer que {log p θ x : θ M} est P θ -Gliveko-Catelli pour tout réel θ.. b Motrer que si θ ] M; M[, θ M coverge e P θ -probabilité vers θ. c Motrer que si θ ] M; M[, θ M θ = I l θ X i + o P θ. 5

7 Sujets 4. O souhaite maiteat s affrachir de la coaissace a priori de M, et costruire u estimateur ayat les mêmes propriétés asymptotiques. Pour cela, o utilise θ comme estimateur prélimiaire, que l o améliore par u pas de descete pour chercher u zéro de la dérivée de la vraisemblace. Autremet dit, si o ote Z θ = l θ X i et W θ = [ lθ X i ], o pose θ = θ + Z θ W θ. a Soit h θ x la dérivée secode de log p θ x par rapport à θ. Motrer que pour tout réel θ, h θ x pour tout réel x, puis que [ ] h X θ+t θ θ i dt = I + o P, θ et e déduire que [ ] Z θ Z θ = I θ θ + o P. θ b Motrer que pour tout réel θ, W θ = I + o P θ c Commeter. θ θ = I l θ X i + o P θ, puis que. Exercice 7..3. Soit P l esemble des probabilités sur R de desité cotiue strictemet positive. Pour tout P P, o défiit ψp comme état la médiae de P, c est à dire le ombre réel défii par ψp = F, F état la foctio de répartitio de P, qui est iversible puisque P a ue desité strictemet positive. Soit P P fixé de desité f.. Soit G l esemble des foctios réelles g cotiues borées et telles que R gxfxdx = et R g xfxdx < +. Motrer qu il existe δ > tel que, si t δ, e posat P t,g = + tgp, o a P t,g P, puis que G est u esemble taget à P e P.. O fixe g das G. O ote, pour tout t ] δ, δ[, F x, t = x fudu+t x gufudu la foctio de répartitio de P t,g. ψp t,g est alors l uique réel tel que F ψp t,g, t =. E utilisat le théorème des foctios implicites, motrer que t ψp t,g est dérivable par rapport à t e t = et que [ dψp t,g ψp ] + dt = gufudu gufudu. t= fψp ψp 6

7.3 Exame Javier 3. Quelle est la foctio d ifluece efficace de ψ au poit P? 4. Motrer que la médiae empirique est u estimateur efficace de ψp O rappelle que si θ est la médiae de P, si θ est la médiae empirique, θ θ = X i >θ Xi <θ + o P. fθ 7.3 Exame Javier Exercice 7.3.. Soit P l esemble des probabilités sur R de desité strictemet positive. Pour tout P P, o défiit ψp comme état la médiae de P, c est à dire le ombre réel défii par F ψp =, F état la foctio de répartitio de P. Soit P P de desité f.. Soit G l esemble des foctios réelles g borées et telles que R gxfxdx = et R g xfxdx < +. Motrer qu il existe δ > tel que, si t δ, e posat P t,g = + tgp, o a P t,g P, puis que G est u esemble taget à P e P.. O fixe g das G. Motrer que si t ted vers, ψp t,g ted vers ψp. 3. Motrer que 4. E déduire que F ψp t,g F ψp = t ψp t,g ψp lim = t t fψp ψp ψpt,g Quelle est la foctio d ifluece efficace de ψ au poit P? gufudu. [ ψp gufudu = gufudu fψp 5. Motrer que la médiae empirique est u estimateur efficace de ψp O rappelle que si θ est la médiae de P, si θ est la médiae empirique, θ θ = X i >θ Xi <θ + o P. fθ + ψp gufudu ], Exercice 7.3.. Estimatio adaptative de desité. Soit X ue suite de variables aléatoires réelles idépedates de desité f par rapport à Lebesgue, dot o otera P f la loi. Soit K ue foctio de R das R telle que Kx = si x, Kx et Kx Ky x y pour tous réels x et y. O suppose de plus que R Kudu =. Pour tout h >, o otera K h la foctio de R das R telle que pour tout réel x, K h x = h K x h, et f h l estimateur doé par : pour tout réel x, f h x = K h x X i. 7

7 Sujets Pour tout α ], ], L >, M >, o ote F α,l,m l esemble des desités f sur [, ] telles que fx M, fx fy L x y α pour tous réels x et y das [, ]. O ote aussi, pour toute foctio g de R das R, g = R gx dx et g = R g xdx /, et o rappelle que le produit de covolutio de deux foctios réelles g et m itégrables et de carré itégrable est la foctio g m doée par : pour tout réel x, g m x = g x u m u du. R. Motrer que pour toutes foctios réelles g et m itégrables et de carré itégrable,. O ote E f l espérace prise sous P f. g m g m. 7. a Motrer que E f fh = K h f, puis que si f F α,l,m, pour tout h >, E f fh f L h α. b Motrer que si f F α,l,m, pour tout h >, E f fh E f fh h K. c E déduire que sup E f f h f CL, α, K α/α+ f F α,l,m pour ue costate CL, α, K qui e déped que de L, α, et K. 3. O va maiteat proposer ue maière de choisir h sas coaissace a priori sur f d après A. Goldeshluger et O. Lepski. Soit H = [h, H ] avec < h < H <. O ote pour tous h > et k > f h,k = K k f h. O admettra que l o peut choisir a > tel que si est tel que 8 f H + 4, alors { E f sup h H [ f h E f f h a ] } k K C log H { exp + h 6 f H + 4 7.3 pour ue costate C > qui e déped pas de f, et o défiit pour tout h H [ A h = sup f k f h,k a K ], k H k puis o choisit ĥ qui miimise {Ah+ a K h } sur H. L estimateur fial est f = fĥ. + } 8

7.3 Exame Javier a Motrer que pour tous h > et k >, f h,k = f k,h. b Soit h H quelcoque fixé. Motrer que f f h, ĥ + f h, ĥ f h A h + A ĥ + a K ĥ et e déduire que f f f f h + a K + A h. h c E utilisat 7., motrer que pour tout k H, f k f h,k E f fk f h,k f k E f fk, + a K h et que Ef fk f h,k f K h f. d E déduire que A h sup k H [ f k E f f k a ] k K + f K h f. + e O choisit h = et H =. Motrer que pour des costates C log, C et C 3 qui e dépedet pas de f, o a f E f f if h H { } K C f K h f + C + C 3 h dès que où est u etier qui déped de f. f Coclure. Exercice 7.3.3. Soit T ue variable aléatoire de loi a priori Π sur R + qui est la loi gamma de paramètres a > et b >, otée Ga; b, de desité b a Γa θa e bθ θ>, avec Γa = + x a e x dx. Pour tout etier, les variables aléatoires X,..., X sot idépedates coditioellemet à T = θ et de loi de Poisso P θ de paramètre θ, c est à dire de desité p θ x = θx x! e θ par rapport à la mesure de comptage µ qui doe u poids égal à à tout etier positif ou ul. 9

7 Sujets. Motrer que la loi a posteriori est la loi gamma G X i + a; + b.. Soit θ l espérace de la loi a posteriori. Motrer que θ = +a. + b 3. Soit θ >. Motrer que le modèle P θ θ> est différetiable e moyee quadratique e θ, de score l θ x = x θ θ et d iformatio de Fisher I θ = θ. 4. Motrer que si l o ote θ l estimateur du maximum de vraisemblace, θ θ = θ θ + o P = θ X i θ + o P θ. 5. Motrer que le théorème de Berstei-vo Mises est vérifié et l éocer. 6. Soit λ >. O veut tester θ λ cotre θ > λ. Soit φ le test bayésie qui vaut si Π T > λ X,..., X Π T λ X,..., X et sio. Déduire du théorème de Berstei-vo Mises que pour tout θ < λ, et que pour tout θ > λ, 7.4 Exame Javier 3 lim P + θ φ = =, lim P + θ φ = =. Exercice 7.4.. Décovolutio iveau de bruit cou. Soit X j j ue suite de variables aléatoires idépedates de desité f sur [, ], et ε j j ue suite de variables aléatoires idépedates gaussiees cetrées de variace σ coue. O suppose la suite ε j j idépedate de X j j. O cosidère la suite de variables aléatoires réelles Y j j telles que pour tout etier j, Y j = X j + ε j X j + ε j, où u désige la partie etière de u. Les Y j sot doc à valeur das [,. O souhaite estimer f à partir d u -échatillo Y,..., Y. O rappelle que pour tout ombre complexe z, E exp[zε j ] = exp[ z σ ]. 3

7.4 Exame Javier 3 O ote ϕ x =, ϕ k x = cosπkx et ϕ k+ x = siπkx pour tout x [, ] et k =,,.... Alors {ϕ j } j= est ue base orthoormée de L [, ], c est-à-dire que pour tout j, k, ϕ j xϕ k xdx = δ jk avec δ jk = si j = k et sio. Pour tout réel r > et L >, o ote Fr, L l esemble des foctios f L [, ] telles que f = f et dot les coefficiets de Fourier θf k k vérifiet + k= k r θf k + θf k+ L. 7.4 O rappelle que les coefficiets de Fourier de f sot doés par θf k := fxϕ kxdx, et que si f Fr, L, alors pour tout x [, ], fx = k= θf kϕ k x et fx dx = k θf k.. Motrer que les coefficiets de Fourier de la desité g de Y vérifiet θg =, et pour tout k, θg k = θf k exp[ π σ k ], θg k+ = θf k+ exp[ π σ k ].. Si J est u etier, o cosidère la foctio f J sur [, ] doée par f J x = + LJ r cos[πjx]. Motrer que pour J assez grad, f J est ue desité de probabilité telle que f J Fr, L. 3. O ote f la desité uiforme sur [, ]. Motrer que f x f J x dx = L J r. 4. O ote g la desité de la loi P de Y lorsque X a pour desité f et g J la desité de la loi P J de Y lorsque X a pour desité f J. Motrer que x [, ], g x σ π exp σ, et qu il existe ue costate C > telle que x [, ], g x g J x CJ r. 5. O ote KP, P J la divergece de Kullback etre la loi P et la loi P J. O choisit J = l /πσ. Motrer que pour assez grad, K P, P J g x g J x dx, g x et e déduire que pour tout c >, pour assez grad, K P, P J c. 3

7 Sujets 6. E déduire que pour assez grad, pour tout estimateur f de f, [ ] sup E f l r f x fx dx Lσ f Fr,L 7. O estime les coefficiets de Fourier de f, pour k, par θf k = exp[π σ k ] ϕ k Y i, θf k+ = exp[π σ k ] Motrer que pour tout k, E f [ θf k ] = θf k et V ar f [ θf k ] exp[4π σ k ]. ϕ k+ Y i. 8. Si J, o ote f J x = J+ θf k= k ϕ k x. Motrer que, e posat Cσ = / exp[ 4π σ ], [ ] E f fj x fx dx Cσ exp[4π σ J+ ]+ k>jθf k +θf k+. 9. Motrer que si f Fr, L, θf k + θf k+ J k>j r L.. E déduire que l o peut choisir J de sorte que pour assez grad, [ ] sup E f l r fj x fx dx 4Cσ + L. f Fr,L. Commetaires vitesse, adaptativité? Exercice 7.4.. Estimatio bayésiee. Soit Y,..., Y des variables aléatoires telles que i Y i = f + ε i, i =,..., 7.5 où ε,..., ε sot i.i.d. de loi gaussiee cetrée de variace σ et f ue foctio borée de [, ] das R. O ote P la loi de Y,..., Y. O fixe u etier k et o ote pour tout j =,..., k, φ j = ϕ j i/ i les foctios ϕ j sot défiies das l exercice, puis Φ la matrice k φ,..., φ k. O rappelle qu alors Φ T Φ = I k. O cosidère le modèle Y = Φθ + ε, ε N, σ I. 7.6 O muit R k de la loi a priori Π = N k, τ I k, et l o calcule les lois a posteriori sous le modèle 7.6. 3

7.4 Exame Javier 3. Rappeler commet o calcule la loi a posteriori de θ, Π Y,..., Y, et ce que l o obtiet ici.. Soit g L [, ], o veut estimer Gf = gxfxdx. O ote G = gi/ i. a Quelle est la loi a posteriori de G T Φθ? Motrer e appliquat u théorème du cours qu elle vérifie u théorème de Berstei-vo Mises que l o éocera sous des coditios à préciser sur k et τ. b O suppose que f et g sot de régularité β > /. O ote F = fi/ i. O choisit k = / l. O admettra qu alors Φ T G, Φ T F = fxgxdx+o et Φ T G = g xdx+o. O ote efi L la loi a posteriori de G T Φθ G T ΦY/. Motrer que si = oτ, 4 lim E P + L N, σ g xdx =. c E déduire u esemble de crédibilité pour Gf asymptotiquemet de iveau de crédibilité α. d Motrer que G T ΦY/ Gf coverge e loi sous P vers N, σ g xdx, et e déduire u itervalle de cofiace pour Gf asymptotiquemet de iveau de cofiace α. Commeter. 3. O veut maiteat estimer Hf = f xdx. O ote Hθ = Φθ. O choisit maiteat k = / l et τ tel que = oτ. 4 O suppose toujours que f est de régularité β > /, et l o admet qu alors Φ T F = f xdx+o. a Motrer que si η ted vers de sorte que η l ted vers l ifii, alors [ ] lim E P + Π Φθ Φ θ η Y,..., Y =. Idicatio : utiliser le théorème de Berstei-vo Mises pour Φθ. b Motrer que θ = f xdx + o P. c O ote, pour J itervalle de R, ψj = J π exp x dx. O ote I la collectio des itervalles de R. Motrer que [ Hθ ] lim E P + sup J I Π H θ J Y,..., Y ψ J =. σ θ Idicatio : utiliser que Hθ = H θ + Φ θ, Φθ Φ θ + Φθ Φ θ. d E déduire u esemble de crédibilité pour Hf asymptotiquemet de iveau de crédibilité α. V T 33