Statistiques Asymptotiques- Notes de cours - M2. Elisabeth Gassiat

Transcription

1 Statistiques Asymptotiques- Notes de cours - M Elisabeth Gassiat

2

3 Table des matières Itroductio 5 Des méthodes d estimatio 7. Outils probabilistes Estimateurs de type momets M- et Z- estimateurs Défiitios Cosistace Normalité asymptotique Exercices Théorie de la vraisemblace 9 3. Modèles différetiables e moyee quadratique et iégalité de Cramer-Rao 9 3. L estimateur du maximum de vraisemblace Estimateurs efficaces au ses du risque asymptotique quadratique local Iégalité de va Trees Estimateurs localemet asymptotiquemet miimax Estimateurs réguliers et efficaces au ses du théorème de covolutio Estimateurs réguliers et théorème de covolutio Cotiguïté Applicatio aux modèles d.m.q Exercices Estimatio semi-paramétrique 5 4. Esembles tagets et foctios d ifluece Efficacité Modèles semi-paramétriques Exercices Estimatio o paramétrique Itroductio et exemples Régressogramme Méthode empirique. Estimateur à oyau Projectio Questios Des résultats de covergece uiverselle Risque quadratique

4 5.. Risque poctuel Risque uiforme Vitesse de covergece sur des classes de Holder Mioratio de risques miimax Pricipes gééraux de réductio Mioratio du risque poctuel Mioratio du risque quadratique Mioratio de risque uiforme Estimatio adaptative Mioratio risque poctuel Estimatio adaptative par la méthode de Lepski risque poctuel Risques miimax et Régios de cofiace Exercices Estimatio Bayésiee Gééralités Estimatio bayésiee paramétrique Cosistace Théorème de Berstei-vo Mises Coséqueces du Théorème de Berstei-vo Mises Estimatio bayésiee o paramétrique Régressio Estimatio de desité Exercices Sujets 3 7. Partiel de Novembre Partiel de Novembre Exame Javier Exame Javier

5 Itroductio E probabilité, o s itéresse au comportemet, à l évolutio, d u processus aléatoire, dot o coait a priori la loi ou u modèle permettat de coaitre sa loi. E statistique, o cosidère doé ou observé u processus, ou ue variable aléatoire, que l o appelle alors observatio, et l o cherche à e déduire quelque chose de sa loi. O cosidèrera das ce cours que l observatio est costituée de X,..., X, où X est ue suite de variables aléatoires de loi P. Il faut idiquer das quel espace X les variables aléatoires X i preet leurs valeurs, et de quelle tribu est mui X. L espace X N est alors mui de la tribu cylidrique. Souvet, o se placera das la situatio où les X i sot des variables aléatoires idépedates et de même loi P, auquel cas P = P N, et P est la loi de l observatio. O fait ue hypothèse de modélisatio, sous la forme P P, où P est u esemble de lois de probabilité sur X, et o cherche alors à estimer ue quatité ψp, par u estimateur T qui est ue variable aléatoire foctio mesurable de X,..., X. E statistique asymptotique, o s itéresse aux propriétés lorsque ted vers l ifii : cosistace des estimateurs, covergece e loi pour la costructio de régios de cofiace, risque et limitatios itrisèques. Cela dépedra : du modèle choisi P et de ce que l o cherche à estimer ψp. Lorsque P peut être paramétré sous la forme P = {P θ, θ Θ} où Θ R k est de dimesio fiie, o parle de modèle paramétrique. Lorsque ce est pas le cas, o parle de modèle o paramétrique. Pour u modèle paramétrique, la vitesse typique d estimatio est. O étudiera aussi ce que l o appellera l estimatio semi-paramétrique, où le modèle est o paramétrique mais où ce que l o cherche à estimer est de dimesio fiie. Référeces bibliographiques. Aad va der Vaart : Asymptotic Statistics Cambridge Uiversity Press, 998. Alexadre Tsybakov : Itroductio à l estimatio o paramétrique Spriger, collectio Mathématiques et Applicatios, 4. J.K Ghosh et R.V. Ramamoorthi : Bayesia Noparametrics Spriger, 3. 5

6

7 Des méthodes d estimatio. Outils probabilistes O aura besoi des otios de covergece et des outils pour prouver des covergece : la covergece e probabilité, et la covergece e loi. Pour toutes ces covergeces, quad ce sera écessaire, o otera sous quelle loi elle a lieu. Quad ce e sera pas précisé, la covergece sera quad ted vers l ifii. Rappelos otios et critères pour ue suite T de variables aléatoires à valeurs das R d. O dit que T coverge e probabilité vers la variable aléatoire T si et seulemet si ɛ >, lim P T T ɛ =. + O dit que T coverge e loi vers la variable aléatoire T si et seulemet si pour toute foctio f cotiue borée de R d das R, lim E [ft ] = E [ft ]. + Les critères suivats sot équivalets : T coverge e loi vers T ; Pour toute foctio réelle cotiue positive f, lim if + E[fT ] E[fT ] ; 3 La foctio caractéristique de T coverge poctuellemet vers celle de T ; 4 Pour tout esemble mesurable B tel que P T B = B désige la frotière de B i.e. sa fermeture mois so itérieur, lim + P T B = P T B. 4bis si il s agit de variables aléatoires réelles La foctio de répartitio de T coverge vers la foctio de répartitio F de T e tout poit de cotiuité de F ; 5 Pour tout esemble ouvert A, lim if + P T A P T A. 6 Pour tout esemble fermé F, lim sup + P T F P T F. Comme la covergece e loi e cocere que les lois, si T est de loi L, o dira aussi par abus de lagage T coverge e loi vers L. Pour ue suite T de variables aléatoires à valeurs das R d, o ote T = o P si T ted e probabilité vers, et o ote T = O P si T est ue suite tedue, c est à dire si : ɛ >, K :, P T K ɛ. Si T est ue suite tedue de variables aléatoires à valeurs das R d, alors o peut e extraire ue suite qui coverge e loi, et si il y a ue seule loi limite possible, alors 7

8 Des méthodes d estimatio T coverge e loi. Loi des grads ombres LGN : si Z est ue suite de variable aléatoires idépedates et de même loi o dira i.i.d. admettat u momet d ordre, c est à dire telles que E Z < +, alors Z i coverge e probabilité et presque sûremet, ce que l o otera p.s. vers EZ. O otera souvet Z la moyee empirique Z i. Théorème de limite cetrale TLC : si Z est ue suite de variable aléatoires i.i.d. admettat u momet d ordre, c est à dire telles que E Z < +, alors Z EZ coverge e loi vers U de loi N d, V où V est la matrice de variace de Z, c est à dire la matrice d d doée par V i,j = CovZ i, Z j, i, j =,..., d. O dira par abus de lagage que Z EZ coverge e loi vers N d, V bie que l objet limite est pas de même ature que les élémets de la suite, et car la covergece e loi e cocere que les lois. Théorème de l image cotiue : Soit T ue suite de variables aléatoires à valeurs das R d et f ue foctio cotiue de R d das R m. Si T coverge e probabilité vers la variable aléatoire T, alors ft coverge e probabilité vers ft. Si T coverge e loi vers la variable aléatoire T, alors ft coverge e loi vers ft. Lemme de Slutsky : Soit T ue suite de variables aléatoires à valeurs das R d qui coverge e loi vers la variable aléatoire T, soit V ue suite de variables aléatoires à valeurs das R m qui coverge e loi vers la costate a R m, alors V coverge e probabilité vers a et T, V coverge e loi vers T, a. Méthode delta : Soiet T ue suite de variables aléatoires à valeurs das R d, r ue suite de réels qui ted vers l ifii, a R d et g ue foctio de R d das R m différetiable e a. O suppose que r T a coverge e loi vers Z. Alors r gt ga coverge e loi vers Dga.Z, où Dga est la matrice m d telle que Dga i,j = g i t j a.. Estimateurs de type momets O cosidère ue suite X de variables aléatoires i.i.d. de loi P à valeurs das R d, et f : R d R m ue foctio mesurable. O ote P f = f X i. Par la LGN, P f est u estimateur cosistat de E[fX ], et P f E[fX ] coverge e loi vers N m, V par le TCL, où V est la matrice de variace de fx, ce qui permet de costruire des régios de cofiace asymptotiques. 8

9 .3 M- et Z- estimateurs O choisit le modèle P = {P θ, θ Θ} avec Θ R k, o suppose que P P, doc qu il existe θ Θ tel que P = P θ. Il s agit alors d estimer θ. Si l o peut trouver f : R d R k et g : R k R k iversible telle que θ Θ, g θ = fxdp θ x := P θ f := E θ fx o peut choisir l estimateur θ = g P f lorsque P f gθ, et u poit fixé T de Θ sio. Théorème... O suppose θ das l itérieur de Θ, que g est de classe C e θ, que Dgθ est iversible, et que E θ [ fx ] < +. Alors θ est u estimateur cosistat de θ et θ θ coverge e loi sous P θ vers N k, Dgθ V ar θ [fx][dgθ ] T. Remarque. O a pas besoi de l iversibilité de g, seulemet de so iversibilité locale. Ceci dit, comme θ est icou... Preuve. Comme Dgθ est ue matrice iversible, il existe u voisiage V de θ tel que g est iversible sur gv voisiage de gθ. Si l o ote E l évéemet P f gv, alors θ θ = g P f θ E + θ θ E C. Remarquos que par la LGN, E C = o P écrire pourquoi, où P = P N θ est la loi de X sous P θ, et que θ θ E C = o P écrire pourquoi. Puis par la méthode delta, g P f θ E coverge e loi sous P θ vers N k, Dgθ V ar θ [fx]dgθ, et o termie par Slutzky écrire le détail. Précisos pour la méthode delta : comme Dgθ est iversible, g est différetiable e gθ, de matrice de dérivée Dgθ, doc θ θ = { Dgθ P f P θ f + o P P f P θ f } E + θ θ E C.3 M- et Z- estimateurs = { Dgθ P f P θ f + o P P f P θ f } E + θ θ E C. D autres idées d estimatio : par moidres carrés, par maximum de vraisemblace. Cela cosiste à choisir comme estimateur u miimisat ou maximisat approximatif d ue foctio réelle costruite à partir des doées. O peut du coup par exemple e cosidérat le gradiet das la méthode par optimisatio choisir l estimateur comme aulat approximativemet ue foctio à valeurs das R k par exemple. 9

10 Des méthodes d estimatio O cosidère ue suite X de variables aléatoires i.i.d. de loi P à valeurs das R d, et o veut estimer ψp = θ Θ. O e précise pas pour l istat Θ, seulemet qu il est iclus das u esemble métrique mui d ue distace d,..3. Défiitios M-estimateur : soit, pour tout θ Θ, m θ : R d R ue foctio réelle. Soit M : Θ R telle que pour tout θ Θ, M θ = m θ X i. Soit u ue suite de réels positifs qui ted vers, cette suite sert pour défiir u maximum approximatif. Le M-estimateur θ vérifie : M θ sup M θ u. θ Θ Z-estimateur : soit, pour tout θ Θ, φ θ : R d R k. Soit Z : Θ R k telle que pour tout θ Θ, Z θ = φ θ X i. Soit u ue suite de réels positifs qui ted vers, cette suite sert pour défiir u zéro approximatif. Le Z-estimateur θ vérifie : Z θ if θ Θ Z θ + u. Exemples : Estimateurs de type momet : φ θ x = fx gθ. Maximum de vraisemblace : o choisit le modèle P = {P θ, θ Θ} que l o suppose domié, c est à dire qu il existe ue mesure µ sur R d tel que pour tout θ Θ, il existe ue foctio mesurable réelle f θ telle que dp θ x = f θ xdµx. L estimateur du maximum de vraisemblace e.m.v. maximise M où m θ = log f θ. Si log f θ x est C sur Θ pour tout x, l e.m.v. est u Z-estimateur e preat φ θ le gradiet de log f θ. Médiae, et plus gééralemet p-quatile : ici Θ = R, et φ θ x = p x<θ p x>θ..3. Cosistace O suppose que pour tout θ Θ, m θ L P. Par la LGN, si o défiit M : Θ R telle que pour tout θ Θ, M θ = P m θ, o a que pour tout θ Θ, M θ = M θ + o P. Du coup, la méthode d estimatio est boe si e effet θ maximise M sur Θ. Pour que cela permette d obteir la cosistace du M-estimateur, il faut u peu plus : Théorème.3.. O suppose : sup θ Θ M θ M θ = o P, Pour tout ɛ >, sup θ Θ:dθ,θ ɛ M θ < M θ. 3 M θ sup θ Θ M θ u où u ted vers. Alors θ est cosistat, c est à dire que d θ, θ = o P.

11 .3 M- et Z- estimateurs Preuve. Soit ɛ > quelcoque. Notos δɛ = M θ sup θ Θ:dθ,θ ɛ M θ. D après l hypothèse, δɛ >. O a maiteat : P d θ, θ ɛ P sup M θ M θ u = P θ Θ:dθ,θ ɛ sup θ Θ:dθ,θ ɛ M θ sup θ Θ:dθ,θ ɛ P sup M θ M θ δɛ u θ Θ P sup M θ M θ δɛ θ Θ 4 M θ M θ M θ + δɛ u pour assez grad tel que u δɛ/, et qui ted doc vers par. O suppose que pour tout θ Θ, φ θ L P. Par la LGN, si o défiit Z : Θ R telle que pour tout θ Θ, Z θ = P φ θ, o a que pour tout θ Θ, Z θ = Z θ+o P. Du coup, la méthode d estimatio est boe si e effet θ est u zéro de Z sur Θ. Pour que cela permette d obteir la cosistace du Z-estimateur, il faut u peu plus : Théorème.3.. O suppose : sup θ Θ Z θ Z θ = o P, Pour tout ɛ >, if θ Θ:dθ,θ ɛ Z θ > = Z θ. 3 Z θ if θ Θ Z θ + u où u ted vers. Alors θ est cosistat, c est à dire que d θ, θ = o P. Preuve. O applique le théorème de cosistace précédet e posat Mθ = Z θ et e remarquat que la preuve utilise pas la forme particulière de moyee empirique de M. Exemple : la médiae empirique. Ici, Θ = R, φ θ x = x<θ x>θ. Pour motrer la cosistace, il s agit alors de motrer que X i <θ X i >θ coverge uiformémet e θ e probabilité vers P X < θ P X > θ. Questio : O a besoi de covergece uiforme. Commet obteir ce gere de résultat? U outil : l etropie à crochet. Soiet l et u deux foctios mesurables de R d das R telles que pour tout x, lx ux. O appelle crochet [l, u] l esemble des foctios f : R d R telles que pour tout x R d, lx fx ux. Soit F u esemble de foctios réelles mesurables de R d das R iclus das L p P, < p +. Pour tout ɛ >, o ote N [] F, L p P, ɛ le ombre miimal de crochets de taille ɛ écessaires pour recouvrir F. C est à dire : si N N et [l, u ],..., [l N, u N ] sot des crochets tels que u i l i L p P ɛ et F N [l i, u i ],

12 Des méthodes d estimatio alors N [] F, L p P, ɛ N. O dit que F est P -Gliveko-Catelli si F L P, et sup f F fx i E P fx = o P. Propositio.3.. Soit F L P. O suppose que pour tout ɛ >, N [] F, L P, ɛ < +. Alors F est P -Gliveko-Catelli. Preuve. Soit ɛ >, et [l, u ],..., [l N, u N ] des crochets tels que u i l i L P ɛ et F N [l i, u i ]. Pour tout f F, il existe j tel que pour tout x R d, l j x fx u j x. O a doc l j X i f X i u j X i, et E P l j X E P fx E P u j X. Comme E P u j X E P l j X ɛ, o obtiet l j X i E P l j X ɛ f X i E P fx u j X i E P u j X + ɛ, et doc { f X i E P fx max l j X i E P l j X ; } u j X i E P u j X +ɛ. Du coup, sup f F f X i E P fx { max max l j X i E j=,...,n P l j X ; } u j X i E P u j X + ɛ. Mais par la LGN, pour tout j =,..., N, l j X i E P l j X = o P et u j X i E P u j X = o P, doc exercice : le démotrer { } max max l j=,...,n j X i E P l j X ; u j X i E P u j X = o P Doc P sup f F P f X i E P fx ɛ { l j X i E P l j X ; max max j=,...,n } u j X i E P u j X ɛ,

13 .3 M- et Z- estimateurs et doc pour tout ɛ >, lim P + sup f F f X i E P fx ɛ =. Voici u exemple simple d applicatio de ce résultat. Propositio.3.. Soit F = {f θ, θ Θ}, où les f θ sot des foctios de R d das R. O suppose que Θ est ue partie compacte d u espace métrique, Pour tout x, θ f θ x est cotiue, sup θ Θ f θ L P. Alors F est P -Gliveko-Catelli. Preuve. O motre que pour tout ɛ >, N [] F, L P, ɛ < +. et o utilise la propositio précédete. Soit doc ɛ >. Soit θ Θ, et soit B ue suite décroissate de boules ouvertes d itersectio {θ} par exemple, cetrées e θ et de rayo /. Pour tout et tout x, o ote l x = if s B f s x et ũ x = sup s B f s x. Ce sot des foctios mesurables telles que si ted vers l ifii, l x et ũ x tedet vers f θ x par cotiuité, doc telles que ũ x l x ted vers pour tout x. De plus, ũ l sup f θ L P, θ Θ doc par covergece domiée, ũ l dp ted vers quad ted vers l ifii. Doc il existe tel que ũ l dp ɛ. Autremet dit, pour tout θ Θ, il existe ue boule ouverte B θ coteat θ telle que sup s Bθ f s if s Bθ f s dp ɛ. Maiteat, θ Θ B θ est u recouvremet de Θ par des ouverts dot, par compacité, o peut extraire u recouvremet fii B θ... B θn. O ote l i = if s Bθi f s et u i = sup s Bθi f s, i =,..., N, et pour tout θ Θ, il existe i tel que θ B θi, et f θ [l i, u i ]. Lorsque l o a ue régularité plus grade que la cotiuité, o sait évaluer N [] F, L p P, ɛ. Propositio.3.3. Soit F = {f θ, θ Θ} L p P, où les f θ sot des foctios de R d das R. O suppose que Θ est ue partie borée de R k, et qu il existe α > et h L p P tels que pour tous θ et θ das Θ, tout x R d, f θ x f θ x θ θ α h x. Alors, il existe C k qui e déped que de k telle que /α k N [] F, L p h L P, ɛ C k diamθ p P, ɛ où diamθ est le diamètre de Θ. 3

14 Des méthodes d estimatio Preuve. Si θ est das la boule cetrée e θ et de rayo δ, alors m θ est das le crochet [l, u] de taille ɛ avec l = f θ δ α h, u = f θ + δ α h, et ɛ = h L p P δ α. O obtiet doc u recouvremet de F par des crochets de taille ɛ à partir d u recouvremet de Θ par des boules de taille δ = ɛ/ h L p P /α. Mais le ombre miimal N écessaire pour recouvrir Θ par des boules de rayo δ vérifie diamθ k N C k, δ et le résultat s e suit. Tout ceci e ous permet pas de traiter la questio de la médiae, car les foctios θ x<θ e sot pas cotiues. O va évaluer directemet le ombre de crochets. Propositio.3.4. Soit F = { x<θ, θ R}. Soit P ue probabilité sur R. Alors pour tout p > et ɛ, N [] F, L p P, ɛ ɛ p Preuve. Soiet t <... < t k des réels. Alors, si θ ]t i, t i+ ] pour u i =,..., k, alors x<θ [ x ti, x<ti+ ], si θ t, x<θ [, x<t ] et si θ > t k, alors x<θ [ x tk, ], ce qui ous fait k + crochets. Ils sot de taille x<ti+ x ti p L p P = P t i < X < t i+, x<t p L p P = P X < t, x tk p L p P = P t k < X. O choisit les t i de faço que ces quatités soiet iférieures ou égales à ɛ p. Ce qui est possible avec k etier tel que k + /ɛ p. Il est clair que le résultat est aalogue pour F = { x>θ, θ R}, et doc que pour F = { x<θ x>θ, θ R}, o a N [] F, L p P, ɛ p /ɛ p + pour ɛ. Maximum de vraisemblace : O suppose que P = {P θ, θ Θ} avec Θ compact das u espace métrique, que le modèle est domié et idetifiable. O suppose que si p θ est la desité de P θ par rapport à la mesure domiate, pour tout x >, pour tout θ, p θ x >, θ p θ x est cotiue, et sup θ Θ log p θ L P θ. Alors l e.m.v. est cosistat e θ le démotrer!..3.3 Normalité asymptotique O cosidère X ue suite de variables aléatoires i.i.d. de loi P, Θ R k, et Z θ = P φ θ. O cosidère le Z-estimateur θ, que l o suppose cosistat covergeat e probabilité vers θ, et l o veut compredre si et commet obteir ue loi asymptotique du gere θ θ coverge e loi vers ue gaussiee, comme o a obteu pour les estimateurs de type momet qui sot des cas particuliers de Z-estimateurs. O peut écrire Taylor : ] Z θ = Z θ + D Z [θ + t θ θ θ θ dt. 4

15 .3 M- et Z- estimateurs Ici D désige l opérateur différetiel, et D Z est la matrice k k dot chaque coloe costitue les dérivées de Z par rapport à ue coordoée de θ. Avec la même otatio o a pour tout θ D Z θ = D φ θ X i. Comme P φ θ =, si de plus P φ θ < +, alors par le TLC, Z θ coverge e loi vers N k, P φθ φ T θ, et o peut écrire [ ] ] D Z [θ + t θ θ dt θ θ = Z θ + Z θ. Si θ coverge e probabilité vers θ, o se dit que pour tout t, θ + t θ θ est proche de [ θ, et comme par la LGN, D Z θ coverge e probabilité vers P D φ θ, o ] ] se dit que D Z [θ + t θ θ dt doit coverger e probabilité vers P D φ θ. Si c est le cas, et si cette limite est ue matrice iversible, si e plus Z θ = o P, o pourra par Slutzky obteir la coverge e loi de θ θ. [ ] ] Pour obteir que D Z [θ + t θ θ dt coverge e probabilité vers P D φ θ, o peut supposer le démotrer e exercice qu il existe u voisiage A de θ tel que Pour tout x, θ φ θ x est C sur A, Il existe h L P telle que pour tout x, sup θ A D φ θ x hx. Mais avec ce résultat, o e peut obteir la covergece e loi de la médiae empirique : θ x<θ x>θ est pas dérivable pour tout x. O peut faire mieux! Outils de processus empirique. Pour f L P, o ote G f = fx i P f. Du coup, P f = P f + G f, et c est ue faço de décomposer ue somme ou moyee e la partie biais et la partie variace qui est cetrée. Si f L P, par le TLC, G f coverge e loi vers ue gaussiee. Si o suppose que θ vérifie le Théorème.3. avec u << /, o a Z θ = o P, et cela se réécrit avec ces otatios e o P = P φ θ = G φ θ + P φ θ. Noter que P φ θ = φ θ xdp x est ue variable aléatoire, et c est à elle que l o veut appliquer Taylor, et comme o a vu des lois des grads ombres uiformes, o aimerait 5

16 Des méthodes d estimatio avoir des TLC uiformes pour traiter G φ θ. L outil que l o utilisera das ce cours est l iégalité maximale suivate : Théorème.3.3. Soit F L P, o suppose que F admet ue foctio eveloppe de carré itégrable, c est à dire qu il existe F L P telle que f F, fx F x pour P -presque tout x. Alors E [sup G f f F pour ue costate uiverselle C IM. ] C IM F L P log N [] F, L P, udu. La petite étoile sigifie qu il peut y avoir des problèmes de mesurabilité, mais o pred alors la mesure extérieure. O e s e iquiètera pas. Noter que l espérace du sup N EST PAS le sup des espéraces. Reveos à otre problème de ormalité asymptotique des Z-estimateurs. O a : Théorème.3.4. O suppose que θ est u estimateur cosistat de θ, que P φ θ =, P = o φ θ P et P φ θ < +. O suppose e outre qu il existe u voisiage A de θ tel que : θ P φ θ est D sur A, et D P φ θ, otée V, est iversible, e otat pour tout j =,..., k, F j = {φ j,θ, θ A}, log N [] F j, L P, u est itégrable e, sup θ θ δ φ θ φ θ dp ted vers quad δ ted vers. Alors θ θ = V G φ θ + o P, et θ θ coverge e loi vers N k ; V P [φ θ φ T θ ]V T. Preuve. O écrit Taylor pour la foctio θ P φ θ au voisiage de θ : Comme θ θ = o P, o e déduit P φ θ = P φ θ + V θ θ + o θ θ. P φ θ = P φ θ + V θ θ + o P θ θ, et o a doc Mais G + V + o φ θ P θ θ = o P. G φ θ = G φ θ + G G φ θ φ θ, 6

17 .3 M- et Z- estimateurs doc si l o motre que o aura G φ θ G φ θ = o P,. V G φ θ + I k + o P θ θ = o P ce qui permet de coclure par Slutzky. Motros doc.. Pour tous α > et δ >, pour toute coordoée j, P G φ j, θ G φ j,θ α P θ θ δ + P sup G f α f F δ e otat F δ = {φ j,θ φ j,θ, θ θ δ}. Pour δ assez petit, F δ F j φ j,θ, doc N [] F δ, L P, u N [] F j, L P, u. Aussi, F δ = sup θ θ δ φ j,θ φ j,θ est ue foctio eveloppe de F δ. Par Markov et e utilisat l iégalité maximale, P sup G f α f F C IM α Fδ L P log N [] F δ, L P, udu C α Fδ L P log N [] F j, L P, udu, doc pour tout δ > assez petit, lim sup P G φ j, θ G φ j,θ α C Fδ IM L P log N + α [] F j, L P, udu et l o coclut par le fait que par hypothèse F δ L P ted vers quad δ ted vers et l itégrabilité de log N [] F j, L P, u e. Applicatio à la médiae. Si la loi P a ue desité f positive, P φ θ = P X < θ P X > θ est dérivable de dérivée fθ. O suppose que cette desité est strictemet positive. O a P φ θ =, et o a déjà vu que N [] F j, L P, u 4/u, doc log N [] F j, L P, u est itégrable e. De plus sup φ θ φ θ dp P θ δ X θ + δ θ θ δ qui ted vers quad δ ted vers car desité, doc θ θ = fθ G φ θ + o P, et θ θ coverge e loi vers N, /4f θ. O s itéresse maiteat aux M-estimateurs. Si o veut leur appliquer le résultat des Z-estimateurs, o doit supposer que le maximisat est u zéro du gradiet, et supposer, 7

18 Des méthodes d estimatio doc que le gradiet existe, soit que θ m θ x est dérivable pour tout x. E fait, o va obteir mieux, e aalysat ecore selo biais/variace. O décompose P m θ = P m θ + G m θ. E fait, e supposat le biais P m θ P m θ d ordre polyomial α et la partie fluctuatios G m θ G m θ d ordre polyomial β, o peut obteir ue vitesse de covergece /α β. Ceci vaut e gééral, pas forcémet e situatio paramétrique : l esemble des θ est pas supposé de dimesio fiie, il est supposé métrique, mui d ue distace d. La preuve du théorème qui suit utilise la techique classique de découpage e rodelles peelig. Théorème.3.5. O suppose qu il existe C >, α > β >, δ > tels que, pour tout et tout δ δ : sup P m θ P m θ Cδ α δ dθ,θ δ et E sup dθ,θ δ G m θ G m θ Cδ β. O suppose que θ coverge e probabilité vers θ, et vérifie P sup P m θ m θ O P α/α β. θ Alors /α β d θ, θ = O P. Preuve. Posos v = /α β, et otos R = P m θ P m θ, o a R O P v α. Soit M quelcoque fixé, et otos j tel que j δ v et j+ > δ v. Notos Soit K > quelcoque. O a S j, = {θ : j v d θ, θ < j+ }. P v d θ, θ M P d θ, θ δ + P vr α K + j j=m Mais si θ S j,, R sup θ Sj, P m θ P m θ, doc P θ S j, et vr α K. P θ S j, et vr α K P sup P m θ P m θ K θ S j, v α. 8

19 .3 M- et Z- estimateurs Maiteat o écrit sup θ S j, P m θ P m θ sup θ S j, P m θ P m θ + de sorte que P θ S j, et vr α K P C jα v α sup θ S j, G m θ G m θ + sup G m θ G m θ θ S j, sup G m θ G m θ C jα K θ S j, v α et pour M tel que Mα K Mα, o a P θ S j, et vr α K P sup G m θ G m θ C jα θ S j, v α. O récapitule et o utilise l iégalité de Markov pour obteir : P v d θ, θ M P d θ, θ δ + P vr α K + j j=m v α j β. C jα v Or v α j β jβ α vα β = C jα v C = jβ α C sommable car β α <. O peut doc redre P v d θ, θ M petit e choisissat M assez grad et assez grad et K assez grad. Précisémet : pour tout ɛ >, il existe K tel que P v α R K ɛ/3, et M tel que jβ α C ɛ 3, j M et tel que si, P d θ, θ δ ɛ 3 car θ est cosistat. O a alors pour tout, P v d θ, θ M ɛ. Puis pour j =,...,, il existe M j tel que P v j d θ j, θ M j ɛ, et l o choisit le max de M et des M j pour obteir l iégalité pour tout. E situatio paramétrique, o peut vérifier les hypothèses par Taylor pour la partie biais et l iégalité maximale pour la partie fluctuatios. O obtiet : 9

20 Des méthodes d estimatio Propositio.3.5. O suppose Θ R k, et qu il existe u voisiage A de θ et ue foctio h L P tels que θ, θ A, m θ m θ h θ θ. O suppose que θ P m θ est maximum e θ, est D e θ, de matrice hessiee D P m θ iversible. O suppose que θ coverge e probabilité vers θ, et vérifie P sup P m θ m θ O P. θ Alors θ θ = O P. Preuve. O va motrer que le Théorème.3.5 s applique avec α = et β =. Par Taylor, P m θ = P m θ + θ θ T D P m θ θ θ + o θ θ car max e θ doc gradiet ul ; aussi comme max e θ, D P m θ θ θ est défiie égative, doc il existe λ > tel que θ θ T D P m θ θ θ λ θ θ λδ si θ θ > δ. O choisit δ tel que si θ θ δ, o θ θ λ θ θ /, et il suffit esuite de predre C < λ/. Soit esuite F δ = {m θ m θ, θ θ < δ}. δh est ue foctio eveloppe de F δ, et N [] Fδ, L P, u C k δ h k L P u doc par l iégalité maximale, pour ue costate D k, E sup dθ,θ <δ δ h L P Dk δ G m θ G m θ C IM k log du u h L P C IM δ k log par chagemet de variable u = δs, et il suffit de choisir C < C IM h L P Dk s ds k log Dk s ds. O obtiet fialemet le théorème de ormalité asymptotique des M-estimateurs : Théorème.3.6. O suppose Θ R k, et qu il existe u voisiage A de θ et ue foctio h L P tels que θ, θ A, m θ m θ h θ θ. O suppose que θ P m θ est maximum e θ, est D e θ, de matrice hessiee V = D P m θ iversible. O suppose que pour P -presque tout x, θ m θ x est D e θ, de gradiet ṁ θ x. O suppose que θ coverge e probabilité vers θ, et vérifie P sup P m θ m θ o P. θ

21 .4 Exercices Alors θ θ = V G ṁ θ + o P et θ θ coverge e loi vers N k, V P ṁ θ ṁ T θ V. Preuve. Voir exercices.4. et.4.3. O peut appliquer ce théorème à la médiae avec m θ x = x θ voir exercice Exercices Exercice.4.. Si X N est ue suite de variables aléatoires, o ote o P X pour X o P, et O P X pour X O P. Motrer que o P +o P = o P, o P +O P = O P, O P o P = o P, o P O P = o P. Soit R ue foctio réelle telle que R u = o u p quad u pour u p >, et X = o P. Motrer qu alors R X = o P X p. Si maiteat R u = O u p quad u pour u p >, motrer qu alors R X = O P X p. Exercice.4.. Méthode de stabilisatio de la variace Soit Pθ θ Θ, Θ R, u modèle statistique, et T u estimateur de θ tel que T θ coverge e loi sous Pθ vers N, σ θ. Motrer que si φ est ue primitive de σθ, φt φθ coverge e loi sous Pθ vers N, et e déduire u itervalle de cofiace pour θ de iveau asymptotique α. Applicatio : itervalle de cofiace asymptotique pour le paramètre d ue loi biomiale ; d ue loi de Poisso. Exercice.4.3. Régio de cofiace pour la variace d ue loi Soit X N ue suite de variables aléatoires i.i.d. de loi ayat des momets jusqu à l ordre 4. Soit σ sa variace, et soit S = X i X, X = X i.. Si l o suppose que les X i sot gaussies, proposer u itervalle de cofiace I pour σ de iveau de cofiace égal à α.. Motrer que si Z N est ue suite de variables aléatoires réelles qui coverge e loi vers ue variable Z de foctio de répartitio cotiue, si u ted vers u quad ted vers l ifii, alors P Z u ted vers P Z u. 3. Motrer que S σ coverge e loi vers N, κ+, où κ = E[X EX 4 ] σ Si la loi des X i est pas gaussiee, quel est le iveau asymptotique de I?

22 Des méthodes d estimatio Exercice.4.4. Modèles expoetiels Soit t de X das R k, µ ue mesure positive sur X, h ue foctio réelle positive ou ulle sur X et { } Θ = θ R k : c θ = h x exp [ θ, tx ] dµ x < +. P θ θ Θ telle que P θ dx = p θ xdµx avec p θ x = c θ h x exp [ θ, tx ] est u modèle expoetiel k-dimesioel de statistique exhaustive tx. La foctio c est de classe C sur l itérieur de Θ, et ses dérivées se calculet e dérivat sous le sige. Soit X N ue suite de variables aléatoires i.i.d. de loi P θ, θ das l itérieur de Θ. O suppose que V artx est iversible. Motrer que l estimateur du maximum de vraisemblace θ est u estimateur de type momets tel que θ θ coverge e loi vers ue gaussiee cetrée de variace [V artx ]. Exercice.4.5. Divergece Iformatio de Kullback Soiet P, Q deux mesures de probabilité défiies sur u même espace, et p, q leur desité par rapport à ue mesure domiate µ.. Motrer que pq> log p p q dµ est toujours fiie.. E déduire que l o peut défiir log dp dp si P Q KP, Q = dq + sio et que si P Q, alors KP, Q = pq> p log p dµ p log p dµ. q + pq> q O appelle KP, Q la divergece ou l iformatio de Kullback etre P et Q 3. Vérifier que si P Q alors dp KP, Q = Qφ, dq où φx = x log x + x. E déduire que KP, Q quelles que soiet P et Q, puis que KP, Q = si et seulemet si P = Q.,

23 .4 Exercices Exercice.4.6. Médiae Soit X N ue suite de variables aléatoires réelles i.i.d. de loi P ayat ue uique médiae θ, doc telle que pour tout ɛ >, P X < θ ɛ < < P X < θ + ɛ. Soit θ vérifiat Xi< θ Xi> θ = o P. E utilisat la mootoie de la foctio X i <θ Xi >θ, motrer que θ est u estimateur cosistat de θ. O suppose que X admet u momet d ordre, et θ maximise M θ = X i θ sur Θ compact coteat θ. Motrer que θ est u estimateur cosistat de θ utiliser le fait que la foctio θ x θ est lipschitziee. Exercice.4.7. U théorème de cosistace Soit X N ue suite de variables aléatoires i.i.d. de loi P. Soit m θ θ Θ des foctios réelles mesurables telles que θ m θ x soit semi-cotiue supérieuremet pour P - presque tout x. O défiit M θ = m θ X i, M θ = m θ x dp x. O suppose que Θ est compact das u espace métrique, et o défiit { } Θ = θ Θ : M θ = sup M u u Θ. Soit θ das Θ, et θ u élémet de Θ tel que M θ M θ +o P par exemple : θ maximise M θ sur Θ. O suppose qu il existe ue foctio h telle que θ Θ, m θ h et h x dp x < +. Motrer que θ coverge e probabilité vers Θ, c est à dire que pour tout ɛ >, lim P d θ, Θ ɛ =. + 3

24 Des méthodes d estimatio Applicatio : doer des coditios suffisates de cosistace de l estimateur du maximum de vraisemblace. Remarque : o e suppose pas ici le modèle paramétrique. Exercice.4.8. Modèle de cesure Soiet T et C deux variables aléatoires réelles idépedates de foctio de répartitio F et G respectivemet. Soit X = C, T C. Soit µ la mesure produit tesoriel de la mesure de Lebesgue et de la mesure de comptage sur {, }. O suppose que G a ue desité coue g par rapport à Lebesgue. Le paramètre d itérêt est doc F. Soit C, N ue suite de variables i.i.d. de même loi que X.. Quelle est la desité p F de X par rapport à µ? E déduire que pour observatios u estimateur du maximum de vraisemblace maximise, sur les foctios de répartitios F : l F = log [ i F C i + i F C i ]. Motrer qu il existe u et u seul estimateur du maximum de vraisemblace ˆF qui soit la foctio de répartitio d ue mesure de probabilité de support les poits C i, i =,...,. 3. Soit m F = l F l F +F. Motrer que m ˆF m F. 4. Si l o cosidère le modèle restreit aux foctios de répartitio sur u itervalle compact K, motrer que ˆF coverge e probabilité, pour la topologie de la covergece faible, vers l esemble F des foctios de répartitio sur K qui maximiset pf MF = p F log dµ. p F + p F 5. O veut motrer que F est l esemble des F égales à F G-p.p. a Motrer que p F = p F µ presque partout si et seulemet si F = F G-p.p. b Motrer que si p et p sot deux desités de probabilité par rapport à ue même mesure domiate λ, p p log dλ, p + p 6. Coclure avec égalité si et seulemet si p = p, λ p.p. Exercice.4.9. Médiae Soit X N ue suite de variables aléatoires réelles i.i.d. de desité de probabilité f sur u itervalle I de R, telle que f est cotiue et strictemet positive sur l itérieur de I. 4

25 .4 Exercices Le paramètre d itérêt est l uique médiae θ de f. Soit θ tel que P = o ψ θ P /, avec ψ θ x = x<θ x>θ. Motrer que ˆθ θ coverge e loi vers N, 4f θ. O suppose maiteat que X admet u momet d ordre, et θ maximise M θ = X i θ. Motrer que θ θ coverge e loi vers N, 4f θ. Exercice.4.. Partiel. Soit Z ue variable aléatoire de loi G sur R +. Soit X, Y ue variable aléatoire sur R telle que, coditioellemet à Z, X et Y sot idépedates de loi expoetielle de paramètre Z et θz respectivemet, θ >. O ote alors P θ,g la loi de X, Y.. Motrer que le modèle P θ,g θ R +,G G, où G est u esemble de lois sur R +, est domié par la mesure de Lebesgue sur R +, et que la desité peut s écrire p θ,g x, y = +. Soit pour tout réel a la foctio θz [exp x + θy z] dg z. ψ a x, y = x ay x + ay. Motrer que pour tous x >, y >, ψ a x, y. O fixe θ > et G G. Motrer que F a = E θ,g ψ a X, Y est bie défiie, cotiue, dérivable et strictemet décroissate sur R Motrer que si l o pose U = X θy et V = X + θy, sous P θ,g, U V est, coditioellemet à V, Z, de loi uiforme sur [, ]. E déduire que F admet u uique zéro e a = θ. 4. Soit X, Y N ue suite de variables aléatoires i.i.d. de loi P θ,g. Motrer que F a = ψ ax i, Y i est ue foctio qui admet u uique zéro, que l o ote θ. Motrer que θ est u estimateur cosistat de θ. 5. Motrer que θ θ = 3θ X i θy i X i + θy i + o Pθ,G. 6. E déduire que θ θ coverge e loi, sous P θ,g, vers N, 3θ. 5

26 Des méthodes d estimatio Exercice.4.. Partiel 9. Estimateur de Huber. Soit X N ue suite de variables aléatoires réelles i.i.d. de loi P θ de desité f θ, où f est ue foctio strictemet positive et paire sur R telle que + fufu =. Soit k u réel fixé, et soit φ la foctio φx = x x k + k x>k k x< k. O pose ψ θ = φx i θ, et o choisit ˆθ tel que ψ ˆθ = o P /.. Doer ψθ telle que pour tout θ R, ψ θ coverge e probabilité sous P θ vers ψθ.. Motrer que ψθ =, que si θ > θ, ψθ < ψθ, et que si θ < θ, ψθ > ψθ. 3. Motrer que ψ est décroissate. E déduire que ˆθ est cosistat. 4. Motrer que pour tous θ, θ, x, réels, φx θ φx θ θ θ. 5. Motrer que ψ est dérivable et calculer ψθ. 6. Motrer que ˆθ θ coverge e loi sous P θ vers ue gaussiee cetrée dot o précisera la variace. Exercice.4.. Soit X N ue suite de variables aléatoires i.i.d. de loi P das X espace poloais. Soit A u voisiage de θ das R d. Pour tout θ A, soit m θ ue foctio mesurable de X das R. O suppose que pour P -presque tout x, θ m θ x est différetiable e θ de dérivée ṁ θ x, et qu il existe ue foctio réelle h L P telle que pour tous θ, θ das A, et tout x X, m θ x m θ x hx θ θ. Le but de l exercice est de motrer que si U N est ue suite de variables aléatoires à valeurs das R d telle que U = O P, et si r N est ue suite de réels qui ted vers + quad ted vers +, alors Notos, pour U R d, G r m θ +U /r m θ U T ṁ θ = op.. Z U = G r m θ +U/r m θ U T ṁ θ. O admettra que si, M état u réel positif fixé, sup U M Z U = O P et si pour tout U fixé Z U = o P, alors sup U M Z U = o P.. Soit U fixé. Motrer que V ar[z U] = o. E déduire que Z U = o P.. Motrer que, pour tout M >, sup U M Z U = O P. 3. E utilisat les deux questios précédetes motrer.. 6

27 .4 Exercices Exercice.4.3. Le but de cet exercice est de démotrer le théorème de ormalité asymptotique des M-estimateurs. Soit doc X N ue suite de variables aléatoires i.i.d. de loi P das X espace poloais. Soit A u voisiage de θ das R d. Pour tout θ A, soit m θ ue foctio mesurable de X das R. O suppose que pour P -presque tout x, θ m θ x est différetiable e θ de dérivée ṁ θ x, et qu il existe ue foctio réelle h L P telle que pour tous θ, θ das A, m θ x m θ x hx θ θ. O suppose de plus que θ P m θ est deux fois différetiable e θ où elle admet u maximum, et que la hessiee V est symétrique iversible. O suppose efi que P sup m θ θ P m θ o P /, et que θ ted e probabilité vers θ.. E utilisat l exercice précédet, motrer que si U = O P, alors. E déduire que et P P m θ +U / m θ = U T V U + U T G ṁ θ + o P. P m θ V G ṁ θ / m θ = G ṁ θ T V G ṁ θ + o P. m θ m θ = θ θ T V θ θ + θ θ T G ṁ θ + o P. 3. Motrer que cela implique que T θ θ + V G ṁ θ V θ θ + V G ṁ θ + o P. 4. E déduire que θ θ + V G ṁ θ = o P et coclure. 7

28

29 3 Théorie de la vraisemblace O s itéresse maiteat au cas où le modèle est paramétrique et domié : P = {P θ = p θ µ, θ Θ} avec µ ue mesure sur R d, et Θ R k. L objectif est d étudier l estimatio par maximum de vraisemblace, et d étudier l optimalité asymptotique des estimateurs : au ses du risque quadratique, et au ses de la loi limite. O sait que das le cadre de l estimatio sas biais, l iverse de l iformatio de Fisher est la variace miimale iégalité de Cramer-Rao. A-t-o ue gééralisatio asymptotique, et qui porte sur tous les estimateurs, sas cotraite de biais? O va voir que d ue part, est la vitesse typique d estimatio, et que d autre part, o peut gééraliser asymptotiquemet l iégalité de Cramer-Rao e u ses miimax local, puis que l estimateur du maximum de vraisemblace est optimal sous des hypothèses de régularité. 3. Modèles différetiables e moyee quadratique et iégalité de Cramer-Rao O dit que le modèle est différetiable e moyee quadratique ce que l o écrira d.m.q. e θ si il existe u vecteur de k foctios l θ appelé score e θ tel que pθ+h p θ ht lθ pθ dµ = o h. 3. Propositio 3... Si le modèle est d.m.q. e θ, alors l θ L P θ k, et P θ lθ =. Le score est cetré et admet ue variace : o la ote I θ, et o l appelle iformatio de Fisher e θ. O a I θ = V ar θ lθ = P θ lθ lt θ. E particulier, o peut appliquer le TLC de sorte que G lθ vers N k, I θ. coverge e loi sous P θ Preuve. Fixos h R k. h/ ted vers, doc e appliquat 3. pθ+h/ p θ ht lθ pθ dµ = o, soit pθ+h/ p θ ht lθ pθ dµ = o. 9

30 3 Théorie de la vraisemblace La suite [ p θ +h/ p θ ] est ue suite de L µ qui coverge vers ht lθ pθ das L µ, qui est complet, doc pour tout h R k, h T lθ pθ L µ, soit h T lθ L P θ, doc l θ L P θ k. De même, p θ +h/ coverge vers p θ das L µ, et par cotiuité du produit scalaire, pθ+h/ pθ p θ +/ + p θ dµ = h T lθ p θ dµ. lim + Or pour tout, pθ+h/ pθ p θ +/ + p θ dµ = p θ +h/ p θ dµ =, doc pour tout h R k, h T lθ p θ dµ =, et P θ lθ =. E gros, le score fois racie de la desité est deux fois la dérivée par rapport à θ de la racie carrée de la dérivée. Quad o dérive p θ, o obtiet ṗ θ / p θ, doc le score est le quotiet de la dérivée de p θ par p θ mais la dérivatio est au ses L. O retrouve les coaissaces atérieures : Fisher est la variace de la dérivée de la log-desité. Mais peut-o relier plus précisémet tout ça? Propositio 3... O suppose que θ est das l itérieur de Θ, et que, si l o ote s θ x = p θ x : il existe A, voisiage de θ tel que Pour µ-presque tout x, θ s θ x est D sur A, de gradiet ṡ θ x, Pour tout θ A, ṡ θ L µ, et θ [ṡ θ ṡ T θ ]dµ est cotiue e θ. Alors le modèle est d.m.q. e θ de score l θ = ṡ θ /s θ. Remarques. Comme s θ x, si s θ x = c est u miimum de θ s θ x, et comme θ est das l itérieur de Θ, si il y a u gradiet, alors il est ul. Doc µ presque partout, ṡ θ x = quad s θ x =. Du coup, p θ x = s θ x est D sur A pour µ-presque tout x, de gradiet ṗ θ = ṡ θ xs θ x. Compte-teu de la remarque précédete, Preuve. O veut motrer 3. qui s écrit sθ+h s θ ht ṡ θ dµ = o h, ṗ θ p θ est bie défii P θ -p.s. et vaut l θ P θ -p.s. soit, e otat t = h et u t = h/ h, sθ+tut s θ tut t ṡ θ dµ = ot. 3. Il suffit de le motrer pour toute suite u t qui coverge vers u vecteur u quad t ted vers, e effet, si alors ce était pas vrai pour toute suite de vecteurs de orme, comme la boule uité est compacte, o pourrait extraire ue sous-suite qui coverge 3

31 3. Modèles différetiables e moyee quadratique et iégalité de Cramer-Rao vers u vecteur u et obteir ue cotradictio. O pose alors r t = s θ +tu t s θ t et o veut motrer que r t dµ = o. Posos aussi sθ +tu g t = t s θ t u T t ṡ θ, + u T t ṡ θ r t. O a g t, et µ presque partout, par l hypothèse de différetiabilité, quad t ted vers, s θ +tu t s θ = u T t ṡ θ + o = u T ṡ θ + o, t et g t ted vers u T ṡ θ + ut ṡ θ ut ṡ θ u T ṡ θ = 4 ut ṡ θ. Doc par le lemme de Fatou, lim if t g t dµ lim if t g t dµ, soit : lim sup t r t dµ lim if t sθ +tu t s θ dµ u T t ṡ θ ṡ T θ dµ u. Maiteat : doc et par Fubii, s θ +tu t s θ = tu T t ṡ θ +vtu t dv, sθ +tu t s θ = u T t ṡ θ +vtu t t dv sθ +tu t s θ dµ t u T t ṡ θ +vtu t dµ dv = u T t ṡ θ +vtu t dv u T t ṡ θ +vtu t ṡ T θ +vtu t dµ u t dv. par l hypothèse de cotiuité, ṡ θ +vtu t ṡ T θ +vtu t dµ coverge vers ṡ θ ṡ T θ dµ quad t ted vers et est majorée das u voisiage de θ, doc par covergece domiée, u T t ṡθ +vtu t ṡ T θ +vtu t dµ u t dv ted vers u T ṡ θ ṡ T θ dµu quad t ted vers, et l o a doc obteu lim sup t r t dµ. O va pouvoir maiteat éocer l iégalité de Cramer-Rao das le cadre des modèles d.m.q. comme ue coséquece d u résultat de dérivabilité : 3

32 3 Théorie de la vraisemblace Théorème 3... O suppose que θ est das l itérieur de Θ, et que le modèle est d.m.q. e θ. Soit T : R d R mesurable. Si il existe u voisiage A de θ tel que sup P θ T X < +, θ A alors la foctio g de Θ das R doée par θ gθ = P θ T X est différetiable e θ de gradiet ġ θ = P θ T l θ. Si de plus l iformatio de Fisher I θ est iversible, alors V ar θ T ġ T θ I θ ġ θ. Remarque. P θ T = T xp θ xdx, et si o dérive sous le sige somme et qu o iterprète le score comme ṗθ p θ o obtiet le résultat, mais il est pas obteu sous les hypothèses habituelles de dérivatio sous le sige somme. Preuve. O veut motrer Dh := T p θ +h T p θ ht T l θ p θ dµ = o h. Posos r h = p θ +h p θ ht lθ pθ, o sait que r h dµ = o h. O a Dh = = = [ T pθ +h p θ pθ +h + ] p θ h T lθ p θ dµ T [r h + ht lθ pθ pθ+h + ] p θ h T lθ p θ dµ T r h pθ +h + p θ dµ + T ht lθ pθ pθ +h p θ dµ. Par Cauchy-Schwarz, et si h est tel que θ + h A, T r h pθ +h + p θ dµ r h dµ / T pθ +h + p θ dµ / / rh 4 dµ sup P θ T X / = o h. θ A Pour le deuxième terme, o décompose selo que T K ou T > K et l o obtiet ecore par Cauchy-Schwarz 3

33 3. Modèles différetiables e moyee quadratique et iégalité de Cramer-Rao T ht lθ pθ pθ +h p θ dµ + / h T lθ pθ dµ p θ +h / p θ dµ K T p θ +h / p θ / dµ T >K ht lθ pθ dµ / T >K l θ p dµ θ O K h + h O = o h e preat par exemple K h = / h. Ce résultat se gééralise pour des foctios g à valeur das R m. Rappelos qu alors la différetielle de g est ue matrice, dot les liges sot les gradiets de ses foctios coordoées. Théorème 3... O suppose que θ est das l itérieur de Θ, et que le modèle est d.m.q. e θ. Soit T : R d R m mesurable. Si il existe u voisiage A de θ tel que sup P θ T X < +, θ A alors la foctio g de Θ das R m doée par θ gθ = P θ T X est différetiable e θ de matrice différetielle Dgθ = P θ T l T θ. La matrice suivate est semi-défiie positive : V arθ T Dgθ Dgθ T I θ Si de plus l iformatio de Fisher I θ est semi-défiie positive. est iversible, alors V ar θ T Dgθ I θ Dgθ T Preuve. La première partie du théorème différetiabilité est ue applicatio du Théorème 3.. appliqué à g coordoée par coordoée. Puis, compte-teu de ce résultat, la première matrice est ue matrice de variace V arθ T Dgθ Dgθ T Pour la deuxième, le résultat viet de : I θ = V ar θ [ Ṫ l θ V ar θ T Dgθ I θ Dgθ T = I m Dgθ I θ V ar θ T Dgθ Dgθ T ] I θ I θ I m Dgθ T. 33

34 3 Théorie de la vraisemblace Que se passe-t-il quad o dispose d u -échatillo? Théorème O suppose le modèle {P θ = p θ µ, θ Θ} d.m.q. e θ de score l θ et d iformatio de Fisher I θ. Alors pour tout N, le modèle {P θ, θ Θ} est d.m.q. e θ de score l θ, x,..., x = l θ x i et d iformatio de Fisher I θ. Corollaire 3... Si de plus T : R d R est mesurable et tel que il existe u voisiage A de θ tel que P θ T X,..., X < +, sup θ A si o pose gθ = P θ T, alors E θ [ T gθ ] ġ T θ I θ ġ θ. Preuve. A faire e exercice!!! Et à compléter par le résultat multidimesioel!!! 3. L estimateur du maximum de vraisemblace O s itéresse à l estimateur du maximum de vraisemblace et à so asymptotique. O va commecer par motrer u développemet de la log-vraisemblace sous la seule hypothèse de différetiabilité e moyee quadratique. O ote l θ la log-vraisemblace : l θ = log p θ X i. Théorème 3... Si le modèle est d.m.q. e θ, alors pour toute suite h de R k covergeat vers u h R k : l θ + h l θ = G h T lθ ht I θ h + o Pθ. Preuve. Posos pour tout et tout i =,..., : p θ + h X i W,i = p θ X i de sorte que l θ + h l θ = log + W,i. 34

35 3. L estimateur du maximum de vraisemblace Taylor doe : log + u = u u + u Ru où Ru ted vers quad u ted vers. Du coup l θ + h l θ = W,i W,i + W 4,iRW,i. O va motrer et W,i = G h T lθ 4 ht I θ h + o Pθ, ce qui suffit à prouver le théorème. Motros 3.3. E θ W,i = p θ + h pθ dµ = Mais das L µ par d.m.q. W,i = 4 ht I θ h + o Pθ 3.4 W,iRW,i = o Pθ 3.5 pθ + h = p θ + ht lθ pθ + o. p θ + h p θ dµ. Doc p θ + h p θ dµ ted vers ht lθ pθ dµ, soit 4 ht I θ h. Par ailleurs, V ar θ W,i G h [ W,i ] T lθ E θ h T lθ X i = 4 pθ + h p θ ht lθ pθ dµ = o, et o déduit facilemet 3.3. Motros maiteat 3.4. Puisque W,i h T lθ X i ted vers das L P θ, o peut écrire W,i = h T lθ X i + A,i où pour i =,..., sot i.i.d. tels que E θ A,i ted vers quad ted vers l ifii, et doc W,i = h T lθ X i + A,i = 4 ht I θ h + o Pθ + 4 A,i = 4 ht I θ h + o Pθ 35

36 3 Théorie de la vraisemblace par la LGN, puis la covergece vers das L P θ de A,i. Motros efi 3.5. O a W,iRW,i max RW,i W,i = O Pθ max RW,i. i i Motros doc que max i RW,i = o Pθ. Comme Ru ted vers quad u ted vers, pour tout ɛ >, il existe δ > tel que si Ru ɛ, alors u δ. Puis P θ max RW,i ɛ i P θ W,i δ ted vers quad ted vers l ifii. = P θ h T lθ X + A, δ P θ h T δ lθ X + P θ A, δ [ ] δ E θ h T lθ X h T lθ X + δ δ E θ A, O peut maiteat obteir le théorème asymptotique de l e.m.v. estimateur du maximum de vraisemblace. Théorème 3... O suppose que θ vérifie l θ sup θ l θ o Pθ. O suppose qu il existe u voisiage A de θ tel que :. θ p θ x est D sur A. θ I θ est bie défiie et cotiue sur A, 3. Il existe H L P θ tel que pour tous θ, θ A, 4. I θ est iversible 5. θ coverge e P θ -probabilité vers θ. log p θ x log p θ x θ θ Hx, Alors θ θ = I θ G lθ + o Pθ. E particulier, θ θ coverge e loi vers N k, I θ. Remarque. Si Θ est compact et si l hypothèse 3. vaut sur Θ et pas seulemet sur A, alors θ coverge e P θ -probabilité vers θ exercice : le démotrer!. Preuve. O va vérifier les hypothèses du Théorème.3.6. O a bie, comme remarqué lors de la Propositio 3.., que θ log p θ x est D sur A pour µ-presque tout x, et so gradiet e θ est l θ. Il reste à motrer que θ P θ log p θ est D e θ de hessiee 36

37 3. L estimateur du maximum de vraisemblace I θ. Par la Propositio 3.., le modèle est d.m.q. e θ, et doc, par le Théorème 3.., pour toute suite h de R k covergeat vers u h R k : G log p θ + h log p θ h T lθ +P θ log p θ + h log p θ = ht I θ h+o Pθ. O va motrer que G log p θ + h log p θ h T lθ = o Pθ, ce qui doera que : pour toute suite h de R k covergeat vers u h R k, P θ log p θ + h log p θ = ht I θ h + o, ce qui est suffisat pour obteir le résultat souhaité. O a [ ] V ar θ G log p θ + h log p θ h T lθ = log p θ + h log p θ h T lθ dµ. log p θ + h log p θ h T lθ ted vers µ-presque partout, et est domiée pour assez grad par h H + l θ doc par covergece domiée [ ] V ar θ G log p θ + h log p θ h T lθ = o. Questios : L e.m.v. est il optimal, et e quel ses? Si T est u estimateur de θ basé sur X,..., X, la variace asymptotique de T θ est-elle toujours miorée par I θ? La loi gaussiee cetrée de variace I θ est-elle optimale comme limite e loi de T θ et e quel ses? Cotre-exemple de Hodge : Cosidéros la situatio où P θ = N θ,. L iformatio de Fisher e tout θ est I θ =, l e.m.v. est T = X i. Soit maiteat { T si T S = /4 si T < /4. Si θ, alors S θ coverge e loi vers N,, et si θ =, S θ coverge e probabilité vers, et même, pour toute suite r tedat vers l ifii, r S θ coverge e probabilité vers exercice : le démotrer!. Au ses de la covergece e loi regardée poctuellemet θ par θ, S est meilleur que T, e ayat privilégié arbitrairemet ue valeur la valeur. Par cotre, si o regarde le risque quadratique au voisiage de, [ E h S h ] + h exercice : le démotrer! peut être arbitrairemet grad! 37

38 3 Théorie de la vraisemblace 3.3 Estimateurs efficaces au ses du risque asymptotique quadratique local Pour miorer u risque maximum, o utilise classiquemet que le risque maximum est plus grad que le risque bayésie. O itroduit ue probabilité sur A Θ de desité q par rapport à Lebesgue, et si T est u estimateur de gθ, o a toujours sup E θ [T gθ ] E θ [T gθ ] qθdθ. θ A 3.3. Iégalité de va Trees O va commecer par le cas où Θ est u itervalle a, b de R et g : Θ R. A Théorème 3.3. Iégalité de va Trees. O suppose que le modèle {p θ µ, θ Θ} est d.m.q. e tout θ, et que θ p θ x est C pour tout x. O suppose que q est dérivable sur [a, b], ulle au bord de Θ, et o ote q θ Jq = dθ. qθ Θ O suppose e outre que g est C sur [a, b] et telle que Θ g θ qθdθ < +. Alors si T est u estimateur : Θ E θ [T gθ ] qθdθ g θqθdθ Θ I θqθdθ + Jq. Θ Preuve. La preuve est simple : Fubii, itégratio par parties, et Cauchy-Schwarz. Tout d abord, il y a rie à démotrer si Θ I θqθdθ = + ou Jq = + ou [ T gθ ] qθdθ = +. Puis Θ E θ g θqθdθ = g θqθp θ xdµxdθ { = [gθ T x qθp θ x] θ=b θ=a gθ T x d } dθ qθp θx dθ dµx = gθ T x q θp θ x + qθ p θ x dθdµx q θ = gθ T x qθ + p θx p θ dµxqθdθ. p θ x Puis par Cauchy-Schwarz das L p θ dµxqθdθ : g θqθdθ gθ T x q θ p θ dµxqθdθ qθ + p θx p θ dµxqθdθ p θ x = E θ [T gθ ] [ ] qθdθ I θ qθdθ + Jq. Θ Θ 38

39 3.3 Estimateurs efficaces au ses du risque asymptotique quadratique local Remarque. Jq est l iformatio de Fisher pour le modèle {qθ αdθ, α R} e étedat q sur R, ulle e-dehors de a, b. O peut étedre ce résultat à a, b = R. L iégalité de va Trees a ue gééralisatio multi-dimesioelle, et peut se démotrer sous des hypothèses plus faibles. Voici u éocé gééral que l o admettra. Ici Θ R k, et q est ue desité de probabilité sur Θ. O utilise la otio de foctio absolumet cotiue, voir plus loi. Théorème O suppose que le modèle {p θ µ, θ Θ} est d.m.q. e tout θ, que q : Θ R et g : Θ R m sot absolumet cotiues, o ote q le gradiet de q et Dgθ la matrice différetielle de g qui existet presque partout, et o ote Jq la matrice qθ qθ T Jq = dθ. qθ Θ O suppose e outre que : La trace de Jq est fiie Les foctios θ qθ et θ qθgθ tedet vers quad θ ted vers le bord de Θ Les itégrales θ gθ qθdθ et θ Dgθ i,j qθdθ, i =,..., m, j =,..., k, sot fiies. Alors si T est u estimateur, la matrice suivate est semi-défiie positive : [ ] Θ E θ T gθ T gθ T qθdθ Θ Dgθqθdθ Θ Dgθqθdθ T Θ I. θqθdθ + Jq Si de plus Θ I θqθdθ + Jq est iversible, alors E θ [T ] gθ T gθ T qθdθ Dgθqθdθ I θ qθdθ + Jq Dgθqθdθ Θ Θ Θ Θ est semi-défiie positive. La preuve de ce théorème repose sur les mêmes étapes que précédemmet. O motre tout d abord que l o peut appliquer le pricipe itégratio par parties couplé à Fubii pour obteir qθ T T x gθ qθ + l θ x p θ xqθdµxdθ = Dgθqθdθ. Esuite o a alors T T x gθ x gθ T qθ qθ + l qθ qθ + l θ x T p θ x θ xqθdµxdθ [ ] = Θ E θ T gθ T gθ T qθdθ Θ Dgθqθdθ Θ Dgθqθdθ T Θ I θqθdθ + Jq T 39

40 3 Théorie de la vraisemblace qui motre que cette matrice est semi-défiie positive et o achève comme pour l iégalité de Cramer-Rao multidimesioelle. Quelques mots sur les foctios absolumet cotiues. Ue foctio réelle F est absolumet cotiue sur u itervalle I de R si pour tout ɛ > il existe δ > tel que, pour toute suite [a, b ] d itervalles de I disjoits, b a < δ = F b F a < ɛ. F est absolumet cotiue sur [a, b] si et seulemet si il existe ue foctio f itégrable telle que pour tout x [a, b], F x F a = x a ftdt. Alors F est presque partout dérivable de dérivée f. Si F : R k R m o dit que F est absolumet cotiue si pour tout j =,..., m, et tout i =,..., k, x F j x,..., x i, x, x i+,..., x k est absolumet cotiue Estimateurs localemet asymptotiquemet miimax O cosidère u modèle d.m.q. au voisiage de θ, et l o cherche à miorer le risque quadratique miimax sur u voisiage de θ de taille d ordre / voir cotre-exemple de Hodge. Cosidéros tout d abord le cas simple uidimesioel, avec Θ R et g foctio réelle. SI T est ue suite d estimateurs basés sur X,..., X o veut doc miorer [ sup E θ T gθ ]. θ θ c Il s agit doc de mettre ue loi a priori sur [θ c ; θ + c ]. Soit doc q ue probabilité sur [, ], qui vérifie les hypothèses du Théorème 3.3., avec Jq < +. Soit q la desité de la loi de la variable aléatoire θ + c U où U a pour desité q, q est ue desité de probabilité sur [θ c ; θ + c ], q θ = c q c θ θ. Si l o applique l iégalité de va-trees, o obtiet [ sup E θ T gθ ] θ θ c θ + c θ c Mais Jq = c Jq. Doc o obtiet facilemet : [ E θ T gθ ] q θ dθ θ + c θ c g θq θ dθ θ + c θ c I θ q θ dθ + Jq. 4

41 3.3 Estimateurs efficaces au ses du risque asymptotique quadratique local Théorème O suppose Θ R, et que le modèle est d.m.q. au voisiage de θ, d iformatio de Fisher I θ cotiue au voisiage de θ, avec I θ. O suppose que la foctio réelle g est de classe C au voisiage de θ. Alors pour toute suite T d estimateurs [ lim if lim if sup E θ T gθ ] g θ. c + + θ θ c I θ O dit alors que T est localemet asymptotiquemet miimax si [ lim if lim if sup E θ T gθ ] = g θ. c + + θ θ c I θ Remarque. Si l o reviet au cotre-exemple de Hodge, o a [ lim if lim if sup E θ S θ ] = +, c + + θ c et S est pas localemet asymptotiquemet miimax. O peut étedre ce résultat de mioratio asymptotique e situatio multidimesioelle. O se place das la situatio du Théorème 3.3., Θ R k et g : Θ R m. Soit q ue desité borée et différetiable sur la boule uité B k, das R k, telle que qv = si v est sur la frotière de B k,, et telle que la trace de Jq soit fiie. Soit c >. Alors pour assez grad, la boule ouverte cetrée e θ et de rayo c est icluse das Θ. Soit q la desité de la variable aléatoire U = θ + cv où V a pour desité q. Alors Jq = Jq. E appliquat le Théorème 3.3., si T c est ue suite d estimateurs, pour assez grad, si Jq + c Θ I θqθdθ est iversible, alors [ T E θ + cv gθ + cv T gθ + cv ] T qv dv v Dgθ + cv qv dv v c Jq + v est semi-défiie positive. O obtiet alors facilemet : I θ + cv qv dv Théorème O suppose Θ R k, et que le modèle est d.m.q. au voisiage de θ, d iformatio de Fisher I θ cotiue au voisiage de θ et iversible. O suppose que la foctio g à valeurs das R m est de classe C au voisiage de θ. Alors pour toute suite T d estimateurs, pour tout U R m, [ lim if lim if sup U T E θ + c + + cv T gθ + cv T ψθ + cv ] T U v U T Dgθ I θ Dgθ T U. Dgθ + cv qv dv v T 4

42 3 Théorie de la vraisemblace Aussi, [ lim if lim if sup E θ + c + + cv T gθ + cv ] Tr v [ Dgθ I θ Dgθ T ]. 3.4 Estimateurs réguliers et efficaces au ses du théorème de covolutio O va maiteat chercher à doer u ses à ue optimalité asymptotique e loi. Le cadre est celui de suites X i.i.d., si o dit que T est u estimateur, cela sous-eted ue foctio mesurable de X,..., X Estimateurs réguliers et théorème de covolutio Soit g : Θ R m ue foctio. O dit que T est u estimateur régulier e θ de gθ si, pour tout c R k, T g θ + c coverge e loi sous P θ + c vers L θ qui e déped pas de c, autremet dit la même loi pour tout c. Remarque. La covergece a lieu sous ue loi qui varie avec. Doc o e peut pas l obteir e appliquat u TLC comme o l a fait souvet. Doc pour obteir la régularité d u estimateur, o pourra avoir besoi de ouveaux outils : ce sera la cotiguïté, que l o défiira et étudiera plus loi. Le théorème essetiel que l o admettra est le suivat. Théorème O suppose le modèle d.m.q. e θ itérieur à Θ, d iformatio de Fisher I θ iversible. O suppose aussi g différetiable e θ. Alors, si T est u estimateur régulier e θ de gθ, il existe ue probabilité M sur R m telle que L θ = M N m, Dg θ I θ Dg θ T. Ici, L θ est la loi limite de T g θ + c pour tout c R k. Remarques. Comme la covolutio étale la loi, N m, Dg θ I θ Dg θ T est la loi optimale pour les estimateurs réguliers. L estimateur de Hodge S est régulier e θ mais est pas régulier e exercice : le démotrer!. Commet voir si T est régulier? Commet obteir la loi asymptotique sous P θ + c? Il s agit de trouver ue probabilité L sur R m telle que pour toute foctio réelle ϕ cotiue borée, lim E θ + + c ϕ T = ϕtdlt 4

43 3.4 Estimateurs réguliers et efficaces au ses du théorème de covolutio Comme E θ + c ϕ T = ϕ T x,..., x dp θ + c x,..., x p θ + c x i = ϕ T x,..., x p dp θ x i θ x,..., x, il s agit de maière géérale de trouver la loi asymptotique d ue v.a. Z sous Q quad o sait dire des choses asymptotiques sous P e utilisat, si Q est absolumet cotiue par rapport à P, [ E Q [ϕ Z ] = E P ϕ Z dq ]. dp Il est logique de se dire pour cela qu il faut coaitre des choses sur la loi limite joite de Z, dq dp sous P. C est l objet de la cotiguïté itroduite et étudiée par Hajek et Le Cam Cotiguïté Soiet Q et P deux suite de probabilités sur les mêmes espaces pouvat chager avec. O dit que Q est cotiguë par rapport à P si pour toute suite d évéemets A, si P A ted vers, alors Q A ted vers. Remarque. La cotiguïté est ue otio d absolue cotiuité asymptotique. Si P et Q sot deux probabilités sur u même espace, Q est absolumet cotiue par rapport à P si, pour tout évéemet A, si P A =, alors QA =. Si Q est absolumet cotiue par rapport à P, alors il existe ue foctio mesurable q telle que Q = qp, q est la desité de Q par rapport à P. O peut toujours décomposer Q e la somme Q a + Q o, où Q a est absolumet cotiue par rapport à P et Q o est étragère à P, c est à dire qu il existe A tel que Q o A = et P A = A est le complémetaire de A. La otatio dq dp Q a par rapport à P. C est ue foctio mesurable x dq dp variable aléatoire, que l o otera ecore dq dp. Par exemple : E P de dq dp X lorsque X est de loi P. O a Q absolumet cotiue par rapport à P E P dq dp désige la desité de dq x. Doc dp X est ue sigifie l espérace dq dp dp = Q dq > =. Remarquos que cosidérées sous P, dq dp est toujours ue suite tedue : pour tout M >, par l iégalité de Markov, dq P M dp M E dq P dp M, qui a doc au mois ue valeur d adhérece pour la topologie de la covergece e loi valeur d adhérece = limite d ue suite extraite. 43

44 3 Théorie de la vraisemblace Théorème 3.4. Premier Lemme de Le-Cam. Les propriété suivates sot équivaletes :. Q est cotiguë par rapport à P. Si V est ue valeur d adhérece pour la covergece e loi de dq dp sous P, alors EV =. 3. Si U est ue valeur d adhérece pour la covergece e loi de dp dq sous Q, alors P U > =. 4. Si T coverge e probabilité vers sous P, alors T coverge e probabilité vers sous Q. Preuve. Voir livre de va der Vaart. Théorème Troisième Lemme de Le-Cam. Soit Z ue variable aléatoire telle que sous P, Z, dq dp coverge e loi vers la variable aléatoire Z, V. Si Q est cotiguë par rapport à P, alors la mesure L défiie par LB = E Z B V pour tout évéemet B est ue probabilité, et Z coverge e loi vers L sous Q. Preuve. Tout d abord, L est bie ue mesure positive, et de masse égale à par le poit. du premier Lemme de Le-Cam. O a alors pour toute foctio ϕ mesurable borée ou mesurable positive, ϕudlu = EϕZV. Pour motrer que Z coverge e loi vers L sous Q il suffit doc de motrer que pour toute foctio ϕ mesurable positive, lim if E Q + [ϕ Z ] E [ϕ Z V ]. Remarquos que l o a pas supposé que Q est absolumet cotiue par rapport à P, doc o a seulemet l iégalité qui est pas forcémet ue égalité : [ E Q [ϕ Z ] E P ϕ Z dq ]. dp Mais la foctio z, v ϕzv est cotiue positive, doc comme Z, dq dp coverge e loi vers la variable aléatoire Z, V, et la preuve est fiie. lim if + E P [ ϕ Z dq dp Applicatio aux modèles d.m.q. ] E [ϕ Z V ]. O va voir que das les modèles d.m.q., sous les hypothèses de ormalité asymptotique, l e.m.v. est efficace au ses du théorème de covolutio, aisi que tous les estimateurs de foctio régulières de θ obteus par plug-i de l e.m.v. Propositio Si le modèle est d.m.q. e θ, alors pour tout c R k, P θ+ c cotiguë par rapport à P θ. est 44

45 3.4 Estimateurs réguliers et efficaces au ses du théorème de covolutio Preuve. Notos Q = P θ+ c et P = P θ. O a, si le modèle est d.m.q. log dq dp = G h T lθ ct I θ c + o Pθ. Doc par le TCL, log dq dp coverge e loi sous P vers W de loi N σ, σ, e otat σ = c T I θ c ; doc par image cotiue dq dp coverge e loi sous P vers V = e W uique valeur d adhérece. O écrit W = σ + σu avec U de loi N,, et E V = E e σ +σu = e σ + σ = doc Q est cotiguë par rapport à P par le premier Lemme de Le-Cam. Propositio O suppose que Z est ue variable aléatoire à valeurs das R m. Si dp θ+ Z c, log dp θ coverge e loi sous P θ vers N m+ µ σ Σ τ ; τ T σ alors Z coverge e loi sous P θ+ c vers N m µ + τ; Σ. Preuve. Avec les otatios de la propositio précédete, Q est cotiguë par rapport à P, doc par le troisième Lemme de Le-Cam, Z coverge e loi vers L doée par µ Σ τ ϕxdlx = E[ϕZe W ], avec Z, W de loi N m+ ; σ τ T σ. Calculos la foctio caractéristique de L. Pour tout t R m, e i t,x R m dlx = E e i t,z R m e W e i t, i,z,w R m+ = E [ = exp i t, i, µ, σ R m+ Σ τ t, it τ T σ [ = exp i t, µ + τ R m ] tt Σt qui est la foctio caractéristique de N m µ + τ; Σ. Corollaire Si le modèle est d.m.q. e θ et que θ vérifie θ θ = I θ dg lθ + o Pθ. t i alors θ est efficace au ses du théorème de covolutio. Si de plus g : Θ R m est différetiable e θ, alors g θ est efficace au ses du théorème de covolutio. Preuve. A faire e exercice! ] 45

46 3 Théorie de la vraisemblace 3.5 Exercices Exercice Vitesse d estimatio paramétrique Soit {P θ, θ Θ}, Θ R k, u modèle domié sur R d qui soit e tout θ : idetifiable, DMQ différetiable e moyee quadratique et d iformatio de Fisher I θ iversible. Soiet f θ la desité de P θ par rapport à µ, l θ la foctio score e θ, θ u poit itérieur à Θ. Soit X,..., X u -échatillo de P θ. Le but de l exercice est de motrer que sous ces hypothèses et si e plus Θ est compact, alors il existe u estimateur -cosistat de θ.. a O ote H la distace de Helliger, c est à dire HP θ, P θ = f θ fθ dµ /. Motrer que < lim if h HP θ +h, P θ h lim sup h HP θ +h, P θ h <. b E déduire que les deux assertios suivates sot équivaletes pour h tel que h. i. < lim if HPθ +h, P θ lim sup HPθ +h, P θ <, ii. < lim if h lim sup h <. Das la suite, o suppose Θ compact. O défiit la distace etre deux lois sur R d par dp, Q = sup x R d F P x F Q x, où F P resp. F Q est la foctio de répartitio associée à P resp. Q. Soiet X,..., X u -échatillo de P θ, P la mesure empirique associée, et T u élémet de Θ tel que dp T, P dp θ, P + O. O va motrer que T est -cosistat de θ, i.e. T θ = O Pθ. O rappelle o admettra que dp θ, P = O Pθ.. Motrer que pour tout θ, f θ+h f θ h T lθ f θ dµ = o h. 3. Motrer que θ dp θ, P θ est cotiue e θ, puis que T est cosistat. 4. Motrer que lim if h E déduire qu il existe ɛ >, c >, tels que h dp θ +h, P θ >. θ θ ɛ = dp θ, P θ c θ θ. 46

47 3.5 Exercices 5. Motrer que T est -cosistat. Exercice Ue applicatio de l iégalité de Va Trees : estimatio de θ α avec u échatillo de N θ,. Soit X N ue suite de variables aléatoires idépedates de loi N θ,, avec θ. O s itéresse à l estimatio de θ α pour u < α <.. Soit θ >. Motrer que sous θ = θ, X α θ α coverge e loi vers N, α θ α. Motrer que si ψ est u estimateur, lim if lim if sup E θ ψ θ α α θ c + + θ θ c α.. Soit δ >, et soit λ ue desité de probabilité sur [, M] cotiûmet dérivable, telle que λ = λm =. O ote Jλ = M λ u λu du. E utilisat la desité de probabilité λ δ,c θ = θ δ c λ c, motrer que pour tout etier, si ψ est u estimateur, lim if sup E θ ψ θ α α + δ α, e déduire que θ δ lim sup E θ ψ θ α = +. + θ 3. Motrer que u α λu est itégrable e, puis que M M lim δ + cu α λ u du = c α u α λ u du. δ E déduire que si ψ est u estimateur, où A = M u α λudu, puis que sup E θ ψ θ α Acα α θ + Jλc sup E θ ψ θ α α α α +α A θ α Jλ α. Remarquer la vitesse d estimatio et comparer avec la questio. Commetaire? 4. E étudiat la foctio fh = x + h α x α h α pour h et x >, motrer que pour tous réels x et y, y α x α y x α. 47

48 3 Théorie de la vraisemblace 5. Motrer que ψ = X α réalise la vitesse, i.e. il existe ue costate Cα telle que α sup E θ X α θ α Cα. θ Exercice Soit P = P = N, et Q = N m,. Motrer que P est cotigüe par rapport à Q si et seulemet si Q est cotigüe par rapport à P si et seulemet si la suite m N est borée. Exercice Soit P la loi de la moyee empirique d u -échatillo de N, et Q la loi de la moyee empirique d u -échatillo de N m,. Motrer que P et Q sot mutuellemet cotigües si et seulemet si la suite m N est borée. Exercice Soit P la loi d u -échatillo de la loi uiforme sur [, ] et Q la loi d u -échatillo de la loi uiforme sur [, + ]. Motrer que P est cotigüe par rapport à Q. Q est-elle cotigüe par rapport à P? Exercice O ote la distace e variatio, i.e. si P et Q sot deux probabilités sur u même espace probabilisable, P Q = sup P A Q A. A. Soit µ ue mesure domiate par exemple P +Q et p et q les desités respectives de P et Q par rapport à µ. Motrer que P Q = p q dµ = p q + dµ.. Motrer que si P Q ted vers quad ted vers l ifii, alors P et Q sot mutuellemet cotigües. 3. Motrer que si P et Q sot mutuellemet cotigües, alors lim sup + P Q <. 4. Soit ɛ >. Trouver ue suite de probabilités P et Q qui sot mutuellemet cotigües mais telles que P Q ted vers ɛ quad ted vers l ifii. Exercice Soit P θ,f la loi de θ + ɛ, ɛ de desité f paire, cotiûmet dérivable et telle que f f dx < modèle de traslatio vu au TD 5. O veut estimer gθ = P θ,f X z pour u réel z doé. O suppose que f est coue, et que x f xdx < +. O cosidère les deux estimateurs 48

49 3.5 Exercices U = X i z V = F z X, F foctio de répartitio associée à la desité f.. Motrer que U et V sot cosistats.. Motrer que U gθ coverge e loi vers ue gaussiee cetrée dot o précisera la variace. Motrer que V gθ coverge e loi vers ue gaussiee cetrée dot o précisera la variace. 3. Soit c u réel o ul. Sous P θ + c,f, quelle est la loi asymptotique de U gθ + c? Sous P θ + c,f, quelle est la loi asymptotique de V gθ + c? Ces deux estimateurs sot-ils réguliers? Efficaces? 49

50

51 4 Estimatio semi-paramétrique Le cadre est toujours celui d ue suite de variables aléatoires i.i.d. X de loi P P. O s itéresse maiteat au cas où P est pas écessairemet paramétrique, et où l o veut estimer ψ P avec ψ ue foctio coue de P das R ou R k. O va explorer la situatio où o peut estimer ψ P avec vitesse. Quelques exemples : Momet : ψp = fdp, f état ue foctio coue. O sait estimer avec l estimateur empirique, mais existe-t-il u estimateur efficace et lequel si P est l esemble de toutes les lois de probabilité? Cetre de symétrie : P est l esemble des lois sur R de desité par rapport à Lebesgue f θ, f F, F esemble des desités de probabilité strictemet positives sur R et cetrées e. O peut estimer θ par la moyee empirique, mais peut-o trouver u estimateur meilleur? Et e restreigat F? Régressio : si o observe X = Y, Z, avec Y = g θ Z + ɛ, Z, ɛ de loi η icoue mais telle que ɛ soit cetré et de variace. Si M est u sous-modèle de P paramétré par u réel, i.e. M = {P θ, θ Θ} P avec Θ R et que la foctio g est défiie par gθ = ψ P θ, si M est d.m.q. e θ et g dérivable e θ, o sait que pour estimer ψ P θ, la bore iférieure de variace que ce soit pour l efficacité au ses du risque miimax local asymptotique, ou au ses du théorème de covolutio est g θ /I θ. L idée est de maximiser cette bore iférieure e les sous-modèles M possibles de dimesio pour lesquels Θ R coteat le poit P = P θ. 4. Esembles tagets et foctios d ifluece O ote P la probabilité de P pour laquelle o s itéresse à l efficacité des estimateurs pour estimer ψp. Si M est u sous-modèle de dimesio passat par P et d.m.q. pour le paramètre e ce poit et de score g, alors o otera P θ,g la paramétrisatio de M, et o coviedra quitte à opérer ue traslatio du paramètre que c est e θ = que l o passe par P, i.e. P,g = P. O dit que T est u esemble taget à P e P si c est u sous-esemble de L P tel que, pour tout g T, il existe u sous-modèle de dimesio {P θ,g, θ Θ}, Θ R, tel que P,g = P, qui soit d.m.q. e et de score g. 5

52 4 Estimatio semi-paramétrique Remarques. Bie que la otatio e l idique pas, u esemble taget à P e P déped de P. L iformatio de Fisher e das le modèle {P θ,g, θ Θ} est P g. Si a est u réel fixé, le sous-modèle de dimesio {P aθ,g, θ Θ} est d.m.q. e et de score ag. Doc o peut toujours cosidérer qu u esemble taget est u côe. La bore iférieure de variace pour estimer ψp est, si θ ψp θ,g est dérivable, d dθ ψp θ,g θ= /P g das le modèle {P θ,g, θ Θ}, c est la même das le modèle {P aθ,g, θ Θ}. Doc chercher à maximiser cette bore, c est chercher toutes les directios d approche de P par des sous-modèles de dimesio. O dit que la foctio ψ : P R est différetiable à P relativemet à l esemble taget T si il existe ψ P liéaire et cotiue de L P das R telle que : pour tout g T, score e θ = du sous-modèle de dimesio {P θ,g, θ Θ}, ψp θ,g ψp lim = θ θ ψ P g. Remarque. Cela sigifie que la foctio θ ψp θ,g est dérivable e das tous les sous-modèles, et que la dérivée peut s iterpréter comme ue compositio de différetielles. Das les espaces de Hilbert, o sait Théorème de Riesz que les applicatios liéaires cotiues à valeurs das R sot les produits sacalaires avec ue foctio fixe de l espace de Hilbert. Doc si ψ : P R est différetiable à P relativemet à l esemble taget T, il existe ψ P L P telle que pour tout g T, ψ P g = ψp gdp. Y a-t-il uicité de cette foctio ψ P? Si ψ L P et ψ L P sot telles que pour tout g T, ψ P g = ψ gdp = ψ gdp, alors pour tout g T, ψ ψ gdp =. Si l o ote HT l espace de Hilbert egedré par T c est à dire la fermeture, das L P, de l esemble des combiaisos liéaires de foctios de T, et HT o so orthogoal das L P, les foctios ψ i, i =, se décomposet comme la somme d ue foctio de HT et d ue foctio de HT o, et il y a uicité de la foctio das HT das cette décompositio. Comme par ailleurs la partie de la décompositio das HT o iterviet pas das ψi gdp, o peut choisir pour ψ P la foctio de HT qui représete ψ P sur T. C est ce que dit la défiitio suivate. Si ψ est différetiable à P relativemet à l esemble taget T, la foctio d ifluece efficace ψ P est l uique foctio qui vérifie : ψ P HT, espace de Hilbert egedré par T, g T, ψ P g = ψp gdp. Remarques. Les foctios scores sot toujours cetrées, doc les foctios de HT aussi, et o a doc toujours ψ P dp =. La bore iférieure de variace pour estimer ψp das le sous-modèle {P θ,g, θ Θ} 5

53 4. Efficacité est CRg = ψp gdp g dp ψ P dp par Cauchy-Schwarz. Et si o peut approcher ψ P das L P par des foctios de T, alors la maximisatio de CRg das les sous-modèles coduit à ψ P dp. O peut étedre tout cela à l estimatio de quatités multidimesioelles. O dit que la foctio ψ : P R m est différetiable à P relativemet à l esemble taget T si chacue des coordoées ψ j, j =,..., m de ψ est différetiable à P relativemet à l esemble taget T. La foctio d ifluece efficace est l uique m-uplet ψ = ψ,..., ψ m de foctios qui vérifie : ψ HT m, g T, j =,..., m, lim θ ψp θ,g j ψp j θ = ψj gdp. 4. Efficacité O s itéresse tout d abord à l efficacité au ses du risque miimax asymptotique local. Théorème 4... Soit ψ : P R différetiable à P relativemet à l esemble taget T et de foctio d ifluece efficace ψ. O suppose que T est u espace liéaire. Alors, si T est ue suite d estimateurs, lim if lim if sup E P c + +,g g T, g c [ ] T ψp,g ψ dp. Preuve. Soit g p p ue suite de foctios de T qui coverge das L P vers ψ, et pour tout p, soit h p = gp c p avec c p = gpdp. O fixe p. Das le sous-modèle de dimesio et de score h p, o a P c,h p = P,ch p et doc et doc sup E P,g g T, g c lim if lim if sup E P c + +,g g T, g c [ ] [ T ψp,g sup E Pθ,hp T ψp θ,hp ] [ θ c ] d T ψp,g dθ ψp θ,h p θ= h p dp ψhp dp = h p dp et l o obtiet le théorème e faisat tedre p vers l ifii. 53

54 4 Estimatio semi-paramétrique O dit que T est localemet asymptotiquemet miimax pour estimer ψp, ou efficace au ses du risque local miimax asymptotique pour estimer ψp si [ ] lim if lim if sup E P c + + T,g ψp,g = ψ dp. g T, g c Remarque. Comme P cθ,g a pour score cg o pourrait aussi écrire de maière équivalete [ ] lim if lim if sup E P c T c + +,g ψp c g T, g,g E multidimesioel, o obtiet ψ dp. Théorème 4... Soit ψ : P R m différetiable à P relativemet à l esemble taget T et de foctio d ifluece efficace ψ. O suppose que T est u espace liéaire. Alors, si T est ue suite d estimateurs, pour tout U R m, lim if lim if sup E P c + +,g g T, g c [ ] U T T ψp,g U T V ar P ψ U et [ ] [ ] lim if lim if sup E P c + + T,g ψp,g Tr V ar P ψ. g T, g c O s itéresse maiteat à l efficacité au ses du théorème de covolutio. O dit que T est régulier pour estimer ψp si il existe ue loi de probabilité L telle que, pour tout g T, T ψp,g coverge e loi sous P,g vers L. Théorème Soit ψ : P R m différetiable à P relativemet à l esemble taget T et de foctio d ifluece efficace ψ. O suppose que T est u espace liéaire. Alors, si T est régulier pour estimer ψp, il existe ue loi de probabilité M sur R m telle que L = M N m ; V ar P ψ. Si M est la masse de Dirac e, o dit que T est efficace pour estimer ψp au ses du théorème de covolutio. Preuve. O commece par faire la preuve pour m =. Soit g p p ue suite de foctios de T qui coverge das L P vers ψ. Pour tout p fixé, par le théorème de covolutio paramétrique Théorème 3.4., il existe ue loi de probabilité M p sur R telle que L = M p N, σp 54

55 4. Efficacité avec ψgp dp σ p = g p dp, qui ted vers σ = ψ dp. Doc si φ L est la foctio caractéristique de L et φ p celle de M p, alors pour tout t R, φ L t = φ p t exp σ p t, et quad p ted vers l ifii, φ p t coverge vers φt = φ L t exp σ t qui est cotiue e et vaut e, doc par le Théorème de Lévy, c est la foctio caractéristique d ue probabilité M sur R. O a alors, pour tout t R, φ L t = φt exp σ, t ce qui sigifie que L = M N ; σ. Si maiteat m > : soit U R m quelcoque. O applique le résultat précédet à U T T qui est u estimateur régulier de U T ψp, de foctio d ifluece efficace U T ψ, et l o obtiet que pour tout réel t, U T V ar P ψ U φ L tu = φ U t exp t, où φ U est la foctio caractéristique d ue probabilité M U sur R. Mais alors, pour tout U R m, la foctio U φu = φ U vérifie φu = φ L U exp, U T V ar P ψu elle est cotiue e et vaut e, doc par le Théorème de Lévy, c est la foctio caractéristique d ue probabilité M sur R m. O a alors pour tout U R m U T V ar P ψ U φ L U = φu exp, ce qui sigifie que L = M N m ; V ar P ψ. O peut maiteat se demader quad u estimateur régulier est efficace au ses du théorème de covolutio. O a : Théorème Soit ψ : P R m différetiable à P relativemet à l esemble taget T et de foctio d ifluece efficace ψ. O suppose que pour ue foctio f L P m telle que fdp =, T ψp = f X i + o P. Alors T est régulier et efficace au ses du théorème de covolutio si et seulemet si f = ψ. 55

56 4 Estimatio semi-paramétrique Preuve. Soit g quelcoque das T. Alors das le sous-modèle P θ,g θ, log dp,g dp X,..., X = g X i g dp + o P, et doc T ψp, log dp,g dp X,..., X coverge e loi sous P vers N m+ V arp f fgdp g ; dp fgdp T g dp. Doc par le troisième Lemme de Le-Cam, T ψp coverge e loi sous P,g vers N m fgdp ; V ar P f. Par ailleurs, ψ P,g = ψp + ψgdp, doc T ψp,g coverge e loi sous P,g vers N m f ψgdp ; V ar P f. Cette loi e déped pas de g si f ψgdp e déped pas de g, doc vaut, c est à dire si f ψ est orthogoale coordoée par coordoée à T. T est régulier et efficace si de plus V ar P f = V ar P ψ. Ces deux coditios sot vérifiées si et seulemet f = ψ. Exemple : modèle paramétrique. Soit P = {P θ = p θ µ, θ Θ}, Θ R k u modèle paramétrique d.m.q. e θ de score l θ. Alors T = {h T lθ, h R k} est u esemble taget à P e P θ. C est l esemble taget maximal. Si o suppose l iformatio de Fisher I θ iversible, soit g : Θ R m différetiable et otos ψp θ = gθ. Alors ψ est différetiable à P θ relativemet à l esemble taget T, la foctio d ifluece efficace est ψ = D g θ I θ l θ, et la bore iférieure de variace pour estimer gθ est [ ] V ar Pθ ψ = D g θ I θ D g θ T. O retrouve les résultats déjà vus e paramétrique. Exercice : démotrer tout ça!. 56

57 4.3 Modèles semi-paramétriques Exemple : modèle o paramétrique maximum. Soit P l esemble des mesures de probabilité sur R d et soit P ue probabilité sur R d. Alors { } T = g L P : gdp = est u esemble taget à P e P θ. C est l esemble taget maximal. Pour le démotrer, cosidérer le sous-modèle {p θ P, θ R} où p θ x = cθhθgx, la foctio H état doée par Hu = / + e u, et voir qu il est d.m.q. e de score g. Exercice : le faire! Commecer par motrer que H et H sot comprises etre et et valet e u =. Soit esuite f L P fixée, et posos ψp = fdp. Alors ψ est différetiable à P relativemet à l esemble taget T, de foctio d ifluece efficace ψ = f fdp, et la bore iférieure de variace pour estimer fdp est V ar P fx. La moyee empirique fx i est efficace das les deux ses d efficacité! Exercice : démotrer tout ça!. 4.3 Modèles semi-paramétriques Il s agit du cas où P = {P θ,η, θ Θ, η H} où Θ R k et H est u esemble qui peut être de dimesio ifiie. O s itéresse alors à ψ : P R k doée par P θ,η ψ P θ,η = θ. Exemples : Cetre de symétrie : P est l esemble des lois sur R de desité par rapport à Lebesgue η θ, η H = F, F esemble des desités de probabilité strictemet positives sur R et cetrées e. Régressio : si o observe X = Y, Z, avec Y = g θ Z + ɛ, Z, ɛ de loi η icoue mais telle que ɛ soit cetré et de variace. O cherche u esemble taget, la foctio d ifluece efficace, et la variace miimale pour estimer θ. Regardos pour commecer le cas paramétrique où η est u paramètre de uisace de dimesio fiie, c est à dire quad H R m. O ote α = θ, η R k+m, et α = θ, η. O otera aussi P = P θ,η. Si le modèle est l d.m.q. e α, de score, avec l score e θ du modèle P θ,η θ et ḣ score e η du ḣ modèle P θ,η η alors pour tout u R k, pour tout v R m, le modèle P θ +tu,η +tv t est d.m.q. e t = de score u T l + v T ḣ. Doc ici, l esemble taget à P e P α esemble taget maximal est { T = u T l + v T ḣ, u R k, v R m}. 57

58 4 Estimatio semi-paramétrique d Par ailleurs, dt θ + tu = u, doc o cherche ψ T k telle que : u R k, v R m, ψ u T l + v T ḣ dp = u. Ceci implique : ψ l T dp = I k, la matrice idetité de dimesio k, et v R m, ψv T ḣ dp =. Notos F = {v T ḣ, v R m} sous-esemble fermé de L P et Π la projectio orthogoale au ses de L P sur F, puis l = l i i k avec l i = l i Π l Notos aussi Ĩ = V ar P l. Alors, si Ĩ est iversible, o a et V ar P ψ = Ĩ. Exercice : démotrer ces deux formules ψ = Ĩ l, i. Maiteat, si I α est l iformatio de Fisher paramétrique, avec Jθ C I α = C T K η o a Exercice : le démotrer. l = l CKη ḣ, Ĩ = J θ CKη C T. Ĩ est la variace miimale pour estimer θ d après la théorie semi-paramétrique. Ceci coicide avec ce que ous dit la théorie paramétrique, qui dit que la variace miimale pour estimer θ est la matrice k k e haut à gauche de Iα. Exercice : démotrer cette affirmatio, et que cela coicide avec [J θ CKη C T ]. Si l o coait η, par cotre, c est à dire das le modèle P θ,η θ, la variace miimale pour estimer θ est J θ. Doc il y a pas de perte pour l estimatio veat du fait de e pas coaitre η si et seulemet si CKη C T =, soit si et seulemet si C =, c est à dire si et seulemet si les scores relatifs à θ et les scores relatifs à η sot orthogoaux, 58

59 4.4 Exercices soit si l et ḣ ot des coordoées deux à deux orthogoales das L P. Reveos maiteat au cas gééral. Supposos que pour tout u R k le modèle P θ +tu,η t est d.m.q. e t = de score u T l, et que G est u esemble taget à P θ,η η e P θ,η = P. Alors souvet mais il faut le vérifier das chaque situatio, u esemble taget à P e P est { } T = u T l + g, u R k, g G, u T l + g état le score e t = das le sous-modèle P θ +tu,η t t quad g est le score e t = das le sous-modèle P θ,η t t. O ote Π la projectio orthogoale de L P sur la fermeture de l espace liéaire egedré par G. Soit l = l i i k avec l i = l i Π l et soit Ĩ = V ar P l. Alors, si Ĩ est iversible, o a Exercice : le démotrer! ψ = Ĩ l. O appelle l le score efficace et Ĩ l iformatio de Fisher efficace. Si maiteat T est u estimateur qui vérifie alors T est régulier et efficace. 4.4 Exercices T θ = Ĩ i, l X i + o P, Exercice Modèle de traslatio Soit F l esemble des desités de probabilités f par rapport à Lebesgue sur R qui sot paires, strictemet positives sur R, de racie carrée cotiûmet dérivable sur R, et telles que I f = f x fx dx est fiie. Soit P θ,f θ R,f F le modèle doé par dp θ,f = fx θdx.. Motrer que le modèle est idetifiable.. Motrer que pour tout f F, le modèle P θ,f θ R est différetiable e moyee quadratique e tout θ, d iformatio de Fisher I f. 3. Soit f F, et soit G l esemble des foctios paires, cotiûmet dérivables, telles que g x f x dx =, g x f x dx < + et g x f x dx < +. 59

60 4 Estimatio semi-paramétrique Soit k la foctio doée par k x = +exp x. O défiit pour toute g G et tout réel h, f h,g x = chf xk[hgx], où ch = f xk[hgx]dx. Motrer qu il existe u voisiage V de tel que le modèle P θ+h,fh,g h V soit différetiable e moyee quadratique, de score f f x θ + g x θ. 4. Motrer que l iformatio de Fisher efficace est I f. Coséquece : si o trouve u estimateur efficace, il y a pas de perte asymptotique due au fait que l o e coait pas f. Exercice Modèle de Neyma-Scott Soit X, Y u couple de variables aléatoires réelles et Z ue variable aléatoire réelle telles que, coditioellemet à Z, X et Y sot idépedates de loi N Z, θ, θ >. O s itéresse à l estimatio de θ, lorsque la loi η de Z est icoue, sur la base d u -échatillo X, Y,..., X, Y de X, Y, dot la loi est otée P θ,η.. Motrer que E[X Y ] = θ, et calculer V ar[x Y ].. E déduire que T = X i Y i est u estimateur cosistat de θ, et costruire u itervalle de cofiace pour θ asymptotiquemet de iveau de cofiace α. 3. Quelle est la loi de X Y sous P θ,η? 4. Motrer que sous P θ+ c,η, T θ + c coverge e loi vers ue gaussiee cetrée et de variace θ. 5. O pose U = X Y Motrer que et V = X+Y. Soit p θ,η la desité de P θ,η par rapport à Lebesgue. p θ,η X, Y = f θ U q θ,η V où f θ est la desité de U et q θ,η celle de V, que l o détermiera. E déduire e particulier que sous P θ,η, U et V sot des variables aléatoires idépedates. 6. Soit θ > et η ue loi de probabilité sur R. Soit T l esemble des foctios réelles t telles que tzdη z = et tz dη z < +. Soit esuite πθ exp x+y z θ t z dη z G = g : g x, y = πθ exp x+y z, t T. dη z Soit g G, soit t la foctio de T associée à g, et soit le modèle P θ +h,η h,g h V, V =] θ, θ [ avec dη h,g z = chkhtzdη z, où k est la foctio doée par θ 6

61 4.4 Exercices k x = +exp x et ch = khtzdη z. Motrer que ce modèle vérifie les hypothèses du premier exercice avec l X, Y = U [ V z θ + θ ] πθ exp V z θ dη z. θ q θ,η V θ 7. O suppose que le support de η cotiet u itervalle ouvert. O admettra qu alors la fermeture de G est l esemble des foctios m x+y telles que, sous P θ,η, mv est cetrée et a ue variace fiie. Calculer le score efficace et l iformatio de Fisher efficace. 8. Motrer que T est u estimateur asymptotiquemet efficace de θ au ses du théorème asymptotique miimax local aisi qu au ses du théorème de covolutio. 6

62

63 5 Estimatio o paramétrique 5. Itroductio et exemples O va s itéresser au modèle de régressio, où Y i = f x i + ε i, i =,...,. 5. Ici, les x i [, ] sot cous, les ε i sot i.i.d., cetrés et de même variace σ, et o cherche à estimer f, foctio de [, ] das R. Noter que les x i dépedet aussi de, par exemple, x i = i/, et devraiet être otés x i, par exemple. Noter aussi que les Y i sot des variables aléatoires idépedates mais pas idetiquemet distribuées. Si l o e précise rie sur f, o voit mal commet o pourrait l estimer correctemet. O doit doc préciser f F, avec F ue classe de foctios : par exemple les foctios cotiues, ou les foctios croissates, etc Régressogramme O suppose que f est cotiue, et o choisit d approcher f par ue foctio e escalier. Soit I = I,..., I m ue partitio de [, ] I,..., I m sot des itervalles disjoits dot la réuio recouvre [, ], soit F I l esemble des foctios f de [, ] das R de la forme x [, ], f x = m a j x Ij, avec a,..., a m R m. O peut estimer f par moidres carrés, e choisissat f qui miimise sur F I Y i f x i. C est aussi l estimateur du maximum de vraisemblace lorsque les ε i sot gaussiees. O obtiet alors x [, ], f m x = â j x Ij, avec pour j =,..., m j= j= â j = Y i xi I j x i I j 63

64 5 Estimatio o paramétrique â j est la moyee empirique des Y i pour les x i das I j. O a alors avec W,i x = m j= x [, ], f x = x Ij xi I j l= x l I j = W,i x Y i { si xi / I jx #{x l :x l I jx } si x i I jx où jx est le j tel que x I j. f x est la moyee locale des Y i sur l itervalle auquel x appartiet. Si l o veut que l estimateur soit coverget, il faut raffier la partitio avec réductio du biais et augmeter le ombre d observatios par itervalle réductio de la variace. Si la partitio est régulière, que chaque itervalle I j est de logueur h alors il faut, pour réduire le biais, que h tede vers, et pour réduire la variace, que h tede vers l ifii. Exercice : vérifier ces affirmatios. 5.. Méthode empirique. Estimateur à oyau O suppose ecore que f est cotiue, et doc qu elle est la dérivée de F telle que t [, ], F t = t f x dx. O peut estimer F de maière empirique par F doée par puis f par u taux d accroissemet t [, ], F t = Y i xi t, f x = F x + h F x h. h O a alors f x = h Y i x h<xi x+h. f x est ecore la moyee locale des Y i, mais sur ue feêtre glissate cetrée sur x. Si o pose K x = <x o a f x = Y i h K xi x h

65 5. Itroductio et exemples Remarquos que et o peut aussi choisir h K x xi = h x h<xi x+h h f x = Y ik x i x h K x i x. 5.3 h Das les deux cas, il s agit d u estimateur liéaire tel que f x = W,i x Y i avec W,i x = h K x i x h si o a choisi 5. ou W,i x = K x i x h / k= K x k x h si o a choisi 5.3. Pour gééraliser la moyee locale avec feêtre glissate, o peut choisir d autres types de oyaux, i.e. de foctios K, que l o choisit souvet positives, à support compact, paires, d itégrale Projectio O suppose que f L [, ]. Soit φ j j ue base orthoormée de L [, ] par exemple la base trigoométrique. O a avec pour j, f = a j = f, φ j = + j= a j φ j, f x φ j x dx. O peut estimer f par projectio par u élémet de F m = { m j= a jφ j, a,..., a m R m+ } avec m f = â j φ j, où â j = j= Y i φ j x i est u estimateur empirique de a j. f est ecore u estimateur liéaire : avec x [, ], f x = W,i x Y i W,i x = m φ j x i φ j x. j= 65

66 5 Estimatio o paramétrique 5..4 Questios Quad o se pose des questios de cosistace, la première questio cocere la métrique choisie e quel ses souhaite-t-o que f coverge vers f. Autremet dit, quel est le choix du risque : Risque poctuel : au poit x fixé, o s itéresse à R f, f [ ] = E f f x f x ; Risque quadratique das L [, ] : o s itéresse à R f, f [ ] = E f f x f x dx ; Risque uiforme das L [, ] : o s itéresse à R f, f [ = E f f ] f où f. f = sup x [,] f x f x O commece par voir si, sur ue classe F très large, o a des estimateurs f pour lesquels, pour tout f F, R f, f ted vers quad ted vers l ifii. Esuite, pour des classes F plus précises, o peut s itéresser au risque miimax, c est à dire à if sup R f, f := R F, f f F et chercher u estimateur f dot le risque maximum sup f F R f, f soit voisi de R F. O s itéressera e fait à la vitesse de covergece vers de R F, c est à dire que l o cherchera ue vitesse v F telle que l o puisse motrer que pour u c > et u C >, et pour assez grad, cv F R F Cv F. 5.4 Pour motrer l iégalité de gauche, o aura besoi de techiques de mioratio c.f. Théorème de mioratio de Le-Cam vu e M ; pour motrer le membre de droite, il suffira de trouver u estimateur f dot le risque maximum vérifie cette majoratio. Noter que e gééral, la vitesse v F déped effectivemet de F. O s itéressera aussi à la questio de l adaptativité, c est à dire de trouver des estimateurs qui réaliset la vitesse pour ue collectio d esembles F. Pour bâtir ue procédure statistique, o costruit des régios de cofiace ou des tests, o verra commet le faire et les questios qui se poset. 5. Des résultats de covergece uiverselle O se place das le modèle 5., avec échatilloage régulier : x i = i, i =,...,. O suppose que f est u estimateur liéaire : x [, ], f x = W,i x Y i 66

67 5. Des résultats de covergece uiverselle tel que : Pour tout x [, ], pour tout, pour tout i =,...,, W,i x Et pour tout x [, ], pour tout, W,i x =. C est le cas du régressogramme avec partitio régulière, quad I j = [j h ; jh [, j =,..., k, = k h, et de l estimateur à oyau défii par Risque quadratique Le risque quadratique ted vers sur la classe des foctios cotiues : Théorème 5... O suppose f cotiue, et que les deux coditios suivates sot vérifiées : i lim + W,i x dx = ii pour tout δ >, lim + x x i >δ W,i x dx =. Alors [ ] lim E f f x f x dx =. + Regardos les hypothèses das le cas du régressogramme et das le cas de l estimateur à oyau. Das le cas du régressogramme avec partitio régulière, si x ], [, W,i x si et seulemet si i I jx, auquel cas W,i x = h. Das le cas de l estimateur à oyau, si K est de support [ M, M], W,i x seulemet si x i x Mh. Das les deux cas, o a, pour u A > : W,i x = dès que x x i > Ah et ii est vérifiée dès que h quad +. Si l o suppose qu il existe C > tel que de plus, pour tout x, W,i x C h c est vrai pour le régressogramme avec partitio régulière, et á vérifier selo le oyau pour l estimateur à oyau, o a W,i x dx = W,i x dx x x i Ah C h W,i x dx C A x x i Ah h et i est vérifiée dès que h + quad +. 67

68 5 Estimatio o paramétrique Preuve. Chaque fois qu o étudie u risque quadratique, o fait la décompositio biais/variace : [ ] E f f x f x dx = = E f [ f x f x dx ] [E f f x f x ] dx + V ar f f x dx. O a pour tout x, V ar f W,i x Y i = σ W,i x car les Y i sot idépedats de variace σ, et le terme de variace s écrit : qui ted vers par i. V ar f f x dx = σ W,i x dx Regardos maiteat le terme de biais. O a EY i = fx i, doc ] [E f f x f x dx = = [ W,i x fx i f x] dx [ W,i x fx i f x] dx e utilisat que W,i x =, puis par Cauchy-Schwarz = [ W,i x fx i f x] dx x x i >δ W,i x fx i f x dx + E utilisat ii o a doc pour tout δ >, lim sup + [ ] [ ] W,i x W,i x fx i f x dx x x i δ 4 f o + W,i x fx i f x dx sup u v δ [E f f x f x] dx sup fu fv u v δ fu fv. qui ted vers quad δ ted vers, car f est cotiue sur [, ] compact, doc uiformémet cotiue. 68

69 5. Des résultats de covergece uiverselle 5.. Risque poctuel Soit x fixé das [, ]. Le risque poctuel ted vers sur la classe des foctios cotiues : Théorème 5... O suppose f cotiue, et qu il existe h telle que les coditios suivates sot vérifiées : i lim + W,i x dx = ii pour tout δ >, lim + x x i >δw,i x dx =. Alors [ ] lim E f f x f x =. + Preuve. La preuve est la même que pour le risque quadratique e elevat les Risque uiforme Pour l étude du risque uiforme, la décompositio biais-variace coduit à { } f f = sup W,i x fx i f x + W,i x ε i x [,] sup x [,] { } W,i x fx i f x + sup x [,] { } W,i x ε i. Le terme de biais peut s étudier comme pour les risques quadratiques poctuels ou itégrés, mais le terme de variace est plus délicat à traiter. Pour cela, o utilisera le lemme suivat. Lemme 5... Soiet Z,..., Z M des variables aléatoires réelles telles qu il existe α > et C > tels que pour tout j =,..., M, E[expαZ j ] C. Alors [ ] E max Z j j M α logcm. Preuve. O a [ ] E max Z j j M = [ ] α E max log expαz j j M = ] [log α E max expαz j j M M α E log expαz j Puis par Jese M M E log expαz j log E expαz j log [MC]. j= j= j= 69

70 5 Estimatio o paramétrique Théorème O suppose f cotiue, et que les variables aléatoires ε i, i =,..., sot de loi N, σ. O cosidère les deux cas suivats : ou bie f est le régressogramme régulier sur la partitio d itervalles de logueur h, ou bie f est u estimateur à oyau de type 5.3 avec feêtre h et oyau K à support compact, boré, dérivable et de dérivée borée, et tel que il existe c > tel que, pour tout, pour tout x [, ], K xi x h ch. O suppose efi que les deux coditios suivates sot vérifiées : i lim + h =, ii lim + h / log = +, Alors lim E f f f + =. Preuve. O commece par { E f f f E f sup x [,] W,i x fx i f x} + E f sup x [,] O sait que, das les deux cas, il existe A > tel que W,i x = dès que x x i > Ah Pour le terme de biais, o a alors das les deux cas e utilisat i : sup x [,] { { W,i x fx i f x} sup u v Ah fu fv } W,i x ε i. qui ted vers quad ted vers l ifii car f est uiformémet cotiue sur [, ]. Pour le terme de variace, o cosidère séparémet les deux familles d estimateurs. Cosidéros tout d abord le cas où f est le régressogramme régulier sur la partitio d itervalles de logueur h, c est à dire h = /k où k est u etier. Alors, pour j =,..., k, le ombre j de i tels que x i I j = [j /k ; j/k est compris etre [h ] et [h ] +. O a alors, si o ote, pour j =,..., k, Z j = i:x i I j ε i, et sup x [,] { } W,i x ε i [h ] max Z j. j k La variable aléatoire Z j a même loi que j σ U où U suit la loi N,. O a alors pour α > assez petit E expαz j =, doc e preat α = αj σ 4σ [h, o a ]+ E expαz j, et e utilisat le lemme 5.. o obtiet E f [ max j k Z j ] σ k [h ] + log, 7

71 5.3 Vitesse de covergece sur des classes de Holder ce qui doe E f sup x [,] { } W,i x ε i = O log h h et les coditios i et ii doet le résultat. Cosidéros maiteat le cas où f est u estimateur à oyau. Notos M =, et t j = j M, j =,..., M. O a pour tout x [, ], si j est l idice miimisat x t j : { W,i x ε i ch Notos pour j =,..., M, E f sup x [,] xi t j K { } W,i x ε i h ε i + xi x K K xi t j Z j = K O a alors, e utilisat les propriétés du oyau K : ch E f h ε i. max j M Z j E utilisat le lemme 5.. o obtiet que E f max Z j = O h log M, j M et doc E f sup x [,] et le théorème s e suit. h xi t j h } ε i. + K Mh E f ε i. { } log M log W,i x ε i = O + h h Mh = O h 5.3 Vitesse de covergece sur des classes de Holder O s itéresse maiteat aux vitesses de covergece sur des classes plus restreites que celle des foctios cotiues. O itroduit, si α ], ] et L > l esemble de foctios de [, ] das R F α,l = { f : x, y [, ], fx fy L x y α}, et o va chercher à évaluer le risque maximum sur cette classe des estimateurs que l o a itroduits. 7

72 5 Estimatio o paramétrique O se place das le modèle 5., avec échatilloage régulier : x i = i, i =,...,. O suppose que f est u estimateur liéaire : x [, ], f x = W,i x Y i tel que : Pour tout x [, ], pour tout, pour tout i =,...,, W,i x Et pour tout x [, ], pour tout, W,i x =. O suppose de plus qu il existe A > W,i x = dès que x x i > Ah et qu il existe C > tel que de plus, pour tout x, W,i x C h. E repreat l étude du biais, o voit que pour tout x [, ], si f F α,l, E f fx fx L Ah α et pour le terme de variace, pour tout x [, ], V ar f fx σ C h. Comme ces termes e dépedet pas de f, e choisissat h de l ordre de /α+, o obtiet facilemet que le risque quadratique maximum et le risque poctuel maximum sot d ordre α/α+ : Théorème O suppose que f est u estimateur liéaire vérifiat les propriétés idiquées ci-dessus. Alors, il existe C > tel que pour tout > : [ ] α/α+ sup f x f x dx C, f F α,l E f et pour tout x [, ] et pour tout > : [ ] α/α+ sup f x f x C. f F α,l E f Pour le risque uiforme, das le cadre du Théorème 5..3, le terme de variace est d ordre log /h, et e choisissat h de l ordre de / log /α+, o obtiet facilemet que le risque uiforme est d ordre / log α/α+ : Théorème O suppose que les variables aléatoires ε i, i =,..., sot de loi N, σ. O cosidère les deux cas suivats : 7

73 5.4 Mioratio de risques miimax ou bie f est le régressogramme régulier sur la partitio d itervalles de logueur h, ou bie f est u estimateur à oyau de type 5.3 avec feêtre h et oyau K à support compact, boré, dérivable et de dérivée borée, et tel que il existe c > tel que, pour tout, pour tout x [, ], K xi x h ch. O suppose efi que les deux coditios suivates sot vérifiées : i lim + h =, ii lim + h / log = +, Alors il existe C > tel que pour tout > : α/α+ sup E f log f f C. f F α,l Les ordres de gradeur de vitesse des risques sot-ils corrects? E risque ifii, o perd u log α/α+ par rapport aux risques quadratiques. Est-ce parce qu o a évalué trop largemet? C est ce que l o va étudier maiteat. 5.4 Mioratio de risques miimax Etat doée ue classe F de foctios de [, ] das R, o veut évaluer le risque miimax if sup E f d f, f, f f F pour le risque poctuel e x avec d f, f = fx fx, ou le risque quadratique avec d f, f = fx fx dx, ou le risque uiforme avec d f, f = f f. E particulier, o cherche ue vitesse, c est à dire ue suite v qui ted vers, telle qu il existe c > tel que pour assez grad, if sup v E f d f, f c. f f F Cette vitesse déped de F. Pour cela o va chercher à miorer le risque miimax, et v est la boe vitesse si par ailleurs o sait costruire u estimateur f pour lequel il existe C > tel que, pour assez grad, sup f F v E f d f, f C Pricipes gééraux de réductio Soit s > quelcoque. Pour miorer v E s f d f, f, o va se rameer à chercher u ombre fii de foctios de F bie séparées au ses du risque, mais qui coduiset à des observatios de lois suffisammet proches. E effet o cherche quad le problême d estimatio est le plus difficile. 73

74 5 Estimatio o paramétrique Réductio aux bores e probabilité : par l iégalité de Markov, P f d f, f sv s v E f d f, f et o va doc chercher à miorer if f sup f F P f d f, f sv. Réductio au problème de test d u ombre fii d hypothèses : Si N est u etier et f,..., f N des élémets de F, o a if f sup P f d f, f sv if f F f sup P fi d f, f i sv.,...,n et pour miorer cette quatité o cosidère, pour tester les N hypothèses f = f i, le test φ égal à l idice j qui réalise l ifimum e i de d f, f i. Choix d hypothèses séparées mais de loi assez proches : si pour tous i j, df i, f j sv, alors φ i d f, f i sv. E effet, par l iégalité triagulaire, et compte-teu de la défiitio de φ, d f φ, f i d f φ, f + d f, fi d f, fi et doc si φ i, d f φ, f i sv et d f, f i sv. O a doc motré que si f,..., f N sot des élémets de F tels que pour tous i j, df i, f j sv, alors if sup E f d f, f s v if sup P fi φ i. 5.5 f f F φ,...,n Toute la questio maiteat reviet à trouver f,..., f N das F de sorte que pour tous i j, df i, f j sv, et que les probabilités d erreur P fi φ i soiet miorées uiformémet e les tests, doc que les lois P fi, i =,..., N, soiet les plus proches possibles. Das le cas N =, o peut utiliser : Propositio Soiet P = p µ et P = p µ deux probabilités, et φ mesurable quelcoque. Alors if φ max P j φ j j=, P P V T, où P P V T est la distace e variatio totale etre P et P. Preuve. O a if φ max P j φ j j=, [P φ + P φ ] = [P φ + P φ ] = P P V T 74

75 5.4 Mioratio de risques miimax où φ est le test de Neyma-Pearso de P = P cotre P = P doé par : { φ si p z p z = z sio. Exercice : démotrer les deux égalités de l iégalité!!! Quelques rappels : la distace e variatio totale etre deux probabiités P et Q défiies sur le même espace est P Q V T := sup P A QA = p q dµ A où µ est ue mesure positive qui domie P et Q, P = pµ et Q = qµ, ce qui motre que p q dµ e déped pas de la mesure domiate choisie. Exercice : rappeler la preuve. La distace de Helliger hp, Q etre P et Q est doée par h P, Q := p q dµ et e déped pas de la mesure domiate choisie. Divergece de Kullback KP, Q : voir exercice.4.5. Lemme Si P et Q sot deux probabilités défiies sur le même espace, Preuve. P Q V T h P, Q K P, Q. 4 P Q V T = doc P Q V T h P, Q. K P, Q = = p q dµ p + q p q dµ p q dµ p + q dµ = h P, Q [4 h P, Q], = pq> pq> = p p log dµ q p p log dµ q q p log p + dµ q p p dµ pq> pq> = h P, Q. 75

76 5 Estimatio o paramétrique 5.4. Mioratio du risque poctuel Il s agit de trouver f et f das F α,l tels que f x f x sv et KP f, P f c, avec c <. Théorème Soit x [, ] fixé. O suppose que les ε i sot i.i.d. de loi N, σ. Alors il existe a > tel que pour tout, [ ] if sup E f fx fx a α/α+. f f F α,l Preuve. O pose v = α/α+. O pose f =, qui est bie das F α,l, et o cherche f sous la forme f u = c A u x h, de faço à mettre u pic e x. O veut maiteat choisir le oyau A et h de sorte que : f F α,l, f x sv, KP f, P f c, avec c <. Choisissos A tel que : A = /, Au = si u /, et Au Av u v α pour tous u, v. Par exemple : Au = u u /. O a alors pour tous u, v : f u f v c u v h et f F α,l dès que c h L. α f x = c /, et o veut doc c 4sv. Efi, sous P f, les Y i sot i.i.d. de loi N, σ, et sous P f, les Y i sot idépedats de loi N f x i, σ. O a log P f Y,..., Y log P f Y,..., Y = σ α = σ et doc e preat l espérace sous P f o obtiet KP f, P f = σ f x i = c σ i: x i x h /, Y i Y i f x i Yi f x i f x i xi x A h c σ [h ] +. Si o pred c = Lh α, o a f F α,l, puis o choisit h = γ /α+, et c 4sv dès que Lγ α 4s, doc o pose 4s = Lγ α, efi c σ [h ] + σ L γ α+ + L γ α α/α+ L γ α σ 76

77 5.4 Mioratio de risques miimax si γ <, et e preat γ > assez petit o a bie L γ α σ < Mioratio du risque quadratique Si l o veut utiliser ce que l o a fait pour le risque poctuel, avec le choix de f = et f = c A x h, o a toujours besoi que : c Lh α et h c b pour ue costate b > assez petite. Maiteat, u x d f, f = f u du = c A du = c h A udu. h Si l o veut d f, f sv, o veut c h / sv. Comme o veut la meilleure vitesse possible comme miorat, o veut v le plus grad possible. Pour cela, il faut choisir c h le plus grad possible, doc choisir c = Lh α, ce qui doe h α+ b/l, soit h b /α+. Comme o doit avoir Lh α+/ sv, o obtiet v L α+//α+ / s, ce qui est o α/α+ qui est la vitesse attedue. Se rameer à deux hypothèses e suffit pas, ce qui est pas étoat puisque le risque itégré compare les foctios sur [, ]. O va utiliser deux outils : Le lemme de Fao-Birgé, pour cotrôler l erreur de test avec N hypothèses, Le lemme de Varshamov-Gilbert, pour costruire des familles de poits écartés. Soit m u etier, et t,..., t m des poits das [, ] que l o précisera plus tard. Soiet ϕ,..., ϕ m les foctios doées par ϕ j = c A sorte que ϕ j F α,l, j =,..., m. Soit Ω = {, } m. Pour tout ω Ω, o défiit f ω = m ω j ϕ j. j= tj h /. O pose c = Lh α, de O va chercher J Ω de sorte que {f ω, ω J} soit l esemble des élémets de F α,l avec lesquels travailler. O commece par choisir t j = j h, et m = [/h ]. O a x tj h alors, si A, alors j h + h 4 < x < jh h 4. Du coup, pour tout x, ϕ j x est o ul pour au plus u seul j, les esembles {x : ϕ j x }, j =,..., m sot disjoits, et pour tout x, si k j, ϕ j xϕ k x =. Motros maiteat que pour tout ω Ω, f ω F α,l. Soit doc ω Ω. Soiet u, v quelcoques das [, ]. Si f ω u = f ω v =, alors o a bie f ω u f ω v L u v α. Si f ω u, alors il existe j tel que f ω u = ϕ j u. E ce cas, si j h + h 4 < v < jh h 4, alors f ωu f ω v = ϕ j u ϕ j v L u v α, ou bie il existe k j tels que f ω u f ω v ϕ j u ϕ k v Lhα L u v α, car alors u v > h / car j k. O a bie motré que f ω F α,l. 77

78 5 Estimatio o paramétrique Soiet maiteat ω ω deux élémets de Ω. O a m f ω x f ω x dx = ω j ω jϕ j x = j= dx m ω j ω j ϕ j x dx j= m = c h ω j ω j j= A xdx. car les supports des ϕ j sot disjoits deux à deux. Si o ote ρω, ω = m j= ω j ω j la distace de Hammig etre ω et ω, o a m j= ω j ω j = ρω, ω, et o cherche doc J tel que, pour u s >, ω, ω J tels que ω ω, L h α+ ρω, ω sv. Si l o pred v = α/α+, comme m = [/h ], cela reviet à trouver s de sorte que ω, ω J tels que ω ω, ρω, ω sm. 5.6 Pour miorer if φ sup ω J P fω φ ω, o va utiliser le lemme de Fao-Birgé. Lemme 5.4. Lemme de Fao-Birgé. Soiet P,..., P N des probabilités sur u même espace, et A,..., A N des évéemets disjoits. Alors { } mi P N ia i γ KP, P i i N N logn + pour ue costate uiverselle γ <. Preuve. Voir l exercice Soit ω ω. O a [ KP fω, P fω = E fω σ [ = E fω σ = σ = σ { Y i f ω x i Y i f ω x i }] ] {Y i f ω x i f ω x i f ω x i f ω x i } f ω x i f ω x i m ω j ω j j= 8σ mh c = 8σ L m. i:j h <i<jh ϕ j x i 78

79 5.4 Mioratio de risques miimax Maiteat, état doée la variable aléatoire φ, les évéemets φ = ω, ω J sot disjoits. Doc e appliquat le lemme de fao-birgé, mi P L m f ω φ = ω γ ω J 8σ logn + si N + = J cardial de J. O souhaite doc avoir ml 8γσ log J. 5.7 Ce que l o cherche doc, fialemet, c est si il existe J sous-esemble de {, } m tel que 5.6 et 5.7 soiet vérifiées. Pour cela o utilise le Lemme Lemme de Varshamov-Gilbert. Soit m 8. Alors il existe u sousesemble {ω,..., ω M } de Ω = {, } m tel que ω =,...,, ρω j, ω k > m/8 pour tous j k, et M m/8. Quitte à predre L plus petit ce qui red plus petit le risque miimax, ce lemme motre qu il existe J sous-esemble de {, } m tel que 5.6 et 5.7 soiet vérifiées. O a aisi démotré : Théorème O suppose que les ε i sot i.i.d. de loi N, σ. Alors il existe a > tel que pour tout, if f sup f F α,l E f [ ] fx fx dx a α/α+. Reste à prouver le Lemme de Varshamov-Gilbert. O défiit ue suite ω j, j =,..., M aisi : ω =,..., ; o ote Ω = Ω ; Si o défiit Ω j = {ω Ω j : ρω, ω j > m 8 }, o choisit ωj das Ω j ; M est le plus petit etier tel que Ω M+ =. Il s agit doc de motrer que M m/8. Motros tout d abord que m/8 m M + k k= m. Notos j le ombre de ω Ω j tels que ρω, ω j m 8. Ces esembles sot disjoits et recouvret Ω, doc M = m. Par ailleurs, j m/8 m k=, et l iégalité k s e suit. Maiteat, m/8 m m k k= = P Z m 8 79

80 5 Estimatio o paramétrique où Z suit ue loi de Bm,. O a doc M + P Z m. 8 Mais e utilisat l iégalité de Hoeffdig : P Z m = P m Z Em Z m m 8 8 m ] exp [ 3m/8 m doc M + m/4 m/8 + pour m 8. = exp 9m m/4, 3 Lemme Iégalité de Hoeffdig. Si U,..., U m sot des variables aléatoires idépedates telles que pour tout i, a i U i b i, alors pour tout t >, m [ t ] P U i Eu i t exp m a i b i Mioratio de risque uiforme O va chercher ue mioratio avec v = log / α/α+. O va travailler avec les foctios f j, j =,..., M, M = [/h ], t j = j /h, j =,..., M. f = et f j x = Lh α x tj A h. O a déjà vu qu alors, f j F α,l, j =,..., M. Pour j k, o a f j f k = Lhα les f j ot des supports disjoits. O veut doc avoir Lh α sv pour ue costate s >, o choisit doc, pour u c >, log /α+ h = c = cv /α. O a efi M M KP f, P fj = M j= pour ue costate C >. Mais M j= σ fj x i σ h L h α 4 = C log logm + α + log log log α + log pour assez grad. O a doc : Théorème O suppose que les ε i sot i.i.d. de loi N, σ. Alors il existe a > tel que pour tout assez grad, [ if sup E f f ] log α/α+ fx a. f f F α,l 8

81 5.5 Estimatio adaptative 5.5 Estimatio adaptative O se place das le modèle 5. où les ε i sot i.i.d. de loi N, σ, et x i = i. O a vu que sur la classe F α,l des foctios α-hölderiees < α de rapport de Hölder majoré par L, le risque miimax quadratique et le risque miimax poctuel sot miorés, à costate près, par α/α+, tadis que le risque uiforme est mioré, à costate près, par / log α/α+. O a été capables de proposer des estimateurs dot le risque maximum est, à costate près, majoré par le risque miimax. Les estimateurs miimax à costate près que l o a vus sot par exemple des estimateurs à oyau, dépedat du choix d u paramètre feêtre h. Pour obteir la majoratio optimale du risque maximum, le choix de h pred e compte la valeur de α : h = /α+ pour le risque miimax quadratique et le risque miimax poctuel, et h = / log /α+ pour le risque uiforme. Du coup, sur ue classe de foctios différetes, l estimateur est plus miimax. O a besoi de coaitre la régularité de la foctio que l o estime. Si o e la coait pas précisémet, o va choisir la pire régularité a priori possible, et du coup, perdre e vitesse. O se demade doc si il est possible de faire mieux : Est-il possible de costruire u estimateur qui utilise aucue iformatio de régularité de la foctio à estimer, et qui fasse aussi bie qu u estimateur miimax qui utilise la coaissace a priori de régularité? Autremet dit : est-il possible de costruire u estimateur qui s adapte à la régularité icoue de la foctio à estimer? O va voir que l o peut proposer des estimateurs qui utiliset aucue iformatio de régularité de la foctio à estimer, mais que, e ce qui cocere le risque miimax poctuel, ils e peuvet pas atteidre les mêmes performaces que les estimateurs miimax : il y a ue perte de vitesse itrisèque au fait de devoir s adapter Mioratio risque poctuel E ce qui cocere le risque poctuel, le fait de e pas coaitre α fait perdre ue puissace de log e vitesse. Théorème Soiet α et α tels que < α < α, et L >. Soit x fixé das [, ]. Il existe f F α,l et f F α,l et c > tels que lim if if max + T { [ E f log α α + T f x ] [ ]} α α + ; E f T f x c. log Ue coséquece de ce résultat est que, si T est u estimateur, alors il est impossible que : [ α ], ], lim sup sup E f α α+ T fx ] < +. + f F α,l 8

82 5 Estimatio o paramétrique La seule chose que l o puisse espérer, maiteat, est de costruire u estimateur T tel que [ α ] α+ α ], ], L >, lim sup sup T fx < +. + log f F α,l E f O dira alors que T est adaptatif à costate près. Preuve. Soit A le oyau déjà utilisé doé par Au = / u u /, qui vérifie : A est symétrique, A F,/, Au = pour u /, et A = /. O pose f =, et f est doée par f u = Lh α A u x h. O cherche h sous la forme h = u /α +, où u ted vers quad ted vers l ifii. O a déjà vu qu alors, f F α,l. Esuite, il est aturel de chercher la vitesse miimax sous la forme u α/α+, et l o étudie doc [ α ] α ]} α M := max {E f u + T f x α ; E f [u + T. Le but est de chercher u qui ted vers, le mois vite possible, de sorte que M soit mioré par ue costate >. O sait que e preat u =, o obtiet u miorat, das chaque classe, et que, avec deux classes, o a bie if max T { [ ] [ ] } sup E f α α + T fx ; sup E f α α + T fx >. f F α,l f F α,l O va doc chercher si o peut obteir u miorat avec u tel que u ted vers l ifii. E otat U = T /f x et D = u, avec = α α + α α + <, o a M = L { [ 4 max E f U ] [ ] } ; D E f U {E f [U ] [ ] } + D E f U L 8 = L 8 E f { U + D U dp f dp f }. Par ailleurs, dpf log dp f = σ [ ] Y i f x i Yi = σ = σ Y i f x i + σ f x i Y i f x i f x i σ f x i. 8

83 5.5 Estimatio adaptative Notos avec O a M L 8 E f q Z = σ Y i f x i f x i q = σ q = L σ u f x i. et sous P f, Z suit la loi N,. O a doc : { U + U exp A udu + o, [ ]} q Z q + log u. O cherche à trouver q tedat vers l ifii tel que le membre de droite soit mioré, sachat que U et Z e sot pas idépedates. O voit bie que cela coduit à chercher u tel que l ordre de gradeur de u soit le même que celui de log u, doc sous la forme u = a log pour u a >. Soit maiteat M >, et itroduisos les évéemets B = U e q et C = Z M. Notos Φ la foctio de répartitio de la loi N,. O a tout d abord M 8 L P f B e q + Pf B C C exp Par ailleurs, [ M + q q + log u P f B C C Pf B C Pf C C = Pf B C ΦM. Si P f B C ΦM, alors [ ] 8 M ΦM exp M + q L q + log u. Si P f B C ΦM, alors M 8 L [ ΦM] e q. Choisissos M tel que ΦM = /4, o a { [ ]} 8 M L mi e q ; 4 exp M + q q + log u Il est possible de choisir a > tel que le deuxième membre ted vers l ifii, et avec ce choix o obtiet le théorème. ]. 83

84 5 Estimatio o paramétrique 5.5. Estimatio adaptative par la méthode de Lepski risque poctuel Il s agit maiteat de trouver u estimateur adaptatif T, c est à dire tel que : [ α ] α+ α ], ], L >, lim sup sup T fx < +. + log f F α,l E f Il s agit de faire de la sélectio de modèle : o sait costruire des estimateurs si le modèle F α,l est cou, l estimateur déped e gééral d u paramètre h feêtre pour u oyau, dimesio pour ue projectio, et il s agit de choisir h. Il existe différetes méthodes : validatio croisée, moidres carrés ou vraisemblace péalisés voir cours de P. Massart. O va ici préseter la méthode de Lepski. Das tout les cas, il s agit de réaliser u bo compromis biais-variace. O ote H = { } i, i =,...,. Pour tout h H, o ote V h = {i : x i ]x h; x + h]} et N h le cardial de V h. Pour tout réel h >, soit f h x = Y i, N h i V h et o défiit, avec c = 6, Puis C h = h cσ log. ĥ = max{h H : max C h H, h h f h x f h x }. h O pose alors, pour M =, O a alors T = fĥx M M. Théorème L estimateur T est adaptatif : α ], ], L >, lim sup + sup f F α,l E f Preuve. O fixe α ], ], L >, et f F α,l. Tout d abord, pour tout h H, N h h et [ α ] α+ T fx < +. log [ ] E f fh x fx L h α + σ h. 84

85 5.6 Risques miimax et Régios de cofiace Exercice : démotrer ces deux iégalités. Esuite o motre que pour assez grad, E f [ T fx ĥ h ] Exercice : le démotrer. Puis o motre que pour assez grad, [ ] E f T fx ĥ<h M h H,h h {L h α + σ h + C h }. 5.8 P f C h f h x f h x >. 5.9 Exercice : le démotrer. O fixe h H, h h. Motrer qu il existe ue variable aléatoire Uh de loi N, telle que f h x f σ h x Lh α + Uh h 5. Exercice : le démotrer. O déduit alors de 5.9 et 5. que si h c σ /α+ log 6L, 5. alors E f [ T fx ĥ<h ] M c /8. 5. Exercice : le démotrer. O utilise que si U N,, alors pour tout t >, P U > t exp t. Déduire de 5.8 et 5., et des choix c = 6 et M =, que T est adaptatif. 5.6 Risques miimax et Régios de cofiace O va dire maiteat quelques mots sur la questio de la costructio de régios de cofiace o paramétriques. O se place das le cadre de la sectio 5.5 du modèle de régressio, et o cherche par exemple à costruire ue régio de cofiace I pour f, c est-à dire ue collectio d itervalles I x, x ], [, dot les bores sot des foctios mesurables des observatios. O s itéresse alors à l évéemet f I := x [, ], fx I x. Aisi o appellera aussi I ue bade de cofiace. Pour bâtir ue régio de cofiace, e gééral, o part d u estimateur, et o évalue sa loi, de sorte que l o puisse évaluer la probabilité que la valeur icoue soit das u 85

86 5 Estimatio o paramétrique itervalle autour de l estimateur. Cette loi déped de la quatité icoue, et ce est pas évidet que l évaluatio du risque miimax et l existece d estimateurs miimax coduise simplemet à des itervalles de cofiace. E fait, o va voir que u estimateur adaptatif peut s adapter à u modèle sous-jacet, mais e révèle pas à quel modèle il s adapte, avec la coséquece que des itervalles de cofiace o paramétriques sot plus larges que le risque etre l estimateur adaptatif et la quatité estimée. O cosidère doc I ue bade de cofiace, c est à dire u itervalle dot les bores sot des foctios mesurables de Y,..., Y. O dira que I est ue bade de cofiace asymptotiquemet hoête pour estimer f au iveau de cofiace δ pour la famille F si lim if if P f f I δ f F Maiteat, o a vu que pour l estimatio adaptative de f, l écart poctuel de l estimateur adaptatif à la vraie valeur icoue avait ue espérace majorée uiformémet sur F α,l avec ue vitesse v α, pour tout α ], ] : log α/α+ v α =. O espère doc que la largeur d ue bade de cofiace I ait ue espérace majorée uiformémet sur F α,l par la vitesse v α, c est à dire qu il existe ue costate C > telle que pour tout α >, o ait, sup E f [ I ] Cv α, f F α,l où l o a défii, si A est u itervalle et A est sa largeur : I := sup I x. x [,] E ce cas o dira que I est adaptatif simultaémet sur les F α,l. E fait, o va motrer que ce est pas possible : I e peut pas être à la fois hoête et adaptatif. Soiet α et α fixés tels que < α < α <, et soit F = F α,l F α,l. O a F α,l F α,l, doc e fait F = F α,l. Le résultat suivat est ue coséquece du Théorème de M. Low Aals of Stat Théorème Si I est ue bade de cofiace asymptotiquemet hoête pour estimer f au iveau de cofiace δ > pour la famille F, alors lim sup + f F α,l E f [ I ] v α = +. 86

87 5.6 Risques miimax et Régios de cofiace Preuve. O pose f = et pour u x fixé das ], [, f = Lh α A u x h, avec h = u /α +. O a f F α,l et f F α,l. Comme f x >, o a et doc I I x = + sup E f [ I ] f x f F α,l f x λf x I xdλ f x λf x I xdλ, P f λf x I x dλ. Maiteat, si λ, alors λf F α,l. Doc comme I est u itervalle de cofiace asymptotiquemet hoête pour estimer fx au iveau de cofiace δ > pour la famille F, pour assez grad, P λf λf x I x P λf λf I δ. Par défiitio de la orme e variatio, P f λf I P λf λf I P λf P f V T. Mais P λf P f V T KP λf, P f λ Cu pour ue costate C > calcul déjà vu. O a fialemet pour assez grad [ δ sup E f [ I ] f x f F α,l [ δ = f x Lh α δ/8 ] Ca λ ] Cadλ e choisissat u = a > assez petit. Comme h = a/ /α+ et < α < α <, o a h α lim + v α = +. Ce résultat est assez perturbat. Sigifie-t-il que, bie que l o dispose d estimateurs adaptatifs de fx pour tout x, o e puisse faire de l iférece statistique sur f qui soit adaptative, c est à dire sas coaissace a priori de la régularité de f? Des travaux 87

88 5 Estimatio o paramétrique récets motret que o, l idée de départ est de repredre le lie etre itervalles de cofiace et tests. Voir travaux de R. Nickl. Il s agit de séparer les esembles de régularité. Etat doée ue suite ρ de réels strictemet positifs ayat vocatio à tedre vers, o ote cet esemble déped aussi de α : F α,l ρ = { } f F α,l : if g f ρ. g F α,l O dira que I est adaptatif pour F = F α,l F α,l ρ si il existe ue costate C > telle que O a alors sup E f [ I ] Cv α et f F α,l sup E f [ I ] Cv α. f F α,lρ Propositio Si il existe ue bade de cofiace I adaptative et asymptotiquemet hoête pour estimer f au iveau de cofiace δ > / pour F = F α,l F α,l ρ, alors lim if + ρ α /α + >. Preuve. O suppose le cotraire, et o va motrer ue cotradictio. Soit doc I ue bade de cofiace adaptative et asymptotiquemet hoête pour estimer f au iveau de cofiace δ > / pour F = F α,l F α,l ρ avec lim + ρ α /α + =. Remarquos tout d abord que si ρ ρ, alors F α,l ρ F α,l ρ et doc I est adaptatif et asymptotiquemet hoête pour estimer fx au iveau de cofiace δ > / pour F = F α,l F α,l ρ. O peut doc choisir ρ de sorte que ρ ρ, lim + α /α + ρ = et lim + log α /α + ρ = +. Soit maiteat f = et, pour u x fixé de ], [, f = Lh α A x h, avec h = u /α +, tel que Lh α / = ρ, de sorte que f F α,l ρ. Soit efi φ = f I. O a E f φ P f f I et f I + P f f I et f / I P f f f I + P f f / I P f I ρ + δ + o E f I + δ + o ρ o + δ + o 88

89 5.7 Exercices car I est adaptatif et asymptotiquemet hoête pour estimer f au iveau de cofiace δ pour F = F α,l F α,l ρ. De plus, comme I est asymptotiquemet hoête, E f φ δ + o, et doc Mais aussi E f φ + E f φ δ + o. if ψ test {E f ψ + E f ψ} = P f P f V T cotradictio car δ < /. 5.7 Exercices = O u = O / ρ α +/α = o Exercice Estimatio par polyômes locaux O observe Y i = fx i + ε i, i =,...,, où x i = i/, les ε i sot idépedates et de même loi N, σ où σ est cou, et f : [, ] R est icoue. O suppose que f F β,l, où, si l est la partie etière de β : { F β,l = f : u, v [, ], f l u f l v L u v β l}. Soit K u oyau à support compact iclus das [, ] tel qu il existe K mi >, K max <, et > tels que pour tout réel u, K mi u K u K max u. Soit x u poit fixé das ], [, et h N ue suite de réels strictemet positifs tels que lim + h = et lim + h = +. O ote U u = T, u, u!,..., ul T, θ x = f x, f x h, f x h l!,..., f l x h l. O appelle estimateur localemet polyômial d ordre l le vecteur de R l+ : θ x = arg mi θ R l+ [ Y i θ T U ] xi x xi x K h h. E particulier, f x = U T θ x. 89

90 5 Estimatio o paramétrique. Soit M,x la matrice symétrique M,x = h xi x xi x T xi x U U K Motrer que pour assez grad, if V T M,x V K mi if V T Uz dz. V = V = h. E déduire qu il existe et λ > tels que pour, la plus petite valeur propre de M,x est supérieure ou égale à λ et doc que M,x est iversible. 3. Motrer que pour, f x est u estimateur liéaire, i.e. que h h. f x = Y i W,i x pour des poids W,i x que l o calculera. 4. Motrer que si Q est u polyôme de degré iférieur ou égal à l, Q x i W,i x = Q x. 5. Motrer que 6. Motrer que sup W,i x K max. i,x h λ W,i x 6K max λ. 7. Motrer que pour [ ] E f x f x 6K maxl h β λ l!, et [ ] K E f x E f x maxσ λ. h 8. E déduire qu il existe ue costate C < + telle que lim sup sup E f [ ] β/β+ f x f x C. + f F β,l x [,] 9

91 5.7 Exercices Exercice Risque asymptotique local d u estimateur à oyau O observe Y,..., Y qui vérifiet : Y i = f x i + ε i, i =,...,. Les valeurs d observatios de la foctio de régressio f sot x i = i, et ε i i N est ue suite de variables aléatoires i.i.d. cetrées et de variace σ. O s itéresse à l estimateur à oyau de la foctio de régressio f au poit x ], [ : f Y xi x ik h x =. K xi x h Le oyau K est ue foctio positive ou ulle, à support compact, paire, lipschitziee, et d itégrale sur R. La feêtre h N est ue suite de réels tedat vers.. Motrer que si lim + h = +, si f est deux fois cotiûmet dérivable et si f x, alors [ ] V ar f x = σ K u du + o, h et [ ] E f x f x = h f x u K u du + o. [ ]. E déduire que la feêtre optimale qui miimise asymptotiquemet E f x f x est [ h = /5 σ ] /5 K u du f x u K u du, [ ] et que si h = a /5, lim + E 4/5 f x f x est ue costate positive fiie. 3. Et si f est s fois dérivable? Exercice O observe Y i = fx i + ε i, i =,...,, où x i = i/, les ε i sot idépedates et de même loi N, σ où σ est cou, et f : [, ] R est icoue. O suppose que f F β,l, où, si l est la partie etière de β : { F β,l = f : u, v [, ], f l u f l v L u v β l}. Motrer qu il existe ue costate c > telle que pour tout etier, [ if sup E f β/β+ T f x ] c. T f F β,l 9

92 5 Estimatio o paramétrique. Avec la méthode du cours, e preat F = {, f} avec f u = c m u x h et m u = [ ] exp u u.. Avec l iégalité de va Trees, e preat la famille f θ doée par f θ u = L u x a θβ m θ pour u bo choix de a, et si q est ue desité de probabilité dérivable sur [, ], qui s aule e et e, q u = u q. v v Exercice Lemme de Fao-Birgé Soit P,..., P N des probabilités sur u même espace de probabilité. Soit a = sup T mi P it = i, i N où le sup e T est pris sur les estimateurs radomisés ie foctio de X de loi ue des P k et d ue variable aléatoire U, idépedate de X.. Motrer que a N+. O cosidérera maiteat u T tel que a T = mi i N P i T = i otera A i l évéemet T = i.. Motrer que si P et Q sot deux probabilités, { K P, Q = sup fdp : } exp fdq =. N+, et l o 3. Motrer que pour tout λ, K P i, P λp i A i log exp λ Ai dp. 4. E déduire que at K λa T g N, λ où K = N N K P i, P et gp, λ = log pe λ + p. 9

93 5.7 Exercices 5. E déduire que avec ψ a T K, Nx N x ψx = x log + x log. x N + x 6. Motrer que sur [ N+, ], ψ est croissate de à +. E déduire que a T ψ K. 7. Pour redre plus explicite le résultat précédet, o essaye de cotrôler ψ. O peut par exemple motrer que ψx = x logn + + hx, N, et que si l o pose fy = sup{x : hx, y }, f est décroissate et ted vers ue limite fiie l quad y ted vers +. Motrer que K a f N logn +. Exercice Exame Javier 9 Nous admettros les résultats suivats : O ote L [, ] l esemble des foctios mesurables f : [, ] R telles que f xdx <. Si l o ote φ x =, φ k x = cosπkx et φk+ x = siπkx pour tout x [, ] et k =,,..., alors {φ j } j= est ue base orthoormée de L [, ], c est-à-dire que pour tout j, k, φ j xφ k xdx = δ jk avec δ jk = si j = k et sio. E outre, pour tout etier, o a : φ j i/φ k i/ = δ jk pour tous j, k. Si pour ue f L [, ], les coefficiets de Fourier θ j := fxφ j xdx vérifiet alors o a la représetatio θ j <, 5.4 j= fx = θ j φ j x j= 93

94 5 Estimatio o paramétrique pour tout x [, ]. Par ailleurs, si f = f et fu fv L u v pour tout u, v et u réel L >, alors j θj L/π. j= Cosidéros le modèle de régressio y i = fx i + ε i, i =,...,, où les ε i sot idépedates cetrées et de même variace σ >, x i = i/ et f L [, ] est icoue. O suppose que f = f, fu fv L u v pour tout u, v et u réel L >, et que les coefficiets de fourier {θ j } de f vérifiet 5.4. O estime alors f par N ˆf N = ˆθ j φ j, j= où N est u etier positif fixé et où pour tout j, ˆθ j = y i φ j x i.. Motrer que ˆf N est u estimateur de type moidres carrés, au ses où il miimise y i fx i sur l esemble des foctios f de la forme f = N j= a jφ j, a j R.. Vérifier que ˆf N est u estimateur liéaire. 3. Das la suite, o ote α j = fx i φ j x i θ j. Motrer que pour tout j =,...,, Eˆθ j = θ j + α j et E[ˆθ j θ j ] = σ / + α j. 4. E déduire que [ ] E ˆf N x fx dx = σ N + θj + j=n+ N αj. j= 5. Motrer que max α j θ j. j j + 94

95 5.7 Exercices 6. E appliquat l iégalité de Cauchy-Schwarz, e déduire qu il existe C L > e dépedat que de L tel que max α j C L. j 7. Motrer alors que [ ] E ˆf N x fx dx σ + CL N + L π N. 8. Commet choisir N? Majorer le risque quadratique itégré de ˆf N pour ce choix de N. Commeter. Exercice Exame Javier O observe y i = fx i + ε i pour tout i =,..., où x i = i/, les ε i sot i.i.d. cetrés de variace σ >, et f : [, ] R est icoue. Pour u d ], [ fixé, o estime f d par ˆf d = h d h <i<d+h d y i K xi h où h est ue feêtre telle que h et h lorsque et K est par exemple le oyau d Epaechikov. Pour u réel A > doé, o ote F A l esemble des foctios g : [, ] R deux fois dérivable avec g A, g A et g A, et o suppose f F A.. Motrer qu il existe CA > e dépedat que de A tel que E ˆf d f d CA h + h.. Motrer qu il exists ue costate C > telle que var ˆf d Cσ. 3. E déduire qu il existe CA, σ > e dépedat que de A et σ tel que E ˆf d f d CA, σ h + h Motrer que si ε i N, σ, alors il existe ca, σ > e dépedat que de A et σ tel que if sup E T f d ca, σ /5 T f F où l if est pris sur l esemble des estimateurs. O pourra pour cela cosidérer la famille costituée de la foctio idetiquemet ulle et de f u = c kd u/h pour des c et h bie choisis avec par exemple, ku = Ku + /. h 3 95

96 5 Estimatio o paramétrique 5. Commet proposez-vous de choisir h das la défiitio de ˆf? Quelle propriété de ˆf pouvez-vous éocer pour ce choix de h? Exercice Exame Javier Soit X ue suite de variables aléatoires réelles idépedates de desité f par rapport à Lebesgue, dot o otera P f la loi. Soit K ue foctio de R das R telle que Kx = si x, Kx et Kx Ky x y pour tous réels x et y. O suppose de plus que R Kudu =. Pour tout h >, o otera K h la foctio de R das R telle que pour tout réel x, K h x = h K x h, et f h l estimateur doé par : pour tout réel x, f h x = K h x X i. Pour tout α ], ], L >, M >, o ote F α,l,m l esemble des desités f sur [, ] telles que fx M, fx fy L x y α pour tous réels x et y das [, ]. O ote aussi, pour toute foctio g de R das R, g = R gx dx et g = R g xdx /, et o rappelle que le produit de covolutio de deux foctios réelles g et m itégrables et de carré itégrable est la foctio g m doée par : pour tout réel x, g m x = g x u m u du. R. Motrer que pour toutes foctios réelles g et m itégrables et de carré itégrable,. O ote E f l espérace prise sous P f. g m g m. 5.5 a Motrer que E f fh = K h f, puis que si f F α,l,m, pour tout h >, E f fh f L h α. b Motrer que si f F α,l,m, pour tout h >, E f fh E f fh h K. c E déduire que sup E f f h f CL, α, K α/α+ f F α,l,m pour ue costate CL, α, K qui e déped que de L, α, et K. 96

97 5.7 Exercices 3. O va maiteat proposer ue maière de choisir h sas coaissace a priori sur f d après A. Goldeshluger et O. Lepski. Soit H = [h, H ] avec < h < H <. O ote pour tous h > et k > f h,k = K k f h. O admettra que l o peut choisir a > tel que si est tel que 8 f H + 4, alors { [ E f sup f h E f f h a ] } h H k K C log H { exp + h 6 f H pour ue costate C > qui e déped pas de f, et o défiit pour tout h H [ f k f h,k a K ] k A h = sup k H puis o choisit ĥ qui miimise {Ah+ a K h } sur H. L estimateur fial est f = fĥ. a Motrer que pour tous h > et k >, f h,k = f k,h. b Soit h H quelcoque fixé. Motrer que f f h, ĥ + f h, ĥ f h A h + A ĥ +, + a K ĥ et e déduire que f f f f h + a K + A h. h c E utilisat 7., motrer que pour tout k H, f k f h,k E f fk f h,k f k E f fk, + a K h } et que Ef fk f h,k f K h f. d E déduire que A h sup k H [ f k E f f k a ] k K + f K h f. + e O choisit h = et H =. Motrer que pour des costates C log, C et C 3 qui e dépedet pas de f, o a f E f f if h H { } K C f K h f + C + C 3 h dès que où est u etier qui déped de f. f Coclure. 97

98

99 6 Estimatio Bayésiee 6. Gééralités O dispose d ue observatio X = X,..., X, et d u modèle {P,θ, θ Θ}, esemble de lois possibles pour l observatio. O met sur Θ ue loi Π, dite loi a priori. Cela suppose que Θ est probabilisable mui d ue tribu. Cela reviet à cosidérer que θ est ue variable aléatoire T de loi Π, et que le modèle décrit les lois de X coditioellemet à T = θ. O se placera das la situatio où le modèle est domié, et l o otera, pour tout θ Θ, p,θ la desité de P,θ par rapport à la mesure domiate. La méthodologie bayésiee cosiste à baser l iférece statistique sur la loi a posteriori : loi de T coditioellemet à X, que l o otera Π X. O a pour tout esemble mesurable A Π T A X = A Π dθ p,θ X Θ Π dθ p,θ X. 6. Remarque importate : La loi a posteriori est aléatoire. Exemple : O cosidère le cas où Θ = R, P,θ = N θ,, la loi a priori est Π = N, σ. Alors la loi a posteriori est σ Π X,..., X = N X i σ +, σ σ. + Exercice : le démotrer. A partir de la loi a posteriori, o peut bâtir des estimateurs : par exemple moyee a posteriori, médiae a posteriori, e miimisat u risque a posteriori estimateurs bayésies : voir cours de M. O peut aussi costruire des esembles de crédibilité : I est u esemble de crédibilité pour θ de iveau de crédibilité α si Π T I X,..., X α. Reprise de l exemple : das l exemple précédet, si u α/ est u quatile d ordre α/ de la loi gaussiee cetrée réduite, [ σ I = X i σ σ + σ + u α/; σ X ] i σ σ + + σ + u α/ 99

100 6 Estimatio Bayésiee est u esemble de crédibilité pour θ de iveau de crédibilité α. O peut le comparer avec l itervalle de cofiace obteu avec la moyee empirique. Le faire!. Mise e oeuvre des méthodes bayésiees : calcul de la loi a posteriori par algorithmes performats Metropolis-Hastig, Gibbs. Cela déped quad même de la complexité de la loi a priori : si Θ est o paramétrique, choisir ue loi a priori est u sujet e soi. Le calcul d esembles de crédibilité e demade rie d autre que la calcul de la loi a posteriori ; pas besoi de calculer d iformatio de Fisher par exemple, avec le problème de so estimatio plug-i, etc... Etude fréquetiste : Si X,..., X est de loi P, que peut-o dire de la loi a posteriori? E particulier, si P = P θ, pour u θ Θ, la loi a posteriori se cocetre-t-elle e θ quad ted vers l ifii? O va adopter le poit de vue fréquetiste, et étudier la questio de la cocetratio de la loi a posteriori cosistace, aisi que la vitesse de cocetratio ; quelles sot les coditios que cela impose sur la loi a priori. E paramétrique : commet cela se compare à l estimatio par maximum de vraisemblace? E o paramétrique : obtiet-o les vitesses miimax? Peut-o obteir des résultats adaptatifs? 6. Estimatio bayésiee paramétrique O se place das la situatio où Θ R k, et le modèle est celui de variables i.i.d., soit P,θ = P θ. Souvet o cosidérera que le modèle P θ θ Θ est domié par ue mesure domiate λ, doc que P,θ = p θ λ, et que la loi a priori Π admet ue desité π par rapport à Lebesgue. La loi a posteriori das ce cas a doc ue desité π X,..., X par rapport à Lebesgue qui est doée par : π θ X = π θ p θ X i Θ π s p s X i ds. 6. O voit que la compréhesio du comportemet de la loi a posteriori passe par la compréhesio du comportemet de la vraisemblace sur Θ. 6.. Cosistace Si θ Θ, o ote P θ la loi de X, suite de variables aléatoires i.i.d. de loi P θ. O dit que la suite de lois a posteriori Π X,..., X est P θ -cosistate si elle coverge e loi vers δ θ, e P θ -probabilité.

101 6. Estimatio bayésiee paramétrique O dit que la suite de lois a posteriori Π X,..., X est fortemet P θ - cosistate si elle coverge e loi vers δ θ, P θ -ps. Remarque. : attetio à ce que cela sigifie. Si ρ, métrise la covergece e loi exemples de telles métriques?, cela sigifie que ρπ X,..., X, δ θ coverge e P θ -probabilité ou P θ -ps vers. O a u résultat de cosistace très gééral, qui e vaut pas seulemet pour Θ R k, mais si Θ est métrique, séparable et complet. Théorème 6.. Théorème de cosistace de Doob. O suppose que le modèle P θ θ Θ est idetifiable. Alors il existe Θ Θ mesurable tel que Π Θ =, et pour tout θ Θ, la suite de loi a posteriori Π X,..., X est P θ -cosistate. Remarque. La preuve de ce théorème est omise mais est pas costructive : elle e costruit pas l esemble Θ. Doc ce résultat e dit rie pour u θ particulier, sauf si Π est ue mesure discrète. Questio : comparer les situatios de cosistace de l estimateur du maximum de vraisemblace et de la loi a posteriori? Il est possible d avoir l u et pas l autre : voir exercices et Voici des coditios suffisates sous lesquelles les deux cosistaces ot lieu. O se place das le cadre d u modèle domié. Théorème 6... O suppose Θ compact, que le modèle P θ θ Θ est idetifiable, et que pour tout x, θ log p θ x est cotiue. Soit θ Θ. O suppose que sup θ Θ log p θ L P θ. Alors. L estimateur du maximum de vraisemblace est fortemet cosistat.. Si θ est das le support de Π, alors la suite de lois a posteriori Π X,..., X est fortemet P θ -cosistate. Preuve. Soit Ω l évéemet sur lequel lim sup + θ Θ pθ X i log p θ X i + K P θ, P θ =. O a P θ Ω = exercice : dire pourquoi. Sur cet évéemet, la seule valeur d adhérece possible de la suite θ θ est l estimateur du maximum de vraisemblace avec observatios est θ, doc θ coverge P θ -ps vers θ.

102 6 Estimatio Bayésiee Soit maiteat U u voisiage de θ. O a U exp log pθ X i p θ X i Π dθ Π U X,..., X = Θ exp log pθ X i p θ X i Π dθ U exp log pθ X i p θ X i Π dθ = U exp log pθ X i p θ X i Π dθ + U exp C = + U C exp log pθ X i Πdθ p θ X i U exp log pθ X i Πdθ p θ X i. log pθ X i p θ X i Comme pour tout x, θ log p θ x est cotiue, et que sup θ Θ log p θ L P θ, la foctio θ K P θ, P θ est cotiue, doc e otat A = sup θ U C K P θ, P θ, A <. Soit maiteat ɛ > tel que A + ɛ <. Pour tout ω Ω, il existe ω tel que si ω alors, pour tout θ U C, et doc si ω, U C exp pθ X i log A + ɛ p θ X i pθ X i log Π dθ Π U C e A+ɛ. p θ X i Aussi, o peut choisir V U ouvert et coteat θ tel que if K P θ, P θ > A + ɛ. θ V Exercice : dire pourquoi. Pour tout ω Ω, il existe ω tel que si ω alors, e posat B = A + ɛ, pθ X i θ V, log B ɛ p θ X i. U Π dθ Par ailleurs, comme θ est das le support de Π, Π V >. O a alors, si ω, pθ X i pθ X i exp log Π dθ exp log Π dθ Π V e B ɛ. p θ X i p θ X i Doc si ω ω, Π U X,..., X V + ΠU C e A+ɛ ΠV e B ɛ + ΠV ea+3 ɛ B = + ΠV e ɛ et doc, pour tout ouvert U coteat θ, Π U X,..., X ted vers quad ted vers l ifii sur l évéemet Ω. Exercice : dire pourquoi cela suffit pour coclure.

103 6. Estimatio bayésiee paramétrique 6.. Théorème de Berstei-vo Mises O veut savoir maiteat commet la loi a posteriori se cocetre e θ. O suppose que Π a ue desité par rapport à Lebesgue, et doc la loi a posteriori a ue desité doée par 6.. Si l o ote l θ la log-vraisemblace, cela se réécrit πθ exp l θ Θ πs exp l sds. Si l o ote H = T θ, alors la loi de H coditioellemet à X,..., X a pour desité { } πθ + h exp l θ + h πθ + h πθ + s exp l θ + s ds = exp l θ + h l θ } πθ + s exp { l θ + s l θ Maiteat, si le modèle P θ θ Θ est d.m.q. e θ, le Théorème 3.. doe pour tout s : l θ + s l θ = G s T lθ st I θ s + o Pθ. ds avec l θ le score et I θ l iformatio de Fisher du modèle e θ. Si l o suppose que I θ est iversible et que l o ote θ = I θ G lθ = I θ l θ X i, la desité de H a posteriori, pour assez grad, devrait être approximativemet πθ + h exp { h, I θ θ ht I θ h } πθ + s exp { s, I θ θ st I θ s } ds, soit, si π est cotiue et strictemet positive e θ, approximativemet exp { h, I θ θ ht I θ h } exp { s, Iθ θ st I θ s } ds. Cette desité est la desité de N θ, I θ. Doc si cette heuristique est valide, cela sigifie que la loi a posteriori de T θ est approximativemet N θ, I θ. Par ailleurs, o a vu que sous de boe hypothèses, si θ est l estimateur du maximum de vraisemblace, o a θ θ = θ + o Pθ, doc si tout cela est valide, cela sigifie que la loi a posteriori de T est approximativemet N θ, I θ. Le Théorème de Berstei-vo Mises dit quad et e quel ses ce résultat est valide. Le Théorème de Berstei-vo Mises implique qu ue régio de crédibilité pour θ de iveau de crédibilité α est ue régio de cofiace asymptotique pour θ de iveau de cofiace α. C est ce que ous allos voir maiteat. 3

104 6 Estimatio Bayésiee Théorème 6..3 Théorème de Berstei-vo Mises. O suppose que la desité a priori π est cotiue et strictemet positive e θ. O suppose que le modèle P θ θ Θ est d.m.q. e θ, que l iformatio de Fisher I θ est iversible, et que pour tout ɛ >, il existe ue suite de tests φ tels que et lim lim P θ φ = + sup + θ θ ɛ P θ φ =. Alors, si l o ote L T θ X,..., X la loi a posteriori de T θ, L T θ X,..., X N θ, I V θ T = o Pθ. Remarques. La orme e variatio totale est ivariate par traslatio et chagemet d échelle. L hypothèse sur l existece de tels tests est faible, voir par exemple le livre de Va der Vaart pages Preuve. O admettra voir livre de Va der Vaart pages que sous les hypothèses du Théorème 6..3, pour toute suite M tedat vers +, il existe ue suite de tests ψ, ue costate c >, et u etier tels que lim + P θ ψ = et pour tout θ Θ tel que θ θ M, si, P θ ψ e c θ θ. 6.3 O va faire la preuve du Théorème 6..3 sous l hypothèse supplémetaire qu il existe u voisiage A de θ et ue foctio H L P θ tels que θ, θ A, log p θ log p θ θ θ H. Rappelos que sous cette hypothèse, suivat l exercice.4., si l o ote R h = l θ + h l θ h T θ + ht I θ h, o a pour tout M >, sup R h = o Pθ. h M Soit M > quelcoque. Si U est de loi N θ, I θ, o ote Q,M la loi de U coditioellemet à U M. O ote aussi L,M la loi a posteriori de H coditioellemet à H M H est la variable aléatoire H = T θ. Ces deux lois sot aléatoires foctios de X,..., X. O va commecer par motrer que si o ote Z M = L,M Q,M V T, 4

105 6. Estimatio bayésiee paramétrique alors Z M = o Pθ. Q,M a pour desité par rapport à Lebesgue h M exp[h T θ ht I θ h] g M exp[gt θ gt I θ g]dg et L,M a pour desité par rapport à Lebesgue O sait que πθ >. Notos O obtiet alors, Z M h M δ h M πθ + h exp[l θ + h l θ ] g M πθ + g exp[l θ + g l θ ]dg δ = sup h M πθ + h πθ sup h M πθ πθ + h. exp[sup g M R g ] exp[ sup g M R g ] Q,Mdh = exp[o Pθ δ ] exp[ o Pθ = δ + o Pθ. Comme π est cotiue e θ, δ ted vers quad ted vers l ifii, et l o obtiet bie que Z M = o Pθ. Ceci est vrai pour tout M >, doc il existe ue suite M qui ted vers l ifii telle que Z M = o Pθ. 6.4 Maiteat, L T θ X,..., X N θ, I θ V T L T θ X,..., X L,M V T + N θ, I θ Q,M V T + o Pθ. Maiteat, o a calcul immédiat : N θ, I θ Q,M V T = N θ, I θ [ U M ] M/ + C I / θ v M / exp [ C v ] du = o Pθ + o pour des costates C et C qui dépedet uiquemet de I θ, doc N θ, I θ Q,M V T = o Pθ. 5

106 6 Estimatio Bayésiee De même, L T θ X,..., X L,M V T = Π H M X,..., X O a doc = Π H M X,..., X ψ + Π H M X,..., X ψ. E Pθ [Π H M X,..., X ψ ] P θ ψ = o, Π H M X,..., X ψ = o Pθ. Esuite, h M πθ + h exp[l θ + h l θ ]dh Π H M X,..., X ψ = πθ + g exp[l θ + g l θ ψ. ]dg O fixe M >, et o a, pour des costates C 3 > et C 4 >, πθ + g exp[l θ + g l θ ]dg πθ + g exp[l θ + g l θ ]dg C 3 exp g M doc il reste à motrer que πθ + h M Mais par Fubii [ P θ h M πθ + [ C M + θ h exp[l θ + sup g M R g ] = exp [ O Pθ ] h l θ ] ψ dh = o Pθ. ] h exp[l θ + h l θ ] ψ dh = πθ + h P h M θ + h ψ dh πθ + h M h e c h/ dh par 6.3. Efi, il existe δ > et C > tels que pour u δ, πθ + u C par cotiuité e θ et o a h e c h/ dh πθ + h M C M h δ e c h dh + e cδ h δ = o + O πθ + h dh k e cδ = o. 6

107 6. Estimatio bayésiee paramétrique 6..3 Coséqueces du Théorème de Berstei-vo Mises Esembles de crédibilité Dire que E,α est u esemble de crédibilité pour θ de iveau de crédibilité α sigifie que E,α est u esemble aléatoire qui déped des observatios X,..., X tel que Π T E,α X,..., X α. U tel esemble est costruit à partir du calcul de la loi a posteriori par des algorithmes MCMC appropriés et e choisissat u esemble de couverture de cette loi il est aturel de le choisir le plus cocetré possible. Si l o ote D = L T θ X,..., X N θ, I θ V T, o a par défiitio de la orme e variatio totale et du fait qu elle est ivariate par traslatio et chagemet d échelle Π T E,α X,..., X N θ + θ, I θ [E,α ] D. Si par ailleurs θ est u estimateur par exemple l estimateur du maximum de vraisemblace, si les hypothèses assuret que tel que θ θ = θ + w, avec w = o Pθ, o a que E,α = θ w + I / avec A,α tel que, si U suit la loi N k, Id, θ A,α α D P U A,α. Par ailleurs, comme θ coverge e loi vers N, I θ, si l o choisit Aα telle que l esemble P U A α = α, C,α = θ + I / θ A α est ue régio de cofiace pour θ asymptotiquemet de iveau de cofiace α. O a aisi E,α = C,α w + I / θ A,α A α. Le Théorème de Berstei-vo Mises implique que P U A,α = α+o Pθ. Doc si A,α est par exemple choisi de cocetratio maximum de la loi a posteriori, et que 7

108 6 Estimatio Bayésiee A α est la boule cetrée e telle que P U A α = α, o a A,α = A α + o Pθ, et doc e ce cas E,α = C,α + o Pθ, et e ce cas, le Théorème de Berstei-vo Mises implique que, asymptotiquemet, esemble de crédibilité et régio de cofiace costruite à partir de θ par exemple l estimateur du maximum de vraisemblace si les hypothèses permettet d écrire so asymptotique coicidet e probabilité Estimateurs poctuels bayésies Etat doée ue foctio de perte L,, o peut choisir Z qui miimise z E Lz, T X,..., X, c est l estimateur bayésie relativemet à L. Par exemple, pour la foctio de perte quadratique Lz, t = z t, Z est l espérace de la loi a posteriori, et si k =, pour la foctio de perte Lz, t = z t, Z est la médiae de la loi a posteriori. Das ces deux cas, le Théorème de Berstei-vo Mises semble dire que Z θ est l espérace resp. la médiae de la loi N θ, I θ, et doc que Z θ = θ +o Pθ. C est facile à voir pour la médiae a posteriori. Propositio 6... O se place das le cas k =, et sous les hypothèses du Théorème de Berstei-vo Mises. Soit Z la médiae de la loi a posteriori. Alors Z θ = θ + o Pθ et Z θ coverge e loi vers N, /I θ. Preuve. Par défiitio, Π T < Z X,..., X Π T Z X,..., X. Par le Théorème de Berstei-vo Mises, Π T < Z X,..., X = N θ + θ, I θ {], Z [} + o Pθ et Π T Z X,..., X = N θ + θ, I θ {], Z ]} + o Pθ. Comme la loi gaussiee e charge aucu poit, cela implique que N θ + θ, I θ {], Z ]} = + o P θ, soit, e otat Φ la foctio de répartitio de la loi gaussiee cetrée réduite, Φ Iθ [ Z θ θ ] = + o P θ. Comme Φ est iversible d iverse cotiue, le théorème de l image cotiue implique que Iθ [ Z θ θ ] coverge e P θ -probabilité vers Φ =. 8

109 6.3 Estimatio bayésiee o paramétrique 6.3 Estimatio bayésiee o paramétrique Maiteat o cosidère le cas où l esemble des paramètres F est de dimesio ifiie. E ce cas, le choix d ue loi a priori Π sur F est u sujet e soi. Par ailleurs, pour défiir la cocetratio de la loi a posteriori, il faut choisir e quel ses cette cocetratio a lieu, par exemple e fixat ue métrique sur F. O va commecer par étudier le cas de la régressio o paramétrique, où le paramètre est la foctio de régressio f, o verra ue faço simple de costruire des lois a priori, o va pouvoir obteir facilemet u théorème BVM, et obteir des vitesses de cocetratio a posteriori, que l o pourra comparer aux vitesses vues au chapitre 5. Esuite o étudiera la cosistace de la loi a posteriori das le cadre de suites de variables aléatoires i.i.d. de desité f Régressio Les observatios sot Y,..., Y, o suppose qu elles vérifiet Y i = f x i + ε i, i =,..., 6.5 où les x i sot cous, et les ε i sot i.i.d. de loi N, σ. Les paramètres icous sot f et σ, et o suppose que f F. O a alors de maière équivalete, e otat F R le vecteur f x i i, avec Y R, et ɛ suit la loi N, σ Id. Y = F + ε, 6.6 O suppose que l o dispose d ue base ϕ j j de F, et o ote pour tout etier k, k F k = θ j ϕ j, θ,..., θ k R k. j= Le modèle bayésie cosiste à choisir pour tout k ue loi a priori Π k sur R k qui iduit aisi ue loi a priori sur F k, puis de choisir k ue suite qui ted vers l ifii avec, ombre d observatios, puis de cosidérer la loi a posteriori calculée e cosidérat le modèle Y = Φθ + ε, 6.7 avec Y R, Φ la matrice k qui cotiet e coloes les vecteurs φ,..., φ k, où φ j est le vecteur ϕ j x i i, θ = θ,..., θ k, et ɛ suit la loi N, σ Id. Rappelos que l estimateur du maximum de vraisemblace = des moidres carrés calculé das le modèle 6.7 est θ = Φ T Φ Φ T Y, 9

110 6 Estimatio Bayésiee et qu alors Φ θ est la projectio orthogoale de Y sur { F k = Φθ, θ R k}. Notos Σ = Φ Φ T Φ Φ T la projectio orthogoale sur F k. Les observatios vérifiet alors Y = F ΣF + ΣF + ε, F ΣF est le biais, différet de celui que l o a das le modèle liéaire paramétrique habituel où l o suppose f F k. O va mettre ue loi a priori Π k gaussiee isotrope sur F k, Π k = N, τσ. Cela reviet à choisir Π k = N k, τ Φ T Φ car si θ suit la loi Πk, Φθ suit la loi Π k. Attetio qu avec k = k qui chage avec, la loi a priori a u support qui chage avec et doc la loi a posteriori aussi. O va maiteat calculer la loi a posteriori, otée Π k Y,..., Y qui doe Π k Y,..., Y par image par Φ, e faisat ce calcul avec le modèle 6.7, et o s itéresse à so comportemet quad Y,..., Y, vérifiet 6.6 ou de maière équivalete 6.5. O peut esuite évaluer par exemple le risque quadratique F ΣF = F ΣF + ΣF ΣF, où le premier terme est le biais, qui est proche de fois le risque quadratique itégré par approximatio de l itégrale. Le biais détermiiste déped de k et c est le secod terme qui est évalué par la cocetratio de la loi a posteriori. Ici, la orme est la orme eucidiee das R. Théorème 6.3. BVM croissat. O suppose que, quad ted vers l ifii, σ = oτ, k = o τ /σ 4, F = oτ /σ. Alors lim E Πk F + Y,..., Y N Φ θ, σσ V =, T et lim + E F Πk Y,..., Y N k θ, σ Φ T Φ V T =. Remarques. a Le théorème dit que la loi a posteriori est asymptotiquemet la même que celle du maximum de vraisemblace e modèle gaussie, l estimateur du maximum de vraisemblace est gaussie. b Si f est borée, F f, et o a F = oτ/σ dès que σ = oτ ; par exemple lorsque σ est costat, il suffit de predre k = et τ = γ pour u γ > /. c Le Théorème de Berstei vo Mises paramétrique pour le modèle gaussie est coteu das le Théorème Preuve. Remarquos tout d abord que pour tout borélie A de R k, Π k θ A Y,..., Y = Π k F ΦA Y,..., Y

111 6.3 Estimatio bayésiee o paramétrique et pour tout borélie B de R, Π k F B Y,..., Y = Π k θ Φ B Y,..., Y, et doc Π k Y,..., Y N Φ θ, σσ V Πk Y,..., Y N k θ, σ Φ T Φ V. T T O va faire le calcul de Π k Y,..., Y. Pour tout y R, otos θ y = Φ T Φ Φ T y, de sorte que Φθ y est la projectio orthogoale de y sur F k. O a alors y Φθ = y Φθ y + Φθ Φθ y = y Φθ y + Φθ + Φθ y Φθ, Φθ y et la desité par rapport à Lebesgue de Π k Y,..., Y est doc proportioelle à { exp σ + τ Φθ + σ Φθ, Φθ y σ Φθ y } σ y Φθ y à lire comme foctio de θ. U petit calcul aalogue à celui de l exercice 6.4. motre que τ Π k Y,..., Y = N τ k θ, σ Φ T τ + σ τ + σ Φ. O écrit esuite Π k Y,..., Y N k θ, σ Φ T Φ V T τ N τ k θ, σ Φ T τ + σ τ + σ Φ N k + τ θ, σ Φ T Φ N k τ + σ = N τ k, σ τ + σ + τ N k τ + σ τ τ + σ θ, σ Φ T Φ N k θ, σ Φ T Φ V T Φ T Φ N k, σ Φ T Φ V T V T θ, σ Φ T Φ N k θ, σ Φ T Φ V. T Il faut être u peu attetif esuite au fait que k déped de et doc il e suffit pas de comparer moyees et variaces. Regardos le premier terme. Tout d abord, par la trasformatio bijective θ σ Φ T Φ /, o a N k, τ σ τ + σ Φ T Φ N k, σ Φ T Φ V T = N k, τ τ + σ Id N k, Id V T

112 6 Estimatio Bayésiee τ Si o ote g la desité de N k, Id et f τ celle de N k, Id, o a +σ N τ k, τ + σ Id N k, Id = g f + dx = V T R k x g f dx k α e otat α = τ σ log + σ τ car g x f x si et seulemet si σ + τ τ k exp σ + τ τ x + x ce qui équivaut à x k α. Maiteat, si U suit la loi χ k, o peut écrire x g f dx = P U k α σ + τ k α τ P U k α = P = P [ k [ α U k k σ τ + o k k U k k α σ + τ τ k ] ] σ τ + o par u développemet à l ordre de log + u car σ = oτ. Mais U k k coverge e loi vers N,, doc le terme calculé ted vers quad ted vers l ifii puisque k = o τ /σ 4. Regardos maiteat le deuxième terme. Par la trasformatio bijective θ Φ T Φ / θ τ θ σ τ + σ o obtiet que τ N k τ + σ θ, σ Φ T Φ N k θ, σ Φ T Φ V T = N σ Φ T Φ / θ k, Id N k τ + σ, Id. V T Maiteat, si Z R k, et si g désige la desité de N k, Id o a N k, Id N k Z, Id V T = gx gx Z + dx = gx gx Z + dx. R k x,z Z Mais si X suit la loi N k, Id, X,Z X,Z Z suit la loi N,, et si X suit la loi N k Z, Id, Z suit la loi N Z,. O obtiet aisi que si U suit la loi N,, gx gx Z + dx = P U Z P U Z Z x,z Z

113 6.3 Estimatio bayésiee o paramétrique car pour tout u R, π exp u. Du coup, N σ Φ T Φ / θ k, Id N k τ + σ, Id V T = = σ Φ T Φ / θ τ + σ σ τ + σ Φ θ σ τ + σ ΣY σ τ + σ F + Σε car Σ est ue projectio qui réduit la orme. Comme F = oτ/σ, o. Maiteat, par Jese, E Σε E Σε = σ k σ F = τ+σ car Σε suit la loi σχ k par Cochra. Efi sous les hypothèses du Théorème 6.3., σ σ τ+σ k = o. Regardos maiteat les coséqueces du Théorème 6.3. e ce qui cocere la vitesse de cocetratio o paramétrique de la loi a posteriori. O se place doc das le cadre où σ = σ est costat, x i = i/, et ϕ j j est la base de Fourier de L [, ]. Soit F α,l la boule de Sobolev F α,l = θ j ϕ j, θ j j Θ α,l avec j Θ α,l = θ j j, a jθj L π α, j où a j = j α si j est pair et a j = j α si j est impair. O sait que la vitesse d estimatio optimale pour le risque quadratique itégré sur cette classe est α/α+ lorsque α > /. Ici, si f = j θ j ϕ j, le risque quadratique itégré est k j= θj θ j + + j=k + θ j avec k j= θ j θj cotrôlé par la loi a posteriori, et + j=k + θ j le biais détermiiste. Maiteat, si k = /α+, o a si f F α,l + j=k + θj = O α/α+, 3

114 6 Estimatio Bayésiee et il reste doc à cotrôler la cocetratio a posteriori de k j= θ j θ j. Théorème O suppose α > /, L > et f F α,l. O choisit k = /α+ et τ tel que = oτ. Alors pour toute suite λ qui ted vers l ifii, lim E F + Πk f f λ α/α+ Y,..., Y =. Preuve. Reste à voir que lim + E F Πk k j= θj θj λ α/α+ Y,..., Y =. Mais θ θ θ θ + θ θ. O a doc Π k k j= θj θj λ α/α+ Y,..., Y Comme α/α+ = k /, o a E F Πk k j= Π k θj θj λ α/α+ Y,..., Y E F Πk k j= k j= θ j θ λ k j 4 Y,..., Y θ j θ λ α/α+ j Y,..., Y 4 +. θ θ λ α/α+ 4 + P θ θ λ k 4 Ici, Φ T Φ = Id. Doc θ θ suit la loi N k, σ θ Id et θ suit la loi σχ k, et doc le deuxième terme du majorat ted vers quad ted vers l ifii par exemple e appliquat l iégalité de Markov. Pour le premier terme, o peut appliquer le Théorème 6.3. et o obtiet E F Πk k j= qui ted vers. θ j θ λ k j 4 Y,..., Y o+n k, [{ Id h : h λ }] k 4 4

115 6.3 Estimatio bayésiee o paramétrique O voit doc que la méthode bayésiee permet d obteir la vitesse miimax sur la classe F α,l. Pour costruire ue méthode bayésiee qui réalise l adaptativité, il faut, au lieu de choisir k, mettre ue loi a priori sur k de sorte que Π = k pkπ k Estimatio de desité O se place das la situatio où X est ue suite de variables aléatoires i.i.d. de desité f à estimer. O s itéresse doc au cas où Π a u support iclus das l esemble des desités de probabilité par rapport à ue mesure domiate µ { } L µ = f L µ : f, fdµ =. Pour obteir la cosistace de la loi a posteriori, o va avoir besoi de deux choses : Que la loi a priori mette de la masse autour de f, Que, si l o veut motrer que la loi a posteriori se cocetre sur u esemble mesurable U coteat f, o puisse séparer au ses des tests f et U C. O va doc commecer par des résultats sur les tests. Rappelos que l o appelle test ue variable aléatoire mesurable par rapport aux observatios et à valeurs das [, ]. Soit φ ue suite de tests doc pour tout, φ est ue foctio mesurable de X,..., X. O dit que c est ue suite de tests uiformémet cosistats pour tester H : f = f cotre H : f U C si et lim E f φ = + lim + if E f φ =. f U C O dit que φ est u test strictemet o biaisé pour tester H : f = f cotre H : f U C si E f φ < if f U C E f φ. O dit que la suite φ est ue suite de tests uiformémet expoetiellemet cosistats pour tester H : f = f cotre H : f U C si il existe C > et β > tels que, pour tout etier, et E f φ Ce β if E f φ Ce β. f U C Propositio Il y a équivalece etre 5

116 6 Estimatio Bayésiee i Il existe ue suite φ de tests uiformémet cosistats pour tester H : f = f cotre H : f U C ii Il existe u etier m et u test φ m X,..., X m strictemet o biaisé pour tester H : f = f cotre H : f U C iii Il existe ue suite φ de tests uiformémet expoetiellemet cosistats pour tester H : f = f cotre H : f U C. Preuve. i implique ii et iii implique i. reste doc à prouver que ii implique iii. Soit doc m tel que Pour tout etier k, o pose { si k ψ km = k φ m sio. α := E f φ m < if f U C E f φ m := γ. Xi m+,..., X im > α+γ Noter que l o utilise toujours le même test, mais appliqué à des paquets idépedats de groupes de variables. Notos Z i = X i m+,..., X im. O a E f ψ km = P f = P f k k exp { k k φ m Z i > α + γ k [φ m Z i E f φ m Z i ] > γ α } γ α par l iégalité de Hoeffdig, car φ m [, ]. Aussi, pour tout f U C, E f ψ k = P f k P f k k k car E f φ m γ si f U C,, et doc par Hoeffdig, φ m Z i α + γ [φ m Z i E f φ m Z i ] α γ } γ α E f ψ km exp { k. Pour = km, o pose φ = ψ km et l o a } γ α E f φ exp { m 6

117 6.3 Estimatio bayésiee o paramétrique et } if E f φ γ α exp {. f U C m Pour tel que km < < k + m, o pose φ = ψ km et l o a } } γ α γ α k E f φ exp { k exp { m k + et } } if E f φ γ α γ α k exp { k exp { f U C m k + Preat C = et β = γ α 4m, o voit que la suite φ est ue suite de tests uiformémet expoetiellemet cosistats pour tester H : f = f cotre H : f U C. Corollaire Soit ν ue probabilité sur U C. Si il existe u test φ X,..., X et des costates C > et β > tel que et E f φ Ce β if E f φ Ce β, f U C alors, e otat pour toute foctio f L µ, f la foctio doée par f x,..., x = fx fx f f dνf e β. Preuve. O a f f dνf = f f dνf φ + φ = φ f f dνf dµ + φ f f dνf dµ φ f dνf f dµ + φ f f dνf = E f φ dνf E f φ + E f φ E f φ dνf U C U C e β par Fubii puis l hypothèse faite sur φ. Théorème Théorème de Schwartz. O suppose que :. pour tout ɛ >, Π {f : Kf µ; fµ ɛ} >, dµ 7

118 6 Estimatio Bayésiee. et il existe ue suite de tests uiformémet cosistats pour tester H : f = f cotre H : f U C. Alors, P f -p.s., Preuve. O a Pour tout ɛ >, e ɛ L µ lim Π U X,..., X =. + Π U C X,..., X = U C L µ fx i f X i Πdf fx i f X i Πdf. fx i f Πdf eɛ e log f X i fx i Πdf. X i {f : Kf µ;fµ ɛ} Sur {f : Kf µ; fµ ɛ}, lim if + log f X i fx i ɛ P f -p.s., et doc sur {f : Kf µ; fµ ɛ}, lim if + e ɛ e log f X i fx i = +. Comme Π {f : Kf µ; fµ ɛ} >, o obtiet par Fatou, P f -p.s., Maiteat, otos E otat ɛ >, lim if + eɛ L µ q x,..., x = ΠU C U C fx i f Πdf = +. X i fx i Πdf. A f, q = f q dµ = h f µ ; q µ, comme la orme au carré est majorée par deux fois Helliger au carré, o a A f f q, q. 4 Puisqu il existe ue suite de tests uiformémet cosistats pour tester H : f = f cotre H : f U C, par la Propositio 6.3., il existe ue suite de tests uiformémet expoetiellemet cosistats pour tester H : f = f cotre H : f U C, et par le Corollaire 6.3. appliqué avec ν la loi Π coditioé à U C, pour u C > et u β >, A f, q Ce β. Maiteat, P f q X,..., X f X i e β = P f q X,..., X f e β/ Ce β/ e β = Ce β/ X i 8

119 6.3 Estimatio bayésiee o paramétrique par l iégalité de Markov, et e appliquat le Lemme de Borel-Catelli, o obtiet que P f -p.s., pour assez grad, q X,..., X f X i < e β. Doc P f -p.s., lim + eβ/ ΠU C U C et o fiit la preuve e preat ɛ = β/4. fx i f X i Πdf = Théorème O suppose que pour tout ɛ >, Π {f : Kf µ; fµ ɛ} >. Alors la loi a posteriori est faiblemet cosistate, au ses où, P f -p.s., pour tout voisiage U de f das la topologie de la covergece étroite, Π U X,..., X ted vers. Preuve. Si h est ue foctio cotiue borée, et si ɛ >, o ote { } U h,ɛ = f : hfdµ hf dµ < ɛ, et O a alors φ h [, ], et { } U h,ɛ = φ h f f dµ < ɛ φ h = h + h h. { } φ h f f dµ < ɛ. Doc pour motrer que pour toute foctio cotiue borée h et tout ɛ >, P f -p.s., lim Π U h,ɛ X,..., X =. + il suffit de motrer que pour toute foctio mesurable φ à valeur das [, ], P f -p.s., avec V φ,ɛ = lim Π V φ,ɛ X,..., X =, + { f : φfdµ } φf dµ < ɛ. Mais alors, φ est u test strictemet sas biais de H : f = f cotre H : f Vφ,ɛ C, et o peut appliquer la Propositio 6.3. puis le Théorème de Schwartz pour obteir le résultat. Maiteat, les voisiages U de f das la topologie de la covergece étroite sot de la forme U = i I { f : h i fdµ } h i f dµ < ɛ, 9

120 6 Estimatio Bayésiee où I est u esemble fii, h i, i I, sot des foctios cotiues borées et ɛ >. O a motré que pour tout voisiage U de f das la topologie de la covergece étroite, P f -p.s., lim + Π U X,..., X =, et o veut échager le pour tout U et P f -p.s.. Pour ceci, il suffit de predre ue base déombrable de voisiages de f pour la topologie de la covergece étroite 6.4 Exercices Das tous les exercices, o cosidère ue famille de lois P θ θ Θ et ue loi de probabilité a priori, loi d ue variable aléatoire T sur Θ. Pour tout etier, la loi de X,..., X coditioellemet à T = θ est P θ, c est-à-dire que, coditioellemet à T = θ, X,..., X sot idépedates et de même loi P θ. La loi dite a posteriori est la loi de T coditioellemet à X,..., X. Exercice Soit Π la loi gaussiee sur R k d espérace τ et de variace Σ iversible. Soit P θ la loi gaussiee sur R k d espérace θ et de variace idetité.. Quelle est la loi a posteriori?. O suppose que X,..., X sot i.i.d. de loi P θ a O choisit comme estimateur θ de θ l espérace de la loi a posteriori. Quelles sot les propriétés asymptotiques de θ? b Vérifier directemet que le théorème de Berstei-vo-Mises est vrai. Exercice Soit P θ la loi de Beroulli de paramètre θ et Π la loi a priori Beta de paramètre α, β α >, β > c est-à-dire de desité π θ = Γα + β ΓαΓβ θα θ β ],[ θ, où Γ est la foctio doée par Γs = + x s e x dx.. Quelle est la loi a posteriori?. O suppose que X,..., X sot i.i.d. de loi P θ O choisit comme estimateur θ de θ l espérace de la loi a posteriori. Quelles sot les propriétés asymptotiques de θ?

121 6.4 Exercices Exercice U exemple où l estimateur du maximum de vraisemblace est pas cosistat et la loi a posteriori est cosistate. Θ = N esemble des etiers positifs o uls. O fixe C ], [, et hx = e /x pour tout x >. O défiit a = et pour tout etier k, a k par a k a k hx Cdx = C. Efi, soit alors f k la foctio défiie sur [, ] par { hx si ak < x < a f k x = k C sio O fixe Π ue probabilité sur Θ telle que pour tout etier j, Π{j} >.. Motrer que pour tout etier k, a k ], [, que lim k + a k =, et que f k est ue desité de probabilité.. Motrer que pour tout etier j, Π X,..., X est P j -cosistate. 3. Soit j fixé. O ote ˆθ l estimateur du maximum de vraisemblace, X = mi{x,..., X }, et o défiit la variable aléatoire k par k = k si et seulemet si X ]a k, a k [. O ote l θ = log f θx i. a Soit Y ue variable aléatoire de loi uiforme sur [, /C]. Motrer que pour tout réel x >, P j X > x P Y > x. E déduire que X ted vers e Pj -probabilité. b Motrer que pour tout M >, Pj ˆθ j Pj l k l j M. c Motrer que, si Nj est le ombre de X i, i =,...,, tels que X i ]a j, a j [, l k l j log h X d E déduire que lim + P j ˆθ j =. C N j log h a j C. Exercice U exemple où l estimateur du maximum de vraisemblace est cosistat et la loi a posteriori est pas cosistate. O pose Θ = [, ] [, 3], P θ la loi uiforme sur [, θ], et Π ue probabilité sur Θ de desité π cotiue et strictemet positive sur l itérieur de Θ telle que πθ = e /θ si θ [, [, ce qui est possible car e /θ dθ <. O pose θ =.. Motrer que l estimateur du maximum de vraisemblace est cosistat.. O va motrer que Π[, 3] X,..., X ted vers e P θ -probabilité, ce qui suffira à déduire que la loi a posteriori est pas P θ -cosistate. O ote X = max{x,..., X } a Motrer que, P θ -p.s., Π [, 3] X,..., X = + X θ πθdθ 3 θ πθdθ.

122 6 Estimatio Bayésiee b Motrer que c Motrer que log 3Π[, 3] 3 log θ πθdθ log Π[, 3]. log θ πθdθ log X X + log X + log π X. d Coclure.

123 7 Sujets 7. Partiel de Novembre Exercice 7... Soit X N ue suite de variables aléatoires réelles i.i.d. de loi P. O suppose que {h θ, θ Θ} est u esemble de foctios réelles P -Gliveko-Catelli, que θ P h θ est ue foctio cotiue d u ouvert Θ R das R, et que θ N est ue suite d estimateurs cosistat de θ, θ Θ. Motrer qu alors P h θ ted e probabilité vers P h θ quad ted vers l ifii. E déduire u estimateur cosistat de P X EX lorsque X admet ue espérace, et que sa foctio de répartitio est cotiue. Exercice 7... Soit Θ R k, et P θ θ Θ u modèle différetiable e moyee quadratique e θ, poit itérieur à Θ, de score l θ et d iformatio de Fisher I θ iversible. Soit X N ue suite de variables aléatoires i.i.d.. Doer des coditios suffisates pour que l estimateur du maximum de vraisemblace θ soit u estimateur cosistat de θ.. Doer des coditios suffisates pour que l estimateur du maximum de vraisemblace θ vérifie θ θ = I θ l θ X i + o P θ Soit g ue foctio cotiumet différetiable de R k das R. Motrer que si 7. est vérifiée, alors g θ gθ = g T θ I θ où g θ est le vecteur gradiet de g e θ. l θ X i + o P θ 4. E déduire que si 7. est vérifiée, alors g θ est u estimateur régulier de gθ, asymptotiquemet efficace au ses du théorème de covolutio. 3

124 7 Sujets Exercice Estimateur de James-Stei. Soit X N ue suite de variables aléatoires i.i.d. à valeurs das R k, k 3. O cosidère la suite de modèles [Pm m R k], avec P m = N k m, I où I est la matrice idetité. O ote X = X i, et la orme euclidiee. L estimateur de James-Stei est défii par : T = k X. X O admettra que si Z est ue variable aléatoire das R k gaussiee cetrée réduite, pour tout a de R k, Z, Z + a E Z + a = k E Z + a, qui est fiie dès que k 3.. Motrer que le modèle P m m R k est différetiable e moyee quadratique e tout m R k, et que l iformatio de Fisher est la matrice idetité I.. Motrer que sous Pm, Z + m T m = Z k Z + m où Z est ue variable aléatoire das R k gaussiee cetrée réduite. 3. Motrer que pour tout m R k, E m X m = k et que E m T m = k k E Z + m. 4. E déduire que pour tout M >, lim sup + sup h M E h T h < k. 5. Motrer que, pour tout m R k, T est asymptotiquemet efficace au ses du risque miimax local. 6. Motrer que si m, T est u estimateur régulier efficace au ses du théorème de covolutio. 7. Qu e est-il e m =? 8. Commeter les résultats des questios 3 à Partiel de Novembre Exercice 7... Soit X ue suite de variables aléatoires réelles i.i.d. de loi P admettat u momet d ordre 4. O ote σ = V arx où X est ue variable aléatoire réelle de loi P. Soit σ = Xi X i. 4

125 7. Partiel de Novembre. Motrer que σ = U i U i où l o a posé Ui = X i EX.. Motrer que σ σ coverge e loi vers ue variable gaussiee cetrée et de variace V = E[X EX 4 ] E[X EX ]. 3. Proposer u estimateur cosistat de V et u itervalle de cofiace pour σ asymptotiquemet de iveau α. Exercice 7... Soit P θ la probabilité sur R de desité par rapport à Lebesgue p θ x = π[+x θ ]. O ote I = 4 + π asymptotiquemet efficace de θ pour tout réel θ. O ote l θ = u du = +u 3. Le but de l exercice est de costruire u estimateur log p θx i.. Motrer que le modèle P θ θ R est différetiable e moyee quadratique e tout réel θ, de score l θ x = x θ +x θ et d iformatio de Fisher I e θ.. Soit θ ue médiae empirique qui vérifie Xi < θ = Xi > θ a Motrer que pour tout réel θ, θ coverge e P θ -probabilité vers θ. b Motrer que θ θ = π Xi >θ Xi <θ + o P θ c θ est-il régulier? θ est-il asymptotiquemet efficace au ses du théorème de covolutio? 3. Soit M > positif fixé. Soit θ M l estimateur du maximum de vraisemblace sur [ M, M], c est-à-dire tel que θ M [ M, M] et l θ M sup l θ θ M. a Motrer que {log p θ x : θ M} est P θ -Gliveko-Catelli pour tout réel θ.. b Motrer que si θ ] M; M[, θ M coverge e P θ -probabilité vers θ. c Motrer que si θ ] M; M[, θ M θ = I l θ X i + o P θ. 5

126 7 Sujets 4. O souhaite maiteat s affrachir de la coaissace a priori de M, et costruire u estimateur ayat les mêmes propriétés asymptotiques. Pour cela, o utilise θ comme estimateur prélimiaire, que l o améliore par u pas de descete pour chercher u zéro de la dérivée de la vraisemblace. Autremet dit, si o ote Z θ = l θ X i et W θ = [ lθ X i ], o pose θ = θ + Z θ W θ. a Soit h θ x la dérivée secode de log p θ x par rapport à θ. Motrer que pour tout réel θ, h θ x pour tout réel x, puis que [ ] h X θ+t θ θ i dt = I + o P, θ et e déduire que [ ] Z θ Z θ = I θ θ + o P. θ b Motrer que pour tout réel θ, W θ = I + o P θ c Commeter. θ θ = I l θ X i + o P θ, puis que. Exercice Soit P l esemble des probabilités sur R de desité cotiue strictemet positive. Pour tout P P, o défiit ψp comme état la médiae de P, c est à dire le ombre réel défii par ψp = F, F état la foctio de répartitio de P, qui est iversible puisque P a ue desité strictemet positive. Soit P P fixé de desité f.. Soit G l esemble des foctios réelles g cotiues borées et telles que R gxfxdx = et R g xfxdx < +. Motrer qu il existe δ > tel que, si t δ, e posat P t,g = + tgp, o a P t,g P, puis que G est u esemble taget à P e P.. O fixe g das G. O ote, pour tout t ] δ, δ[, F x, t = x fudu+t x gufudu la foctio de répartitio de P t,g. ψp t,g est alors l uique réel tel que F ψp t,g, t =. E utilisat le théorème des foctios implicites, motrer que t ψp t,g est dérivable par rapport à t e t = et que [ dψp t,g ψp ] + dt = gufudu gufudu. t= fψp ψp 6

127 7.3 Exame Javier 3. Quelle est la foctio d ifluece efficace de ψ au poit P? 4. Motrer que la médiae empirique est u estimateur efficace de ψp O rappelle que si θ est la médiae de P, si θ est la médiae empirique, θ θ = X i >θ Xi <θ + o P. fθ 7.3 Exame Javier Exercice Soit P l esemble des probabilités sur R de desité strictemet positive. Pour tout P P, o défiit ψp comme état la médiae de P, c est à dire le ombre réel défii par F ψp =, F état la foctio de répartitio de P. Soit P P de desité f.. Soit G l esemble des foctios réelles g borées et telles que R gxfxdx = et R g xfxdx < +. Motrer qu il existe δ > tel que, si t δ, e posat P t,g = + tgp, o a P t,g P, puis que G est u esemble taget à P e P.. O fixe g das G. Motrer que si t ted vers, ψp t,g ted vers ψp. 3. Motrer que 4. E déduire que F ψp t,g F ψp = t ψp t,g ψp lim = t t fψp ψp ψpt,g Quelle est la foctio d ifluece efficace de ψ au poit P? gufudu. [ ψp gufudu = gufudu fψp 5. Motrer que la médiae empirique est u estimateur efficace de ψp O rappelle que si θ est la médiae de P, si θ est la médiae empirique, θ θ = X i >θ Xi <θ + o P. fθ + ψp gufudu ], Exercice Estimatio adaptative de desité. Soit X ue suite de variables aléatoires réelles idépedates de desité f par rapport à Lebesgue, dot o otera P f la loi. Soit K ue foctio de R das R telle que Kx = si x, Kx et Kx Ky x y pour tous réels x et y. O suppose de plus que R Kudu =. Pour tout h >, o otera K h la foctio de R das R telle que pour tout réel x, K h x = h K x h, et f h l estimateur doé par : pour tout réel x, f h x = K h x X i. 7

128 7 Sujets Pour tout α ], ], L >, M >, o ote F α,l,m l esemble des desités f sur [, ] telles que fx M, fx fy L x y α pour tous réels x et y das [, ]. O ote aussi, pour toute foctio g de R das R, g = R gx dx et g = R g xdx /, et o rappelle que le produit de covolutio de deux foctios réelles g et m itégrables et de carré itégrable est la foctio g m doée par : pour tout réel x, g m x = g x u m u du. R. Motrer que pour toutes foctios réelles g et m itégrables et de carré itégrable,. O ote E f l espérace prise sous P f. g m g m. 7. a Motrer que E f fh = K h f, puis que si f F α,l,m, pour tout h >, E f fh f L h α. b Motrer que si f F α,l,m, pour tout h >, E f fh E f fh h K. c E déduire que sup E f f h f CL, α, K α/α+ f F α,l,m pour ue costate CL, α, K qui e déped que de L, α, et K. 3. O va maiteat proposer ue maière de choisir h sas coaissace a priori sur f d après A. Goldeshluger et O. Lepski. Soit H = [h, H ] avec < h < H <. O ote pour tous h > et k > f h,k = K k f h. O admettra que l o peut choisir a > tel que si est tel que 8 f H + 4, alors { E f sup h H [ f h E f f h a ] } k K C log H { exp + h 6 f H pour ue costate C > qui e déped pas de f, et o défiit pour tout h H [ A h = sup f k f h,k a K ], k H k puis o choisit ĥ qui miimise {Ah+ a K h } sur H. L estimateur fial est f = fĥ. + } 8

129 7.3 Exame Javier a Motrer que pour tous h > et k >, f h,k = f k,h. b Soit h H quelcoque fixé. Motrer que f f h, ĥ + f h, ĥ f h A h + A ĥ + a K ĥ et e déduire que f f f f h + a K + A h. h c E utilisat 7., motrer que pour tout k H, f k f h,k E f fk f h,k f k E f fk, + a K h et que Ef fk f h,k f K h f. d E déduire que A h sup k H [ f k E f f k a ] k K + f K h f. + e O choisit h = et H =. Motrer que pour des costates C log, C et C 3 qui e dépedet pas de f, o a f E f f if h H { } K C f K h f + C + C 3 h dès que où est u etier qui déped de f. f Coclure. Exercice Soit T ue variable aléatoire de loi a priori Π sur R + qui est la loi gamma de paramètres a > et b >, otée Ga; b, de desité b a Γa θa e bθ θ>, avec Γa = + x a e x dx. Pour tout etier, les variables aléatoires X,..., X sot idépedates coditioellemet à T = θ et de loi de Poisso P θ de paramètre θ, c est à dire de desité p θ x = θx x! e θ par rapport à la mesure de comptage µ qui doe u poids égal à à tout etier positif ou ul. 9

130 7 Sujets. Motrer que la loi a posteriori est la loi gamma G X i + a; + b.. Soit θ l espérace de la loi a posteriori. Motrer que θ = +a. + b 3. Soit θ >. Motrer que le modèle P θ θ> est différetiable e moyee quadratique e θ, de score l θ x = x θ θ et d iformatio de Fisher I θ = θ. 4. Motrer que si l o ote θ l estimateur du maximum de vraisemblace, θ θ = θ θ + o P = θ X i θ + o P θ. 5. Motrer que le théorème de Berstei-vo Mises est vérifié et l éocer. 6. Soit λ >. O veut tester θ λ cotre θ > λ. Soit φ le test bayésie qui vaut si Π T > λ X,..., X Π T λ X,..., X et sio. Déduire du théorème de Berstei-vo Mises que pour tout θ < λ, et que pour tout θ > λ, 7.4 Exame Javier 3 lim P + θ φ = =, lim P + θ φ = =. Exercice Décovolutio iveau de bruit cou. Soit X j j ue suite de variables aléatoires idépedates de desité f sur [, ], et ε j j ue suite de variables aléatoires idépedates gaussiees cetrées de variace σ coue. O suppose la suite ε j j idépedate de X j j. O cosidère la suite de variables aléatoires réelles Y j j telles que pour tout etier j, Y j = X j + ε j X j + ε j, où u désige la partie etière de u. Les Y j sot doc à valeur das [,. O souhaite estimer f à partir d u -échatillo Y,..., Y. O rappelle que pour tout ombre complexe z, E exp[zε j ] = exp[ z σ ]. 3

131 7.4 Exame Javier 3 O ote ϕ x =, ϕ k x = cosπkx et ϕ k+ x = siπkx pour tout x [, ] et k =,,.... Alors {ϕ j } j= est ue base orthoormée de L [, ], c est-à-dire que pour tout j, k, ϕ j xϕ k xdx = δ jk avec δ jk = si j = k et sio. Pour tout réel r > et L >, o ote Fr, L l esemble des foctios f L [, ] telles que f = f et dot les coefficiets de Fourier θf k k vérifiet + k= k r θf k + θf k+ L. 7.4 O rappelle que les coefficiets de Fourier de f sot doés par θf k := fxϕ kxdx, et que si f Fr, L, alors pour tout x [, ], fx = k= θf kϕ k x et fx dx = k θf k.. Motrer que les coefficiets de Fourier de la desité g de Y vérifiet θg =, et pour tout k, θg k = θf k exp[ π σ k ], θg k+ = θf k+ exp[ π σ k ].. Si J est u etier, o cosidère la foctio f J sur [, ] doée par f J x = + LJ r cos[πjx]. Motrer que pour J assez grad, f J est ue desité de probabilité telle que f J Fr, L. 3. O ote f la desité uiforme sur [, ]. Motrer que f x f J x dx = L J r. 4. O ote g la desité de la loi P de Y lorsque X a pour desité f et g J la desité de la loi P J de Y lorsque X a pour desité f J. Motrer que x [, ], g x σ π exp σ, et qu il existe ue costate C > telle que x [, ], g x g J x CJ r. 5. O ote KP, P J la divergece de Kullback etre la loi P et la loi P J. O choisit J = l /πσ. Motrer que pour assez grad, K P, P J g x g J x dx, g x et e déduire que pour tout c >, pour assez grad, K P, P J c. 3

132 7 Sujets 6. E déduire que pour assez grad, pour tout estimateur f de f, [ ] sup E f l r f x fx dx Lσ f Fr,L 7. O estime les coefficiets de Fourier de f, pour k, par θf k = exp[π σ k ] ϕ k Y i, θf k+ = exp[π σ k ] Motrer que pour tout k, E f [ θf k ] = θf k et V ar f [ θf k ] exp[4π σ k ]. ϕ k+ Y i. 8. Si J, o ote f J x = J+ θf k= k ϕ k x. Motrer que, e posat Cσ = / exp[ 4π σ ], [ ] E f fj x fx dx Cσ exp[4π σ J+ ]+ k>jθf k +θf k+. 9. Motrer que si f Fr, L, θf k + θf k+ J k>j r L.. E déduire que l o peut choisir J de sorte que pour assez grad, [ ] sup E f l r fj x fx dx 4Cσ + L. f Fr,L. Commetaires vitesse, adaptativité? Exercice Estimatio bayésiee. Soit Y,..., Y des variables aléatoires telles que i Y i = f + ε i, i =,..., 7.5 où ε,..., ε sot i.i.d. de loi gaussiee cetrée de variace σ et f ue foctio borée de [, ] das R. O ote P la loi de Y,..., Y. O fixe u etier k et o ote pour tout j =,..., k, φ j = ϕ j i/ i les foctios ϕ j sot défiies das l exercice, puis Φ la matrice k φ,..., φ k. O rappelle qu alors Φ T Φ = I k. O cosidère le modèle Y = Φθ + ε, ε N, σ I. 7.6 O muit R k de la loi a priori Π = N k, τ I k, et l o calcule les lois a posteriori sous le modèle

133 7.4 Exame Javier 3. Rappeler commet o calcule la loi a posteriori de θ, Π Y,..., Y, et ce que l o obtiet ici.. Soit g L [, ], o veut estimer Gf = gxfxdx. O ote G = gi/ i. a Quelle est la loi a posteriori de G T Φθ? Motrer e appliquat u théorème du cours qu elle vérifie u théorème de Berstei-vo Mises que l o éocera sous des coditios à préciser sur k et τ. b O suppose que f et g sot de régularité β > /. O ote F = fi/ i. O choisit k = / l. O admettra qu alors Φ T G, Φ T F = fxgxdx+o et Φ T G = g xdx+o. O ote efi L la loi a posteriori de G T Φθ G T ΦY/. Motrer que si = oτ, 4 lim E P + L N, σ g xdx =. c E déduire u esemble de crédibilité pour Gf asymptotiquemet de iveau de crédibilité α. d Motrer que G T ΦY/ Gf coverge e loi sous P vers N, σ g xdx, et e déduire u itervalle de cofiace pour Gf asymptotiquemet de iveau de cofiace α. Commeter. 3. O veut maiteat estimer Hf = f xdx. O ote Hθ = Φθ. O choisit maiteat k = / l et τ tel que = oτ. 4 O suppose toujours que f est de régularité β > /, et l o admet qu alors Φ T F = f xdx+o. a Motrer que si η ted vers de sorte que η l ted vers l ifii, alors [ ] lim E P + Π Φθ Φ θ η Y,..., Y =. Idicatio : utiliser le théorème de Berstei-vo Mises pour Φθ. b Motrer que θ = f xdx + o P. c O ote, pour J itervalle de R, ψj = J π exp x dx. O ote I la collectio des itervalles de R. Motrer que [ Hθ ] lim E P + sup J I Π H θ J Y,..., Y ψ J =. σ θ Idicatio : utiliser que Hθ = H θ + Φ θ, Φθ Φ θ + Φθ Φ θ. d E déduire u esemble de crédibilité pour Hf asymptotiquemet de iveau de crédibilité α. V T 33