Agrégatio extere de mathématiques, sessio 2008 Épreuve de modélisatio, optio (public 2008) Mots clefs : Loi des grads ombres, espace des polyômes, estimatio o-paramétrique Il est rappelé que le jury exige pas ue compréhesio exhaustive du texte. Vous êtes laissé(e) libre d orgaiser votre discussio comme vous l etedez. Des suggestios de développemet, largemet idépedates les ues des autres, vous sot proposées e fi de texte. Vous êtes pas teu(e) de les suivre. Il vous est coseillé de mettre e lumière vos coaissaces à partir du fil coducteur costitué par le texte. Le jury appréciera que la discussio soit accompagée d exemples traités sur ordiateur. Itroductio Lorsque l o cherche à étudier ue suite de mesures proveat de la répétitio d ue expériece, ue méthode de modélisatio cosiste à supposer que ces mesures sot des réalisatios de variables aléatoires idépedates équi-distribuées. Compredre ces mesures et la faço dot elles sot distribuées reviet à étudier la loi de probabilité de la variable aléatoire sous-jacete. Par exemple, e médecie, o cherche à étudier l assimilatio d u traitemet atibiotique admiistré par voie orale. Pour cela, o mesure, pour chaque patiet i = 1,,, la cocetratio x i de l atibiotique qui est passée das le sag du patiet après 5 heures (temps moye de digestio). O modélise le phéomèe de la maière suivate : x 1,,x sot les réalisatios de variables aléatoires idépedates X 1,,X ayat même desité f. Das ce cotexte médical, compredre le processus d assimilatio de l atibiotique das le sag reviet à coaître f. Lorsque l o a pas d idée a priori sur la forme particulière que peut predre la desité f, costruire u estimateur de f e se résume pas à l estimatio d ue moyee et d ue variace, comme c est le cas pour des lois gaussiees. Il s agit de recostruire ue foctio. Le problème est alors dit o-paramétrique. 1. Estimatio o-paramétrique d ue desité 1.1. De la foctio de répartitio à la desité Supposos que ous observos variables aléatoires idépedates et idetiquemet distribués X 1,,X de desité de probabilité par rapport à la mesure de Lebesgue ue foctio icoue f de R das [0, + [. L objectif de otre étude est la costructio d u estimateur de f, c est-à-dire ue foctio ˆf (x) = f (x,x 1,...,X ) mesurable par rapport à la tribu egedrée par (X 1,...,X ). Page 1/6 2008AB1X 25
Notos F(x) = P(X 1 x) la foctio de répartitio de la loi de X 1 et cosidéros la foctio de répartitio empirique (1) ˆF (x) = 1 1 {Xi x}, x R. La loi forte des grads ombres permet d affirmer que ˆF est u estimateur de F. Il est même possible d obteir des itervalles de cofiace et de tester l adéquatio des doées à différetes lois. Néamois, il est pas évidet d utiliser ˆF pour estimer f. Ue des premières idées ituitives est de cosidérer pour h > 0 petit ˆf (x) = ˆF (x + h) ˆF (x h) 2h = 1 2h 1 { h Xi x h}. Cet estimateur, appelé estimateur de Roseblatt (1956), est le premier exemple d estimateur à oyau costruit à l aide du oyau K(u) = 1 2 1 { 1<u 1}, otio que ous allos étudier maiteat. 1.2. Noyaux Défiissios maiteat plus gééralemet la otio d estimateur à oyau : Défiitio 1. Soit K : R R ue foctio itégrable telle que K(u)du = 1. K est appelé oyau. Pour tout N, o appelle h > 0 la feêtre et ˆf l estimateur à oyau de f, défii pour tout x R par ˆf (x) = 1 h ( Xi x K U oyau est dit positif si K 0 : l estimateur à oyau est alors ue desité quelles que soiet les valeurs des observatios X 1,...,X. U oyau est dit symétrique si, pour tout u das so esemble de défiitio, K(u) = K( u). Exemples de oyaux : Voici quelques exemples de oyaux les plus commuémet utilisés : K(u) = 2 11 { u 1} (oyau rectagulaire) ; K(u) = 3 4 (1 u2 )1 { u 1} (oyau d Epaechikov) ; K(u) = 1 2π exp( u 2 /2) (oyau Gaussie) ; Défiitio 2. Soit r 1 u etier. O dit qu u oyau K est d ordre r si : j = 1,...,r, u j K(u)du = 0 et u r+1 K(u)du 0. h ). Existece de oyaux d ordre doé : il est possible de costruire explicitemet des oyaux 2008AB1X 25 Page 2/6
d ordre r. Par exemple, cosidéros les polyômes de Legedre P 0 (x) = 1 2, P m (x) = 2m + 1 2 1 d m 2 m m! dx m [(x2 1) m ]. Les polyômes (P m ) m 0 costituet ue base orthoormée de L 2 ([ 1,1]). Dès lors, o peut voir que la foctio K défiie par est u oyau d ordre r. K(u) = r P k (0)P k (u)1 { u 1} k=0 2. Propriétés des estimateurs à oyaux 2.1. Estimatio de la desité Afi d évaluer la performace de l estimateur à oyau défii précédemmet, ous calculeros so écart quadratique moye e u poit x 0 doé : EQM(x 0 ) = E[ ˆf (x 0 ) f (x 0 )] 2. La vitesse de décroissace vers 0 de cette quatité, appelée vitesse de covergece, mesurera la qualité de l estimateur au poit x 0 : plus la perte quadratique est petite et plus l estimateur sera u "bo" estimateur. La vitesse de covergece déped de la régularité de la desité que l o cherche à estimer. Aisi, estimer ue foctio régulière est plus facile qu estimer ue foctio qui fluctue beaucoup et rapidemet. Nous ous limiteros doc aux desités apparteat à la classe de Hölder défiie de la maière suivate : Défiitio 3. Soiet [a,b] u itervalle de R, α > 0, s la partie etière de α et L > 0. La classe de Hölder H(α, L)([a, b]) est formée de toutes les foctios f : [a, b] R telles que la dérivée f (s) existe (par covetio f (0) = f ) et vérifie f (s) (x) f (s) (y) L x y α s, (x,y) [a,b] 2. O peut décomposer l erreur quadratique e 2 termes, respectivemet le biais b(.) et la variace σ 2 (.) de l estimateur au poit x 0 : (2) EQM(x 0 ) = [E ˆf (x 0 ) f (x 0 )] 2 + E [ ˆf } {{ } (x 0 ) E ( ˆf (x 0 ) )] 2, } {{ } b 2 (x 0 ) σ 2 (x 0 ) e otat b(x 0 ) = E ˆf (x 0 ) f (x 0 ) et σ 2 (x 0 ) = E [ ˆf (x 0 ) E ( ˆf (x 0 ) )] 2 Page 3/6 2008AB1X 25
Propositio 1. Supposos que f H(α, L)([a, b]) soit borée, c est-à-dire qu il existe M ]0,+ [ tel que f (x) M pour tout x R. Soit K u oyau d ordre s N tel que K 2 (u)du <, u α K(u) du <. Alors il existe deux costates C 1 et C 2 telles que (3) (4) σ 2 (x 0 ) C 1 h b(x 0 ) C 2 h α. Démostratio. La partie variace est facile à étudier, e cosidérat les variables aléatoires Xi x 0 K E [ Xi x 0 ], K i = 1,...,. h De plus, après chagemet de variable, le biais s écrit b(x 0 ) = K(u)[ f (x 0 + uh ) f (x 0 )]du. U développemet de Taylor à l ordre s permet d obteir le résultat aocé. ( 2α+1 1 ), ous obteos, quad + et uifor- Aisi, pour le choix optimal de h = O mémet e x 0, (5) EQM(x 0 ) = O h 2α+1 2α. De faço similaire, o défiit l écart quadratique moye itégré (6) EQMI = E[ ( ˆf (x) f (x)) 2 dx]. Alors, o peut obteir [mais la preuve est plus techique] l estimatio ( [ ] 1 2 ) K EQMI = O u α K(u) du h 2α 2 s! + (u)du h = O 2α+1 2α pour le choix optimal de h. 3. Risque optimal e pratique 3.1. Choix du paramètre de lissage Nous avos vu que lorsque K est choisi, ous pouvos calculer e foctio du choix de la feêtre h la valeur de l écart quadratique moye itégré EQMI. Nous écriros doc doréavat EQMI(h ). Le meilleur choix théorique obteu pour h déped de la régularité de la desité. Or, cette régularité état représetée par u paramètre icou, ce choix théorique est doc pas 2008AB1X 25 Page 4/6
utilisable e pratique. Cepedat, cet icovéiet peut être cotouré e utilisat la techique dite de validatio croisée. Remarquos e effet qu o a l égalité [ ] arg mi EQMI(h ) = arg mi E ˆf 2 (x)dx 2 f (x) ˆf (x)dx. h >0 h >0 Il suffit doc d estimer sas biais les deux quatités G (1) = E ( ) ) ˆf 2 (x)dx et G (2) = E( f (x) ˆf (x)dx = E ˆf (X), e désigat par X ue variable aléatoire de desité f, idépedate de X 1,...,X. O défiit 1 Xj x (7) ˆf, i (x) = ( 1)h K. j i h O a alors le théorème suivat. Théorème 1. Soit ˆf u estimateur à oyau K d ue desité f telle que f 2 (x)dx < + et x y K f (x) f (y)dxdy <. h Alors, Ĝ (1) = ˆf 2 (x)dx et Ĝ(2) = 1 ˆf, i (X i ) sot des estimateurs sas biais respectivemet de G (1) et G (2). Il s esuit, e posat VC(h ) = ˆf 2 (x)dx 2 qu o a, pour tout h > 0, l égalité (8) E[VC(h )] = EQMI(h ) Fialemet, o peut calculer h = arg mi h >0 VC(h ) ˆf, i (X i ), f 2 (x)dx. et défiir l estimateur optimal, obteu par validatio croisée, comme état égal à ˆf (x) = 1 Xi x h K h. Le calcul de l estimateur G (1) peut se faire explicitemet, e utilisat l expressio aalytique de K(u). E outre, o peut démotrer (il est pas demadé pas de le faire ici) que l écart quadratique moye itégré de cet estimateur est proche asymptotiquemet de celui de l estimateur théorique idéal. Page 5/6 2008AB1X 25
Suggestios pour le développemet Souligos qu il s agit d u meu à la carte et que vous pouvez choisir d étudier certais poits, pas tous, pas écessairemet das l ordre, et de faço plus ou mois fouillée. Vous pouvez aussi vous poser d autres questios que celles idiquées plus bas. Il est très vivemet souhaité que vos ivestigatios comportet ue partie traitée sur ordiateur et, si possible, des représetatios graphiques de vos résultats. Modélisatio. A quoi peut servir cocrètemet ue estimatio de la desité? Quelles sot les limites du modèle proposé? Que feriez-vous das u cadre paramétrique? Quelle autre méthode proposer das le cadre o paramétrique? Développemets mathématiques. Quelles sot les propriétés de l estimateur de Roseblatt? Quel est l ordre d u oyau symétrique? Complétez les preuves de la propositio 1 et du théorème 1. Que pesez-vous du rôle de la feêtre? Expliquez l idée à la base de la validatio croisée. Que pesez-vous du choix des critères EQM et EQMI? Etude umérique. Costruire u estimateur par oyau pour différets échatillos que vous simulerez : avec ue loi gaussiee, u mélage de deux loi gaussiees (c est-à-dire ue desité costituée d ue combiaiso covexe de deux desités gaussiees), ue loi o-gaussiee. Le choix de la feêtre est-il importat? Que pesez-vous du choix du oyau? 2008AB1X 25 Page 6/6