RÉGRESSION: BASES DÉFORMÉES ET SÉLECTION DE MODÈLES PAR PÉNALISATION ET MÉTHODE DE LEPSKI.

Transcription

1 RÉGRSSION: BASS DÉFORMÉS T SÉLCTION D MODÈLS PAR PÉNALISATION T MÉTHOD D LPSKI GAËLL CHAGNY Octobre Ce documet est essetiellemet u complémet à l article Pealizatio versus Goldeshluger- Lepski strategies i regressio estimatio with warped bases Il cotiet les démostratios détaillées des pricipaux résultats Il e cotiet par cotre pas ce qui cocere les motivatios et justificatios des méthodes employées aisi que les comparaisos avec d autres stratégies d estimatio O se réfèrera pour cela à l article cité fi ce documet cotiet aussi la justificatio théorique du remplacemet de la quatité icoue das la péalité par u estimateur cf sectio 69 Table des matières partie Itroductio Objectif Iégalité de cocetratio utilisée 3 3 Démostratio : utilisatio de l iégalité de Talagrad versio Klei et Rio 3 3 Première étape : Applicatio de l iégalité de Talagrad versio Klei et Rio Deuxième étape : Modificatio type Birgé-Massart 5 33 Troisième étape : Itégratio 6 partie stimatio quad la loi du desig est coue 8 4 Rappels 8 4 Observatios 8 4 Modèles 8 43 spaces de régularité 8 5 stimatio o adaptative 9 5 Costructio de l estimateur 9 5 tude du risque 9 6 stimatio adaptative 6 Costructio de l estimateur par méthode de Lepski 6 Costructio de l estimateur par péalisatio 63 Majoratio du risque pour chacu des deux estimateurs 64 Résultat prélimiaire aux preuves des Théorèmes et Preuve du Théorème 3 66 Preuve du Théorème Preuve du Lemme Preuve du Lemme stimatio adaptative par péalisatio suite : ue péalité aléatoire 6 : MAP5 UMR CNRS 845 Uiversité Paris Descartes Frace gaellechagy@parisdescartesfr

2 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS partie 3 stimatio quad la loi du desig est icoue 9 7 Rappels 9 7 Observatios 9 7 Modèles 3 73 spaces de régularité 3 74 Rappels sur la foctio de répartitio empirique 3 8 stimatio o adaptative 3 8 Costructio de l estimateur 3 8 Résultats prélimiaires à l étude du risque tude du risque Preuve du Lemme Preuve du Lemme Preuve du Lemme Preuve du Lemme stimatio adaptative 47 9 Costructio de l estimateur par méthode de Lepski 47 9 Costructio de l estimateur par péalisatio Majoratio du risque pour chacu des deux estimateurs Résultats prélimiaires aux preuves des Théorèmes 6 et Preuve du Théorème Preuve du Théorème Preuve du Lemme 9 54 Référeces 73 Première partie Itroductio Le but est d estimer f das le modèle Objectif Y = fx ε avec X le desig aléatoire réel de loi doée par sa foctio de répartitio G supposée dérivable de dérivée g supposée strictemet positive ε variable aléatoire réelle cetrée de carré itégrable de variace otée σ f la foctio icoue de R das R O supposera que f L a; b B a;b λ a;b pour u certai itervalle o vide a; b R où B a;b et λ a;b désiget respectivemet la tribu boréliee et la mesure de Lebesgue sur a; b Pour simplifier o supposera que X est à valeurs das a; b presque sûremet ce qui reviet à dire que le support de g est iclus das a; b Le pricipe de la méthode utilisée est de commecer par estimer la foctio h = f G par sélectio de modèles costructio d ue famille d estimateurs par projectio et sélectio d u estimateur coveable das cette collectio par méthode de Goldeshluger-Lepski ou par péalisatio puis de défiir u estimateur pour la foctio cible f par ˆf = ĥ G ou ĥ Ĝ

3 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 3 où ĥ désige l estimateur de h et Ĝ désige la cotrepartie empirique pour la foctio de répartitio G das le cas où celle-ci est supposée icoue Iégalité de cocetratio utilisée Propositio Versio itégrée de l iégalité de Talagrad Soiet N\{} F ue classe au plus déombrable de foctios mesurables à valeurs réelles et X i i {} ue famille de variables aléatoires réelles idépedates O défiit quel que soit f F ν f := fx i fx i O suppose qu il existe trois costates strictemet positives M H et v telles que : sup f M f F sup ν f f F Alors quel que soit ε > sup ν f εh f F où Cε = ε et K = /6 H et sup f F Var f X i v 4 { v K exp K ε H v 49M K C ε exp K Cε ε 7 } H M Remarque : o peut utiliser cette iégalité pour certaies classes F de foctios o déombrables par exemple si F est ue partie déombrable dese d u espace métrique 3 Démostratio : utilisatio de l iégalité de Talagrad versio Klei et Rio 3 Première étape : Applicatio de l iégalité de Talagrad versio Klei et Rio 5 L objectif est d obteir u majorat pour P sup ν f H y f F où y > O va utiliser pour ceci la derière iégalité du théorème suivat du à Klei et Rio Théorème Soiet S u esemble au plus déombrable de foctios mesurables défiies sur X espace métrique poloais et à valeurs das ; ξ i i {} des variables aléatoires idépedates idetiquemet distribuées à valeurs das X O suppose que pour tout vecteur s = s s S pour tout i { } s i ξ i = O défiit : Z = sup s i ξ i et V = sup Var s i ξ i s Ss=s s s S Alors pour tout λ > log expλz λz λ Z V { exp e λ }

4 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 4 particulier e otat v = Z V o obtiet pour tout x > P Z Z x exp x4 log log x v exp x v 3x Remarque : La deuxième assertio proviet de la première e utilisat la méthode de Cheroff O applique ceci de la faço suivate : o pred ξ i = X i ; pour f F o défiit s i f : x si f x = f f x X i M M et o pred S = { s f = s f s f f F} O a bie pour f F et i { } s i X i = s i f à valeurs das ; par défiitio de M et Z se réécrit Z = sup f F /M ν f Le théorème s applique doc et l o a quel que soit x > P sup ν f sup ν f x exp x M f F M f F v 3x c est à dire pour tout y > e preat x = y/m et e utilisat la défiitio de H P sup ν f H y f F P sup ν f f F exp y 8M v 6M y sup ν f f F O majore esuite v = Z V : d ue part Z H/M d autre part fx i V = sup Var f F M O a doc Il viet aisi P = 4M v 4M sup ν f H y f F sup f F Var fx i par défiitio de v v H M v 4M exp y 4M H v 6M y y

5 O utilise esuite STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 5 P sup f F ν f H y P P P = P { } sup ν f H y f F { } sup ν f H y f F sup ν f H y f F sup ν f H y f F exp P P { sup f F { sup f F y 4M H v 6M y ν f = sup ν f f F } ν f = sup ν f f F sup ν f H y f F sup ν f H y f F car le raisoemet fait ci dessus pour cotrôler les déviatios de sup f F ν f s applique de la même maière pour cotrôler celles de sup f F ν f } 3 Deuxième étape : Modificatio type Birgé-Massart L objectif est d obteir u majorat pour P sup ν f λ η H f F où λ > η > O applique l iégalité obteue à la première étape avec y = ληh et l o va majorer le membre de gauche de l iégalité c est à dire miorer la quatité suivate e suivat la démarche employée par Birgé et Massart das le corollaire p354 de 5 y v 4M H 6M y = = λ η H λh v 8HM 6M λ 6M ηh λ λh v 6M λ M H8 6η a b avec des otatios évidetes c d e Or quels que soiet a b c d e > a b c d e a 3 c a d b e

6 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 6 effet a b c d e = 3 3 a b 3c d e a b c a b d a c a d b e a b e Appliquer ici ceci doe y v 4M H 6M y λ 6 v λ M 6 η 4 3η O utilise esuite 6 η 4 3η η 7 ; e effet o a d ue part /6 /7 η /7 et d autre part η 4 3η η = 7 3 η pour η 74 3η 4η pour η 74 3η Aisi il viet y v 4M H 6M y λ 6 v η 7 λ M et par suite P sup ν f λ η H f F exp { λ 6 v η 7 λ M } 33 Troisième étape : Itégratio L objectif est maiteat de parveir à l iégalité aocée O veut majorer l espérace de la variable positive : X := sup ν f εh f F

7 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 7 O suit ici la preuve du lemme 6 de 9 et o commece par écrire : X = = = PX tdt P P sup ν f εh t f F dt sup ν f εh εh t/ f F P sup ν f εh εh t/ f F e utilisat a b a b dt dt A ce iveau o peut utiliser l iégalité de la deuxième étape avec η = ε et λ = εh t/ O e déduit X t = exp exp t K { εh t/ v η 7 } εh t/ dt M { εh } t/ K dt { v } η εh exp K t/ dt 7 M où t est foctio de tous les paramètres iterveats ici et où l o choisit la covetio t = si t Comme les itégrades sot positives o majore de toute faço chacue des deux itégrales par les itégrales de à et l o utilise das l itégrade de la deuxième : pour e déduire : X = exp exp exp εh t/ εh t/ K v εh t/ K v εh K η 7M exp dt εh t/ dt K v t dt K η exp εh 7M exp K η 7M t dt;

8 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 8 et il reste à calculer les deux itégrales restates : o a pour toute costate C > : Aisi { X exp exp Ctdt = C et K v εh = 4 { v K e K ε H 49 M v K η e ce qui est l iégalité cherchée exp C tdt = C v K exp K η εh 7M K η } ε H 7 M 49M K η } Deuxième partie stimatio quad la loi du desig est coue 4 Rappels 4 Observatios Les observatios sot costituées des couples iid X i Y i avec Y i = fx i ε i ; les variables ε i état iid cetrées de variace σ et les variables X i ayat pour desité g et foctio de répartitio G et idépedates des couples précédets L objectif est d estimer la foctio de régressio f e commeçat par l estimatio de h = f G e supposat que G est coue L hypothèse pricipale est l apparteace de la foctio h à l espace de Hilbert L ; Ceci va permettre de costruire des estimateurs par projectio sur certais sous-espaces de L ; pour cette foctio 4 Modèles Les modèles sot des sous espaces vectoriels de L ; O ote la collectio S m m M où le cardial de M est fii de cardial dépedat du ombre d observatios Les hypothèses sot les suivates : M Chaque modèle est de dimesio fiie D m telle que D m M Les modèles sot emboîtés c est-à-dire pour tout m m M tel que D m D m S m S m O ote ϕ j j {Dm} ue base orthoormée de S m m M M 3 Il existe ue costate positive φ telle que pour tout idice m M et toute foctio t S m t φ Dm t Ceci équivaut à la propriété suivate : D m ϕ j φ D m O se cotetera des modèles classiques : trigoométriques polyômes par morceaux avec subdivisio dyadique odelettes à support compact 43 spaces de régularité O cosidèrera les espaces de Besov B α pour α > Ceux-ci sot défiis de la maière suivate : pour r u etier positif et v > et ue foctio à valeurs réelles t o pose r r r vtx = r k tx kv k k= pour x choisi tel que x kv ; k { r} suite pour u > le module de régularité est doé par ω r t u = sup <vu r vt Aisi o dit que la foctio t appartiet à l espace de Besov B α si t appartiet à L ; et si pour r = α t B α = sup u> u α ω r t u < L itroductio de ces espaces est justifiée par leurs boes propriétés d approximatio : o utilisera le lemme de l article de Barro Birgé et Massart Risks bouds for model selectio via pealizatio

9 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 9 5 stimatio o adaptative O fixe u idice m M et o estime la projectio orthogoale de la foctio h sur le modèle S m 5 Costructio de l estimateur O défiit le cotraste suivat : t L ; γ G t := t Y i t GX i Justifios ce choix : t L ; γ G t = t Y t GX = t f G t Aisi γ G t est l équivalet empirique de t f G f G qui est miimal quat t = f G Doc miimiser le cotraste γ G fourit aturellemet u estimateur empirique de h = f G O défiit doc 3 ĥ G m = arg mi t S m γ G t ˆf GG m = ĥg m G Il e résulte u uique estimateur dot l expressio est la suivate : 4 ĥ G m = D m â G j ϕ j with j { D m } â G j = Y i ϕ j GX i 5 tude du risque Comme ĥg m estime la projectio h m de h sur le sous espace vectoriel S m il est aturel de décomposer le risque e utilisat f G m := h m G : o décompose la perte de l estimateur avat de predre l espérace O majore déjà le terme de variace : GG ˆf m f g = f f G m g f m G GG ˆf m f g = f f G m g fm G Propositio Avec les otatios ci-dessus fm G GG ˆf m g φ Y D m ˆf GG m g GG ˆf m g

10 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS Preuve O otera das la suite a j = f G ϕ j pour j = D m fm G GG ˆf m D m g = a j â G j ϕ j G = D m a j â G j ϕ j g Or = D m a j â G j = Varâ G j = Var a j â G j puisque les ϕ j j sot orthoormées Y i ϕ j GX i = Var Y ϕ j GX caractère iid des observatios Y ϕ j GX ce qui doe le résultat aocé e sommat sur j et e appliquat l hypothèse de coexio de ormes Pour l étude du biais o suppose maiteat que l espace S m de dimesio D m est l u des modèles suivat : espaces de polyômes trigoométriques espaces fodés sur les polyômes par morceaux de degré iférieurs ou égaux à r ou espaces fodés sur des odelettes à supports compacts Propositio 3 Supposos que h = f G soit u élémet de l espace de Besov B α avec α > fixé α r das le cas où S m est u espace de polyômes par morceaux de degrés iférieurs ou égaux à r Alors il existe ue costate C α e dépedat que de α telle que f fm G g C αdm α Preuve O ote déjà que f fm G g = h h m où l o rappelle que h m est la projectio de h sur S m Par coséquet le terme à majorer est aussi if t Sm h t Le résultat proviet doc directemet d u résultat d approximatio le lemme de l article de Barro Birgé et Massart Risks bouds for model selectio via pealizatio De ces deux propositios o déduit immédiatemet le corollaire suivat :

11 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS Corollaire 4 Sous les hypothèses de la propositio précédete la majoratio suivate du risque GG de l estimateur ˆf m a lieu : GG ˆf m f g C α Dm α φ Y D m t efi u choix optimal de modèle si la régularité de h est coue : Propositio 5 Supposos que h = f G soit u élémet de l espace de Besov B α avec α > fixé α r das le cas où S m est u espace de polyômes par morceaux de degrés iférieurs ou égaux à r Alors le choix d u modèle S m de dimesio D m de l ordre de /α etraîe la majoratio : GG ˆf m f g C α α De plus ce choix est optimal quat à la majoratio du risque obteue das le Corollaire 4 Preuve Il s agit de miimiser e x R la foctio χx := C x/ C x α où C = φ Y et C = C α dérivat o obtiet u uique poit critique x = αc /C /α α et o vérifie qu il s agit bie du lieu d u miimum miimum dot la valeur est χx = C α α où C est ue costate dépedat de C et C 6 stimatio adaptative O e suppose plus fixé u idice m M Disposat de la collectio ˆf Ĝm m M d estimateurs o cherche à sélectioer u idice m coveable sur la base des observatios O propose deux méthodes l ue fodée sur u procédure classique de sélectio de modèles par péalisatio et l autre fodée sur la comparaiso des estimateurs ci-dessus deux à deux basée sur des travaux de Lepski et Goldeshluger 6 Costructio de l estimateur par méthode de Lepski O défiit les deux quatités suivates quel que soit m M et δ > : 5 V m = 6 6 δφ Y Dm Am = max m M ĥ G m ĥg m m V m puisque l o rappelle que la variace d u estimateur 6 ˆm Gl = argmi m M {Am V m} ˆf GG m est majorée par φ Y D m/ L estimateur sélectioé aisi est doc ˆf GG ˆm Gl = ĥgˆm Gl G

12 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 6 Costructio de l estimateur par péalisatio 7 Soiet θ > et δ > deux paramètres fixés O défiit l applicatio pe θδ : m M pe θδ m := 6θ δφ Y D m Soit aussi ˆm Gp argmi m M γ G ĥg m pe θδ m L estimateur sélectioé est ˆf GG ˆm Gp = ĥgˆm Gp G 63 Majoratio du risque pour chacu des deux estimateurs O va obteir les deux théorèmes ci-dessous sous les hypothèses suivates : o se place sur l u des modèles cités plus haut : trigoométriques odelettes à support compact polyômes par morceaux dyadiques le bruit ε admet u momet d ordre p p > 4 la foctio h est borée sur ; Théorème L estimateur sélectioé par méthode de Lepski vérifie l iégalité-oracle suivate : { GG ˆf f ˆm C mi φ Y D m Gl g m M 5 f G m f } C g avec C ue costate e dépedat que de φ h et δ ˆf GG ˆm Gp vérifie l iégalité- Théorème 3 Soiet θ > et δ > deux paramètres fixés L estimateur oracle suivate : { GG θ 8 ˆf f ˆm Gp g mi m M θ f f m G g θ } θ pe θδm θ C θ où l o rappelle que f G m = h m G h m état la projectio orthogoale de h sur S m et où C est ue costate e dépedat que de φ f σ ε p et δ Corollaire 6 Sous les hypothèses des théorèmes précédets et e supposat que la foctio h est das l espace de Besov B α pour α > α r das le cas où S m est u espace de polyômes par morceaux de degrés iférieurs ou égaux à r et borée sur ; pour des deux estimateurs ci-dessus GG ˆf ˆm f g = O α α Preuve du Corollaire 6 O repred les iégalités oracles par exemple 8 pour l estimateur par péalisatio o majore le biais par C α Dm α e utilisat le lemme de l article déjà cité de Barro Birgé et Massart puis o calcule le miimum du membre de gauche de l iégalité-oracle : celui-ci est atteit pour D m de l ordre de /α et vaut la vitesse α/α > aocée ˆf GG ˆm l u Remarque : le jeu d hypothèses suivat coviet aussi pour obteir les mêmes résultats o se place sur l u des modèles cités plus haut : trigoométriques odelettes à support compact polyômes par morceaux dyadiques les dimesios des modèles vérifiet D m / quel que soit m M

13 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 3 le bruit ε admet u momet d ordre p p > la foctio h est borée sur ; uiquemet pour le corollaire et à la place de l hypothèse précédete la foctio h est das l espace de Besov B α α r das le cas où S m est u espace de polyômes par morceaux de degrés iférieurs ou égaux à r avec α > / ceci assure d ue part que D m peut-être à la fois iférieur à et de l ordre de /α ; et d autre part ceci assure automatiquemet alors que h est borée 64 Résultat prélimiaire aux preuves des Théorèmes et 3 Ces deux théorèmes sot fodés sur la majoratio des déviatios du processus empirique suivat : pour t L ; 9 ν t = Y i t GX i t G f g déviatios étudiées par rapport à la quatité suivate défiie pour m m M : pm m = 6 δφ Y D m m Lemme 7 Avec les otatios et hypothèses ci-dessus quel que soit m M sup ν t pm m C m M t S m m t = où C est ue costate e dépedat que de φ f f X σ ε p et δ 65 Preuve du Théorème Das toute la preuve C désigera ue costate dépedat uiquemet des quatités idiquées das l éocé du théorème et pouvat varier d ue lige à l autre O abrège ˆm Gl GGl e ˆm et ˆf ˆm GG e ˆf ˆm O fixe m M O commece par décomposer GG ˆf ˆm f = ĥgˆm h g 3 3 ĥg m ˆm ĥg m 3 ĥg m h ĥgˆm ĥg m ˆm utilisat successivemet la défiitio de A puis celle de ˆm o obtiet GG ˆf ˆm f 3 Am V ˆm 3 A ˆm V m 3 g ĥg m h 6 Am V m 3 ĥg m h L objectif est d obteir ue iégalité de type oracle Le terme V m correspod au terme de variace et le terme ĥg m h a déjà été étudié : il s agit de la perte de l estimateur ĥg m dot l espérace est majorée par la somme d u terme de variace de l ordre de V m et d u terme de biais au carré O a doc ĥ G ˆm h 6 Am 6V m 3φ Y D m 3 h m h

14 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 4 Il reste à majorer le terme Am O utilise le lemme suivat ce qui coclut la preuve Lemme 8 Sous les hypothèses du théorème il existe ue costate C telle que pour tout m M 66 Preuve du Théorème 3 Am C h m h Soit m M fixé crivos das ce paragraphe γ = γ G pe = pe θδ ˆm = ˆm Gp ˆf GG ˆf GGp ˆm ˆm = pour alléger les otatios O commece par utiliser la défiitio de ˆm comme argumet-miimum du cotraste péalisé : γ ĥgˆm pe ˆm γ ĥg m pem O utilise esuite celle de ĥg m comme miimiseur du cotraste sur S m et le fait que h m S m combiat les deux iégalités o a γ ĥg m γ h m γ ĥg m γ h m pem pe ˆm O remplace esuite le cotraste par sa défiitio e remarquat que pour tout t L ; ce qui etraîe par l iégalité GG ˆf ˆm f g t = t G g = t G f g f g t G f g ĥgˆm G f g h m G f g pem pe ˆm ν ĥgˆm } {{ } } {{ } h m fm G f g où le processus ν a été défii ci-dessus cf l equatio 9 Il s agit esuite de se débarrasser du caractère doublemet aléatoire de ν ĥgˆm h m : aléa du ν et aléa de so argumet Das cet objectif o écrit : ν ĥgˆm h m = ĥgˆm h m ν ĥgˆm h m ĥgˆm h m sup t SmS ˆm t = ĥgˆm h m ν t par liéarité de ν = ĥgˆm h m sup ν t car les espaces sot emboîtés t Sm ˆm GG = ˆf ˆm f m G g sup ν t t Sm ˆm où l o ote ici et das la suite Sp = {t S p t = } pour p M O itroduit esuite le paramètre θ > et o utilise l iégalité xy x /θ θy valable pour

15 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 5 tout couple de réels x y pour e déduire : ν ĥgˆm h m ˆf GG ˆm θ f G m g θ θ sup t S m ˆm ν t GG ˆf ˆm f g fm G f g θ sup ν t t S m ˆm O ijecte ceci das l iégalité pour obteir GG ˆf θ ˆm f g f f G θ m g pem pe ˆm θ sup t Sm ˆm ν t O itroduit maiteat pm ˆm quatité positive défiie aussi ci-dessus et l o écrit pour θ > { GG ˆf ˆm θ θ f g f f G θ θ m g pem } θ sup t S m ˆm ν t pm ˆm θpm ˆm pe ˆm Il reste u double aléa das le "sup" qui apparaît das la majoratio : aléa das l idice du modèle e plus de l aléa préset das la défiitio de ν Pour s e débarrasser o majore brutalemet de la faço suivate : GG ˆf ˆm f g θ θ f f m G g θ θ m M θ θ pem θ θpm ˆm pe ˆm θ sup ν t pm m t Sm ˆm La clé de la preuve cosiste à utiliser le Lemme 7 ; o obtiet alors e partat de l équatio GG ˆf ˆm f g θ θ f f m G g La défiitio de pem impose esuite que θ θ pem θ C θ θpm ˆm pe ˆm pem θ θpm ˆm pe ˆm θ puisque l o a Ceci etraîe GG ˆf ˆm f g ce qui est le résultat aocé pm ˆm 6 δφ Y D m D ˆm θ θ f f G m g θ θ pem θ C θ

16 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 6 67 Preuve du Lemme 7 Pour plus de lisibilité o décompose la preuve e 6 étapes Première étape : décompositio de ν L idée directrice est l applicatio de l iégalité de Talagrad à ν t = Y i t GX i t G f g pour t L ; Mais so utilisatio écessite des quatités borées : or Y i t GX i e l est pas a priori O écrit doc avec ν t = ν t = ν t = ν t = ν t ν t ν t fx i t GX i t G f g ε i εi κ t GX i ε i εi κ t GX i ε i εi >κ t GX i ε i εi κ t GX i où κ = c l avec c ue costate dépedat du modèle choisi trigoométrique odelettes polyômes par morceaux Le derier terme s écrit aussi : ν t = ε i εi >κ t GX i ε i εi >κ t GX i e utilisat le fait que ε i = et l idépedace de X i d avec ε i O a aisi ν t 3 ν t t ν ν et si o décompose pm ˆm = p m ˆm p m ˆm o a quel que soit m M { sup ν t pm m 3 sup ν p m m t t Sm m t Sm m 3 sup ν p m m t t Sm m 3 } sup ν t t Sm m O va maiteat majorer chacu des trois termes e appliquat l iégalité de Talagrad pour les deux premiers et ue majoratio de type Markov pour le suivat

17 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 7 Deuxième étape : Majoratio du premier terme Pour t Sm m o s itéresse à ν t = = fx i t GX i t G f g f t X i f t X i où f t : x fxt Gx Pour appliquer l iégalité de Talagrad o commece par détermier les quatités M v H qui itervieet M est u majorat uiforme sur Sm m des f t Or f t f t et comme t S m m il existe b j Dm m ue famille de réels telle que t = b j ϕ j Comme de plus t = o a b j = Doc l iégalité de Cauchy-Schwarz etraîe que t ϕ j φ D m Doc o peut choisir O cherche H majorat de majorer et e écrivat que t T m De plus M = φ f Dm m sup t Sm m ν t sup t Sm m ν Par l iégalité de Cauchy-Schwarz il suffit t comme ci-dessus o obtiet sup t Sm m ν ϕ j ν D m m t = Var ν ϕ j fx i ϕ j GX i = VarfX ϕ j GX doc et o peut doc choisir : D m m f X ϕ jgx ν ϕ j f X φ D m m H D m m = f X φ

18 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 8 v est défii comme u majorat de sup t Sm m / i Varf t X i Comme les doées sot iid cette quatité est égale à Varf t X f t X = b a t Gxf xgxdx = t uf G udu f t udu = f := v O applique maiteat l iégalité : t δh sup t Sm m 4 K v ν K exp δ H v 49 K C δ M exp K Cδ δ 7 H M où Cδ = δ et K = /6 remplaçat esuite M v H par leurs valeurs ci-dessus et e choisissat p m m := 3 δ H il viet e sommat sur m M sup ν p m m t m M t Sm m 3 4 f 49φ exp kdm m K K C δ D m m exp k m M m M où l o a oté k = k δφ f X f K Cδ δ f k = X 7 f Le membre de droite de l iégalité ci dessus fait apparaître deux sommes du même type que l o majore de la faço suivate : χm m { Card m M m m } χm χm m M m M ce qui permet d obteir mχm sup t Sm m ν m M χm p m m t 3 T

19 où STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 9 T = 4 K f { m exp 49φ kd m K C δ m D m exp k 49φ exp k exp kdm K C δ m M m M D m Troisième étape : Majoratio du deuxième terme Pour t S m m o s itéresse à ν t = ε i εi κ t GX i ε i εi κ t GX i = g t ε i X i g t ε i X i où g t ε x := ε ε κ t Gx Comme pour le premier terme pour appliquer l iégalité de Talagrad o commece par détermier les quatités M v H défiit ci-dessus e remplaçat f t par g t qui itervieet : O écrit g t κ t ce qui permet de predre e suivat le choix du M ci-dessus De la même faço o écrit aussi sup t Sm m ν M = κ φ Dm m t D m m ε ε κ ϕ jgx D m m ε ϕ jgx φ σ D m m := H Pour la quatité v comme ci-dessus la variace de la somme est fois la variace idividuelle puis o majore la variace idividuelle par l espérace du carré et l idicatrice par pour faire sortir σ t GX = σ := v Comme pour le premier terme o applique l iégalité o somme sur m et e choisissat p m m := 3 δ H il viet sup t Sm m ν 4 K σ exp m M p m m t 3 kd m m 49φ κ K C δ m M D m m exp k

20 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS où l o a oté k = k δφ K Cδ δσ k = 7 O coclut ecore comme pour le premier terme : ν p m m t 3 où sup t Sm m T = 4 { σ m K exp kd m 49φ K C δ σ exp m M m κ D m exp kd m 49φ exp k K C δ T k κ κ κ m M D m Quatrième étape : Majoratio du troisième terme Pour t Sm m o s itéresse à ν t = ε i εi >κ t GX i ε i εi >κ t GX i Ce processus empirique est pas boré doc o e peut espérer lui appliquer l iégalité de Talagrad écrivat ce que sigifie t T m comme explicité ci-dessus das l étude du premier terme o obtiet : et sup t Sm m ν D m m t ν ϕ j = Var ν ϕ j ε i εi >κ ϕ j GX i D où D m m ε ε >κ ϕ j GX ν ϕ j ε ε >κ φ D m m φ κ p ε p ε >κ Dm m O e déduit doc : sup t Sm m ν φ κ p ε p D m m t φ ε p D m m κ p

21 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS sommat sur m et e appliquat la même démarche que pour les deux premiers termes o obtiet : t T 3 où où sup t Sm m T 3 = φ ε p ν md mκ p κ p résumé ous avos obteu : sup ν t pm m t Sm m T = m M 4 K f { m exp 49φ kd m K C δ 49φ exp k exp kdm K C δ m M T = 4 { σ m K exp kd m 49φ K C δ σ exp m M T 3 = φ ε p m M D m 3T T T 3 m D m exp k m κ D m exp kd m 49φ exp k K C δ md mκ p κ p m M D m m M D m κ κ k κ m M D m Ciquième étape : Coclusio de la majoratio du processus empirique das le cas des modèles fodés sur la base trigoométrique O choisit maiteat le modèle fodé sur la base de Fourier pour coclure la majoratio Das ce cadre D m = m m / doc m et m O exploite ceci pour majorer les quatités T T T 3 O commece par cosidérer séparémet les termes présets das T T T 3 et faisat iterveir m et Das les calculs qui suivet k pourra être remplacé par k quad o majorera T au lieu de T m exp kd m = exp k m exp km exp k k la derière majoratio découlat de l étude de la foctio u u exp ku dot le maximum est atteit e / k suite md m / /

22 Puis et d où STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS m M exp kd m m M D m exp k exp kd m = m= / m = m CardM exp k exp k // / 4 /4 D m /4 exp k e m M k comme le motre l étude de u u exp k u qui atteit so maximum e 4/ k Ceci ous permet déjà d écrire e otat que φ = ici C = 4 f K T C où C est ue costate dépedat de δ f f X mais i de i de m : précisémet { } e k e k k 96e K C δ k 98e e k K C δ k Il s agit esuite de motrer que T est e O/ O rappelle que κ Ceci aisi que l utilisatio des majoratios ci dessus motret que l o a κ exp k D m κ 4 exp k κ m M O impose que cette derière quatité soit majorer par C/ où C est ue costate Choisissos par exemple C = /4 pour fixer les idées O obtiet doc k exp = κ k l Le choix de κ = k l md m κ exp κ permet d écrire k κ k = md m 4 l exp l Aisi k 4 l = l k 4 < k 4 T C

23 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 3 où C est ue costate dépedat de δ φ σ mais i de i de m : précisémet { } C = 4 e k K k σ 49 k K C δ e k σ e 49 k K C δ fi il s agit de motrer que l o a T 3 = O/ pour le choix de la puissace d itégrabilité de ε : p avec p > 4 O a p p κ p md m k p/ l p = k p/ l p et d après les calculs qui précèdet κ p m M D m k p κ p 4 = p k 4 p/ l p Aisi les deux termes iterveat das la majoratio de T 3 sot du même ordre de gradeur Comme p > 4 p < Par suite p p k 5 où C 3 = 4 φ εp = k 5 εp T 3 C 3 Remarquos que c est à ce iveau que le choix p = 4 etraîe u perte d u facteur l 4 das la majoratio : il reste alors T 3 C 3 l 4 ce qui suffit tout de même pour avoir ue majoratio égligeable de l espérace du processus empirique cf les remarques suivat le théorème De plus otos aussi que si l o suppose D m l ordre de gradeur des deux termes deviet p/ l et l hypothèse d itégrabilité mois lourde p > etraîe p/ < et le même résultat sur T 3 Fialemet o obtiet m M sup ν t pm m t Sm m C où C = 3C C C 3 et pm m = p p m m = 6 δφ f X σ D m m 6 δφ Y D m m ce qui coclut la preuve das le cas des modèles trigoométriques = Sixième étape : Coclusio de la majoratio du processus empirique das le cas des modèles fodés sur les polyômes par morceaux dyadiques ou les odelettes O rappelle que das ce cadre D m = k m où k = r pour les polyômes par morceaux k = pour les odelettes et la coditio D m etraîe l lk m = m max l

24 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 4 O repred la démarche adoptée au poit précédet c est à dire que l o majore les quatités dépedats de et m et iterveat das T T ou T 3 O sera cepedat mois précis sur les costates présetes das les majoratios la défiitio même de D m = m compliquat quelque peu leurs expressios explicites par rapport au D m = m précédet Aisi das les liges qui suivet c désige ue costate qui peut chager d ue lige à l autre L étude de la foctio u u exp k k u atteigat u maximum e u = lk k l/ l ous permet d affirmer : suite md m m exp kd m c l l = c l c Puis exp kd m est le terme gééral d ue série covergete somme sur m M N et efi m max D m = k m = k mmax c m M m = par costructio de m max Aisi aux costates différetes près o est exactemet das le même cas que das le cas du modèle fodé sur la base trigoométrique et tout le raisoememt fait précédemmet s applique Fialemet o obtiet aussi m M sup ν t pm m t Sm m C où C est ue costate dépedat de φ f f X σ ε p et δ 68 Preuve du Lemme 8 O doit majorer pour chaque m M Am = max m M { ĥ G m ĥg m m V m } Pour chaque idice m M o décompose ĥg m ĥg m m 3 ĥ G m h m 3 hm h m m 3 h m m ĥg m m Aisi Am 3 max m M ĥ G m h V m m 3 max hm m 6 m M V m ĥg m m 6 3 max m M h m h m m := 3 T a T m b T m c O a doc trois termes dot o doit majorer l espérace

25 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 5 68 Majoratio de T a O majore brutalemet le premier de la faço suivate : T a t l o remarque que l o a m M { ĥ G m h V m } m 6 ĥg m h m = = = D m âg j a j D m D m Y i ϕ j GX i Y i ϕ j GX i νϕ j où ν est le processus empirique cetré défii par l égalité 9 De plus o a l égalité D m ν ϕ j = sup t Sm ν t où Sm désige la sphère uité du modèle S m effet si t Sm t = D m b jϕ j avec j b j = O peut doc écrire : ν t = D m b j ν ϕ j b j j ν ϕ j = j j ν ϕ j par l iégalité de Cauchy-Schwarz avec égalité pour le choix b j = ν ϕ j / j ν ϕ j Aisi T a m M { } sup νt V m t Sm 6 Le Lemme 7 appliqué e remplaçat m m par m et pm m par pm m prouve que cette derière quatité est bie majorée par C/ pour le choix de V m = 6 pm m qui est celui idiqué à la lige 5 68 Majoratio de T m b

26 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 6 Pour majorer ce secod terme o distigue les cas m m et m > m : { Tb m = max hm m m M V m } ĥg m m 6 = max max m M m m { hm ĥg m V m 6 { hm max T a max m M ĥg m m >m { hm max T a ĥg m V m 6 { hm T a ĥg m V m } 6 } V m 6 } max m M m >m } { hm ĥg m V } m 6 où l o a utilisé que pour m < m V m V m Le paragraphe précédet prouve esuite que T a est majoré par C/ et le Lemme 7 appliqué cette fois e substituat m à m m etraîe a fortiori qu il e est de même pour le secod terme de la somme ci-dessus puisque ce serait même vrai pour la somme sur m M de ce terme Aisi T m b C/ 683 Majoratio de T m c Ce terme est pas aléatoire c est u terme de biais O le cotrôle de la faço suivate : T m c = max m M h m h m m max m M mm h m h m max m M mm h m h h h m Or si m m S m S m doc la projectio orthogoale h m de h sur S m est aussi das S m Comme h m est la projectio de h sur S m o a par coséquet Aisi h m h h m h T m c 4 h m h 69 stimatio adaptative par péalisatio suite : ue péalité aléatoire Das le Théorème 3 o a défii : m M pe θδ m := 6θ δφ Y D m Or l espérace de Y est icoue La questio qui se pose est doc celle de so remplacemet par u estimateur O veut bie sûr coserver l iégalité oracle pour l estimateur sélectioé à partir d ue ouvelle péalité etièremet coue Le théorème suivat résout ce problème

27 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 7 Théorème 4 O se place sous les hypothèses du Théorème 3 Soiet θ > δ > < b < trois paramètres fixés O ote Y = / Y i et o défiit l applicatio pe θδ : 3 m M pe θδb m := 6 b θ δφ Y Soit aussi ˆm a argmi m M γ G ĥg m pe θδb m ˆf GG D m Alors l estimateur ˆm = a ĥgˆm G vérifie l iégalité-oracle suivate : a { } GG ˆf ˆm f a θ 4 mi f f G θ b m g m M θ g θ pe θδm θ C θ où l o rappelle que fm G = h m G h m état la projectio orthogoale de h sur S m et où C est ue costate e dépedat que de φ f σ ε p δ Y 4 et Y Preuve O otera pour simplifier pe et pe les deux péalités e omettat de mettre e idice les paramètres dot elles dépedet O défiit l esemble { } Y Ω b = Y < b O décompose aisi le risque de l estimateur : GG GG ˆf ˆm f = ˆf a ˆm f a GG Ω b ˆf ˆm g a g f Ω c b g O a doc deux termes à majorer L idée est la suivate : sur Ω b l estimateur Y est proche de la quatité qu il estime Y doc la majoratio du premier terme se ramèe à la preuve du Théorème 3 Pour le secod terme l idée est d utiliser que la probabilité de Ω c b est petite et doc de majorer f g par ue quatité o aléatoire ˆf GG ˆm a GG Majoratio de ˆf ˆm f g a Ωb Notos déjà que sur Ω b o a les deux iégalités suivates : Y b Y Y b Y O procède tout d abord comme das la preuve du théorème où la péalité est détermiiste : o obtiet { GG ˆf ˆm f a θ θ f f G g θ θ m g pem θ sup ν t pm m θpm ˆm a pe ˆm a θ m M t S m m t = où l o rappelle les otatios suivates pm ˆm a = 6 δφ Y D m ˆm a ν t = Y i t GX i t G f g

28 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 8 Puis l applicatio de l iégalité de Talagrad justifie l existece d ue costate C telle que sup ν t pm m C t S m m t = m M O obtiet doc toujours GG ˆf ˆm f a Ω b g θ f f G θ m g θ Ωb θ pem θ θ Mais l o a sur l évèemet Ω b : O aboutit doc à GG ˆf ˆm f a Ω b g C θpm ˆm b = 6θ δ Y D m D ˆm a 6θ δy D m D ˆm a = pem pe ˆm a θ f f G m θ g θ θ Ωb θpm ˆm b pe ˆm a θ θ Ω b pem θ C θ O utilise efi l iégalité pem bpem valable sur Ω b pour coclure O aboutit doc à GG ˆf ˆm f a Ω b θ f f G g θ m bθ θ C pem g θ θ GG Majoratio de ˆf ˆm f g a Ω c b O va motrer que ce terme est e O/ ce qui suffira Commeços par majorer Partat de l iégalité γ G puis pour u θ > ν ĥgˆm a h ˆm a D où pour u θ > ˆf GG ˆm a ˆf GG ˆm a ˆf GG ˆm a f g γ G f ˆm a o obtiet classiquemet f f ˆm a g f g ν ĥgˆm a h ˆm a θ ˆf GG ˆm a θ ˆf GG ˆm a f ˆm a g θ sup t S ˆm a t = f g θ f f ˆm a g θ ν t sup t S ˆm a t = θ θ f ˆm a f g θ θ sup ν t t S ˆm a t = θ θ f g θ θ sup ν t t S ˆm a t = ν t ˆf GG ˆm a f g

29 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 9 O bore esuite le supremum sur u esemble aléatoire sup ν t sup ν t pem t S ˆm a t = t S m t = Par suite GG ˆf ˆm f a Ω c b g m M θ θ f g P Ωc b θ θ sup ν t pem m M t S m t = pe ˆm a pe ˆm a Ω c b O remarque que pe ˆm a 6θ δφ Y e utilisat D ˆm a ce qui etraîe GG ˆf ˆm f a θ Ω c b g θ f g θ θ 6θ δφ Y P Ω c b θ θ sup ν t pem t S m t = m M Il reste doc deux quatités à borer par u O/ Le Lemme 7 s applique pour le cotrôle du processus empirique e remplaçat ˆm m par m et e otat que pm m = pem O a doc m M sup ν t pem t S m t = = O Quat à la majoratio de la probabilité du complémetaire de Ω b l argumet pricipal e est l iégalité de Bieaymé-Tchebitcheff : P Ω c Y b = P Y < b Y b Y Var Y 4 b Y Y Le derier majorat état e O/ cela termie la preuve Troisième partie 3 stimatio quad la loi du desig est icoue 7 Rappels 7 Observatios O rappelle que les observatios sot costituées des couples iid X i Y i avec Y i = fx i ε i les variables ε i état iid cetrées de variace σ aisi que des variables X i i = idépedates etre elles de même loi que les variables X i desité g foctio de répartitio G et idépedates des couples précédets L objectif est d estimer la foctio de régressio f e commeçat par l estimatio de h = f G

30 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 3 7 Modèles O cosidère les modèle trigoométriques pour m M où pour x ; S m := Vect {ϕ ϕ j ϕ j j = m} ϕ x = ϕ j x = cosπjx ϕ j x = siπjx O ote toujours D m = m la dimesio de S m et m max l idice du plus gros modèle de la collectio O rappelle qu u tel modèle S m vérifie l hypothèse de coexio de ormes avec φ = De plus les foctios de la base état de classe C o pourra appliquer la formule de Taylor-Lagrage aux ordres qui ous serot écessaires O utilisera aussi des majoratios uiformes des dérivées successives : r N\{} j { } ϕ r j πj r = ϕ r j r ϕ r Dm r O remarque aussi que l o a les égalités suivates pour j : ϕ j = πjϕ j ϕ j = πj ϕ j ϕ j = πjϕ j ϕ j = πj ϕ j 73 spaces de régularité Das ce cadre o va faire l hypothèse que la foctio h est das u espace de Sobolev périodisé défii par { } W per β L := h W β L j = β hj = h j où l o a W β L := {h : ; R h β est absolumet cotiue et h β x dx L } le choix de tels espaces se justifiat par les propositios suivates qui ous serot utiles : Propositio 9 Soiet β N\{} et L > Ue foctio h = θ jϕ j est das l espace W per β L si et seulemet si θ j j est das l ellipsoïde Θβ L /π β Rappelos que pour β N\{} et Q > o ote Θβ Q := θ l N αjθ j Q où α j j N\{} est défiie par α j = { j β si j est pair j β sio Remarquos que pour β β o a Θβ L /π β Θβ L /π β et par la propositio 9 l iclusio aalogue est valable pour les espaces de Sobolev périodisés : W per β L W per β L ce qui ous sera utile De plus cette propositio permet d étedre la défiitio des W per β L à des valeurs o etières de β : ue foctio est das u tel espace si et seulemet si la suite de ses coefficiets de Fourier est das l ellipsoïde correspodat Ue autre propriété justifie aussi l usage de ces espaces : Lemme Soiet L > et h W per L C O ote Π Sm orthogoale sur l espace S m Alors Π Sm h = Π Sm h l opérateur de projectio

31 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 3 fi ue propriété d approximatio similaire au lemme de Barro Birgé et Massart est obteue pour ces espaces : o e déduira des vitesses de covergeces vers du risque des estimateurs 74 Rappels sur la foctio de répartitio empirique O ote das toute la suite et pour tout i { } U i = GX i et Û la foctio de répartitio empirique associée au échatillo U i i O rappelle le résultat suivat cocerat la loi des U i : Lemme Quel que soit i { } U i suit la loi uiforme sur ; Lemme Quel que soit u R o a l égalité ĜG u = Ûu O utilisera l iégalité suivate qui est ue versio "uiforme" de l iégalité de Hoeffdig c est à dire qui permet de cotrôler uiformémet les déviatios de la répartitio empirique autour de so espérace Propositio 3 Iégalité de Dvoretzky-Kiefer-Wolfowitz Il existe ue costate C > telle que pour tout etier et pour tout λ > P sup Ûu u λ C exp λ u R C est précisémet ue versio itégrée de cette iégalité qui va ous servir O ote désormais Û id à la place de sup u R Û u u Corollaire 4 Pour tout p N\{} il existe ue costate C p telle que Û id p C p p/ O utilisera aussi ue autre versio itégrée : Corollaire 5 Pour tout κ > pour tout p N p il existe ue costate umérique C telle que Û id p p κlp/ C p κ /p p/ De plus o a l iégalité suivate : Û id κl C κ Preuve du Corollaire 5 Pour la première iégalité o ote déjà que pour toute variable Z Z = R PZ > tdt : Û id p κlp/ p/ = = P Û id p κlp/ p/ > t P Û id p κlp/ > t dt p/ dt P /p Û id > t κ lp/ p/ dt

32 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 3 O dispose de l iégalité a b /p /p a /p b /p valable pour a b > : e effet o a par cocavité de la foctio u : x x /p a b /p a /p b /p Par coséquet e utilisat ceci puis l iégalité de DKW Û id p κlp/ 5 C p/ P Û id > p/p t /p κ/p l / ; / dt exp p/p t /p κ/p l / / dt C exp { p/p κ /p l p C p κ /p } { exp p/p t /p} dt où l o a utilisé pour l iégalité 5 que a b a b pour a b > et pour la derière lige de calcul la majoratio de l itégrale restate par Pour la secode iégalité o ote déjà que pour toute variable Z Z = R tpz > tdt puis la majoratio est du même type : Û id κl tp Û id κl > t dt = tp Û id > κ l t dt C t exp κ l t dt = C/ κ u exp udu = C/ κ 8 stimatio o adaptative O fixe u idice m M et o estime la projectio orthogoale de la foctio h sur le modèle S m 8 Costructio de l estimateur Das le cas où G était coue o cosidérait le cotraste t L a; b γ G t := t g Y i t GX i

33 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 33 puis u estimateur miimisat ce cotraste ĥg m = argmi t Sm γ G t O obteait alors l écriture explicite suivate : ĥ G m = D m â G j ϕ j où j { D m } â G j = Y i ϕ j GX i et le calcul de l espérace des â G GG j ous avait icité à poser ˆf m = ĥg m G Supposat maiteat que G est icoue o l estime à l aide de la répartitio empirique calculée à partir de la moitié des observatios : Ĝ : x X i x O se sert de la techique de plug-i : o remplace G partout où elle iterviet par so estimateur O défiit aisi j { D m } âĝj = Y i ϕ j ĜX i puis et efi l estimateur que l o va étudier est 6 ˆf ĜĜ m D m ĥĝm = âĝj ϕ j = ĥĝm Ĝ Remarquos que ĥĝm est aussi l estimateur miimisat sur l espace S m le cotraste γĝ défii pour t L ; par 7 γĝ t = t D m Y i t ĜX i Notre objectif est ici de motrer que sous certaies cotraites sur la valeur de D m et sur le choix du modèle S m la vitesse obteue das le cas où G était coue est coservée pour ĜĜ l estimateur ˆf m 8 Résultats prélimiaires à l étude du risque O rappelle les otatios pour j { D m } a j = h ϕ j = f G uϕ j udu â G j = Y i ϕ j GX i âĝj = Y i ϕ j ĜX i Nous avos motré au chapitre précédet que â G j = a j et ous utiliseros le calcul suivat : Lemme 6 Quel que soit j { D m } âĝj X l l {} = f G uϕ j Ûudu Preuve Par liéarité de l espérace coditioelle et e otat que les variables Y i ϕ j ĜX i sot

34 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 34 idetiquemet distribuées pour i = coditioellemet à X l âĝj X l l = Y ϕ j ĜX X l l = fx ϕ j ĜX X l l ε ϕ j ĜX X l l = fx ϕ j ĜX X l l := χx X l l X l l où l o a aussi utilisé que ε et ϕ j ĜX sot idépedats coditioellemet à X l l puis que l espérace coditioelle de ε est ulle car égale à so espérace par idépedace avec X l De plus X est idépedat de X l l ce qui permet d itégrer par rapport à sa loi pour calculer la derière espérace : b âĝj X l l {} = χx X l l gxdx = f G uϕ j ĜG udu a e posat u = Gx O coclut e utilisat le lemme ci-dessus 83 tude du risque ĜĜ 83 océ des résultats Pour évaluer le risque quadratique itégré de l estimateur ˆf m ous allos utiliser les résultats cocerat le risque de l estimateur costruit das le cas où la loi du GG desig est supposée coue ˆf m aisi que l itermédiaire suivat : ˆf ĜG m := ĥĝm G = Nous allos démotrer les résultats suivats : D m âĝj ϕ j G Propositio 7 Supposos que l o travaille avec S m le modèle trigoométrique classique et que h = f G est de classe C et das W per L pour u certai L > Alors si D m /3 / l /3 il existe ue costate C > dépedat de L f h h φ ϕ r pour r = des costates C p p = de l iégalité de Dvoretzky-Kiefer-Wolfowitz et de Y telles que ĜĜ ˆf m f g 6 f f G m g C D m Propositio 8 Supposos que l o travaille avec S m le modèle trigoométrique classique et que h = f G est de classe C et das W per L pour u certai L > Alors si D m /4 il existe ue costate C > dépedat de L f h h φ ϕ r pour r = des costates C p p = de l iégalité de Dvoretzky-Kiefer-Wolfowitz et de Y telles que ĜĜ ˆf m f g 6 f fm G g 36φ Y D m C l O e déduit u choix optimal pour D m das le cas où la régularité au ses des espaces de Sobolev de la foctio h est coue C est l objet des deux corollaires qui suivet Corollaire 9 Supposos que l o travaille avec S m le modèle trigoométrique classique et que h = f G est de classe C et das W per α L pour u certai L > u certai α et D m /3 / l /3 Alors o a la majoratio suivate pour ue certaie costate C > : ˆf ĜĜ m f 6 L g D α πα m C D m l

35 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 35 L hypothèse α assure que h W per L Corollaire Supposos que h = f G est das W per α L pour u certai L > u certai α Supposos aussi que h est de classe C Alors le choix du modèle trigoométrique classique S m avec D m d ordre /α assure la majoratio suivate du risque : où C est ue costate ˆf ĜĜ m f g C α α Remarque : le choix α assure que si D m est de l ordre /α alors D m /3 / l /3 ce qui était exigé pour avoir la majoratio du risque Itroductio à la preuve de la propositio 7 O décompose la perte de otre estimateur de la faço suivate : ĜĜ ˆf m f f f G g m g fm G GG ˆf m g GG ĜG ˆf m ˆf m ˆf GG ĜG g m ˆf m X l l ĜG ĜĜ ˆf m ˆf m ˆf ĜG ĜĜ g m ˆf m X l l ˆf GG ĜG g m ˆf m X l l ˆf ĜG ĜĜ g m ˆf m X l l O utilise esuite la covexité de la foctio x x pour obteir où ˆf ĜĜ m f 4 6 g ˆf GG l= T m = f fm G g fm G m g T m GG ĜG = ˆf m ˆf m ˆf GG m T m ĜG ĜĜ = ˆf m ˆf m ˆf ĜG m T3 m = ˆf GG ĜG m ˆf m X l l ˆf ĜG m T m l ˆf ĜG m X l l g ˆf ĜĜ m X l l g T4 m ĜĜ = ˆf m X l l g est le majorat du risque das le cas où G était supposée coue Par coséquet Le terme T m o l a déjà traité : T m C α Dm α φ Y D m Il s agit doc de majorer d ue part Tl m l = et Tl m l = 3 4 d autre part O utilise les lemmes suivats : dot les démostratios fot l objet des prochais paragraphes : Lemme Sous les hypothèses de la Propositio 7 g T m C ϕ Y D 3 m

36 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 36 Si D m / e particulier T m C ϕ Y D m Lemme Sous les hypothèses de la Propositio 7 T m C Y φ ϕ Dm 4 Si D m /3 e particulier T m C Y φ ϕ D m Lemme 3 Sous les hypothèses de la Propositio 7 T3 m 6 C h φ Y D m 8 C 6 ϕ 3 h D7 m 3 3C 4 π 4 /4 h D4 m particulier si D m /3 T3 m 6 C h φ Y 3C 4 π 4 /4 h C 6 ϕ 3 Dm h Lemme 4 Sous les hypothèses de la Propositio 7 D T4 m 4 C m l D7 m l 3 D m l 4 D6 m 4 D3 m D m 3/ où C est ue costate foctio de h h ϕ ; ϕ 3 ; h Y et φ particulier si D m /3 / l /3 84 Preuve du Lemme T m 4 C D m Tout d abord la défiitio des estimateurs iterveats das la défiitio de T m d écrire T m D m = â G j âĝj â G j âĝj X l l ϕ j G utilisat esuite le lie etre g et aisi que l orthoormalité des ϕ j o e déduit : et doc T m = D m T m X l l = â G j âĝj â G j âĝj X l l D m Var â G j âĝj X l l O calcule et majore chacue des variaces de la somme Pour j { D m } Var â G j âĝj X l l = Var Y ϕ j GX ϕ j ĜX X l l g permet

37 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 37 où l o a utilisé que â G j âĝj s écrit comme ue moyee des Y i ϕ j GX i ϕ j ĜX i qui sot iid coditioellemet à X l l O obtiet esuite Var â G j âĝj X l l Y ϕ j GX ϕ j ĜX X l l = fx ϕ j GX ϕ j ĜX X l l ε ϕ j GX ϕ j ĜX X l l = fx ϕ j GX ϕ j ĜX X l l σ ϕ j GX ϕ j ĜX X l l e utilisat les propriétés de ε : successivemet so idépedace avec toute foctio de X et X l l le fait qu il est cetré et le fait que sa variace est otée σ O utilise l iégalité des accroissemets fiis pour écrire ϕ j GX ϕ j ĜX ϕ j GX ĜX ϕ j G Ĝ ce qui etraîe T m X l l = Y f X σ Dm Dm ϕ j O majore la somme par D m D m ϕ pour obteir ϕ j id Û G Ĝ T m X l l D3 m ϕ Y id Û L applicatio du Corollaire 4 avec p = permet de coclure T m C ϕ Y Dm 3 85 Preuve du Lemme

38 T m O calcule = = = STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 38 a;b a;b ; ĥĝ m Gx Ĝ x ĥĝm ĥĝ m Gx Ĝ ĥĝm x X l l gxdx D m D m âĝj âĝj âĝj X l l ϕ j Gx ϕ j Ĝx âĝj X l l ϕ j u ϕ j Ûu du gxdx Il viet esuite par l iégalité de Cauchy-Schwarz puis celle des accroissemets fiis D m D m âĝj âĝj Ûu X l l ϕ j u ϕ j du 9 T m ; D m ϕ âĝj D3 m âĝj X l l Û id Û id D m Par suite T m ϕ D3 m Û id Dm Or âĝj âĝj X l l X l l = = D m âĝj D m D m ϕ j âĝj X l l âĝj Var âĝj X l l D m D m âĝj X l l X l l Var ϕ j Ĝ X Y X l l ϕ j Ĝ X Y X l l D m ϕ j D m ϕ j φ Y D m Y X l l Y

39 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 39 Aisi il reste à appliquer le Corollaire 4 : T m Y φ ϕ D 4 m Û id = C Y φ ϕ Dm 4 86 Preuve du Lemme 3 O a d abord et doc T m 3 = = ˆf GG m D m T m 3 = â G j D m âĝj ĜG ˆf m X l l g { X l l e utilisat l orthoormalité des ϕj f G u ϕ j u ϕ j du} Ûu e utilisat les calculs prélimiaires d espérace ci-dessus O effectue alors u développemet de Taylor-Lagrage à l ordre 3 pour chaque foctio ϕ j j { D m } Il existe u réel aléatoire et dépedat de j ˆα ju tel que ϕ j u ϕ j Ûu = ϕ juu Ûu ϕ u Ûu j u ϕ 3 u Ûu 3 j ˆα ju 6 O e déduit ue majoratio e trois termes : où l o a oté T m 3 = D m T m 3 = /4 T m 33 = /6 { D m D m T m 3 3T m 3 3T m 3 3T m 33 hu Û u u ϕ judu} { { hu Û u u ϕ j udu} Pour majorer le premier terme l idée est d abord d écrire u Ûu = 3 3 hu Û u u ϕ j ˆα ju du} Ui u Ui u

40 ce qui etraîe : STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 4 T m 3 = D m A ij A ij où A ij = U i huϕ judu O itègre alors par parties pour calculer A ij o pred ue primitive de ϕ j et o dérive h = f G que l o a supposé C et l o obtiet quel que soit j { D m } et i { } A ij A ij = hu i ϕ j U i hu i ϕ j U i Ui u Ui u h uϕ j udu Par suite e sommat sur i élevat au carré et sommat sur j o dispose à ouveau ue majoratio e deux termes T m 3 T m 3 T m 3 avec les otatios T m 3 = T m 3 = D m D m { hu i ϕ j U i hu i ϕ j U i } { h u Û u u ϕ j udu} L espérace du terme T3 m est ue somme sur j de variaces de moyees empiriques que l o calcule et majore comme pour T m et T m : T3 m = D m hu ϕ j U hu duφ D m D m ϕ j hu du = φ fx D m φ Y D m e utilisat la coexio de ormes et la défiitio de h Quat au terme T m 3 o remarque qu il s agit de la orme d ue projectio sur S m et o le majore e utilisat que la orme du projeté est iférieure ou égale à la orme de la foctio que l o projette : T m 3 = D m h ΠSm Û id ϕ j = h Û id h Û id h Û id utilisat le Corollaire 4 pour coclure o a T m 3 C h / Par suite T3 m C h φ Y D m

41 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 4 Pour majorer le terme T3 m o commece par remarquer que pour j ϕ j = πµ j ϕ j où l o ote µ j = j si j est pair et µ j = j si j est impair Par coséquet T3 m = π 4 /4 D m π 4 /4Dm 4 = π 4 /4Dm 4 { D m D m } hu Û u u µ j ϕ j udu { } hu Û u u ϕj udu { } h Û id ϕj = π 4 /4Dm 4 Π S m h Û id π 4 /4D 4 m h Û id π 4 /4Dm 4 Û id 4 h udu ; C 4 π 4 /4 h D4 m fi pour le derier terme T33 m = /6 /6 C 6 6 D m D m ϕ 3 j ϕ 3 { } 3 3 hu Û u u ϕ ˆα ju du h Û id h D7 m 3 6 j 3 résumé T3 m 6 C h φ Y D m C 6 ϕ 3 h D7 m 3 3C 4 π 4 /4 h D4 m 87 Preuve du Lemme 4

42 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 4 O commece à décomposer le derier terme de la faço suivate : T4 m = ˆf ĜG ĜĜ m ˆf m X l l g D m = âĝj ϕ j G ϕ j Ĝ X l l g D m âĝj a j ϕ j G ϕ j Ĝ X l l := T m 4 T m 4 Commeços par majorer T m 4 : T m 4 où l o ote T4 m = T4 m = a;b a;b = D m D m D m g D m Ĝx âĝj a j ϕ j Gx ϕ j âĝj a j D m D m âĝj a j T m 4 T m 4 ; ; D m D m âĝj Le premier terme s écrit aussi T m 4 = D m et le secod se simplifie e ; âĝj X l l âĝj X l l a j Var âĝj X l l ; T4 m = T mb 3 ; d après la lige de calcul e otat 4 T mb 3 = D m D m a j ϕ j G ϕ j Ĝ X l l X l l gxdx ϕ j Gx ϕ j Ĝx X l l gxdx ϕ j u ϕ j Ûu du X l l D m D m D m ϕ j u ϕ j Ûu X l l du ϕ j u ϕ j Ûu X l l du ϕ j u ϕ j Ûu du ϕ j u ϕ j Ûu du âĝj X l l a j g