RÉGRESSION: BASES DÉFORMÉES ET SÉLECTION DE MODÈLES PAR PÉNALISATION ET MÉTHODE DE LEPSKI.

Transcription

1 RÉGRSSION: BASS DÉFORMÉS T SÉLCTION D MODÈLS PAR PÉNALISATION T MÉTHOD D LPSKI GAËLL CHAGNY Octobre Ce documet est essetiellemet u complémet à l article Pealizatio versus Goldeshluger- Lepski strategies i regressio estimatio with warped bases Il cotiet les démostratios détaillées des pricipaux résultats Il e cotiet par cotre pas ce qui cocere les motivatios et justificatios des méthodes employées aisi que les comparaisos avec d autres stratégies d estimatio O se réfèrera pour cela à l article cité fi ce documet cotiet aussi la justificatio théorique du remplacemet de la quatité icoue das la péalité par u estimateur cf sectio 69 Table des matières partie Itroductio Objectif Iégalité de cocetratio utilisée 3 3 Démostratio : utilisatio de l iégalité de Talagrad versio Klei et Rio 3 3 Première étape : Applicatio de l iégalité de Talagrad versio Klei et Rio Deuxième étape : Modificatio type Birgé-Massart 5 33 Troisième étape : Itégratio 6 partie stimatio quad la loi du desig est coue 8 4 Rappels 8 4 Observatios 8 4 Modèles 8 43 spaces de régularité 8 5 stimatio o adaptative 9 5 Costructio de l estimateur 9 5 tude du risque 9 6 stimatio adaptative 6 Costructio de l estimateur par méthode de Lepski 6 Costructio de l estimateur par péalisatio 63 Majoratio du risque pour chacu des deux estimateurs 64 Résultat prélimiaire aux preuves des Théorèmes et Preuve du Théorème 3 66 Preuve du Théorème Preuve du Lemme Preuve du Lemme stimatio adaptative par péalisatio suite : ue péalité aléatoire 6 : MAP5 UMR CNRS 845 Uiversité Paris Descartes Frace gaellechagy@parisdescartesfr

2 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS partie 3 stimatio quad la loi du desig est icoue 9 7 Rappels 9 7 Observatios 9 7 Modèles 3 73 spaces de régularité 3 74 Rappels sur la foctio de répartitio empirique 3 8 stimatio o adaptative 3 8 Costructio de l estimateur 3 8 Résultats prélimiaires à l étude du risque tude du risque Preuve du Lemme Preuve du Lemme Preuve du Lemme Preuve du Lemme stimatio adaptative 47 9 Costructio de l estimateur par méthode de Lepski 47 9 Costructio de l estimateur par péalisatio Majoratio du risque pour chacu des deux estimateurs Résultats prélimiaires aux preuves des Théorèmes 6 et Preuve du Théorème Preuve du Théorème Preuve du Lemme 9 54 Référeces 73 Première partie Itroductio Le but est d estimer f das le modèle Objectif Y = fx ε avec X le desig aléatoire réel de loi doée par sa foctio de répartitio G supposée dérivable de dérivée g supposée strictemet positive ε variable aléatoire réelle cetrée de carré itégrable de variace otée σ f la foctio icoue de R das R O supposera que f L a; b B a;b λ a;b pour u certai itervalle o vide a; b R où B a;b et λ a;b désiget respectivemet la tribu boréliee et la mesure de Lebesgue sur a; b Pour simplifier o supposera que X est à valeurs das a; b presque sûremet ce qui reviet à dire que le support de g est iclus das a; b Le pricipe de la méthode utilisée est de commecer par estimer la foctio h = f G par sélectio de modèles costructio d ue famille d estimateurs par projectio et sélectio d u estimateur coveable das cette collectio par méthode de Goldeshluger-Lepski ou par péalisatio puis de défiir u estimateur pour la foctio cible f par ˆf = ĥ G ou ĥ Ĝ

3 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 3 où ĥ désige l estimateur de h et Ĝ désige la cotrepartie empirique pour la foctio de répartitio G das le cas où celle-ci est supposée icoue Iégalité de cocetratio utilisée Propositio Versio itégrée de l iégalité de Talagrad Soiet N\{} F ue classe au plus déombrable de foctios mesurables à valeurs réelles et X i i {} ue famille de variables aléatoires réelles idépedates O défiit quel que soit f F ν f := fx i fx i O suppose qu il existe trois costates strictemet positives M H et v telles que : sup f M f F sup ν f f F Alors quel que soit ε > sup ν f εh f F où Cε = ε et K = /6 H et sup f F Var f X i v 4 { v K exp K ε H v 49M K C ε exp K Cε ε 7 } H M Remarque : o peut utiliser cette iégalité pour certaies classes F de foctios o déombrables par exemple si F est ue partie déombrable dese d u espace métrique 3 Démostratio : utilisatio de l iégalité de Talagrad versio Klei et Rio 3 Première étape : Applicatio de l iégalité de Talagrad versio Klei et Rio 5 L objectif est d obteir u majorat pour P sup ν f H y f F où y > O va utiliser pour ceci la derière iégalité du théorème suivat du à Klei et Rio Théorème Soiet S u esemble au plus déombrable de foctios mesurables défiies sur X espace métrique poloais et à valeurs das ; ξ i i {} des variables aléatoires idépedates idetiquemet distribuées à valeurs das X O suppose que pour tout vecteur s = s s S pour tout i { } s i ξ i = O défiit : Z = sup s i ξ i et V = sup Var s i ξ i s Ss=s s s S Alors pour tout λ > log expλz λz λ Z V { exp e λ }

4 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 4 particulier e otat v = Z V o obtiet pour tout x > P Z Z x exp x4 log log x v exp x v 3x Remarque : La deuxième assertio proviet de la première e utilisat la méthode de Cheroff O applique ceci de la faço suivate : o pred ξ i = X i ; pour f F o défiit s i f : x si f x = f f x X i M M et o pred S = { s f = s f s f f F} O a bie pour f F et i { } s i X i = s i f à valeurs das ; par défiitio de M et Z se réécrit Z = sup f F /M ν f Le théorème s applique doc et l o a quel que soit x > P sup ν f sup ν f x exp x M f F M f F v 3x c est à dire pour tout y > e preat x = y/m et e utilisat la défiitio de H P sup ν f H y f F P sup ν f f F exp y 8M v 6M y sup ν f f F O majore esuite v = Z V : d ue part Z H/M d autre part fx i V = sup Var f F M O a doc Il viet aisi P = 4M v 4M sup ν f H y f F sup f F Var fx i par défiitio de v v H M v 4M exp y 4M H v 6M y y

5 O utilise esuite STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 5 P sup f F ν f H y P P P = P { } sup ν f H y f F { } sup ν f H y f F sup ν f H y f F sup ν f H y f F exp P P { sup f F { sup f F y 4M H v 6M y ν f = sup ν f f F } ν f = sup ν f f F sup ν f H y f F sup ν f H y f F car le raisoemet fait ci dessus pour cotrôler les déviatios de sup f F ν f s applique de la même maière pour cotrôler celles de sup f F ν f } 3 Deuxième étape : Modificatio type Birgé-Massart L objectif est d obteir u majorat pour P sup ν f λ η H f F où λ > η > O applique l iégalité obteue à la première étape avec y = ληh et l o va majorer le membre de gauche de l iégalité c est à dire miorer la quatité suivate e suivat la démarche employée par Birgé et Massart das le corollaire p354 de 5 y v 4M H 6M y = = λ η H λh v 8HM 6M λ 6M ηh λ λh v 6M λ M H8 6η a b avec des otatios évidetes c d e Or quels que soiet a b c d e > a b c d e a 3 c a d b e

6 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 6 effet a b c d e = 3 3 a b 3c d e a b c a b d a c a d b e a b e Appliquer ici ceci doe y v 4M H 6M y λ 6 v λ M 6 η 4 3η O utilise esuite 6 η 4 3η η 7 ; e effet o a d ue part /6 /7 η /7 et d autre part η 4 3η η = 7 3 η pour η 74 3η 4η pour η 74 3η Aisi il viet y v 4M H 6M y λ 6 v η 7 λ M et par suite P sup ν f λ η H f F exp { λ 6 v η 7 λ M } 33 Troisième étape : Itégratio L objectif est maiteat de parveir à l iégalité aocée O veut majorer l espérace de la variable positive : X := sup ν f εh f F

7 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 7 O suit ici la preuve du lemme 6 de 9 et o commece par écrire : X = = = PX tdt P P sup ν f εh t f F dt sup ν f εh εh t/ f F P sup ν f εh εh t/ f F e utilisat a b a b dt dt A ce iveau o peut utiliser l iégalité de la deuxième étape avec η = ε et λ = εh t/ O e déduit X t = exp exp t K { εh t/ v η 7 } εh t/ dt M { εh } t/ K dt { v } η εh exp K t/ dt 7 M où t est foctio de tous les paramètres iterveats ici et où l o choisit la covetio t = si t Comme les itégrades sot positives o majore de toute faço chacue des deux itégrales par les itégrales de à et l o utilise das l itégrade de la deuxième : pour e déduire : X = exp exp exp εh t/ εh t/ K v εh t/ K v εh K η 7M exp dt εh t/ dt K v t dt K η exp εh 7M exp K η 7M t dt;

8 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 8 et il reste à calculer les deux itégrales restates : o a pour toute costate C > : Aisi { X exp exp Ctdt = C et K v εh = 4 { v K e K ε H 49 M v K η e ce qui est l iégalité cherchée exp C tdt = C v K exp K η εh 7M K η } ε H 7 M 49M K η } Deuxième partie stimatio quad la loi du desig est coue 4 Rappels 4 Observatios Les observatios sot costituées des couples iid X i Y i avec Y i = fx i ε i ; les variables ε i état iid cetrées de variace σ et les variables X i ayat pour desité g et foctio de répartitio G et idépedates des couples précédets L objectif est d estimer la foctio de régressio f e commeçat par l estimatio de h = f G e supposat que G est coue L hypothèse pricipale est l apparteace de la foctio h à l espace de Hilbert L ; Ceci va permettre de costruire des estimateurs par projectio sur certais sous-espaces de L ; pour cette foctio 4 Modèles Les modèles sot des sous espaces vectoriels de L ; O ote la collectio S m m M où le cardial de M est fii de cardial dépedat du ombre d observatios Les hypothèses sot les suivates : M Chaque modèle est de dimesio fiie D m telle que D m M Les modèles sot emboîtés c est-à-dire pour tout m m M tel que D m D m S m S m O ote ϕ j j {Dm} ue base orthoormée de S m m M M 3 Il existe ue costate positive φ telle que pour tout idice m M et toute foctio t S m t φ Dm t Ceci équivaut à la propriété suivate : D m ϕ j φ D m O se cotetera des modèles classiques : trigoométriques polyômes par morceaux avec subdivisio dyadique odelettes à support compact 43 spaces de régularité O cosidèrera les espaces de Besov B α pour α > Ceux-ci sot défiis de la maière suivate : pour r u etier positif et v > et ue foctio à valeurs réelles t o pose r r r vtx = r k tx kv k k= pour x choisi tel que x kv ; k { r} suite pour u > le module de régularité est doé par ω r t u = sup <vu r vt Aisi o dit que la foctio t appartiet à l espace de Besov B α si t appartiet à L ; et si pour r = α t B α = sup u> u α ω r t u < L itroductio de ces espaces est justifiée par leurs boes propriétés d approximatio : o utilisera le lemme de l article de Barro Birgé et Massart Risks bouds for model selectio via pealizatio

9 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 9 5 stimatio o adaptative O fixe u idice m M et o estime la projectio orthogoale de la foctio h sur le modèle S m 5 Costructio de l estimateur O défiit le cotraste suivat : t L ; γ G t := t Y i t GX i Justifios ce choix : t L ; γ G t = t Y t GX = t f G t Aisi γ G t est l équivalet empirique de t f G f G qui est miimal quat t = f G Doc miimiser le cotraste γ G fourit aturellemet u estimateur empirique de h = f G O défiit doc 3 ĥ G m = arg mi t S m γ G t ˆf GG m = ĥg m G Il e résulte u uique estimateur dot l expressio est la suivate : 4 ĥ G m = D m â G j ϕ j with j { D m } â G j = Y i ϕ j GX i 5 tude du risque Comme ĥg m estime la projectio h m de h sur le sous espace vectoriel S m il est aturel de décomposer le risque e utilisat f G m := h m G : o décompose la perte de l estimateur avat de predre l espérace O majore déjà le terme de variace : GG ˆf m f g = f f G m g f m G GG ˆf m f g = f f G m g fm G Propositio Avec les otatios ci-dessus fm G GG ˆf m g φ Y D m ˆf GG m g GG ˆf m g

10 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS Preuve O otera das la suite a j = f G ϕ j pour j = D m fm G GG ˆf m D m g = a j â G j ϕ j G = D m a j â G j ϕ j g Or = D m a j â G j = Varâ G j = Var a j â G j puisque les ϕ j j sot orthoormées Y i ϕ j GX i = Var Y ϕ j GX caractère iid des observatios Y ϕ j GX ce qui doe le résultat aocé e sommat sur j et e appliquat l hypothèse de coexio de ormes Pour l étude du biais o suppose maiteat que l espace S m de dimesio D m est l u des modèles suivat : espaces de polyômes trigoométriques espaces fodés sur les polyômes par morceaux de degré iférieurs ou égaux à r ou espaces fodés sur des odelettes à supports compacts Propositio 3 Supposos que h = f G soit u élémet de l espace de Besov B α avec α > fixé α r das le cas où S m est u espace de polyômes par morceaux de degrés iférieurs ou égaux à r Alors il existe ue costate C α e dépedat que de α telle que f fm G g C αdm α Preuve O ote déjà que f fm G g = h h m où l o rappelle que h m est la projectio de h sur S m Par coséquet le terme à majorer est aussi if t Sm h t Le résultat proviet doc directemet d u résultat d approximatio le lemme de l article de Barro Birgé et Massart Risks bouds for model selectio via pealizatio De ces deux propositios o déduit immédiatemet le corollaire suivat :

11 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS Corollaire 4 Sous les hypothèses de la propositio précédete la majoratio suivate du risque GG de l estimateur ˆf m a lieu : GG ˆf m f g C α Dm α φ Y D m t efi u choix optimal de modèle si la régularité de h est coue : Propositio 5 Supposos que h = f G soit u élémet de l espace de Besov B α avec α > fixé α r das le cas où S m est u espace de polyômes par morceaux de degrés iférieurs ou égaux à r Alors le choix d u modèle S m de dimesio D m de l ordre de /α etraîe la majoratio : GG ˆf m f g C α α De plus ce choix est optimal quat à la majoratio du risque obteue das le Corollaire 4 Preuve Il s agit de miimiser e x R la foctio χx := C x/ C x α où C = φ Y et C = C α dérivat o obtiet u uique poit critique x = αc /C /α α et o vérifie qu il s agit bie du lieu d u miimum miimum dot la valeur est χx = C α α où C est ue costate dépedat de C et C 6 stimatio adaptative O e suppose plus fixé u idice m M Disposat de la collectio ˆf Ĝm m M d estimateurs o cherche à sélectioer u idice m coveable sur la base des observatios O propose deux méthodes l ue fodée sur u procédure classique de sélectio de modèles par péalisatio et l autre fodée sur la comparaiso des estimateurs ci-dessus deux à deux basée sur des travaux de Lepski et Goldeshluger 6 Costructio de l estimateur par méthode de Lepski O défiit les deux quatités suivates quel que soit m M et δ > : 5 V m = 6 6 δφ Y Dm Am = max m M ĥ G m ĥg m m V m puisque l o rappelle que la variace d u estimateur 6 ˆm Gl = argmi m M {Am V m} ˆf GG m est majorée par φ Y D m/ L estimateur sélectioé aisi est doc ˆf GG ˆm Gl = ĥgˆm Gl G

12 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 6 Costructio de l estimateur par péalisatio 7 Soiet θ > et δ > deux paramètres fixés O défiit l applicatio pe θδ : m M pe θδ m := 6θ δφ Y D m Soit aussi ˆm Gp argmi m M γ G ĥg m pe θδ m L estimateur sélectioé est ˆf GG ˆm Gp = ĥgˆm Gp G 63 Majoratio du risque pour chacu des deux estimateurs O va obteir les deux théorèmes ci-dessous sous les hypothèses suivates : o se place sur l u des modèles cités plus haut : trigoométriques odelettes à support compact polyômes par morceaux dyadiques le bruit ε admet u momet d ordre p p > 4 la foctio h est borée sur ; Théorème L estimateur sélectioé par méthode de Lepski vérifie l iégalité-oracle suivate : { GG ˆf f ˆm C mi φ Y D m Gl g m M 5 f G m f } C g avec C ue costate e dépedat que de φ h et δ ˆf GG ˆm Gp vérifie l iégalité- Théorème 3 Soiet θ > et δ > deux paramètres fixés L estimateur oracle suivate : { GG θ 8 ˆf f ˆm Gp g mi m M θ f f m G g θ } θ pe θδm θ C θ où l o rappelle que f G m = h m G h m état la projectio orthogoale de h sur S m et où C est ue costate e dépedat que de φ f σ ε p et δ Corollaire 6 Sous les hypothèses des théorèmes précédets et e supposat que la foctio h est das l espace de Besov B α pour α > α r das le cas où S m est u espace de polyômes par morceaux de degrés iférieurs ou égaux à r et borée sur ; pour des deux estimateurs ci-dessus GG ˆf ˆm f g = O α α Preuve du Corollaire 6 O repred les iégalités oracles par exemple 8 pour l estimateur par péalisatio o majore le biais par C α Dm α e utilisat le lemme de l article déjà cité de Barro Birgé et Massart puis o calcule le miimum du membre de gauche de l iégalité-oracle : celui-ci est atteit pour D m de l ordre de /α et vaut la vitesse α/α > aocée ˆf GG ˆm l u Remarque : le jeu d hypothèses suivat coviet aussi pour obteir les mêmes résultats o se place sur l u des modèles cités plus haut : trigoométriques odelettes à support compact polyômes par morceaux dyadiques les dimesios des modèles vérifiet D m / quel que soit m M

13 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 3 le bruit ε admet u momet d ordre p p > la foctio h est borée sur ; uiquemet pour le corollaire et à la place de l hypothèse précédete la foctio h est das l espace de Besov B α α r das le cas où S m est u espace de polyômes par morceaux de degrés iférieurs ou égaux à r avec α > / ceci assure d ue part que D m peut-être à la fois iférieur à et de l ordre de /α ; et d autre part ceci assure automatiquemet alors que h est borée 64 Résultat prélimiaire aux preuves des Théorèmes et 3 Ces deux théorèmes sot fodés sur la majoratio des déviatios du processus empirique suivat : pour t L ; 9 ν t = Y i t GX i t G f g déviatios étudiées par rapport à la quatité suivate défiie pour m m M : pm m = 6 δφ Y D m m Lemme 7 Avec les otatios et hypothèses ci-dessus quel que soit m M sup ν t pm m C m M t S m m t = où C est ue costate e dépedat que de φ f f X σ ε p et δ 65 Preuve du Théorème Das toute la preuve C désigera ue costate dépedat uiquemet des quatités idiquées das l éocé du théorème et pouvat varier d ue lige à l autre O abrège ˆm Gl GGl e ˆm et ˆf ˆm GG e ˆf ˆm O fixe m M O commece par décomposer GG ˆf ˆm f = ĥgˆm h g 3 3 ĥg m ˆm ĥg m 3 ĥg m h ĥgˆm ĥg m ˆm utilisat successivemet la défiitio de A puis celle de ˆm o obtiet GG ˆf ˆm f 3 Am V ˆm 3 A ˆm V m 3 g ĥg m h 6 Am V m 3 ĥg m h L objectif est d obteir ue iégalité de type oracle Le terme V m correspod au terme de variace et le terme ĥg m h a déjà été étudié : il s agit de la perte de l estimateur ĥg m dot l espérace est majorée par la somme d u terme de variace de l ordre de V m et d u terme de biais au carré O a doc ĥ G ˆm h 6 Am 6V m 3φ Y D m 3 h m h

14 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 4 Il reste à majorer le terme Am O utilise le lemme suivat ce qui coclut la preuve Lemme 8 Sous les hypothèses du théorème il existe ue costate C telle que pour tout m M 66 Preuve du Théorème 3 Am C h m h Soit m M fixé crivos das ce paragraphe γ = γ G pe = pe θδ ˆm = ˆm Gp ˆf GG ˆf GGp ˆm ˆm = pour alléger les otatios O commece par utiliser la défiitio de ˆm comme argumet-miimum du cotraste péalisé : γ ĥgˆm pe ˆm γ ĥg m pem O utilise esuite celle de ĥg m comme miimiseur du cotraste sur S m et le fait que h m S m combiat les deux iégalités o a γ ĥg m γ h m γ ĥg m γ h m pem pe ˆm O remplace esuite le cotraste par sa défiitio e remarquat que pour tout t L ; ce qui etraîe par l iégalité GG ˆf ˆm f g t = t G g = t G f g f g t G f g ĥgˆm G f g h m G f g pem pe ˆm ν ĥgˆm } {{ } } {{ } h m fm G f g où le processus ν a été défii ci-dessus cf l equatio 9 Il s agit esuite de se débarrasser du caractère doublemet aléatoire de ν ĥgˆm h m : aléa du ν et aléa de so argumet Das cet objectif o écrit : ν ĥgˆm h m = ĥgˆm h m ν ĥgˆm h m ĥgˆm h m sup t SmS ˆm t = ĥgˆm h m ν t par liéarité de ν = ĥgˆm h m sup ν t car les espaces sot emboîtés t Sm ˆm GG = ˆf ˆm f m G g sup ν t t Sm ˆm où l o ote ici et das la suite Sp = {t S p t = } pour p M O itroduit esuite le paramètre θ > et o utilise l iégalité xy x /θ θy valable pour

15 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 5 tout couple de réels x y pour e déduire : ν ĥgˆm h m ˆf GG ˆm θ f G m g θ θ sup t S m ˆm ν t GG ˆf ˆm f g fm G f g θ sup ν t t S m ˆm O ijecte ceci das l iégalité pour obteir GG ˆf θ ˆm f g f f G θ m g pem pe ˆm θ sup t Sm ˆm ν t O itroduit maiteat pm ˆm quatité positive défiie aussi ci-dessus et l o écrit pour θ > { GG ˆf ˆm θ θ f g f f G θ θ m g pem } θ sup t S m ˆm ν t pm ˆm θpm ˆm pe ˆm Il reste u double aléa das le "sup" qui apparaît das la majoratio : aléa das l idice du modèle e plus de l aléa préset das la défiitio de ν Pour s e débarrasser o majore brutalemet de la faço suivate : GG ˆf ˆm f g θ θ f f m G g θ θ m M θ θ pem θ θpm ˆm pe ˆm θ sup ν t pm m t Sm ˆm La clé de la preuve cosiste à utiliser le Lemme 7 ; o obtiet alors e partat de l équatio GG ˆf ˆm f g θ θ f f m G g La défiitio de pem impose esuite que θ θ pem θ C θ θpm ˆm pe ˆm pem θ θpm ˆm pe ˆm θ puisque l o a Ceci etraîe GG ˆf ˆm f g ce qui est le résultat aocé pm ˆm 6 δφ Y D m D ˆm θ θ f f G m g θ θ pem θ C θ

16 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 6 67 Preuve du Lemme 7 Pour plus de lisibilité o décompose la preuve e 6 étapes Première étape : décompositio de ν L idée directrice est l applicatio de l iégalité de Talagrad à ν t = Y i t GX i t G f g pour t L ; Mais so utilisatio écessite des quatités borées : or Y i t GX i e l est pas a priori O écrit doc avec ν t = ν t = ν t = ν t = ν t ν t ν t fx i t GX i t G f g ε i εi κ t GX i ε i εi κ t GX i ε i εi >κ t GX i ε i εi κ t GX i où κ = c l avec c ue costate dépedat du modèle choisi trigoométrique odelettes polyômes par morceaux Le derier terme s écrit aussi : ν t = ε i εi >κ t GX i ε i εi >κ t GX i e utilisat le fait que ε i = et l idépedace de X i d avec ε i O a aisi ν t 3 ν t t ν ν et si o décompose pm ˆm = p m ˆm p m ˆm o a quel que soit m M { sup ν t pm m 3 sup ν p m m t t Sm m t Sm m 3 sup ν p m m t t Sm m 3 } sup ν t t Sm m O va maiteat majorer chacu des trois termes e appliquat l iégalité de Talagrad pour les deux premiers et ue majoratio de type Markov pour le suivat

17 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 7 Deuxième étape : Majoratio du premier terme Pour t Sm m o s itéresse à ν t = = fx i t GX i t G f g f t X i f t X i où f t : x fxt Gx Pour appliquer l iégalité de Talagrad o commece par détermier les quatités M v H qui itervieet M est u majorat uiforme sur Sm m des f t Or f t f t et comme t S m m il existe b j Dm m ue famille de réels telle que t = b j ϕ j Comme de plus t = o a b j = Doc l iégalité de Cauchy-Schwarz etraîe que t ϕ j φ D m Doc o peut choisir O cherche H majorat de majorer et e écrivat que t T m De plus M = φ f Dm m sup t Sm m ν t sup t Sm m ν Par l iégalité de Cauchy-Schwarz il suffit t comme ci-dessus o obtiet sup t Sm m ν ϕ j ν D m m t = Var ν ϕ j fx i ϕ j GX i = VarfX ϕ j GX doc et o peut doc choisir : D m m f X ϕ jgx ν ϕ j f X φ D m m H D m m = f X φ

18 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 8 v est défii comme u majorat de sup t Sm m / i Varf t X i Comme les doées sot iid cette quatité est égale à Varf t X f t X = b a t Gxf xgxdx = t uf G udu f t udu = f := v O applique maiteat l iégalité : t δh sup t Sm m 4 K v ν K exp δ H v 49 K C δ M exp K Cδ δ 7 H M où Cδ = δ et K = /6 remplaçat esuite M v H par leurs valeurs ci-dessus et e choisissat p m m := 3 δ H il viet e sommat sur m M sup ν p m m t m M t Sm m 3 4 f 49φ exp kdm m K K C δ D m m exp k m M m M où l o a oté k = k δφ f X f K Cδ δ f k = X 7 f Le membre de droite de l iégalité ci dessus fait apparaître deux sommes du même type que l o majore de la faço suivate : χm m { Card m M m m } χm χm m M m M ce qui permet d obteir mχm sup t Sm m ν m M χm p m m t 3 T

19 où STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 9 T = 4 K f { m exp 49φ kd m K C δ m D m exp k 49φ exp k exp kdm K C δ m M m M D m Troisième étape : Majoratio du deuxième terme Pour t S m m o s itéresse à ν t = ε i εi κ t GX i ε i εi κ t GX i = g t ε i X i g t ε i X i où g t ε x := ε ε κ t Gx Comme pour le premier terme pour appliquer l iégalité de Talagrad o commece par détermier les quatités M v H défiit ci-dessus e remplaçat f t par g t qui itervieet : O écrit g t κ t ce qui permet de predre e suivat le choix du M ci-dessus De la même faço o écrit aussi sup t Sm m ν M = κ φ Dm m t D m m ε ε κ ϕ jgx D m m ε ϕ jgx φ σ D m m := H Pour la quatité v comme ci-dessus la variace de la somme est fois la variace idividuelle puis o majore la variace idividuelle par l espérace du carré et l idicatrice par pour faire sortir σ t GX = σ := v Comme pour le premier terme o applique l iégalité o somme sur m et e choisissat p m m := 3 δ H il viet sup t Sm m ν 4 K σ exp m M p m m t 3 kd m m 49φ κ K C δ m M D m m exp k

20 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS où l o a oté k = k δφ K Cδ δσ k = 7 O coclut ecore comme pour le premier terme : ν p m m t 3 où sup t Sm m T = 4 { σ m K exp kd m 49φ K C δ σ exp m M m κ D m exp kd m 49φ exp k K C δ T k κ κ κ m M D m Quatrième étape : Majoratio du troisième terme Pour t Sm m o s itéresse à ν t = ε i εi >κ t GX i ε i εi >κ t GX i Ce processus empirique est pas boré doc o e peut espérer lui appliquer l iégalité de Talagrad écrivat ce que sigifie t T m comme explicité ci-dessus das l étude du premier terme o obtiet : et sup t Sm m ν D m m t ν ϕ j = Var ν ϕ j ε i εi >κ ϕ j GX i D où D m m ε ε >κ ϕ j GX ν ϕ j ε ε >κ φ D m m φ κ p ε p ε >κ Dm m O e déduit doc : sup t Sm m ν φ κ p ε p D m m t φ ε p D m m κ p

21 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS sommat sur m et e appliquat la même démarche que pour les deux premiers termes o obtiet : t T 3 où où sup t Sm m T 3 = φ ε p ν md mκ p κ p résumé ous avos obteu : sup ν t pm m t Sm m T = m M 4 K f { m exp 49φ kd m K C δ 49φ exp k exp kdm K C δ m M T = 4 { σ m K exp kd m 49φ K C δ σ exp m M T 3 = φ ε p m M D m 3T T T 3 m D m exp k m κ D m exp kd m 49φ exp k K C δ md mκ p κ p m M D m m M D m κ κ k κ m M D m Ciquième étape : Coclusio de la majoratio du processus empirique das le cas des modèles fodés sur la base trigoométrique O choisit maiteat le modèle fodé sur la base de Fourier pour coclure la majoratio Das ce cadre D m = m m / doc m et m O exploite ceci pour majorer les quatités T T T 3 O commece par cosidérer séparémet les termes présets das T T T 3 et faisat iterveir m et Das les calculs qui suivet k pourra être remplacé par k quad o majorera T au lieu de T m exp kd m = exp k m exp km exp k k la derière majoratio découlat de l étude de la foctio u u exp ku dot le maximum est atteit e / k suite md m / /

22 Puis et d où STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS m M exp kd m m M D m exp k exp kd m = m= / m = m CardM exp k exp k // / 4 /4 D m /4 exp k e m M k comme le motre l étude de u u exp k u qui atteit so maximum e 4/ k Ceci ous permet déjà d écrire e otat que φ = ici C = 4 f K T C où C est ue costate dépedat de δ f f X mais i de i de m : précisémet { } e k e k k 96e K C δ k 98e e k K C δ k Il s agit esuite de motrer que T est e O/ O rappelle que κ Ceci aisi que l utilisatio des majoratios ci dessus motret que l o a κ exp k D m κ 4 exp k κ m M O impose que cette derière quatité soit majorer par C/ où C est ue costate Choisissos par exemple C = /4 pour fixer les idées O obtiet doc k exp = κ k l Le choix de κ = k l md m κ exp κ permet d écrire k κ k = md m 4 l exp l Aisi k 4 l = l k 4 < k 4 T C

23 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 3 où C est ue costate dépedat de δ φ σ mais i de i de m : précisémet { } C = 4 e k K k σ 49 k K C δ e k σ e 49 k K C δ fi il s agit de motrer que l o a T 3 = O/ pour le choix de la puissace d itégrabilité de ε : p avec p > 4 O a p p κ p md m k p/ l p = k p/ l p et d après les calculs qui précèdet κ p m M D m k p κ p 4 = p k 4 p/ l p Aisi les deux termes iterveat das la majoratio de T 3 sot du même ordre de gradeur Comme p > 4 p < Par suite p p k 5 où C 3 = 4 φ εp = k 5 εp T 3 C 3 Remarquos que c est à ce iveau que le choix p = 4 etraîe u perte d u facteur l 4 das la majoratio : il reste alors T 3 C 3 l 4 ce qui suffit tout de même pour avoir ue majoratio égligeable de l espérace du processus empirique cf les remarques suivat le théorème De plus otos aussi que si l o suppose D m l ordre de gradeur des deux termes deviet p/ l et l hypothèse d itégrabilité mois lourde p > etraîe p/ < et le même résultat sur T 3 Fialemet o obtiet m M sup ν t pm m t Sm m C où C = 3C C C 3 et pm m = p p m m = 6 δφ f X σ D m m 6 δφ Y D m m ce qui coclut la preuve das le cas des modèles trigoométriques = Sixième étape : Coclusio de la majoratio du processus empirique das le cas des modèles fodés sur les polyômes par morceaux dyadiques ou les odelettes O rappelle que das ce cadre D m = k m où k = r pour les polyômes par morceaux k = pour les odelettes et la coditio D m etraîe l lk m = m max l

24 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 4 O repred la démarche adoptée au poit précédet c est à dire que l o majore les quatités dépedats de et m et iterveat das T T ou T 3 O sera cepedat mois précis sur les costates présetes das les majoratios la défiitio même de D m = m compliquat quelque peu leurs expressios explicites par rapport au D m = m précédet Aisi das les liges qui suivet c désige ue costate qui peut chager d ue lige à l autre L étude de la foctio u u exp k k u atteigat u maximum e u = lk k l/ l ous permet d affirmer : suite md m m exp kd m c l l = c l c Puis exp kd m est le terme gééral d ue série covergete somme sur m M N et efi m max D m = k m = k mmax c m M m = par costructio de m max Aisi aux costates différetes près o est exactemet das le même cas que das le cas du modèle fodé sur la base trigoométrique et tout le raisoememt fait précédemmet s applique Fialemet o obtiet aussi m M sup ν t pm m t Sm m C où C est ue costate dépedat de φ f f X σ ε p et δ 68 Preuve du Lemme 8 O doit majorer pour chaque m M Am = max m M { ĥ G m ĥg m m V m } Pour chaque idice m M o décompose ĥg m ĥg m m 3 ĥ G m h m 3 hm h m m 3 h m m ĥg m m Aisi Am 3 max m M ĥ G m h V m m 3 max hm m 6 m M V m ĥg m m 6 3 max m M h m h m m := 3 T a T m b T m c O a doc trois termes dot o doit majorer l espérace

25 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 5 68 Majoratio de T a O majore brutalemet le premier de la faço suivate : T a t l o remarque que l o a m M { ĥ G m h V m } m 6 ĥg m h m = = = D m âg j a j D m D m Y i ϕ j GX i Y i ϕ j GX i νϕ j où ν est le processus empirique cetré défii par l égalité 9 De plus o a l égalité D m ν ϕ j = sup t Sm ν t où Sm désige la sphère uité du modèle S m effet si t Sm t = D m b jϕ j avec j b j = O peut doc écrire : ν t = D m b j ν ϕ j b j j ν ϕ j = j j ν ϕ j par l iégalité de Cauchy-Schwarz avec égalité pour le choix b j = ν ϕ j / j ν ϕ j Aisi T a m M { } sup νt V m t Sm 6 Le Lemme 7 appliqué e remplaçat m m par m et pm m par pm m prouve que cette derière quatité est bie majorée par C/ pour le choix de V m = 6 pm m qui est celui idiqué à la lige 5 68 Majoratio de T m b

26 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 6 Pour majorer ce secod terme o distigue les cas m m et m > m : { Tb m = max hm m m M V m } ĥg m m 6 = max max m M m m { hm ĥg m V m 6 { hm max T a max m M ĥg m m >m { hm max T a ĥg m V m 6 { hm T a ĥg m V m } 6 } V m 6 } max m M m >m } { hm ĥg m V } m 6 où l o a utilisé que pour m < m V m V m Le paragraphe précédet prouve esuite que T a est majoré par C/ et le Lemme 7 appliqué cette fois e substituat m à m m etraîe a fortiori qu il e est de même pour le secod terme de la somme ci-dessus puisque ce serait même vrai pour la somme sur m M de ce terme Aisi T m b C/ 683 Majoratio de T m c Ce terme est pas aléatoire c est u terme de biais O le cotrôle de la faço suivate : T m c = max m M h m h m m max m M mm h m h m max m M mm h m h h h m Or si m m S m S m doc la projectio orthogoale h m de h sur S m est aussi das S m Comme h m est la projectio de h sur S m o a par coséquet Aisi h m h h m h T m c 4 h m h 69 stimatio adaptative par péalisatio suite : ue péalité aléatoire Das le Théorème 3 o a défii : m M pe θδ m := 6θ δφ Y D m Or l espérace de Y est icoue La questio qui se pose est doc celle de so remplacemet par u estimateur O veut bie sûr coserver l iégalité oracle pour l estimateur sélectioé à partir d ue ouvelle péalité etièremet coue Le théorème suivat résout ce problème

27 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 7 Théorème 4 O se place sous les hypothèses du Théorème 3 Soiet θ > δ > < b < trois paramètres fixés O ote Y = / Y i et o défiit l applicatio pe θδ : 3 m M pe θδb m := 6 b θ δφ Y Soit aussi ˆm a argmi m M γ G ĥg m pe θδb m ˆf GG D m Alors l estimateur ˆm = a ĥgˆm G vérifie l iégalité-oracle suivate : a { } GG ˆf ˆm f a θ 4 mi f f G θ b m g m M θ g θ pe θδm θ C θ où l o rappelle que fm G = h m G h m état la projectio orthogoale de h sur S m et où C est ue costate e dépedat que de φ f σ ε p δ Y 4 et Y Preuve O otera pour simplifier pe et pe les deux péalités e omettat de mettre e idice les paramètres dot elles dépedet O défiit l esemble { } Y Ω b = Y < b O décompose aisi le risque de l estimateur : GG GG ˆf ˆm f = ˆf a ˆm f a GG Ω b ˆf ˆm g a g f Ω c b g O a doc deux termes à majorer L idée est la suivate : sur Ω b l estimateur Y est proche de la quatité qu il estime Y doc la majoratio du premier terme se ramèe à la preuve du Théorème 3 Pour le secod terme l idée est d utiliser que la probabilité de Ω c b est petite et doc de majorer f g par ue quatité o aléatoire ˆf GG ˆm a GG Majoratio de ˆf ˆm f g a Ωb Notos déjà que sur Ω b o a les deux iégalités suivates : Y b Y Y b Y O procède tout d abord comme das la preuve du théorème où la péalité est détermiiste : o obtiet { GG ˆf ˆm f a θ θ f f G g θ θ m g pem θ sup ν t pm m θpm ˆm a pe ˆm a θ m M t S m m t = où l o rappelle les otatios suivates pm ˆm a = 6 δφ Y D m ˆm a ν t = Y i t GX i t G f g

28 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 8 Puis l applicatio de l iégalité de Talagrad justifie l existece d ue costate C telle que sup ν t pm m C t S m m t = m M O obtiet doc toujours GG ˆf ˆm f a Ω b g θ f f G θ m g θ Ωb θ pem θ θ Mais l o a sur l évèemet Ω b : O aboutit doc à GG ˆf ˆm f a Ω b g C θpm ˆm b = 6θ δ Y D m D ˆm a 6θ δy D m D ˆm a = pem pe ˆm a θ f f G m θ g θ θ Ωb θpm ˆm b pe ˆm a θ θ Ω b pem θ C θ O utilise efi l iégalité pem bpem valable sur Ω b pour coclure O aboutit doc à GG ˆf ˆm f a Ω b θ f f G g θ m bθ θ C pem g θ θ GG Majoratio de ˆf ˆm f g a Ω c b O va motrer que ce terme est e O/ ce qui suffira Commeços par majorer Partat de l iégalité γ G puis pour u θ > ν ĥgˆm a h ˆm a D où pour u θ > ˆf GG ˆm a ˆf GG ˆm a ˆf GG ˆm a f g γ G f ˆm a o obtiet classiquemet f f ˆm a g f g ν ĥgˆm a h ˆm a θ ˆf GG ˆm a θ ˆf GG ˆm a f ˆm a g θ sup t S ˆm a t = f g θ f f ˆm a g θ ν t sup t S ˆm a t = θ θ f ˆm a f g θ θ sup ν t t S ˆm a t = θ θ f g θ θ sup ν t t S ˆm a t = ν t ˆf GG ˆm a f g

29 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 9 O bore esuite le supremum sur u esemble aléatoire sup ν t sup ν t pem t S ˆm a t = t S m t = Par suite GG ˆf ˆm f a Ω c b g m M θ θ f g P Ωc b θ θ sup ν t pem m M t S m t = pe ˆm a pe ˆm a Ω c b O remarque que pe ˆm a 6θ δφ Y e utilisat D ˆm a ce qui etraîe GG ˆf ˆm f a θ Ω c b g θ f g θ θ 6θ δφ Y P Ω c b θ θ sup ν t pem t S m t = m M Il reste doc deux quatités à borer par u O/ Le Lemme 7 s applique pour le cotrôle du processus empirique e remplaçat ˆm m par m et e otat que pm m = pem O a doc m M sup ν t pem t S m t = = O Quat à la majoratio de la probabilité du complémetaire de Ω b l argumet pricipal e est l iégalité de Bieaymé-Tchebitcheff : P Ω c Y b = P Y < b Y b Y Var Y 4 b Y Y Le derier majorat état e O/ cela termie la preuve Troisième partie 3 stimatio quad la loi du desig est icoue 7 Rappels 7 Observatios O rappelle que les observatios sot costituées des couples iid X i Y i avec Y i = fx i ε i les variables ε i état iid cetrées de variace σ aisi que des variables X i i = idépedates etre elles de même loi que les variables X i desité g foctio de répartitio G et idépedates des couples précédets L objectif est d estimer la foctio de régressio f e commeçat par l estimatio de h = f G

30 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 3 7 Modèles O cosidère les modèle trigoométriques pour m M où pour x ; S m := Vect {ϕ ϕ j ϕ j j = m} ϕ x = ϕ j x = cosπjx ϕ j x = siπjx O ote toujours D m = m la dimesio de S m et m max l idice du plus gros modèle de la collectio O rappelle qu u tel modèle S m vérifie l hypothèse de coexio de ormes avec φ = De plus les foctios de la base état de classe C o pourra appliquer la formule de Taylor-Lagrage aux ordres qui ous serot écessaires O utilisera aussi des majoratios uiformes des dérivées successives : r N\{} j { } ϕ r j πj r = ϕ r j r ϕ r Dm r O remarque aussi que l o a les égalités suivates pour j : ϕ j = πjϕ j ϕ j = πj ϕ j ϕ j = πjϕ j ϕ j = πj ϕ j 73 spaces de régularité Das ce cadre o va faire l hypothèse que la foctio h est das u espace de Sobolev périodisé défii par { } W per β L := h W β L j = β hj = h j où l o a W β L := {h : ; R h β est absolumet cotiue et h β x dx L } le choix de tels espaces se justifiat par les propositios suivates qui ous serot utiles : Propositio 9 Soiet β N\{} et L > Ue foctio h = θ jϕ j est das l espace W per β L si et seulemet si θ j j est das l ellipsoïde Θβ L /π β Rappelos que pour β N\{} et Q > o ote Θβ Q := θ l N αjθ j Q où α j j N\{} est défiie par α j = { j β si j est pair j β sio Remarquos que pour β β o a Θβ L /π β Θβ L /π β et par la propositio 9 l iclusio aalogue est valable pour les espaces de Sobolev périodisés : W per β L W per β L ce qui ous sera utile De plus cette propositio permet d étedre la défiitio des W per β L à des valeurs o etières de β : ue foctio est das u tel espace si et seulemet si la suite de ses coefficiets de Fourier est das l ellipsoïde correspodat Ue autre propriété justifie aussi l usage de ces espaces : Lemme Soiet L > et h W per L C O ote Π Sm orthogoale sur l espace S m Alors Π Sm h = Π Sm h l opérateur de projectio

31 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 3 fi ue propriété d approximatio similaire au lemme de Barro Birgé et Massart est obteue pour ces espaces : o e déduira des vitesses de covergeces vers du risque des estimateurs 74 Rappels sur la foctio de répartitio empirique O ote das toute la suite et pour tout i { } U i = GX i et Û la foctio de répartitio empirique associée au échatillo U i i O rappelle le résultat suivat cocerat la loi des U i : Lemme Quel que soit i { } U i suit la loi uiforme sur ; Lemme Quel que soit u R o a l égalité ĜG u = Ûu O utilisera l iégalité suivate qui est ue versio "uiforme" de l iégalité de Hoeffdig c est à dire qui permet de cotrôler uiformémet les déviatios de la répartitio empirique autour de so espérace Propositio 3 Iégalité de Dvoretzky-Kiefer-Wolfowitz Il existe ue costate C > telle que pour tout etier et pour tout λ > P sup Ûu u λ C exp λ u R C est précisémet ue versio itégrée de cette iégalité qui va ous servir O ote désormais Û id à la place de sup u R Û u u Corollaire 4 Pour tout p N\{} il existe ue costate C p telle que Û id p C p p/ O utilisera aussi ue autre versio itégrée : Corollaire 5 Pour tout κ > pour tout p N p il existe ue costate umérique C telle que Û id p p κlp/ C p κ /p p/ De plus o a l iégalité suivate : Û id κl C κ Preuve du Corollaire 5 Pour la première iégalité o ote déjà que pour toute variable Z Z = R PZ > tdt : Û id p κlp/ p/ = = P Û id p κlp/ p/ > t P Û id p κlp/ > t dt p/ dt P /p Û id > t κ lp/ p/ dt

32 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 3 O dispose de l iégalité a b /p /p a /p b /p valable pour a b > : e effet o a par cocavité de la foctio u : x x /p a b /p a /p b /p Par coséquet e utilisat ceci puis l iégalité de DKW Û id p κlp/ 5 C p/ P Û id > p/p t /p κ/p l / ; / dt exp p/p t /p κ/p l / / dt C exp { p/p κ /p l p C p κ /p } { exp p/p t /p} dt où l o a utilisé pour l iégalité 5 que a b a b pour a b > et pour la derière lige de calcul la majoratio de l itégrale restate par Pour la secode iégalité o ote déjà que pour toute variable Z Z = R tpz > tdt puis la majoratio est du même type : Û id κl tp Û id κl > t dt = tp Û id > κ l t dt C t exp κ l t dt = C/ κ u exp udu = C/ κ 8 stimatio o adaptative O fixe u idice m M et o estime la projectio orthogoale de la foctio h sur le modèle S m 8 Costructio de l estimateur Das le cas où G était coue o cosidérait le cotraste t L a; b γ G t := t g Y i t GX i

33 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 33 puis u estimateur miimisat ce cotraste ĥg m = argmi t Sm γ G t O obteait alors l écriture explicite suivate : ĥ G m = D m â G j ϕ j où j { D m } â G j = Y i ϕ j GX i et le calcul de l espérace des â G GG j ous avait icité à poser ˆf m = ĥg m G Supposat maiteat que G est icoue o l estime à l aide de la répartitio empirique calculée à partir de la moitié des observatios : Ĝ : x X i x O se sert de la techique de plug-i : o remplace G partout où elle iterviet par so estimateur O défiit aisi j { D m } âĝj = Y i ϕ j ĜX i puis et efi l estimateur que l o va étudier est 6 ˆf ĜĜ m D m ĥĝm = âĝj ϕ j = ĥĝm Ĝ Remarquos que ĥĝm est aussi l estimateur miimisat sur l espace S m le cotraste γĝ défii pour t L ; par 7 γĝ t = t D m Y i t ĜX i Notre objectif est ici de motrer que sous certaies cotraites sur la valeur de D m et sur le choix du modèle S m la vitesse obteue das le cas où G était coue est coservée pour ĜĜ l estimateur ˆf m 8 Résultats prélimiaires à l étude du risque O rappelle les otatios pour j { D m } a j = h ϕ j = f G uϕ j udu â G j = Y i ϕ j GX i âĝj = Y i ϕ j ĜX i Nous avos motré au chapitre précédet que â G j = a j et ous utiliseros le calcul suivat : Lemme 6 Quel que soit j { D m } âĝj X l l {} = f G uϕ j Ûudu Preuve Par liéarité de l espérace coditioelle et e otat que les variables Y i ϕ j ĜX i sot

34 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 34 idetiquemet distribuées pour i = coditioellemet à X l âĝj X l l = Y ϕ j ĜX X l l = fx ϕ j ĜX X l l ε ϕ j ĜX X l l = fx ϕ j ĜX X l l := χx X l l X l l où l o a aussi utilisé que ε et ϕ j ĜX sot idépedats coditioellemet à X l l puis que l espérace coditioelle de ε est ulle car égale à so espérace par idépedace avec X l De plus X est idépedat de X l l ce qui permet d itégrer par rapport à sa loi pour calculer la derière espérace : b âĝj X l l {} = χx X l l gxdx = f G uϕ j ĜG udu a e posat u = Gx O coclut e utilisat le lemme ci-dessus 83 tude du risque ĜĜ 83 océ des résultats Pour évaluer le risque quadratique itégré de l estimateur ˆf m ous allos utiliser les résultats cocerat le risque de l estimateur costruit das le cas où la loi du GG desig est supposée coue ˆf m aisi que l itermédiaire suivat : ˆf ĜG m := ĥĝm G = Nous allos démotrer les résultats suivats : D m âĝj ϕ j G Propositio 7 Supposos que l o travaille avec S m le modèle trigoométrique classique et que h = f G est de classe C et das W per L pour u certai L > Alors si D m /3 / l /3 il existe ue costate C > dépedat de L f h h φ ϕ r pour r = des costates C p p = de l iégalité de Dvoretzky-Kiefer-Wolfowitz et de Y telles que ĜĜ ˆf m f g 6 f f G m g C D m Propositio 8 Supposos que l o travaille avec S m le modèle trigoométrique classique et que h = f G est de classe C et das W per L pour u certai L > Alors si D m /4 il existe ue costate C > dépedat de L f h h φ ϕ r pour r = des costates C p p = de l iégalité de Dvoretzky-Kiefer-Wolfowitz et de Y telles que ĜĜ ˆf m f g 6 f fm G g 36φ Y D m C l O e déduit u choix optimal pour D m das le cas où la régularité au ses des espaces de Sobolev de la foctio h est coue C est l objet des deux corollaires qui suivet Corollaire 9 Supposos que l o travaille avec S m le modèle trigoométrique classique et que h = f G est de classe C et das W per α L pour u certai L > u certai α et D m /3 / l /3 Alors o a la majoratio suivate pour ue certaie costate C > : ˆf ĜĜ m f 6 L g D α πα m C D m l

35 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 35 L hypothèse α assure que h W per L Corollaire Supposos que h = f G est das W per α L pour u certai L > u certai α Supposos aussi que h est de classe C Alors le choix du modèle trigoométrique classique S m avec D m d ordre /α assure la majoratio suivate du risque : où C est ue costate ˆf ĜĜ m f g C α α Remarque : le choix α assure que si D m est de l ordre /α alors D m /3 / l /3 ce qui était exigé pour avoir la majoratio du risque Itroductio à la preuve de la propositio 7 O décompose la perte de otre estimateur de la faço suivate : ĜĜ ˆf m f f f G g m g fm G GG ˆf m g GG ĜG ˆf m ˆf m ˆf GG ĜG g m ˆf m X l l ĜG ĜĜ ˆf m ˆf m ˆf ĜG ĜĜ g m ˆf m X l l ˆf GG ĜG g m ˆf m X l l ˆf ĜG ĜĜ g m ˆf m X l l O utilise esuite la covexité de la foctio x x pour obteir où ˆf ĜĜ m f 4 6 g ˆf GG l= T m = f fm G g fm G m g T m GG ĜG = ˆf m ˆf m ˆf GG m T m ĜG ĜĜ = ˆf m ˆf m ˆf ĜG m T3 m = ˆf GG ĜG m ˆf m X l l ˆf ĜG m T m l ˆf ĜG m X l l g ˆf ĜĜ m X l l g T4 m ĜĜ = ˆf m X l l g est le majorat du risque das le cas où G était supposée coue Par coséquet Le terme T m o l a déjà traité : T m C α Dm α φ Y D m Il s agit doc de majorer d ue part Tl m l = et Tl m l = 3 4 d autre part O utilise les lemmes suivats : dot les démostratios fot l objet des prochais paragraphes : Lemme Sous les hypothèses de la Propositio 7 g T m C ϕ Y D 3 m

36 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 36 Si D m / e particulier T m C ϕ Y D m Lemme Sous les hypothèses de la Propositio 7 T m C Y φ ϕ Dm 4 Si D m /3 e particulier T m C Y φ ϕ D m Lemme 3 Sous les hypothèses de la Propositio 7 T3 m 6 C h φ Y D m 8 C 6 ϕ 3 h D7 m 3 3C 4 π 4 /4 h D4 m particulier si D m /3 T3 m 6 C h φ Y 3C 4 π 4 /4 h C 6 ϕ 3 Dm h Lemme 4 Sous les hypothèses de la Propositio 7 D T4 m 4 C m l D7 m l 3 D m l 4 D6 m 4 D3 m D m 3/ où C est ue costate foctio de h h ϕ ; ϕ 3 ; h Y et φ particulier si D m /3 / l /3 84 Preuve du Lemme T m 4 C D m Tout d abord la défiitio des estimateurs iterveats das la défiitio de T m d écrire T m D m = â G j âĝj â G j âĝj X l l ϕ j G utilisat esuite le lie etre g et aisi que l orthoormalité des ϕ j o e déduit : et doc T m = D m T m X l l = â G j âĝj â G j âĝj X l l D m Var â G j âĝj X l l O calcule et majore chacue des variaces de la somme Pour j { D m } Var â G j âĝj X l l = Var Y ϕ j GX ϕ j ĜX X l l g permet

37 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 37 où l o a utilisé que â G j âĝj s écrit comme ue moyee des Y i ϕ j GX i ϕ j ĜX i qui sot iid coditioellemet à X l l O obtiet esuite Var â G j âĝj X l l Y ϕ j GX ϕ j ĜX X l l = fx ϕ j GX ϕ j ĜX X l l ε ϕ j GX ϕ j ĜX X l l = fx ϕ j GX ϕ j ĜX X l l σ ϕ j GX ϕ j ĜX X l l e utilisat les propriétés de ε : successivemet so idépedace avec toute foctio de X et X l l le fait qu il est cetré et le fait que sa variace est otée σ O utilise l iégalité des accroissemets fiis pour écrire ϕ j GX ϕ j ĜX ϕ j GX ĜX ϕ j G Ĝ ce qui etraîe T m X l l = Y f X σ Dm Dm ϕ j O majore la somme par D m D m ϕ pour obteir ϕ j id Û G Ĝ T m X l l D3 m ϕ Y id Û L applicatio du Corollaire 4 avec p = permet de coclure T m C ϕ Y Dm 3 85 Preuve du Lemme

38 T m O calcule = = = STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 38 a;b a;b ; ĥĝ m Gx Ĝ x ĥĝm ĥĝ m Gx Ĝ ĥĝm x X l l gxdx D m D m âĝj âĝj âĝj X l l ϕ j Gx ϕ j Ĝx âĝj X l l ϕ j u ϕ j Ûu du gxdx Il viet esuite par l iégalité de Cauchy-Schwarz puis celle des accroissemets fiis D m D m âĝj âĝj Ûu X l l ϕ j u ϕ j du 9 T m ; D m ϕ âĝj D3 m âĝj X l l Û id Û id D m Par suite T m ϕ D3 m Û id Dm Or âĝj âĝj X l l X l l = = D m âĝj D m D m ϕ j âĝj X l l âĝj Var âĝj X l l D m D m âĝj X l l X l l Var ϕ j Ĝ X Y X l l ϕ j Ĝ X Y X l l D m ϕ j D m ϕ j φ Y D m Y X l l Y

39 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 39 Aisi il reste à appliquer le Corollaire 4 : T m Y φ ϕ D 4 m Û id = C Y φ ϕ Dm 4 86 Preuve du Lemme 3 O a d abord et doc T m 3 = = ˆf GG m D m T m 3 = â G j D m âĝj ĜG ˆf m X l l g { X l l e utilisat l orthoormalité des ϕj f G u ϕ j u ϕ j du} Ûu e utilisat les calculs prélimiaires d espérace ci-dessus O effectue alors u développemet de Taylor-Lagrage à l ordre 3 pour chaque foctio ϕ j j { D m } Il existe u réel aléatoire et dépedat de j ˆα ju tel que ϕ j u ϕ j Ûu = ϕ juu Ûu ϕ u Ûu j u ϕ 3 u Ûu 3 j ˆα ju 6 O e déduit ue majoratio e trois termes : où l o a oté T m 3 = D m T m 3 = /4 T m 33 = /6 { D m D m T m 3 3T m 3 3T m 3 3T m 33 hu Û u u ϕ judu} { { hu Û u u ϕ j udu} Pour majorer le premier terme l idée est d abord d écrire u Ûu = 3 3 hu Û u u ϕ j ˆα ju du} Ui u Ui u

40 ce qui etraîe : STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 4 T m 3 = D m A ij A ij où A ij = U i huϕ judu O itègre alors par parties pour calculer A ij o pred ue primitive de ϕ j et o dérive h = f G que l o a supposé C et l o obtiet quel que soit j { D m } et i { } A ij A ij = hu i ϕ j U i hu i ϕ j U i Ui u Ui u h uϕ j udu Par suite e sommat sur i élevat au carré et sommat sur j o dispose à ouveau ue majoratio e deux termes T m 3 T m 3 T m 3 avec les otatios T m 3 = T m 3 = D m D m { hu i ϕ j U i hu i ϕ j U i } { h u Û u u ϕ j udu} L espérace du terme T3 m est ue somme sur j de variaces de moyees empiriques que l o calcule et majore comme pour T m et T m : T3 m = D m hu ϕ j U hu duφ D m D m ϕ j hu du = φ fx D m φ Y D m e utilisat la coexio de ormes et la défiitio de h Quat au terme T m 3 o remarque qu il s agit de la orme d ue projectio sur S m et o le majore e utilisat que la orme du projeté est iférieure ou égale à la orme de la foctio que l o projette : T m 3 = D m h ΠSm Û id ϕ j = h Û id h Û id h Û id utilisat le Corollaire 4 pour coclure o a T m 3 C h / Par suite T3 m C h φ Y D m

41 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 4 Pour majorer le terme T3 m o commece par remarquer que pour j ϕ j = πµ j ϕ j où l o ote µ j = j si j est pair et µ j = j si j est impair Par coséquet T3 m = π 4 /4 D m π 4 /4Dm 4 = π 4 /4Dm 4 { D m D m } hu Û u u µ j ϕ j udu { } hu Û u u ϕj udu { } h Û id ϕj = π 4 /4Dm 4 Π S m h Û id π 4 /4D 4 m h Û id π 4 /4Dm 4 Û id 4 h udu ; C 4 π 4 /4 h D4 m fi pour le derier terme T33 m = /6 /6 C 6 6 D m D m ϕ 3 j ϕ 3 { } 3 3 hu Û u u ϕ ˆα ju du h Û id h D7 m 3 6 j 3 résumé T3 m 6 C h φ Y D m C 6 ϕ 3 h D7 m 3 3C 4 π 4 /4 h D4 m 87 Preuve du Lemme 4

42 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 4 O commece à décomposer le derier terme de la faço suivate : T4 m = ˆf ĜG ĜĜ m ˆf m X l l g D m = âĝj ϕ j G ϕ j Ĝ X l l g D m âĝj a j ϕ j G ϕ j Ĝ X l l := T m 4 T m 4 Commeços par majorer T m 4 : T m 4 où l o ote T4 m = T4 m = a;b a;b = D m D m D m g D m Ĝx âĝj a j ϕ j Gx ϕ j âĝj a j D m D m âĝj a j T m 4 T m 4 ; ; D m D m âĝj Le premier terme s écrit aussi T m 4 = D m et le secod se simplifie e ; âĝj X l l âĝj X l l a j Var âĝj X l l ; T4 m = T mb 3 ; d après la lige de calcul e otat 4 T mb 3 = D m D m a j ϕ j G ϕ j Ĝ X l l X l l gxdx ϕ j Gx ϕ j Ĝx X l l gxdx ϕ j u ϕ j Ûu du X l l D m D m D m ϕ j u ϕ j Ûu X l l du ϕ j u ϕ j Ûu X l l du ϕ j u ϕ j Ûu du ϕ j u ϕ j Ûu du âĝj X l l a j g

43 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 43 Puis o utilise l iégalité des accroissemets fiis das chacu des deux termes pour obteir : D m ; Cela ous doe doc ϕ j u ϕ j Ûu D m du ϕ j Û id T m 4 D m Var âĝj X l l Dm ϕ 3 T4 m T mb 3 Dm ϕ 3 Û id Dm ϕ 3 Û id Û id Pour termier la majoratio de T4 m o cotrôle la variace coditioelle : { } Var âĝj X l l = Var Y i ϕ j ĜX i X l l = { } Var Y ϕ j ĜX X l l Y ϕ j ĜX X l l ϕ j f X σ = ϕ j Y Doc la coexio de ormes etraîe et par suite D m Var âĝj X l l 5 T4 m φ Y D m φ Y D m D3 m ϕ Û id ce qui doe e itégrat et e appliquat l iégalité de DKW : T m 4 φ Y C ϕ Dm 4 ; Pour majorer T m 4 o doit être plus précis sur la majoratio de Û id : o itroduit das cette derière majoratio la somme des idicatrices des évèemets { Û id α } et { Û id > α } où α = l/ ce qui doe le majorat : T m 4 T m 4 T m 4 avec T4 m = Dm ϕ 3 αt mb 3 T4 m = Dm ϕ 3 Û id Û id mb >αt3

44 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 44 Pour T4 m mb o utilise la majoratio de l espérace de T3 obteue au paragraphe précédet : T4 m Dm ϕ 3 α C D 4 = C m l Dm D7 m 3 D4 m D m l 4 D7 m l 3 où la costate C déped ici de h h ϕ ϕ 3 Y et φ fi pour T m 4 o commece par majorer grossièremet T mb 3 : âĝj X l l a j = ϕ j hu ϕ j u ϕ j du Ûu hu ϕ j u ϕ j Ûu du h u Ûu u du e utilisat l iégalité des accroissemets fiis h ϕ j id Û Ce qui doe e sommat sur j T mb 3 = D m âĝj X l l a j h ϕ id Û D3 m Aisi par les iégalités de Cauchy-Schwarz de la Propositio 3 et du Corollaire 4 T4 m Dm h 6 ϕ 4 Û id 4 Û id >α D 6 m h ϕ 4 C8 = h C 8 ϕ 4 Dm 6 ; 4 exp α Cotiuos avec la majoratio de T4 m O commece par écrire : T m 4 = = D m a j ϕ j G ϕ j Ĝ X l l D m a j ϕ j G ϕ j Ĝ g g

45 et doc 6 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 45 T4 m = D m D m jk= a j ϕ j G ϕ j Ĝ g a j a k ϕ j u ϕ j Ûuϕ k u ϕ k Ûudu O effectue esuite le développemet de Taylor à l ordre pour chacu des deux facteurs dot le produit est l itégrade ci-dessus Ceci fourit la décompositio : avec T m 4 = D m jk= T m 4 = /4 T m 43 = D m jk= T m 4 T m 4 T m 4 T m 43 a j a k u Ûu ϕ juϕ k udu D m jk= a j a k u Ûu 4 ϕ j ˆα ju ϕ a j a k u Ûu 3 ϕ j ˆα ju ϕ k udu k ˆα kudu et l o majore à ouveau chacu des trois termes e rappelat que a l = h ϕ l Aisi le premier terme s écrit aussi 7 T m 4 = = u Ûu { Π Sm h u } du u Ûu { Π Sm h u } du id Û ΠSm h id Û h où l o a utilisé le fait que la dérivée de la projectio de h coïcide avec la projectio de h Doc par l iégalité de DKW D autre part le secod terme est 8 T m 4 = /4 T4 m u Ûu 4 C h D m a j ϕ j ˆα ju Cette fois il apparait pas ue dérivée de projectio : e effet le poit d évaluatio des foctios ϕ j déped lui même de j O va exploiter le fait que h W per L : o itroduit les réels µ j défiis pour j { D m } par { j si j est pair µ j = j sio du

46 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 46 Ceci permet d écrire 9 D m a j ϕ j ˆα ju = ϕ ϕ ϕ L D m D m π D3 m a j µ j a jµ j D m µ j par l iégalité de Cauchy-Schwarz où l o utilise la propositio 9 la suite a j j est das l ellipsoïde Θ L /π et la majoratio de µ j par D m Aisi T m 4 /4 ϕ L π D3 m Û id 4 Appliquat aussi l iégalité de DKW itégrée avec p = 4 o e déduit fi pour le derier terme : T m 43 = T4 m C 4 /4 ϕ u Ûu 3 D m L le calcul que l o viet d effectuer prouve que D m a j ϕ j ˆα ju L ϕ π D3 m Dm a j ϕ j ˆα ju a k ϕ k u du k= m π D3/ et la même techique de calcul etraîe pour u ; D m a k ϕ k u ϕ L π D/ m Doc k= T m 43 ϕ ϕ L π D m Aisi toujours par l iégalité de DKW avec p = 3 Û id 3 T43 m ϕ ϕ L π C Dm 3 3/ Fialemet e otat C ue costate o a la majoratio D T4 m 4 C m l D7 m l 3 D m l 4 D6 m 4 D3 m D m 3/

47 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 47 9 stimatio adaptative O e suppose plus fixé u idice m M Disposat de la collectio ˆf Ĝm m M d estimateurs o cherche à sélectioer u idice m coveable sur la base des observatios O propose comme das le cas où la loi du desig était supposée coue deux méthodes l ue fodée sur u procédure classique de sélectio de modèles par péalisatio et l autre fodée sur la comparaiso des estimateurs ci-dessus deux à deux basée sur des travaux de Lepski et Goldeshluger 9 Costructio de l estimateur par méthode de Lepski O défiit les deux quatités suivates quel que soit m M : V bis m = cφ Y Dm { } 3 A bis m = max m M ĥĝm ĥĝm m V bis m avec c ue costate umérique Notos que ĥĝm ĥĝm m = O sélectioe esuite ˆf ĜG m ˆf ĜG m m g 3 ˆmĜl = argmi m M {A bis m V bis m} L estimateur sélectioé aisi est doc ˆf ĜĜl ˆmĜl 9 Costructio de l estimateur par péalisatio 3 O défiit l applicatio pe : m M pe m := c D m avec c ue costate dépedat de Y et de h Soit aussi ˆmĜp argmi m M γĝ ĥĝm pe m L estimateur sélectioé est ˆf ĜĜp ˆmĜp = ĥĝˆm Ĝ 93 Majoratio du risque pour chacu des deux estimateurs O va obteir les deux théorèmes ci-dessous sous les hypothèses suivates : o se place sur les modèles trigoométriques les dimesios des modèles vérifiet D m /3 / l quel que soit m M la foctio h est de classe C sur ; doc borée et das W per L le bruit ε admet u momet d ordre p p > 8/3 = exp h Théorème 5 L estimateur sélectioé par méthode de Lepski vérifie l iégalité oracle suivate : ˆf ĜĜl f mi 8V bis m 7 C φ Y D m ˆmĜl g m M 7 f f G m C l g

48 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 48 où l o rappelle que fm G = h m G h m état la projectio orthogoale de h sur S m et avec C ue costate dépedat de L φ h h h ϕ r pour r = C p et δ et avec C = 6 C h φ Y 3C 4 π 4 /4 h C 6 ϕ 3 h Théorème 6 L estimateur sélectioé par péalisatio vérifie l iégalité-oracle suivate : { ˆf ĜĜp f mi 3 θ f ˆmĜp m G f g m M θ g 6θ } 33 θ pe m C l où l o rappelle que fm G = h m G h m état la projectio orthogoale de h sur S m et où C est ue costate e dépedat que de φ δ L f h h ϕ r ; pour r = des costates C p p = de l iégalité de Dvoretzky-Kiefer-Wolfowitz Corollaire 5 Avec les otatios et hypothèses des théorèmes e supposat h W per α L à ˆf ĜĜ la place de W per L pour α et pour ˆm ĜĜ ˆf ˆm f g l u des deux estimateurs étudiés C α α 94 Résultats prélimiaires aux preuves des Théorèmes 6 et 5 O commece par éocer des lemmes utiles à la preuve O utilise les otatios de la sectio 83 et plus précisémet de la preuve de la Propositio 7 : il s agit de recetrer coveablemet les termes Ti m i = 4 m M de maière à redre égligeable le maximum e m de leur partie positive Lemme 6 Sous les hypothèses du Théorème 5 il existe ue costate umérique C dépedat de φ et de ϕ telle que max T m m V m C l M avec pour κ = 7/3 et κ = 96φ Y ϕ V m = κκ D4 m Sous l hypothèse D m / l /3 o a l V m κκ D m bis := V m L iégalité du lemme est ecore valable pour V remplacé par V bis Lemme 7 Sous les hypothèses du Théorème 5 l iégalité suivate est valide pour p m = m ou m m max T p m b m 3 V 3 m C M avec V 3 m D = c m 3 et c 3 ue costate umérique dépedat des quatités icoues seulemet au travers de Y Lemme 8 Sous les hypothèses du Théorème 5 l iégalité suivate est valide pour max T m m 4 V 4 m C l M

49 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 49 avec V 4 m D = c m 4 c 4 ue costate umérique dépedat des quatités icoues seulemet au travers de Y et = exp h O peut de plus remplacer V 4 par ue quatité Ṽ4 dépedat de h Le résultat est alors valable quel que soit l etier 95 Preuve du Théorème 5 Das toute la preuve C désigera ue costate dépedat uiquemet des quatités idiquées das l éocé du théorème et pouvat varier d ue lige à l autre Pour simplifier o abrège A bis e A ˆmĜl ĜĜl ĜĜ e ˆm et ˆf ˆm e ˆf ˆm O fixe m M O commece par majorer ˆf ĜĜ ˆm f g 3 3 ˆf ĜĜ ˆm ĜG ˆf ˆm ˆf ĜĜ ˆm ˆf ĜĜ ˆm ĜG ˆf ˆm X l l = 3T ˆm 3T4 ˆm 3 ĥĝˆm h ĜG ˆf ˆm X l l g 3 ˆf ĜG ˆm f g e utilisat les otatios de la preuve de la Propositio 7 O poursuit esuite e faisat apparaître A et V bis et e se débarrassat de l idice aléatoire ˆm pour le derier terme de la majoratio ci-dessus : ĥĝˆm h 3 ĥĝˆm ĥĝm ˆm 3 ĥĝm ˆm ĥĝm 3 ĥĝm h 3 Am V bis ˆm 3 A ˆm V bis ˆm 3 ĥĝm h = 3 Am V bis m 3 A ˆm V bis ˆm 3 ĥĝm h 3V bis ˆm 3V bis m 3 Am V bis m 3 A ˆm V bis ˆm 3 ĥĝm h V bis ˆm 6 Am V bis m V bis ˆm 3 ĥĝm h g par défiitio de ˆm Il faut doc maiteat majorer ĥĝm h qui est pas cotrairemet à ce qui se passait das le cas "G coue" la perte de l estimateur étudié e o-adaptatif O se ramèe cepedat à des quatités déjà étudiées : ĥĝm h ĜG = ˆf m f g ĜG GG 3 ˆf m ˆf m 3 ˆf ĜG m = 3T m 3T m 3 3T m ˆf ĜG m ˆf GG m X l l g GG ˆf m X l 3 GG l ˆf m g f g

50 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 5 e repreat toujours les otatios itroduites das la preuve de la Propositio 7 Par suite o obtiet ĜĜ ˆf ˆm f 3T ˆm 3T4 ˆm 3 V bis ˆm 3 6 Am V bis m g 3 3 3T m 3T3 m 3T m Or o a démotré e o-adaptatif les iégalités suivates : T m φ Y D m f fm G g T m C pour D m /3 avec T3 m C D m C pour D m /3 C = 6 C h φ Y 3C 4 π 4 /4 h C 6 O obtiet aisi provisoiremet : ĜĜ ˆf ˆm f 8 g Am V bis m 7 C φ Y D m ϕ 3 h 3 T ˆm V bis ˆm 3 T4 ˆm V bis ˆm f fm G g C Il reste à majorer Am T ˆm et T4 ˆm Cocerat ces deux deriers termes o commece par les majorer de la faço suivate : pour k = 4 Tk ˆm V bis ˆm max T m m k V bis m M puis o utilise les Lemmes 6 et 8 e otat que par défiitio V bis V bis et V bis V 4 O obtiet doc ĜĜ ˆf ˆm f g 8 Am V bis m 7 C φ Y D m f fm G g C l La coclusio du théorème proviet doc du lemme suivat : Lemme 9 Sous les hypothèses du théorème il existe ue costate C telle que pour tout m M 96 Preuve du Théorème 6 Am C f G m f g O otera das la suite C ue costate pouvat varier d ue lige à l autre Pour simplifier o abrège ˆmĜp ĜĜp ĜĜ e ˆm et ˆf ˆm e ˆf ˆm Soit m M fixé Par défiitio de ĥ ˆm o a γĝ ĥ ˆm γĝ h m pe m pe ˆm

51 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 5 O utilise esuite la défiitio du cotraste aisi que la décompositio pour t L ; pour e déduire t = t G f g f g t G f g ˆf ĜG ˆm f g f G m f g pe m pe ˆm ν ĥĝˆm h m où l o a défii pour t L ; ν t = Y i t Ĝ X i t G f g processus empirique o cetré O le majore de la faço suivate : ν ĥĝˆm h m = ĥĝˆm h m ν ĥĝˆm h m ĥĝˆm h m ĥĝˆm h m sup ν t t SmS ˆm t = O itroduit esuite le paramètre θ > et o a ν ĥĝˆm h m ĜG ˆf θ ˆm f f m G f θ sup ν g g t t Sm ˆm avec Sm ˆm = {t S m S ˆm t = } Ceci etraîe θ ĜG 34 ˆf θ ˆm f θ f m G f g θ g θ Or o souhaite cotrôler le risque de l estimateur ĜĜ ˆf ˆm f 3 g où l o a oté T ˆm = ĜG ˆf ˆm ˆf ĜG ˆm ĜĜ ˆf ˆm sup t Sm ˆm ˆf ĜĜ ˆm ν t pe m pe ˆm ĜG et pas celui de ˆf O utilise doc ˆf ĜG ˆm f g 3T ˆm 3T ˆm 4 ˆf ĜG ˆm ĜĜ ˆf ˆm X l l g ˆm T4 ˆm ĜĜ = ˆf ˆm X l l g pour repredre des otatios utilisées das l étude o adaptative Itroduisat ceci das 34 o obtiet : θ θ ˆf ĜĜ ˆm f g 3θ θ f m G f g 3θ sup t Sm ˆm ν t 3pe m pe ˆm3T ˆm 3T ˆm 4 Le ouveau processus ν état pas cetré o se ramèe au précédet ν comme das la partie précédete : ν t sup ν t Tsup ˆm m avec sup t Sm ˆm Tsup ˆm m = sup t Sm ˆm t Sm ˆm t Ĝ X i Y i t GX i Y i

52 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 5 O majore de même ce terme : avec les otatios de la partie o-adaptative : Par suite pour θ > m ˆmb T = m ˆmb T3 = Tsup ˆm m T ˆm mb T ˆm mb 3 D m ˆm D m ˆm âĝj â G j âĝj â G j X l l âĝj â G j X l l ĜĜ ˆf ˆm f g 3 θ f m G f θ g 6θ θ sup ν t t Sm ˆm 3θ θ T ˆm 3θ pe m pe ˆm θ T ˆm 4 4 T ˆm mb T ˆm mb 3 O retrache maiteat aux quatités de cette majoratios les termes pm ˆm de la preuve du Théorème 3 V i ou Ṽi ou Vi bis i = 3 4 iterveat das la preuve du Théorème 5 le terme o défii Ṽ4 état le terme V 4 "o asymptotique" c est-à-dire obteu avat de s être affrachi de la dépedace e h cf la preuve du Lemme 8 : ĜĜ ˆf ˆm f g 35 3 θ f G θ m f g 3θ pe m pe ˆm θ 6θ θ sup ν t pm ˆm 3θ θ { 4 t Sm ˆm T ˆm V ˆm T ˆm mb T4 ˆm Ṽ4 ˆm T ˆm mb 3 V 3 ˆm m } 6θ pm ˆm 3θ θ θ V ˆm Ṽ4 ˆm 4V 3 ˆm m O obtiet doc ecore la majoratio : ĜĜ ˆf ˆm f g

53 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 53 3 θ f m G f θ g 3θ pe m pe ˆm θ 6θ θ sup ν t pm ˆm 3θ θ { 4 T ˆm mb t Sm ˆm max T m m M V bis m max T m b m 3 V 3 m M max T m 4 m Ṽ4m M } 6θ pm ˆm 3θ θ θ V bis ˆm Ṽ4 ˆm 4V 3 ˆm m à laquelle o peut appliquer les Lemmes et 7 pour obteir ĜĜ ˆf ˆm f g 3 θ f m G f θ g 3θ θ pe m pe ˆm 4 T ˆm mb C l 6θ pm ˆm 3θ θ O majore T ˆm mb de la faço suivate T m ˆmb = D m ˆm D mmax θ V bis ˆm Ṽ4 ˆm 4V 3 ˆm m âĝj â G j âĝj â G j X l l âĝj â G j âĝj â G j X l l C D3 m max C sous la coditio D mmax /3 Par suite ĜĜ ˆf ˆm f 3 θ f G g θ m f g 3θ θ pe m C l 3θ θ θpm ˆm V bis ˆm Ṽ4 ˆm 4V 3 ˆm m pe ˆm O rappelle efi que D m D ˆm V bis D ˆm ˆm = c pm ˆm = 6 δφ Y V bis ˆm = c D ˆm V 3 m ˆm = c 3 D m ˆm Ṽ 4 ˆm = c 4 D ˆm

54 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 54 avec c i des costates umériques dépedat liéairemet de Y et c 4 dépedat liéairemet de h O peut doc majorer pour i = 4 3 les quatités A i avec A = V bis ˆm A 3 = V 3 m ˆm et A 4 = Ṽ4 ˆm A i c D m D ˆm le même majorat état valable pour pm ˆm choisissat o a doc pe m = c D m θpm ˆm V bis ˆm Ṽ4 ˆm 4V 3 ˆm m pe ˆm pe m et l iégalité oracle e découle 97 Preuve du Lemme 9 Soit m M O décompose ĥĝm ĥĝm m 3 ĥĝm h m 3 hm h m m 3 h m m ĥĝm m O ote esuite que pour p = m ou p = m m h p ĥĝp = sup t Sp ν t où Sp désige la sphère uité de S p et où l o a défii ν t = Y i t ĜX i Y i t GX i effet si t Sp t = D p b jϕ j avec j b j = O peut doc écrire : D p D p ν t b j ν ϕ j = ν ϕ j par l iégalité de Cauchy-Schwarz avec égalité pour le choix b j = ν ϕ j / j ν ϕ j Il reste esuite à remarquer que ν ϕ j = âĝj a j ce qui doe e élevat au carré et e sommat la orme ĥĝp h p O se ramèe esuite au processus ν cetré de la faço suivate : quel que soit t L ; ν t = Y i t ĜX i t G f g et aisi = Y i t GX i t G f g = ν t Y i t ĜX i GX i Y i t ĜX i GX i ν t ν t Y i t ĜX i GX i

55 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 55 O utilise maiteat la remarque qui suit : t S p avec t = si et seulemet si il existe ue famille de réels θ = θ j Dp telle que Ceci permet d écrire sup t Sp t = p θ j ϕ j Y i t ĜX i GX i = sup θ Rp j θ j = = sup θ Rp j θ j = D p θ j avec D p θj = Y i ϕ j ĜX i GX i D p θ j âĝj â G j D p = sup θ Rp j θ j = θ j ˆD p âĝj â G j e effet o a ue majoratio par l iégalité de Cauchy-Schwarz et l égalité proviet du choix O e déduit doc Y i t ĜX i GX i sup t Sp avec = D p âĝj â G j j = D p θ j = D p âĝj âĝj âg j â G j D p D p âĝj â G j âĝj â G j X l l âĝj â G j X l l := T pb T pb 3 T pb = T pb 3 = D p D p âĝj â G j âĝj â G j X l l âĝj â G j X l l

56 Par coséquet STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 56 O a doc ĥĝm ĥĝm m h p ĥĝp sup ν t 4T pb 4T pb 3 t Sp 6 sup ν t 6 sup ν t T m b 3 T m m b 3 t Sm t Sm m T m b T m m b 3 h m h m m Ce que l o réécrit e retrachat V m et e itégrat Am = max ĥĝ m m M ĥĝm m V bis m 6 max m M max m M sup ν t V bis m t Sm 4 max T m b m M T m b 3 V bis m 48 max T m m b m M 6 max m M max m M sup ν t V bis m t Sm m 4 T m m b 3 V bis m 48 3 max m M h m h m m Le terme o aléatoire est Tc m et a déjà été majoré partie adaptatio par méthode de Lepski das le cas où la répartitio G était supposée coue : max h m m h m m 4 h m h M De plus o a motré les deux iégalités suivates quad o a traité l adaptatio par méthode de Lepski das le cas où la loi de G était supposée coue voir les termes T a et Tb m ci-dessus : max m M max m M sup t Sm ν t V m sup ν t V m t Sm m avec la otatio V m = 6 δφ Y D m O obtiet aussi pour p = m ou p = m m que T pb = D p D mmax { â G j = T mmax Par coséquet max T m b m M { â G j âĝj âĝj C C } â G j âĝj X l l } â G j âĝj X l l max T m m b m M 4 T mmax C

57 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 57 pour D mmax /3 O utilise efi le Lemme 7 Pour coclure o effectue le choix de V bis précisémet le choix de la costate c iterveat das sa défiitio de telle sorte que V bis 4V V bis 48V 3 O coclut doc Am C l h m h 97 Preuve du Lemme 6 O commece par max T m m V m M m M T m V m et o raisoe pour chaque m M : e utilisat la majoratio 9 de la preuve du Lemme o a d abord T m V m Dm 3 ϕ κκ ϕ T m a T m b D m D m l âĝj âĝj X l l Û id où l o ote D a = Dm 3 ϕ m âĝj D b = D3 m ϕ m T m T m κ l âĝj X l l Û id âĝj âĝj X l l l κ κ D m l ϕ Pour majorer Ta m o commece par utiliser l iégalité de Cauchy-Schwarz a Dm 3 ϕ T m D m âĝ j 4 / âĝj X l l Û id l / κ

58 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 58 O majore esuite chacu des deux termes pricipaux du produit : 4 4 âĝ j âĝj X l l 4 âĝ j Ceci etraîe : 8 = 6 = 6 6 âĝj X l l âĝ j âĝj X l l 4 âĝ j 4 Y i ϕ j ĜX i 4 Y i ϕ j ĜX i 6 Y 4 ϕj 4 6φ4 Y 4 D m 4 / âĝ j âĝj X l l 4φ Y 4 / Dm D autre part la secode iégalité du Corollaire 5 implique Û id l κ C κ et doc e regroupat les deux derières majoratios a C m M T m m M D 4 m κ dès que D m /3 et pour la valeur κ = 7/3 Pour le terme Tb m o commece par oter que D m âĝj D m âĝj X l l = C 4/3 κ C ν ϕ j où l o défiit pour t L ; ν t = Y i t Ĝ X i Y i t Ĝ X i X l l processus empirique cetré coditioellemet à l échatillo X l l U raisoemet déjà effectué doe esuite D m ν ϕ j = sup ν t t Sm Ce processus est cepedat pas boré o e peut doc pas directemet utiliser ue iégalié de cocetratio O effectue la décompositio suivate : ν t = ν t ν t ν t

59 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 59 avec ν t = fx i t ĜX i fx i t Ĝ X i X l l où ν t = ν t = avec c ue costate Aisi avec pour l { } et T m bl = D3 m ϕ ε i εi κ t Ĝ ε i εi κ t Ĝ X l l ε i εi >κ t Ĝ ε i εi >κ t Ĝ X l l κ = c l T m b l κ T m b = D3 m ϕ l {} sup t Sm T m bl ν t l κ D m ϕ l l κ sup t Sm ν t O va appliquer l iégalité de Talagrad pour cotrôler les déviatios des deux premiers processus qui sot borés Pour le processus ν o otera r t x = fxtĝx Calculos les quatités M H et v telles que sup r t M sup ν t X l l H t Sm t Sm et sup Var r t X i X l l v t Sm Notos que dès que l o cosidèrera t Sm o écrira t = D m b jϕ j avec j b j = Cherchos la costate M Soit t Sm O utilise la coexio de ormes : r t x t f φ Dm t f φ Dm f := M Cherchos la costate H Par l iégalité de Cauchy-Schwarz il suffit de majorer la quatité ν t X l l sup t S m

60 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 6 utilisat la décompositio d ue foctio t de Sm das la base ϕ j j de l espace S m o obtiet sup t S m ν t X l l = D m ν ϕ j X l l D m Var fx i ϕ j ĜX i X l l D m f X i ϕ jĝx i X l l = D m ϕ j f X φ f X D m := H Il reste à détermier la costate v : soit t Sm Var r t X i X l l = Var r t X X l l f X i t ĜX i X l l D m = b j ϕ j Ĝ X f X D m X l l { } ϕ j Ĝ X fx X l l H := v O e déduit que l iégalité de Talagrad s applique : o obtiet aisi pour δ = κ bis l κ bis = 8 sup ν t δ H X l l t S m 4 K v K exp δ H v 49 K C δ M exp K Cδ δ 7 H M

61 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 6 où Cδ = δ et K = /6 Les ordres de gradeur des quatités clés sot les suivats : v = φ f X D m H Aisi sup t S m H M ν t C = f X f δ H v = M = φ D m f X l l { Dm exp K δ D m C δ exp CCδ δ } Il viet e sommat sur m e otat que Cδ = ici et D m /3 C l Dm 3 sup ν t δ H X l l m t S M m C D4 m K κ bis D m exp C κ bis l m M m M C l /3 κbis K 5/3 exp C κ bis C l /3 κbis K C l si κbis K /3 ce qui est le cas puisque κ bis = 8 O ote aussi que δ H 6δ H = 6κ bis φ f X l D m 6κ bis φ Y D m l κ D m l ϕ dès que κ 6κ bis φ Y ϕ ce qui est le cas O a doc aussi e preat l espérace Tb m C l m M Pour le terme T b o applique à ouveau l iégalité de Talagrad pour le processus ν cette fois O otera r t x ε = ε ε κ tĝx Calculos les quatités M H et v iterveat das l iégalité Pour t Sm o a : O majore esuite r t x ε κ φ Dm := M sup t S m ν t X l l

62 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 6 utilisat la décompositio d ue foctio t de Sm das la base ϕ j j de l espace S m o obtiet sup t S m ν t X l l D m ν ϕ j X l l D m ε ϕ jĝx i X l l = D m ϕ j f X ; φ ε D m = φ σ D m := H Pour t Sm Var r t X X l l ε i t ĜX i X l l D m { } ϕ j Ĝ X ε X l l H := v O e déduit que l iégalité de Talagrad s applique : o obtiet aisi pour δ = κ bis l κ bis = 8 et avec les quatités clés suivates v = φ σ D m H M = κ σ H v = M = φ κ D m sup t S m ν t δ H X l l C { Dm exp K δ κ D m C δ exp CCδ δ κ }

63 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 63 Il viet e sommat sur m e otat que Cδ = ici et D m /3 C l Dm 3 sup ν t δ H X l l m t S M m C C l D4 m K κ bis m M κ /3 κbis K 7/6 l C κ bis C l /3 κbis K C l D m exp C κ bis l κ m M si κbis K /3 ce qui est le cas puisque κ bis = 8 O ote aussi que δ H 6δ H = 6κ bis φ σ l D m 6κ bis φ Y D m l κ D m l ϕ dès que κ 6κ bis φ Y ϕ ce qui est le cas O a doc aussi e preat l espérace Tb m C l m M fi pour le troisième terme o se cotete de majoratios plus grossières : sup ν t D m X l l ν ϕ j X l l t Sm D m φ D m φ κ p pour tout p > Par coséquet b C l m M T m ε ε >κ ϕ j ĜX X l l ε ε >κ D m ε p D4 m κ p m M C /3 p/ l p/ C l dès que /3 p/ ie p 8/3 ce qui est possible puisque l o a supposé ε L 8/3 P Fialemet b C l m M T m

64 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 64 ce qui termie la preuve du lemme 97 Preuve du Lemme 7 Commeços par oter que V 3 p m V 3 m Par coséquet max T p m b m 3 V 3 m max T p m b M m 3 V 3 p m M O ote p = p m pour simplifier les otatios das la suite O commece par effectuer la même décompositio qu e o-adaptatif cf Lemme 3 : Aisi max T pb m 3 V 3 p M T pb 3 6T p 3 6T p 3 3T p 3 3T p 33 max m M 6T p 3 V 3p/3 max max 3T p m 3 V 3p/3 M max 3T p m 33 V 3p/3 M m M 6T p 3 L u des termes a pas été recetrer il est directemet égligeable : la lige de calcul prouve que quel que soit m M T p 3 T mmax 3 et les calculs qui suivet justifiet doc que : max 6T p m 3 C M Pour traiter les termes recetrés o utilise les lemmes suivats : Lemme 3 Sous les hypothèses du Théorème 5 il existe ue costate umérique C telle que max 6T p m 3 V 3p C M avec V 3 p = 6 δ f X φ D p De plus V 3 p δ Y φ D p := V bis 3p L iégalité du lemme est ecore valable pour V 3 remplacé par V bis 3 Lemme 3 Sous les hypothèses du Théorème 5 il existe ue costate umérique C dépedat de h telle que max 3T p m 3 V 3p C l M

65 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 65 avec pour κ = 5π 4 /3 h V 3 p = κ D4 p l O ote que V 3 p 5π 4 /3 Y Dp 4 l 3 Si de plus D p /3 / l o a V 3 p 5π 4 /3 Y D p bis := V3 p L iégalité du lemme est ecore valable pour V 3 remplacé par V3 bis Lemme 3 Sous les hypothèses du Théorème 5 il existe ue costate umérique C dépedat de h telle que max 3T p m 33 V 33p C l M avec pour κ = 3 3 /7 h ϕ 3 V 33 p = κ D7 p l 3 3 O ote que V 33 p 3 3 /7 ϕ 3 Y Dp 7 l 4 3 Si de plus D p /3 / l /3 o a V 33 p 3 3 /7 ϕ 3 Y D p := V bis 33 p L iégalité du lemme est ecore valable pour V 33 remplacé par V33 bis Pour coclure o ote que le choix d ue costate c 3 assez grade assure que V 3 3V3 bis V 3 3V3 bis et V 3 3V33 bis Aisi les iégalités des Lemmes 3 3 et 3 sot ecore valables e substituat V 3 aux quatités V3i bis i { 3} 973 Preuve du Lemme 8 O obtiet déjà la décompositio comme e o adaptatif cf Lemme 4 et doc aussi max T m 4 m V 4 m M T m 4 4T m 4 4T m 4 T m 4 T m 4 T m 43 max 4T m m 4 V 4 m /3 M max 4T m m 4 V 4 m /3 M max T m m 43 V 4 m /3 M max T m m 4 max T M m 4 m M

66 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 66 Deux des termes ot pas été recetrés car ils sot égligeables devat l/ sas cotraite supplémetaire que D m max /3 O a obteu e effet à la lige 7 T4 m id Û h et doc le majorat état idépedat de m max T m m 4 C h M = C De même o obtiet à l aide des liges 8 et 9 et doc aussi T m 4 /4 /4 max T m 4 m M u Ûu 4 ϕ u Ûu 4 ϕ /4 ϕ D m D mmax a jµ j D m a jµ j µ jdu D mmax L π C Dm 3 max 4 C µ jdu dès que D mmax /3 Il reste à majorer les termes recetrés O utilise pour cela les lemmes suivats Tout d abord cocerat le terme où T4 m iterviet : Lemme 33 Sous les hypothèses du Théorème 5 : max T m 4 m V 4 m M où l o ote avec κ = /3φ ϕ Y Sous l hypothèse D m / l /3 o a V 4 m = κ D4 m l C l V 4 m κ D m bis := V 4m L iégalité du lemme est ecore valable pour V 4 remplacé par V4 bis Cocerat le terme T m 4 = T m b 3 D m ; ϕ j u ϕ j Ûu du o commece par remplacer T m b 3 par so majorat détaillé : et majorer : D m ; T m b 3 6T m 3 6T m 3 3T m 3 3T m 33 Ûu ϕ j u ϕ j du D 3 m ϕ Û id

67 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 67 Cela doe doc avec Puis o utilise : T m 4 4 l= T m 4l T4 m = 6T3D m m 3 ϕ Û id T4 m m = 6T3 D3 m ϕ Û id T43 m m = 3T3 D3 m ϕ Û id T44 m m = 3T33 D3 m ϕ Û id Lemme 34 Sous les hypothèses du Théorème 5 pour chaque l = 4 il existe ue costate umérique C dépedat de h telle que max T m m 4l V 4lm C l M avec et les costates V 4 m = κ κ D 4 m l V 4 m = κ D 3 m l V 43 m Dm 7 l 3 = κ 3 3 V 44 m Dm l 4 = κ 4 4 κ = /3 κ = ϕ δ f X φ κ = 8 6 h ϕ κ 3 = 3 3 /7 4 3π 4 /4 h ϕ κ 4 = 6 4 /8 8 / h ϕ 3 ϕ O se débarrasse des costates dépedat de h icoue et o majore les V 4l sous certaies cotraites sur les dimesios par des quatités de l ordre D m / Pour cela o ote que f X = h Y Aisi pour D m / l /3 De même V 4 m 4φ ϕ δ Y D m V 43 m 3 3 /7 3π 4 ϕ Y D m pour D m /3 / l / et aussi = V bis 4m bis := V43m V 44 m 6 4 /8 4 ϕ 3 ϕ Y D m

68 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 68 pour D m /3 / l 4/9 fi pour le terme V 4 o se débarrasse de la orme de la dérivée de h au prix d ue coditio sur le ombre d observatios : pour = exp h V 4 m 6 ϕ D3 m l 3 6 ϕ D m bis := V4m pour D m /3 / l Les iégalités du lemme sot ecore valables e substituat les quatités V bis V 4l fi pour T43 m : 4l aux quatités Lemme 35 Sous les hypothèses du Théorème 5 il existe ue costate umérique C dépedat de h telle que max T43 m V 43 m C l m M avec pour κ = 8/3 3/ / ϕ ϕ L /π Si de plus D m / / l 3/ o a V 43 m = κ D m l 3/ 3/ V 43 m κ D m bis := V43m L iégalité du lemme est ecore valable pour V 43 remplacé par V43 bis Pour coclure o ote que le choix d ue costate c 4 assez grade assure que V 4 V4 bis V 4 48V4l bis l = 4 et V 4 6V43 bis Aisi les iégalités des Lemmes et 35 sot ecore valables e substituat V 4 aux quatités V4i bis i { l l = 4 3} 974 Preuve du Lemme 3 O costate qu o peut écrire D p T p 3 = { ν ϕ j } où ν est le processus empirique suivat : pour s L ; ν s = fx i s GX i fx i s GX i e utilisat les défiitios U i = GX i f = h G Or o a l égalité 36 D p { ν ϕ j } = sup ν s s S p s = O applique l iégalité de Talagrad das sa versio itégrée au processus ν comme das la preuve du Lemme Clé :

69 sup s S p 4 K STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 69 ν v t δ H K exp δ H v 49 K C δ M exp K Cδ δ 7 H M où Cδ = δ et K = /6 et avec les quatités : M = φ f Dp M H = D p f X φ v = f Les ordres de gradeur des quatités clés sot les suivats : v = f H = D p f X φ v f H = f X M f = φ f D p O coclut esuite classiquemet que sup m M s Sp s = ν s δ H C 975 Preuve du Lemme 3 O commece comme toujours par max 3T p m 3 V 3p M m M et o raisoe pour p fixé O a motré e o adaptatif que T p 3 π4 /4 h Dp 4 Û id 4 Par coséquet 3T p 3 V 3p 3T p 3 V 3p 3π 4 /4 h Dp 4 Û id 4 κ l 3π 4 /4 h CD 4 p κ/ b / e utilisat le Corollaire 5 avec p = 4 et κ b = Aisi si D 3π 4 /4 h p /3 max 3T p m 3 V 3p C 4/3 κ/ b / M Le choix de κ = 5π 4 /3 h etraîe κ b /9 et doc 7/3 κ b / Ce qui termie la preuve κ

70 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS Preuve du Lemme 3 O commece comme toujours par max T p m 33 V 33p M m M 3T p 33 V 33p et o raisoe pour p fixé O a motré e o adaptatif que T p ϕ 33 /6 3 h Dp 7 Û id 6 Par coséquet 3T p 33 V 33p / h ϕ 3 CD 7 p κ/3 b /3 D7 p Û id 6 e utilisat le Corollaire 5 avec p = 6 et κ b = max 3T p m 33 V 33p M κ / h ϕ 3 l 3 3 κ Aisi si D / h ϕ 3 p /3 ; C 7/3 κ/3 b /3 Le choix de κ = 3 3 /7 h ϕ 3 etraîe κ b 3 3 /7 4 et doc /3 κ /3 b /3 Ce qui termie la preuve 977 Preuve du Lemme 33 O majore d abord max T m 4 m V 4 m M m M T4 m V 4 m Puis o utilise la majoratio 5 : T4 m κ D4 m l φ Y Dm 4 ϕ Û id κd4 m l = D4 m φ Y ϕ Û id κl O majore ce terme à l aide du Corollaire 5 avec p = : φ ϕ Y Û id κl C κ φ ϕ Y O coclut comme das la preuve du Lemme 6 : o a doc pour D m /3 max T m m 4 V 4 m C D 4 κ m φ ϕ Y C 4/3 κ M m M φ ϕ Y

71 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 7 et le choix de κ = /3φ ϕ Y assure que 7/3 κ/φ ϕ Y et doc le résultat du lemme suit 978 Preuve du lemme 34 O commece comme toujours par max T m 4l m V 4lm M m M T4l m V 4lm pour l = 4 Commeços par les trois termes d idices l = 3 4 O utilise des majoratios o adaptatives pour chacu des termes : o a motré T3 m h Û id T3 m π4 4 D4 m h Û id 4 T33 m 6 D7 m ϕ 3 h Û id 6 Ceci etraîe das le cas l = T4 m V 4 m 6 h ϕ D3 m Û id 4 κ 6 h ϕ l CD 3 m κ/ b / e utilisat le Corollaire 5 avec p = 4 et κ b = max T m 4 m V 4 m M κ Aisi si D 6 h ϕ m /3 C κ/ b / Le choix de κ = 8 6 h ϕ etraîe κ b 8 et doc κ b / Ce qui termie la majoratio de ce terme O répète la méthode pour l = 3 : T43 m V 43 m 3π4 4 h ϕ D7 m Û id 6 κ 3 3π 4 /4 h ϕ l 3 3 CDm 7 κ/ b3 / e utilisat le Corollaire 5 avec p = 6 et κ b3 = max T m 43 m V 43 m M κ 3 Aisi si D 3π 4 /4 h ϕ m /3 ; C 7/3 κ/3 b /3 Le choix de κ 3 = 3 3 /7 4 3π 4 /4 h ϕ etraîe κ b3 3 3 /7 4 et doc /3 κ /3 b3 /3 Ce qui termie la majoratio de ce terme fi pour l = 4

72 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 7 T44 m V 44 m h ϕ 3 ϕ D m Û id 8 κ 4 CD m κ/4 b4 3/4 e utilisat le Corollaire 5 avec p = 8 et κ b4 = max T m 44 m V 44 m M / h ϕ 3 ϕ κ 4 / h ϕ 3 ϕ l 4 4 C /3 κ/4 b4 3/4 Aisi si D m /3 Le choix de κ 4 = 6 4 /8 8 / h ϕ 3 ϕ etraîe κ b4 6 4 /8 8 et doc 3/3 κ b4 3/4 Ce qui termie la majoratio de ce terme Pour le derier terme l = o doit effectuer ue majoratio u peu plus fie : o a T4 m V 4 m = ϕ D3 m 6T3 m Û id κ κ D m l ϕ avec T m a 4 T m b 4 T m a 4 = ϕ D3 m 6T m 4 = ϕ D3 m κ T m b 3 Û id κ l 6T3 m κ D m ϕ l Pour majorer le premier de ces deux termes o majore grossièremet T m D { m T3 m = hu i ϕ j U i hu i ϕ j U i } D m 4 ϕ j h 4φ D m h 3 : O est doc rameé au même type de majoratio que ci-dessus : T m a 4 4φ h ϕ D4 m Û id κ l CDm 4 κ e utilisat le Corollaire 5 Aisi si D m /3 T m a 4 C 4/3 κ m M

73 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 73 Le choix de κ = /3 etraîe 7/3 κ Ce qui termie la majoratio de ce terme fi pour le derier terme o utilise le Lemme 3 qui prouve 6T3 m V 3 m C m M avec V 3 m = 6 δ f X φ D m Si κ = ϕ δ f X φ o a doc la majoratio cherchée : m M T m b 4 = CD3 m max l C l 979 Preuve du Lemme 35 O commece comme toujours par max T43 m V 43 m m M m M et o raisoe pour m fixé O a motré e o adaptatif que T43 m ϕ ϕ L Û id 3 Par coséquet T43 m V 43 m ϕ ϕ L π D m CDm κ/3 b /3 π D m Û id 3 κ ϕ ϕ e utilisat le Corollaire 5 avec p = 3 et κ b = max T43 m V 43 m m M T43 m V 43 m κ ϕ ϕ L /π l 3/ 3/ L /π Aisi si D m /3 C /3 κ/3 b /3 Le choix de κ = 8/3 3/ / ϕ ; ϕ ;L /π etraîe κ b 8/3 3/ / et doc 5/3 κ /3 b /3 Ce qui termie la preuve Référeces Atoiadis A ; Grégoire G ; Vial P Radom desig wavelet curve smoothig Statist Probab Lett o Baraud Y Model selectio for regressio o a radom desig SAIM Probab Statist Barro A ; Birgé L ; Massart P Risk bouds for model selectio via pealizatio Probab Theory Related Fields o Birgé L Model selectio for Gaussia regressio with radom desig Beroulli 4 o Birgé L ; Massart P Miimum cotrast estimators o sieves : expoetial bouds ad rates of covergece Beroulli o

74 STIMATION D UN FONCTION D RÉGRSSION AVC DS BASS DÉFORMÉS 74 6 Bruel ; Comte F Pealized cotrast estimatio of desity ad hazard rate with cesored data Sakhya 67 5 o Bruel ; Comte F ; Guilloux A Noparametric desity estimatio i presece of bias ad cesorig TST 8 9 o Cai TT ; Brow LD Wavelet shrikage for oequispaced samples A Statist o Comte F Dedecker J Taupi M-L 8 Adaptive desity decovolutio with depedet iputs Mathematical Methods of Statistics 7 : 87- Comte F ; Rozeholc Y A ew algorithm for fixed desig regressio ad deoisig A Ist Statist Math 56 4 o Dooho DL ; Johstoe IM ; Kerkyacharia G ; Picard D Wavelet shrikage : asymptopia? With discussio ad a reply by the authors J Roy Statist Soc Ser B o DeVore RA ; Loretz G Costructive approximatio Grudlehre der Mathematische Wisseschafte Fudametal Priciples of Mathematical Scieces 33 Spriger-Verlag Berli Dvoretzky A ; Kiefer J ; Wolfowitz J Asymptotic miimax character of the sample distributio fuctio ad of the classical multiomial estimator A Math Statist fromovich S Noparametric curve estimatio Methods theory ad applicatios Spriger Series i Statistics Spriger-Verlag New York 999 xiv4 pp ISBN : Fa J ; Gijbels I Variable badwidth ad local liear regressio smoothers A Statist 99 o Gaïffas S O poitwise adaptive curve estimatio based o ihomogeeous data SAIM Probab Stat Goldeshluger A ; Lepski O Badwidth selectio i kerel desity estimatio : oracle iequalities ad adaptive miimax optimality A Statist to appear 8 Golubev G K ; Nussbaum M Adaptive splie estimates i a oparametric regressio model Russia Teor Veroyatost i Primee o ; traslatio i Theory Probab Appl o Hardle W ; Tsybakov A Local polyomial estimators of the volatility fuctio i oparametric autoregressio J coometrics o 3 4 Kerkyacharia G ; Picard D Regressio i radom desig ad warped wavelets Beroulli 4 o Klei T ; Rio Cocetratio aroud the mea for maxima of empirical processes A Probab 33 5 o Kohler M ; Krzyzak A Noparametric regressio estimatio usig pealized least squares I Tras Iform Theory 47 o Lacour C Adaptive estimatio of the trasitio desity of a particular hidde Markov chai J Multivariate Aal 99 8 o Nadaraya O estimatig regressio Theory of Probability ad its Applicatio Pham Ngoc T-M Regressio i radom desig ad Bayesia warped wavelets estimators lectro J Stat Tsybakov AB Itroductio à l estimatio o-paramétrique Mathématiques & Applicatios Berli 4 Spriger-Verlag Berli 4 7 Watso GS Smooth regressio aalysis Sakhya Ser A