Inférence via distribution asymptotique Objective : Construction des intervalles de confiance (approximatifs) c 2 µ 2 m (2) σ 2

Transcription

1 Inférence via distribution asymptotique Objective : Construction des intervalles de confiance (approximatifs) Soit h = c n 1/5. Donc, par conséquent d un TCL, pour n : Estimateur localement linéaire : ( c n 2/5 2 ( m h (x) m(x)) = N 2 µ 2 m (2) (x), ) σ 2 cf(x) R(K), où µ 2 = u 2 K(u)du. idem pour l estimateur NW (design équidistant) et l estimateur GM ( ) c n 2/5 2 ( m h (x) m(x)) = N 2 µ 2 m (2) σ 2 (x), cf(x) R(K). Donc, si l on préfère la normalité asymptotique sans biais asymptotique, il faut choisir h tel que n 2/5 h 2 0 pour n, donc le bandwidth doit être (un rien) plus petit que le h optimal de l ordre n 1/5 ("undersmoothing"). Application : Construction des intervalles de confiance 75

2 Lissage avec des splines Hypothèse : Soit m fonction de régression r-fois différentiable. Approche : Minimisation du critère "moindres carrés pénalisés" 1 n (Y i m(x i )) 2 + λ (m (r) ) 2 dx n i=1 par rapport à m C r, où λ > 0 paramètre de lissage ("penalty") La solution (unique sur [X (1),X (n) ]) est une fonction polynômiale par morceaux : Sur chacun des intervalles [X (i),x (i+1) ], i = 1,...,n 1, un (autre) polynôme du (même) dégré r + 1. Exemple: r = 2 fonction polynômiale de l ordre 3 par morceaux ("cubic splines") Cas extremes : λ = fonction linéaire λ = 0 interpolation 76

3 Généralités sur la méthode de lissage par splines : Un spline polynômial d ordre r (du dégré r) est une fonction polynômiale par morceau sur chaque intervalle défini par des noeuds consécutifs qui a r dérivées et r 1 dérivées continues à l intérieur de chacun de ces intervalles. Donc la dérivée d ordre r est une fonction étagée avec des sauts aux noeuds. L idée générale est d estimer une fonction lisse par balancer entre un bon "fit" (ajustement aux données) et une estimation lisse. La caractéristique par rapport à d autres méthodes de lissage est l adaptation au changement rapide de la courbure de la fonction de régression. D autres formes de pénalisation sont possibles, par exemple : m (r) (x) 2 dx, avec r = 1, 2,... Pour r = 2 la solution est un "cubic spline" (c.à.d. de l ordre 3) avec des dérivées d ordre 2 et 3 égales à zéro aux bornes, c.à.d l estimateur est linéaire à gauche de X (1) et à droite de X (n). L estimateur est une fonction linéaire des observations Y i, c.à.d. m = A(λ) Y. 77

4 78

5 Spline regression avec λ = Spline Regression Food Net-income 79

6 Silverman (1984) montre que, asymptotiquement, un estimateur de type "spline" est un estimateur à noyau n avec bandwidth locale W i (x) = i=1 W i (x) Y i 1 nh(x i ) K ( ) Xi x h(x i ), h(x) = ( λ ) 1/4 n f(x) et noyau K(u) = 1 2 ( u u exp( ) sin + π )

7 Bias et variance asymptotique A l intérieur : Biais = O (λ) var = O (n 1 λ 1/4 ) Donc, MSE optimal est de l ordre O (n 8/9 ) pour le choix optimal de λ = O (n 4/9 ) Aux bornes : Sans conditions supplémentaires sur m (dérivées d ordre 2 et 3 égales à zéro), le biais est de l ordre O (λ 3/4 ) ou même O (λ 1/2 ). Ceci correspond à un noyau d ordre 4 sans corrections aux bornes avec un choix optimal de bandwidth h = O (n 1/9 ) qui mène à un biais h 4 = O (n 4/9 ) (cfr Silverman, 1984, ci-dessus). Choix du paramètre de lissage λ (ou une fonction de λ) en pratique par la méthode de validation croisée (généralisée): GCV avec tendance habituelle de sous-estimer m(x) 81

8 Estimation multivariées Estimation des densités multivariées Soit x R d, H matrice (d d) des bandwidths, définie positive, symétrique, et K : R d R un noyau multivarié. L estimateur à noyau multivarié des densités est défini : f H (x) = Cas particuliers : 1 n det H n K ( H 1 (X i x) ) i=1 1. Noyaux radialement symétriques ("Radially symmetric kernels") 2. Noyaux à produit ("Product kernels") 82

9 Radially symmetric kernel Définition : f : R R such that K(u) = f(u u) Par exemple, le noyau multinormal : K(u) = (2π) d/2 exp( u u/2) ou le noyau Epanechnikov multivarié : K(u) = (d + 2) 2c d (1 u u)i(u u < 1) où c d est le volume d une boule de dimension d (c 1 = 2, c 2 = π, c 3 = 4π/3, etc.). Noter la meme échelle pour chaque direction, donc à utiliser pour des données standardisées. 83

10 Product kernels Produit des noyaux univariés k j : K(u) = d k j (u j ) j=1 Pour le noyau normal réduit multivarié : k j (x) = 1 2π e x2 /2 Ce noyau minimise le MISE dans la classe des noyaux à produit (Epanechnikov, 1969). Simplication évidente si H est diagonale (H = diag(h 1,...,h d )), où même un scalaire (H = h I d ). 84

11 Régression multivariée Soit X R d et considérer le modèle Y = m(x) + ε L estimateur Nadaraya-Watson est donné par m H (x) = n i=1 K (H 1 (X i x)) Y i n i=1 K (H 1 (X i x)) avec H matrice (d d) des bandwidths, définie positive et K : R d R un noyau multivarié. Sans contraintes supplémentaire : le problème du curse of dimensionality", dans le sens que MISE( m H (x)) = O (n 4/(4+d) ) taux de convergence devient faible si d est grand. (Provenant d une variance de l ordre O ( 1 nh d ) et même comportement du biais comme dans le cas univarié.) 85

12 "Solution" : En imposant une structure, c est parfois possible de revenir aux taux de convergence univariés, par exemple par le GAM Generalized Additive Model : Y = µ + m 1 (X 1 ) m d (X d ) + ε avec des fonctions univariées m j ( ). Il y a des méthodes pour atteindre un taux de convergence univarié, par exemple backfitting intégration marginale Par soucis d identification, il faut que IE[m j (X j )] = 0,j = 1,...,d t.q. µ = IE[Y ]. 86