Tests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles

Tests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles Valentin Patilea 1 Cesar Sanchez-sellero 2 Matthieu Saumard 3 1 CREST-ENSAI et IRMAR 2 USC Espagne 3 IRMAR-INSA Rennes Séminaire Strasbourg

Plan de la présentation 1 Introduction Notations 2 lemme fondamental 3 Test de non-effet La statistique de test Un estimateur de la variance Comportement sous l hypothèse nulle Comportement sous l alternative 4 Test d adéquation au modèle linéaire fonctionnel Le modèle linéaire fonctionnel La statistique de test Comportement sous l hypothèse nulle Comportement sous l alternative 5 Test de non-effet avec U fonctionnel 6 Simulations Pour le test de non-effet Pour le test d adéquation 7 Quelques références

Introduction Plan de la présentation 1 Introduction Notations 2 lemme fondamental 3 Test de non-effet La statistique de test Un estimateur de la variance Comportement sous l hypothèse nulle Comportement sous l alternative 4 Test d adéquation au modèle linéaire fonctionnel Le modèle linéaire fonctionnel La statistique de test Comportement sous l hypothèse nulle Comportement sous l alternative 5 Test de non-effet avec U fonctionnel 6 Simulations Pour le test de non-effet Pour le test d adéquation 7 Quelques références

Introduction Soit (U, X ) où U variable aléatoire réelle et X fonction aléatoire de carré intégrable Soit (U 1, X 1 ),..., (U n, X n ) un échantillon i.i.d. de (U, X )

Introduction L hypothèse nulle : H 0 : E (U X ) = 0 almost surely (a.s.) (1) L alternative : P[E (U X ) = 0] < 1. deux cas : U est directement observé U n est pas observé, il est estimé comme résidu du modèle linéaire fonctionel.

Introduction Notations S p = {γ R p : γ = 1} L 2 [0, 1] est muni de son produit scalaire usuel,. R = {ρ 1, ρ 2, } base orthonormée de L 2 [0, 1]. X (t) = j=1 x jρ j (t) et X (p) (t) = p j=1 x jρ j (t).

lemme fondamental Plan de la présentation 1 Introduction Notations 2 lemme fondamental 3 Test de non-effet La statistique de test Un estimateur de la variance Comportement sous l hypothèse nulle Comportement sous l alternative 4 Test d adéquation au modèle linéaire fonctionnel Le modèle linéaire fonctionnel La statistique de test Comportement sous l hypothèse nulle Comportement sous l alternative 5 Test de non-effet avec U fonctionnel 6 Simulations Pour le test de non-effet Pour le test d adéquation 7 Quelques références

lemme fondamental lemme 1 partie A Soit X L 2 [0, 1] et Z R des variables aléatoires. Supposons que E Z < et E(Z) = 0. (A) Il y a équivalence entre : 1 E(Z X ) = 0 a.s. 2 E(Z X, β ) = 0 a.s. β L 2 [0, 1] avec β L 2 = 1. 3 pour tout entier p 1, E(Z X, γ ) = 0 a.s. γ S p. 4 pour tout entier p 1, E(Z X (p) ) = 0 a.s.

lemme fondamental lemme 1 partie B (B) On suppose de plus que pour tout s 0, E( Z exp{s X }) <. (2) Si P[E(Z X ) = 0] < 1, alors il existe un entier positif p 0 1 tel que pour tout entier p > p 0, l ensemble {γ S p : E(Z X, γ ) = 0 a.s. } a pour mesure de Lebesgue zéro sur S p et n est pas dense.

lemme fondamental Corollaire les assertions suivantes sont équivalentes : 1 L hypothèse nulle (1) est vraie. 2 max E [UE (U X, β ) ω(β, X, β )] = 0. (3) β L 2 [0,1], β L 2=1 3 pour tout p 1 et tout ensemble B p S p dont la mesure de Lebesgue est strictement positif sur S p, max E [UE (U X, γ ) w p (γ, X, γ )] = 0. (4) γ B p

Test de non-effet Plan de la présentation 1 Introduction Notations 2 lemme fondamental 3 Test de non-effet La statistique de test Un estimateur de la variance Comportement sous l hypothèse nulle Comportement sous l alternative 4 Test d adéquation au modèle linéaire fonctionnel Le modèle linéaire fonctionnel La statistique de test Comportement sous l hypothèse nulle Comportement sous l alternative 5 Test de non-effet avec U fonctionnel 6 Simulations Pour le test de non-effet Pour le test d adéquation 7 Quelques références

Test de non-effet La statistique de test On estime Q(γ) = E{U E[U X, γ ]f γ ( X, γ )} = E{E 2 [U X, γ ]f γ ( X, γ )} par : Q n (γ) = 1 n(n 1) 1 i j n U i U j 1 h K h ( X i X j, γ ), γ S p.

Test de non-effet La statistique de test [ ] γ n = arg max nh 1/2 Q n (γ)/ v n (γ) α n I { } γ B p γ γ (p) 0 (5) où v 2 n (γ) est un estimateur de la variance de nh 1/2 Q n (γ)

Test de non-effet La statistique de test La statistique de test est : T n = nh 1/2 Q n( γ n ) v n ( γ n ). (6)

Test de non-effet Un estimateur de la variance La variance conditionnelle de nh 1/2 Q n (γ) sachant les X i est : τ 2 n (γ) = 2 n(n 1)h j i Un estimateur simple et convenable est donc : τ 2 n (γ) = 2 n(n 1)h σp(x 2 (p) i )σp(x 2 (p) j )Kh 2 ( X i X j, γ ), (7) Ui 2 Uj 2 Kh 2 ( X i X j, γ ). (8) j i

Test de non-effet Comportement sous l hypothèse nulle Hypothèses (a) Les vecteurs aléatoires (U 1, X 1 ),..., (U n, X n ) sont des tirages indépendants de (U, X ) R L 2 [0, 1] et satisfait E U m < pour un m > 11. (b) σ 2 et σ 2 tel que 0 < σ 2 Var(U X ) σ 2 < presque sûrement.

Test de non-effet Comportement sous l hypothèse nulle Hypothèses suite (c) Les ensembles B p S p, p 1 sont tels que : (i) il existe C 1, δ > 0 tel que p 1 et γ B p, la variable X, γ admets une densité f γ ( ) et C 1 1 {fγ 2 I(f 1) + fγ 2+δ I(f > 1)} C 1 ; R (ii) il existe C 2, ɛ > 0 tel que x ɛ F[f γ] 2 (x)dx C 2, p 1, γ B p ; (iii) la valeur initiale β 0 satisfait la condition : C 3 tel que f γ (p) 0 C 3, p 1. (iv) B p 0 p p B p, 1 p < p.

Test de non-effet Comportement sous l hypothèse nulle Hypothèses suite (d) Le noyau K est une densité continue à variation bornée dont la transformée de Fourier est strictement positive sur la droite réelle. (e) h 0 et ( nh 2) α / ln n pour un α (0, 1). (f) p 1 dépends de n et il existe une constante λ > 0 tel que p ln λ n est borné.

Test de non-effet Comportement sous l hypothèse nulle Lemme Sous les hypothèses précédentes et si H 0 est vraie, sup Q n (γ) = O P (n 1 h 1/2 p 3/2 ln n). γ B p S p De plus, si τ 2 n (γ) est l estimateur défini par l équation (8), sup {1/ τ n 2 (γ)} = O P (1). γ B p S p

Test de non-effet Comportement sous l hypothèse nulle Lemme Sous les hypothèses précédentes et pour α n, n 1 tel que α n /{p 3/2 ln n}, P( γ n = γ (p) 0 ) 1, under H 0.

Test de non-effet Comportement sous l hypothèse nulle Théorème Sous les hypothèses précédentes et si H 0 est vraie, la statistique de test T n converge vers une loi normale centrée réduite. Ainsi le test donné par I(T n z 1 a ), avec z a le (1 a) quantile de la distribution de loi normale centrée réduite, a pour niveau asymptotique a.

Test de non-effet Comportement sous l alternative Considérons la suite d alternatives suivantes : H 1n : U = U 0 + r n δ(x ), n 1, avec E(U 0 X ) = 0. (9) La preuve de la consistance du test s appuie sur l inégalité suivante : T n = nh1/2 Q n ( γ n ) v n ( γ n ) { } = max nh 1/2 Q n (γ)/ v n (γ) α n I (p) γ B p {γ γ 0 } + α n I { γn γ (p) 0 } max γ B p nh 1/2 Q n (γ) v n (γ (p) 0 ) α n nh1/2 Q n (γ) v n (γ (p) 0 ) α n. (10)

Test de non-effet Comportement sous l alternative Théorème On suppose que (a) les hypothèses sont vérifiées en remplaçant U par U 0 ; (b) α n /{p 3/2 ln n} et r n, n 1 est tel que r 2 n nh 1/2 /α n ; (d) E[δ(X )] = 0 et 0 < E[δ 4 (X )] <. Alors le test basé sur T n est consistant contre la suite d alternatives H 1n s il existe p 1 et γ B p tel que P[δ(X ) X, γ ] = 0) < 1 et une des conditions suivantes est satisfaite : 1 la densité f γ est bornée ; 2 la fonction E[δ(X ) X, γ = ]f γ ( ) est bornée ; 3 la transformée de Fourier E[δ(X ) X, γ = ]f γ ( ) est intégrable sur R.

Test d adéquation au modèle linéaire fonctionnel Plan de la présentation 1 Introduction Notations 2 lemme fondamental 3 Test de non-effet La statistique de test Un estimateur de la variance Comportement sous l hypothèse nulle Comportement sous l alternative 4 Test d adéquation au modèle linéaire fonctionnel Le modèle linéaire fonctionnel La statistique de test Comportement sous l hypothèse nulle Comportement sous l alternative 5 Test de non-effet avec U fonctionnel 6 Simulations Pour le test de non-effet Pour le test d adéquation 7 Quelques références

Test d adéquation au modèle linéaire fonctionnel Le modèle linéaire fonctionnel Y = a + b, X + U, où b L 2 [0, 1] et a R sont des paramétres inconnues. K(u, v) = Cov(X (u), X (v)), X n = n 1 n i=1 X i et K(u, v) = n i=1 (X i(u) X n (u))(x i (v) X n (v)). K(u, v) = j=1 θ jφ j (u)φ j (v), K(u, v) = θ j=1 j φj (u) φ j (v),

Test d adéquation au modèle linéaire fonctionnel Le modèle linéaire fonctionnel (Kf )(u) = K(u, v)f (v)dv. on a Kb = g où g(u) = E[(Y E(Y ))(X (u) E(X (u))]. cela suggére l estimateur de b b(t) m = bj φj (t), t [0, 1], (11) j=1 où b 1 j = θ j ĝ j, ĝ j = ĝ, φ j et ĝ(t) = n 1 n i=1 (Y i Y n )(X i (t) X n (t)).

Test d adéquation au modèle linéaire fonctionnel La statistique de test Û i = Y i â b, X i Q n (γ; â, b) = 1 n(n 1) 1 i j n Û i Û j 1 h K h ( X i X j, γ ), γ S p, [ ] γ n = arg max nh 1/2 Q n (γ; â, b)/ v n (γ; â, b) α n I { } γ B p γ γ (p) 0. T n = nh 1/2 Q n( γ n ; â, b). (12) v n ( γ n ; â, b)

Test d adéquation au modèle linéaire fonctionnel Comportement sous l hypothèse nulle Lemme Supposons E( U m ) < pour tout m 1, et 1 0 E[X 2 (t)]dt <. Soit b L 2 [0, 1] un estimateur de b tel que b b L 2 = O P (n ρ ) pour un 3/8 < ρ 1/2. De plus, supposons que la fenêtre h est telle que n 1 2ζ h 1/2 0 pour un 3/8 < ζ < ρ. Alors, sous l hypothèse H 0, on obtient sup nh 1/2 Q n (γ; â, b) Q n (γ) = o P (1) γ S p et sup γ S p v n (γ; â, b)/ v n (γ) 1 = o P (1).

Test d adéquation au modèle linéaire fonctionnel Comportement sous l hypothèse nulle Théorème Sous certaines conditions, la loi de la statistique de test est asymptotiquement normale.

Test d adéquation au modèle linéaire fonctionnel Comportement sous l alternative Considérons la suite d alternatives suivantes : H 1n : Y in = a+ b, X i +r n δ(x i )+U 0 i, n 1, with E(U 0 i X i ) = 0.

Test d adéquation au modèle linéaire fonctionnel Comportement sous l alternative Théorème Sous certaines conditions, le test basé sur T n est consistant.

Test de non-effet avec U fonctionnel Plan de la présentation 1 Introduction Notations 2 lemme fondamental 3 Test de non-effet La statistique de test Un estimateur de la variance Comportement sous l hypothèse nulle Comportement sous l alternative 4 Test d adéquation au modèle linéaire fonctionnel Le modèle linéaire fonctionnel La statistique de test Comportement sous l hypothèse nulle Comportement sous l alternative 5 Test de non-effet avec U fonctionnel 6 Simulations Pour le test de non-effet Pour le test d adéquation 7 Quelques références

Test de non-effet avec U fonctionnel lemme Soit U, X L 2 [0, 1] des fonctions aléatoires. Supposons que E U < et E(U) = 0. (A) Il y a équivalence entre : 1 E(U X ) = 0 a.s. 2 E [ U, E (U X, γ ) ] = 0 a.s. p 1, γ S p.

Test de non-effet avec U fonctionnel lemme suite (B) Supposons de plus que pour tout nombre réel positif s, E( U exp{s X }) <. (13) Si P[E(U X ) = 0] < 1, alors il existe un entier positif p 0 1 tel que pour tout entier p > p 0, l ensemble A = {γ S p : E(U X, γ ) = 0 a.s. } a une mesure de Lebesgue zéro sur S p et n est pas dense.

Test de non-effet avec U fonctionnel Définissons : Q n (γ) = 1 n(n 1) 1 i j n U i, U j 1 h K h ( X i X j, γ ), γ S p, et [ ] γ n = arg max nh 1/2 Q n (γ)/ v n (γ) α n I { } γ B p γ γ (p) 0, alors la statistique de test s écrit : T n = nh 1/2 Q n( γ n ) v n ( γ n ).

Test de non-effet avec U fonctionnel Changement d une hypothèse (exemple) : 1 dans le cas U réel σ 2 et σ 2 tel que 0 < σ 2 Var(U X ) σ 2 < presque sûrement. 2 dans le cas U fonctionnel σ 2 et C tel que : (i) 0 < σ 2 Var( U 1, U 2 X 1, X 2 ) presque sûrement ; (ii) E [ U 2 X ] C.

Test de non-effet avec U fonctionnel theorem On obtient sous certaines conditions la normalité de la statistique de test sous H 0. La consistance du test est aussi démontré.

Simulations Plan de la présentation 1 Introduction Notations 2 lemme fondamental 3 Test de non-effet La statistique de test Un estimateur de la variance Comportement sous l hypothèse nulle Comportement sous l alternative 4 Test d adéquation au modèle linéaire fonctionnel Le modèle linéaire fonctionnel La statistique de test Comportement sous l hypothèse nulle Comportement sous l alternative 5 Test de non-effet avec U fonctionnel 6 Simulations Pour le test de non-effet Pour le test d adéquation 7 Quelques références

Simulations Pour le test de non-effet 1000 réplications de (U 1, X 1 ),, (U n, X n ) de taille n = 100 et n = 200. X i mouvement Brownien standard sur [0, 1]. Distribution de U i : Hypothèse nulle : U 1,, U n i.i.d. N(0, σ 2 ) et indépendant de X 1,, X n où σ = 1.219. Premiére alternative (effet linéaire) : U i = b, X i + ɛ i où b(t) = (sin(2πt 3 )) 3, et ɛ 1,, ɛ n sont i.i.d. N(0, σ 2 ). Seconde alternative (effet quadratique) : U i = 1 1 0 0 h(s, t)x (s)x (t)dsdt + ɛ i où h(t, s) = 0.6, et ɛ 1,, ɛ n sont i.i.d. N(0, σ 2 ), où σ = 1.

Simulations Pour le test de non-effet Table: Pourcentage de rejet sous l hypothèse nulle, avec niveau de 5% (meilleure direstion). n = 100 n = 200 p = 3 p = 5 c h = 0.6 c h = 0.8 c h = 1.0 CT c h = 0.6 c h = 0.8 c h = 1.0 CT (1) 5.9 4.8 4.7 5.8 5.6 5.6 5.1 6.6 (2) 7.3 6.1 5.7 5.8 7.9 6.5 5.6 6.6 (1) 4.1 5.0 5.4 4.9 4.5 4.9 4.7 5.5 (2) 5.7 5.9 5.6 4.9 5.7 5.8 5.5 5.5

Simulations Pour le test de non-effet Table: Pourcentage de rejet sous l hypothèse nulle, niveau 5% (mauvaise direction). n = 100 n = 200 p = 3 p = 5 c h = 0.6 c h = 0.8 c h = 1.0 CT c h = 0.6 c h = 0.8 c h = 1.0 CT (1) 4.9 4.9 5.0 5.8 5.0 4.9 4.5 6.6 (2) 7.1 6.4 5.9 5.8 7.5 6.1 5.4 6.6 (1) 5.0 5.2 5.1 4.9 5.1 4.5 4.9 5.5 (2) 6.3 6.2 6.0 4.9 5.9 5.5 5.4 5.5

Simulations Pour le test de non-effet Table: Pourcentage de rejet sous l alternative linéaire, niveau 5% (meilleure direction). n = 100 n = 200 p = 3 p = 5 c h = 0.6 c h = 0.8 c h = 1.0 CT c h = 0.6 c h = 0.8 c h = 1.0 CT (1) 47.5 47.8 43.6 79.1 47.7 48.6 43.3 72.4 (2) 49.3 51.6 47.0 79.1 49.2 51.7 47.3 72.4 (1) 83.0 83.5 81.8 98.0 78.9 83.5 82.9 96.5 (2) 84.4 85.7 84.2 98.0 81.1 84.7 85.7 96.5

Simulations Pour le test de non-effet Table: Pourcentage de rejet sous l alternative linéaire, niveau 5% (mauvaise direction). n = 100 n = 200 p = 3 p = 5 c h = 0.6 c h = 0.8 c h = 1.0 CT c h = 0.6 c h = 0.8 c h = 1.0 CT (1) 24.0 21.7 17.9 79.1 28.5 22.7 17.1 72.4 (2) 33.8 29.4 24.1 79.1 40.9 33.0 25.0 72.4 (1) 52.8 52.4 49.3 98.0 66.3 59.7 52.9 96.5 (2) 59.2 58.6 55.2 98.0 72.5 65.8 59.3 96.5

Simulations Pour le test de non-effet Table: Pourcentage de rejet sous l alternative quadratique, niveau de 5% (première fonction propre comme direction choisi ). n = 100 n = 200 p = 3 p = 5 c h = 0.6 c h = 0.8 c h = 1.0 CT c h = 0.6 c h = 0.8 c h = 1.0 CT (1) 19.1 21.9 23.1 8.6 18.2 21.7 23.1 8.1 (2) 23.4 26.0 27.1 8.6 22.6 25.6 27.2 8.1 (1) 34.4 40.5 47.9 7.6 30.6 39.5 42.8 6.9 (2) 39.6 44.3 47.9 7.6 36.6 42.9 47.4 6.9

Simulations Pour le test de non-effet Table: Pourcentage de rejet sous l alternative quadratique, niveau de 5% (seconde fonction propre comme direction choisi). n = 100 n = 200 p = 3 p = 5 c h = 0.6 c h = 0.8 c h = 1.0 CT c h = 0.6 c h = 0.8 c h = 1.0 CT (1) 12.9 11.9 10.6 8.6 18.4 13.6 12.4 8.1 (2) 19.4 16.0 14.6 8.6 25.4 19.8 16.5 8.1 (1) 25.7 25.4 24.7 7.6 37.7 36.2 30.8 6.9 (2) 30.4 29.4 28.0 7.6 42.1 39.1 33.7 6.9

Simulations Pour le test d adéquation Y = a + b, X + U. X mouvement brownien. b(t) = 1 t [0, 1] et a = 0 vraies valeurs à être estimer. U = δ(x ) + ɛ où ɛ 1,, ɛ n indépendantes, de loi normale centrée réduite et indépendants des X i et 1 hypothèse nulle : δ(x i ) = 0 2 déviation quadratique : ( 1 δ(x i ) = 0.6 3 déviation cubique : ( 1 δ(x i ) = 0.9 0 0 1 1 0 0 1 0 ) X i (s)x i (t)dsdt 1/3 X i (s)x i (t)x i (z)dsdtdz 1 0 ) X i (t)dt

Simulations Pour le test d adéquation Table: Pourcentage de rejet sous l hypothèse nulle, niveau de 5%. n = 100 n = 200 p = 3 p = 5 c h = 0.8 c h = 1.0 c h = 1.2 HR c h = 0.8 c h = 1.0 c h = 1.2 m = 1 5.8 5.9 5.1 5.9 5.8 5.5 5.1 m = 3 5.6 5.3 5.7 11.0 5.2 5.0 5.0 m = 1 6.2 5.9 5.7 6.3 6.0 6.5 6.4 m = 3 5.6 4.8 4.9 6.4 nc nc nc

Simulations Pour le test d adéquation Table: Pourcentage de rejet sous l alternative quadratique, niveau de 5%. n = 100 n = 200 p = 3 p = 5 c h = 0.8 c h = 1.0 c h = 1.2 HR c h = 0.8 c h = 1.0 c h = 1.2 m = 1 29.0 32.9 35.8 78.3 31.3 35.8 38.6 m = 3 27.0 30.9 34.3 60.8 29.6 32.1 36.6 m = 1 54.8 59.9 64.0 96.1 58.5 64.3 69.3 m = 3 53.5 59.5 63.2 86.5 nc nc nc

Simulations Pour le test d adéquation Table: Pourcentage de rejet sous l alternative cubique, niveau de 5%. n = 100 n = 200 p = 3 p = 5 c h = 0.8 c h = 1.0 c h = 1.2 HR c h = 0.8 c h = 1.0 c h = 1.2 m = 1 36.7 38.6 38.6 29.2 35.9 34.9 34.5 m = 3 36.9 39.6 42.5 29.6 36.7 37.9 37.7 m = 1 65.4 69.8 72.9 31.0 nc nc nc m = 3 69.8 73.2 76.0 28.9 nc nc nc

Quelques références Plan de la présentation 1 Introduction Notations 2 lemme fondamental 3 Test de non-effet La statistique de test Un estimateur de la variance Comportement sous l hypothèse nulle Comportement sous l alternative 4 Test d adéquation au modèle linéaire fonctionnel Le modèle linéaire fonctionnel La statistique de test Comportement sous l hypothèse nulle Comportement sous l alternative 5 Test de non-effet avec U fonctionnel 6 Simulations Pour le test de non-effet Pour le test d adéquation 7 Quelques références

Quelques références Cardot, H., Ferraty, F., Mas, A., and Sarda, P. (2003). Testing Hypotheses in the Functional Linear Model. Scandinavian Journal of Statistics 30, 241 255. Delsol, L., Ferraty, F., and Vieu, P. (2011). Structural test in regression on functional variables. Journal of Multivariate Analysis 102, 422 447. Hall, P., and Horowitz, J.L. (2007). Methodology and convergence rates for functional linear regression. Annals of Statistics 35, 70 91. Lavergne, P. and Patilea, V. (2008). Breaking the curse of dimensionality in nonparametric testing. Journal of Econometrics 143, 103 122.