Tests exacts d indépendance sérielle dans les cas de distributions continues et discrètes

Transcription

1 Tests exacts d indépendance sérielle dans les cas de distributions continues et discrètes Jean-Marie Dufour Université de Montréal Abdeljelil Farhat Université de Montréal First version: August 2001 This version: March 2004 Abdelwahed Trabelsi Université de Tunis ABSTRACT In this paper, we study the problem of testing the nonparametric hypothesis of randomness (independent identically distributed variables), with both continuous and discrete distributions, against serial dependence alternatives. We consider tests based on sample autocorrelations, goodness-of-fit statistics [Kolmogorov-Smirnov, Cramér-von Mises], and measures of distance between kernel-based density estimators. In view of controlling size, many of these tests raise difficult distributional problems, in both finite and large samples. We show that these problems can easily be solved by using permutational versions of the procedures jointly with the method of Monte Carlo tests (randomized permutation Monte Carlo tests), so exact tests with known size can be obtained, irrespective whether the distribution of the observations is continuous or discrete. This makes existing procedures more reliable and provides a simple way of implementing new procedures. We show that various test procedures can also be combined to obtain tests with better overall power properties. The performance of the proposed procedures is studied in a simulation experiment where randomness is tested against a variety of alternatives: autoregressive-moving average (ARMA), This work was supported by the Canada Research Chair Program, the Canadian Network of Centres of Excellence [program on Mathematics of Information Technology and Complex Systems (MITACS)], the Canada Council for the Arts (Killam Fellowship), the Natural Sciences and Engineering Research Council of Canada, the Social Sciences and Humanities Research Council of Canada, and the Fonds FCAR (Government of Québec). Canada Research Chair Holder (Econometrics). Centre de recherche et développement en économique (C.R.D.E.), Centre interuniversitaire de recherche en analyse des organisations (CIRANO), and Département de sciences économiques, Université de Montréal. Mailing address: Département de sciences économiques, Université de Montréal, C.P succursale Centre-ville, Montréal, Québec, Canada H3C 3J7. TEL: ; FAX: ; [email protected]. Web page: CIRANO and C.R.D.E, Université de Montréal. Mailing address: C.R.D.E, Université de Montréal, C.P. 6128, succursale Centre-ville, Montréal, Québec, Canada H3C 3J7. TEL: (514) ; FAX (514) ; [email protected]. Institut Supérieur de Gestion, Université de Tunis. Mailing address: ISG, 41 Av. de la liberté 2000 Le Bardo, Tunis, Tunisie. TEL: (216-1) ; FAX (216-1) ; [email protected].

2 nonlinear moving average, autoregressive with heteroskedastic errors, autoregressive conditional heteroskedastic (ARCH), generalized autoregressive conditional heteroskedastic (GARCH), bilinear, and threshold autoregressive models. Both Gaussian and non-gaussian (e.g., Cauchy) noises are considered. We show that the randomized permutation Monte Carlo tests always have the correct size, while usual asymptotic approximations are unreliable from that viewpoint. Furthermore, the proposed combined test procedures perform very well against all the alternatives considered. Keywords: randomness; serial dependence; nonparametric methods; distribution-free; permutation test; autocorrelations; Kolmogorov-Smirnov, Cramér-von Mises; kernel density estimator; Monte Carlo test; ; test combination; autoregressive process; moving average; ARCH; GARCH; bilinear model; threshold autoregression. RÉSUMÉ Dans ce texte, nous étudions le problème qui consiste à tester le caractère aléatoire (variables indépendantes identiquement distribuées), dans le cadre d un modèle non paramétrique où la distribution des observations peut être continue ou discrète, en vue de détecter une dépendance sérielle. Nous considérons des tests basés sur les autocorrélations usuelles, la fonction de répartition (Kolmogorov-Smirnov, Cramèr-von Mises), ainsi des estimateurs à noyau de la densité des observations. Du point du contrôle du niveau, plusieurs de ces tests soulèvent des problèmes distributionnels difficiles à résoudre dans les échantillons finis. Nous montrons que ces problèmes peuvent être facilement résolus en utilisant des versions permutationelles de ces tests conjointement avec la méthode des tests de Monte Carlo (MC), i.e. un test de permutation randomisé de manière appropriée. On peut alors construire des tests exacts, i.e. des tests dont le niveau est connu, tant pour des lois discrètes que continues. Ceci permet de rendre les procédures existantes beaucoup plus fiables et de facilement mettre en oeuvre de nouveaux tests. En particulier, nous montrons que différents tests que peuvent être combinées par cette approche de manière à obtenir une meilleure puissance. Nous étudions la performance des procédures proposées dans une expérience de simulation où l hypothèse nulle est confrontée à plusieurs contre-hypothèses importantes: modèles autorégressifs moyenne mobile (ARMA), moyenne mobile non linéaire (NLMA), moyenne mobile non linéaire généralisée (ENLMA), autorégressifs avec hétéroscédasticité conditionnelle (ARCH), autorégressifs généralisés avec hétéroscédasticité conditionnelle (GARCH), bilinéaires (BL) et autorégressifs à seuil (TAR). Des bruits blancs gaussiens et non gaussiens (de Cauchy, par exemple) sont considérés. Ces simulations montrent que les tests randomisés de Monte Carlo ont bien le niveau affiché, alors que les approximations asymptotiques habituelles sont très incertaines de ce point de vue. De plus, les tests combinés ont une excellente puissance par rapport à toutes les contre-hypothèses considérées. Mots clés: indépendance; dépendance sérielle; modèles non-paramétriques; auto corrélations; estimateur à noyau pour une densité; test exact; test de permutations; test de Monte Carlo; test combiné; modèles autorégressifs; moyenne mobile; ARCH; GARCH; modèles bilinéaires; modèles autorégressifs à seuil (TAR). 2

3 Introduction et sommaire L importance de l hypothèse d indépendance pour l inférence statistique a incité de nombreux auteurs à mesurer la dépendance et à construire des tests d indépendance entre variables aléatoires. En particulier, il existe une littérature abondante sur les tests de l hypothèse d indépendance d une série d observations issues de variables aléatoires ayant une même fonction de densité de probabilité (f.d.p.) continue. A cet égard, nous citerons les procédures suivantes: les tests de Blum, Kiefer et Rosenblatt (1961) fondés sur des mesures de l écart entre la fonction de répartition conjointe et le produit des fonctions de répartition marginales; le test populaire de Box et Pierce (1970) basé sur la mesure de l autocorrélation dans un processus gaussien; les modifications de la statistique de Box et Pierce suggérées par Ljung et Box (1978) ainsi que Dufour et Roy (1986) ; les tests de Dufour (1981) basés sur les rangs; plus récemment, le test de Delgado (1996) fondé sur une statistique de Blum et al. (1961); les tests basés sur des estimateurs de la f.d.p. parmi lesquels nous citons le test de Robinson (1991) fondé sur le critère d information de Kullback-Leibler; le test de Chan et Tran (1992) basé sur des histogrammes; les tests de Skaug et Tjφstheim (1993, 1995) et de Tjφstheim (1996) fondés soit sur le critère d information de Kullback-Leibler soit sur la distance de Hellinger. Skaug et Tjφstheim (1995) et Tjφstheim (1996) ont effectué des excellentes études de synthèse des tests d indépendance dans un contexte de séries chronologiques. Toutefois, sous l hypothèse nulle d indépendance, un grand nombre des statistiques de test proposées ont des distributions compliquées qui sont difficiles à calculer de façon explicite. Pour cette raison, leurs auteurs ont habituellement recours à des approximations asymptotiques. Les approximations des lois des statistiques de test ou des valeurs critiques engendrent généralement des distorsions de niveau et ne permettent pas des comparaisons valides de puissance. C est pourquoi nous proposons ici d utiliser la technique des tests de Monte Carlo (MC)[voir Dwass (1957), Barnard (1963), Birnbaum (1974), Dufour (1995), Dufour et al. (1998), Kiviet and Dufour (1997), Dufour and Kiviet (1998) et Dufour and Farhat (2002)] qui permet de contrôler parfaitement le niveau. Dans cette étude, nous nous référons à un contexte de séries chronologiques. Soient (X t, t=1,..., T) une série temporelle de variables aléatoires, ε = (ε 1,..., ε T ) un vecteur T 1 de perturbations aléatoires indépendantes et identiquement distribuées (i.i.d.). Soit p un entier tel que 1 p T ; dénotons pour t = p + 1,..., T, W t = (X t, X t 1,..., X t p ). La fonction de répartition (f.r.) de W t peut être continue ou discrète. Nous rappelons que, par définition, les variables X t, X t 1,..., X t p (t = p + 1,..., T ) 3

4 sont indépendantes si et seulement si leur f.r. conjointe est égale au produit de leurs f.r. marginales. Pour un processus Gaussien, l hypothèse d indépendance est équivalente à l hypothèse d absence de corrélation. Afin de de confronter les hypothèses H 0 : X t, X t 1,..., X t p sont mutuellement indépendantes et H 1 : il existe une dépendance (positive ou négative) entre les variables X t, X t 1,..., X t p, nous considérons les deux statistiques de test traditionnelles qui mesurent la distance entre les fonctions de répartition: la statistique de Kolmogorov-Smirnov et celle de Cramér-von Mises. Nous étudions aussi les tests de Dufour (1981) basés sur les rangs et le test d autocorrélation de Box-Pierce (1970). Afin d explorer les propriétés des tests de MC, nous proposons des procédures de combinaison pour obtenir des tests plus performants. Nous porterons une attention particulière à la dépendance dans les cas de modèles de séries chronologiques de types ARMA, ARCH, GARCH, moyenne mobile non linéaire (NLMA), bilinéaire (BL) et autoregressifs à seuil (Threshold) (TAR). Nous étudions le cas de la dépendance sérielle dans le cas des séries chronologiques univariées mais les procédures adoptées pourraient être généralisées. En résumé, les principaux objectifs de ce travail sont les suivants: (i) étendre l utilisation des tests de MC pour effectuer des tests d indépendance; (ii) montrer que les tests de MC ont toujours un niveau exact, tandis que les tests originaux ont souvent un niveau biaisé; (iii) proposer des procédures de combinaison fondées sur les propriétés des tests de MC pour obtenir des tests plus performants dans le cas où la nature de dépendance est inconnue; (iv) effectuer la comparaison des performances du point de vue de la puissance pour différents tests afin de sélectionner les meilleurs selon plusieurs contre-hypothèses courantes. Nous avons montré dans ce travail que l on peut facilement appliquer la méthode des tests de MC à différents tests d indépendance dans un contexte très vaste de séries chronologiques et d obtenir des résultats intéressants. En explorant la propriété indiquant qu avec la méthode de randomisation de Dufour (1995), les tests de MC sont exacts, nous avons mis l accent sur le cas d échantillons finis. Cette excellente propriété nous a permis d introduire des tests combinés d indépendance qui améliorent sensiblement la puissance. Nous terminons par les suggestions suivantes pour des recherches futures dans ce domaine: (1) comparer les tests d indépendance sérielle étudiés dans ce papier avec des tests fondés sur des mesures de distance entre les fonctions de densité de probabilité; (2) confectionner des procédures d inférence à partir des combinaisons de tests basés sur des mesures de distance entre les fonction de densité de probabilité et des tests basés sur des mesures de distance entre les fonctions de répartition; 4

5 (3) étendre l utilisation des tests de MC d indépendance à un contexte de séries chronologiques multivariés. (4) appliquer les tests de MC d indépendance aux résidus de régression; (5) étendre la procédure des tests de MC aux matrices de corrélation de Pearson, de Spearman et de Kendall puis aux mesures d association vectorielle, pour l étude de la structure de liaison entre deux ou plusieurs vecteurs aléatoires. References Barnard, G. A. (1963), Comment on The spectral analysis of point processes by M. S. Bartlett, Journal of the Royal Statistical Society, Series B 25, 294. Birnbaum, Z. W. (1974), Computers and unconventional test-statistics, in F. Proschan and R. J. Serfling, eds, Reliability and Biometry, SIAM, Philadelphia, PA, pp Blum, J. R., Kiefer, J. and Rosenblatt, M. (1961), Distribution free tests of independence based on the sample distribution function, Annals of Mathematical Statistics 32, Box, G. E. P. and Pierce, D. A. (1970), Distribution of residual autocorrelations in autoregressive-integrated moving average time series models, Journal of the American Statistical Association 65, Chan, N. H. and Tran, L. T. (1992), Non parametric test for serial dependence, Journal of Time Series Analysis 13, Delgado, M. A. (1996), Testing serial independence using the sample distribution function, Journal of Time Series Analysis 17-3, Dufour, J.-M. (1981), Rank tests for serial dependence, Journal of Time Series Analysis 2, Dufour, J.-M. (1995), Monte Carlo tests with nuisance parameters: A general approach to finitesample inference and nonstandard asymptotics in econometrics, Technical report, C.R.D.E., Université de Montréal. Dufour, J.-M. and Farhat, A. (2002), Exact nonparametric two-sample homogeneity tests, in C. Huber-Carol, N. Balakhrishnan, M. Nikulin and M. Mesbah, eds, Proceedings of the 2000 International Workshop on Goodness-of-fit Tests and Validity of Models, Birkhaüser, Boston, Massachusetts, chapter 33, pp Dufour, J.-M., Farhat, A., Gardiol, L. and Khalaf, L. (1998), Simulation-based finite sample normality tests in linear regressions, The Econometrics Journal 1, Dufour, J.-M. and Kiviet, J. F. (1998), Exact inference methods for first-order autoregressive distributed lag models, Econometrica 66,

6 Dufour, J.-M. and Roy, R. (1986), Generalized portmanteau statistics and tests of randomness, Communications in Statistics, Theory and Methods 15, Dwass, M. (1957), Modified randomization tests for nonparametric hypotheses, Annals of Mathematical Statistics 28, Kiviet, J. and Dufour, J.-M. (1997), Exact tests in single equation autoregressive distributed lag models, Journal of Econometrics 80, Ljung, G. M. and Box, G. E. P. (1978), On a measure of lack of fit in time series models, Biometrika 65, Robinson, P. M. (1991), Consistent nonparametric entropy-based testing, Review of Economic Studies 58, Skaug, H. J. and Tjøstheim, D. (1993), A nonparametric test of serial independence based on the empirical distribution function, Biometrika 80, Skaug, H. J. and Tjøstheim, D. (1995), Testing for serial independence using measures of distance between densities, in P. M. Robinson and M. Rosenblatt, eds, Athens Conference on Applied Probability and Time Series Analysis. Volume II: Time Series Analysis in Memory of E.J. Hannan, number 115 in Lecture Notes in Statistics, Springer-Verlag, New York, pp Tjøstheim, D. (1996), Mesures of dependence and tests of independence, Statistics 28-3,