INTRODUCTION AUX SÉRIES TEMPORELLES. Julien JACQUES jjacques/

Transcription

1 INTRODUCTION AUX SÉRIES TEMPORELLES Julien JACQUES jjacques/

2 Table des matières 1 Introduction et premières définitions Tendances et composantes saisonnières Indices descriptifs d une série temporelle Indices de tendance centrale Indices de dispersion Indices de dépendance Mise en oeuvre sous R TP 1 : Introduction Données de varicelle Simulations de séries temporelles Lissages exponentiels Lissage exponentiel simple Lissage exponentiel double Méthode de Holt-Winters Méthode non saisonnière Méthode saisonnière additive Méthode saisonnière multiplicative Mise en oeuvre sous R TP 2 : Lissage Exponentiel Lissage et prévision de données simulées Lissage et prévision de la concentration en co Lissage et prévision du CAC Estimation et élimination de la tendance et de la saisonnalité Bruit blanc Processus stationnaire Une estimation paramétrique de la tendance (trend) Estimation non paramétrique : moyenne mobile Elimination de la tendance et de la saisonnalité par la méthode des différences Test sur la série résiduelle Comment tester si on est en présence d un bruit blanc? Mise en oeuvre sous R TP 3 : Tendance et saisonnalité DonnéesAirPassengers Données simulées Modélisation des séries stationnaires Auto-corrélation partielle Les processus auto-régressifsar p Exercice : cas particulier de l AR Illustrations Les processus en moyenne mobilema q Exercice : cas particulier duma Illustrations Les processus mixtesarma p,q Exercice : le processusarma 1, Illustrations Récapitulatif des propriétés des processusma q,ar p etarma p,q

3 7.6 Estimation, choix de modèle et prévision Estimation Choix de modèle Prévision Processus non stationnaire : ARIMA et SARIMA Exemple Les processus ARIMA et SARIMA Mise en oeuvre sous R : processus ARMA, ARIMA, SARIMA TP 4 : Processus ARMA et ARIMA Simulation de processus ARMA Identification d un processus ARMA Prévision dans un processus ARMA Précipitations mensuelles à San Fransisco entre 1932 et Taux d intérêt au Royaume-Uni Processus ARCH et GARCH Définitions Quelques rappels de probabilités Propriétés des processus ARCH Processus GARCH et propriétés Mise en oeuvre sous R TP 5 : Processus ARCH et GARCH Données simulées Données réelleseustockmarkets Données réelles :NYSE

4 Ce document est uniquement un support de cours, et ne constitue pas à lui seul un cours sur les séries temporelles. Les différentes démonstrations, applications et exercices nécessaires à la compréhension des notions présentées dans ce document n y figurent pas (ou alors sous la forme d exercice), mais seront développés en cours. A la fin de chaque chapitre figurent les commandes R nécessaires à l application des notions du chapitre. 4

5 1 Introduction et premières définitions Une série temporelle (ou série chronologique) à temps discret est une suite réelle finie(x t ) 1 t n, oùtreprésente le temps (en minute, jour, année...). Voici quelques exemples de séries temporelles : Ex. 1 : Nombre de morts accidentelles aux Etats-Unis de 1973 à 1978 (figure 1). USAccDeaths Time FIGURE 1 Nombre de morts accidentelles aux Etats-Unis de 1973 à 1978 Ex. 2 : Nombre de passagers par mois (en milliers) dans les transports aériens, de 1949 à 1960 (figure 2). AirPassengers Time FIGURE 2 Nombre de passagers (en milliers) dans les transports aériens 5

6 Ex. 3 : Nombre annuel de tâches solaires observées à la surface du soleil de 1700 à 1980 (figure 3). sunspot.year Time FIGURE 3 Nombre annuel de tâches solaires Ex. 4 : Taille de la population française (en milliers) de 1985 à 2005 (figure 4). FIGURE 4 Population française de 1985 à 2005 Ex. 5 : Valeurs de clôtures journalières du CAC40 de 1991 à 1998 (figure 11). EuStockMarkets[, 3] Time FIGURE 5 Valeurs de clôtures journalières du CAC40 de 1991 à 1998 Excepté l exemple 4, ces données sont disponibles dans le logiciel R sous les noms : EuStockMarkets, USAccDeaths, AirPassengers et sunspot.year. 6

7 Exercice 1. Repérer les tendances (croissance, décroissance, linéaire, quadratique...) et saisonnailités (périodicités) de chacune de ces séries. Un des objectifs principaux de l étude d une série temporelle est la prévision des réalisations futures, très souvent pour des raisons économiques (prévoir l évolution de la vente d un produit pour ajuster au mieux les moyens de production, prévoir l évolution d un marché financier...). Bien entendu, aucun modèle ne correspond exactement à la réalité, et il est impossible de prévoir parfaitement le devenir d une série temporelle. Lorsque cela sera possible, nous donnerons des intervalles de prévisions, afin de pouvoir apporter une information quant à la précision de la prévision. Pour ce faire, il existe un large choix de modèle utilisable : les modèles de régression, comme par exemple : x t = α 1 t 2 +α 2 t+α 3 +ǫ t, t = 1,...,n. Une fois les coefficients de ce modèle estimés, la prévision dex t+1 sera ˆx t+1 = ˆα 1 (t+1) 2 + ˆα 2 (t+1)+ ˆα 3. les lissages exponentiels qui sont très simples à mettre en oeuvre, et qui feront l objet d un chapitre suivant, les modèles de type ARMA, qui consistent à enlever de la série les tendances et saisonnalités (ou périodicités) évidentes et à modéliser le résidu restant. Ces méthodes sont plus sophistiquées et plus lourdes numériquement (temps de calcul) que les précédentes, mais également plus performantes. Parmi les 5 exemples précédents, celui relatif au nombre de passagers dans les transports aériens (figure 2) est une série assez typique de ce que l on rencontre en économétrie, et elle donne lieu à de bonnes prévisions pour toutes les méthodes classiques. Au contraire, l évolution des marchés boursiers (figure 11) est beaucoup plus difficile à prévoir. Les défis que nous allons devoir relever sont les suivants : définir un modèle avec un nombre fini de paramètres, estimer les paramètres de ce modèle, vérifier la qualité d ajustement du modèle, comparer différents modèles (partage de l échantillon d observations en 80% pour l apprentissage et 20% pour le test), effectuer des prédictions. 1.1 Tendances et composantes saisonnières On parle de tendance lorsque la série (x t ) 1 t n peut s écrire, à une erreur d ajustement ǫ t près, comme une combinaison linéaire de m fonctions du temps, choisies a priori (par exemple fonction puissance, exponentielle, logarithmique...) : x t = m α j f j (t)+ǫ t 1 t n. j=1 Lorsquex t = αt+β +ǫ t la tendance est linéaire (m = 1 et f(t) = αt+β). Une tendance polynomiale se traduira parx t = α 1 t p +α p 1 t p α p+1 +ǫ t. Exercice 2. Comment semble être la tendance dans l exemple 5? On parle de composante périodique lorsque la série (x t ) 1 t n peut se décomposer en : x t = s t +ǫ t 1 t n, oùs t est périodique, c est-à-dires t+t = s t, avect la période (supposée entière). Lorsque la période est de 6 mois ou 1 an, on parle généralement de composante saisonnière. Enfin, il est fréquent qu une série comporte à la fois une tendance et une composante périodique (cf. exemple 2). 7

8 1.2 Indices descriptifs d une série temporelle Indices de tendance centrale Nous utilisons comme indicateur de la tendance centrale la moyenne : x n = 1 n Indices de dispersion n x t. t=1 Nous utilisons comme indicateur de dispersion la variance empirique (et sa racine carrée, l écart-type empirique) : ˆσ n (0) = 1 n Indices de dépendance n (x t x n ) 2. t=1 Ces notions, plus spécifiques à l étude de série temporelle, renseignent sur la dépendance entre les donnéesx t. L auto-covariance empirique d ordre 1 renseigne sur la dépendance entre deux données succes- Auto-covariance sives : ˆσ n (1) = 1 n 1 (x t x n )(x t+1 x n ), n 1 t=1 l auto-covariance empirique d ordre 2 renseigne sur la dépendance entre deux données écartées de deux pas de temps : ˆσ n (2) = 1 n 2 (x t x n )(x t+2 x n ), n 2 t=1 et ainsi de suite. Pour des raisons de bon sens statistique, nous ne considèrerons les covariances empiriques que jusqu à un ordre h pas trop grand. On appelle fonction d auto-covariance (empirique) la fonction qui àhassocie ˆσ n (h). Auto-corrélation empirique : Les auto-corrélations empiriques sont les quotients des covariances empiriques par la variance ˆρ n (h) = ˆσ n(h) ˆσ n (0). Ce sont les auto-corrélations empiriques que nous utiliserons pour caractériser la dépendance entre les variables. On appelle fonction d auto-corrélation (empirique) la fonction qui à h associe ˆρ n (h). Visualisation de l auto-corrélation d ordre 1 La représentation graphique des nuages de points (x t,x t+1 ), pour t = 1,...,n 1, est une bonne illustration de la valeur de l auto-corrélation d ordre 1 ˆρ n (1) : plus le nuage sera arrondi, plus ˆρ n (1) sera proche de 0, et plus le nuage sera allongé, plus ˆρ n (1) sera proche de 1. Ceci est vrai pour toutes les auto-corrélations ˆρ n (k), 1 k n. 8

9 x[2:length(x)] x[3:length(x)] x[4:length(x)] x[1:(length(x) 1)] x[1:(length(x) 2)] x[1:(length(x) 3)] x[5:length(x)] x[6:length(x)] x[7:length(x)] x[1:(length(x) 4)] x[1:(length(x) 5)] x[1:(length(x) 6)] Series x x[8:length(x)] x[9:length(x)] ACF x[1:(length(x) 7)] x[1:(length(x) 8)] Lag FIGURE 6 Nuages de points(x t,x t+k ) pourk = 1,...,8 et auto-corrélation pour la série temporelle du nombre de morts accidentelles aux Etats-Unis de 1973 à

10 Première analyse de la série à l aide des auto-corrélations Proposition 1. Si la série(x t ) 1 t n est une tendance linéaire purex t = at+b,t = 1,...,n, alors on a pourhfixé : Exercice 3. Faire la preuve. ˆρ n (h) n 1. Proposition 2. Si la série (x t ) 1 t n est une série périodique purex t = acos 2tπ T,t = 1,...,n, on a pourhfixé : ˆρ n (h) n cos 2hπ T. En interprétant l auto-corrélation grâce à ces deux propositions, il sera possible de «deviner»si une série temporelle admet une tendance (l auto-corrélation tend vers 1) ou une saisonnalité (la saisonnalité se voit sur l autocorrélation). 1.3 Mise en oeuvre sous R Quelques fonctions R utiles à l étude des séries temporelles : Lire un fichier de données en sautant les k premières lignes : data=scan(file= donnee.dat,skip=k). Créer un objet de type série temporelle :serie <- ts (data,start,end,frequency). data contient le vecteur des données (un fichier contenant les données peut être mentionné en remplaçant data par file= donnees.dat ),start et end mentionne les dates de début et de fin de la série (ex : start=c(1990,1) et end=c(1999,6) pour des données allant de janvier 90 à juin 99), et enfin frequency mentionne le nombre de données par unité de temps (par exemple, si les dates de début et de fin sont des années, et que les données sont mensuelles, il faudra indiquerfrequency=12). Représenter graphiquement un objet de type série temporelle :plot.ts(serie) La fonction acf(x, lag.max = 10, type = c("correlation", "covariance"), plot = TRUE) calcule (et trace si l optionplot est àtrue) leslag.max premières auto-corrélations et auto-covariances. Quelques conseils utiles pour les graphiques en R : pour représenter plusieurs courbes sur le même graphique, tracer la première à l aide de la commande plot qui créé la fenêtre graphique et y insère la courbe, puis tracer les autres courbes à l aide de la commandelines qui trace une courbe sur une fenêtre graphique existante. pour partager la fenêtre graphique en plusieurs (n p) sous-graphes, utiliser la commande par(mfrow=c(n,p)). préciser les limites des axes des graphiques :plot(...,xlim=c(0,10),ylim=c(-10,10)). pour exporter les graphiques en jpeg (idem pour bmp, png), il faut lui procéder de la sorte 1. jpeg(filename= nomfichier%d.jpeg ), 2. réaliser le graphique, 3. la commande dev.off() permet enfin de rediriger le dernier graphique tracé vers le fichier nomfichier1.jpeg, et ainsi de suite après chaque graphique. Le nom de fichier sera automatiquement incrémenté. 10

11 2 TP 1 : Introduction Préliminaires Lancer Open Office Writer et créer un fichier TP1_ST.odt. Dans ce fichier, vous répondrez clairement aux questions ci-dessous, en incluant vos codes R, les résultats obtenus sous R (graphique y compris 1 ), vos interprétations, remarques... Une fois ce TP fini, vous metterez en forme votre compte-rendu et l exporterez au formatpdf. Le jour de l examen, la même démarche vous sera demandée. Seul le fichierpdf sera pris en compte pour la correction. Entrainez-vous donc dès maintenant, notamment pour l exportation des graphiques de R vers Open Office Writer. Consignes Durée du TP : 2h. Indispensables pour la suite : exercices 1 et Données de varicelle Récupérer le fichier 2 contenant le nombre de cas de varicelle relevés à New-York de janvier 1931 à juin Créer un objet de type série temporelle contenant cette série. Représenter graphiquement la série. 2. Analyser qualitativement cette série, c est-à-dire repérer d éventuelles tendance et/ou saisonnalité (changer d échelle si besoin). 3. Quel est le nombre de cas de varicelles mensuel moyen? 4. Tracer les 25 premières auto-corrélations. Intérpreter ces résultats. Que représentent les traits pointillés horizontaux sur le graphique de l auto-corrélation. 5. Tracer sur un même graphique, les évolutions mensuelles du nombre de cas de varicelle pour chaque année. 6. Tracer sur un graphique l évolution annuelle du nombre de cas de varicelle. 7. Ces deux dernières questions vous permettent-elles d améliorer vos conclusions de la question 2? 2.2 Simulations de séries temporelles On appelle bruit blanc gaussien une suite de variables aléatoires indépendantes et identiquement distribuéesǫ t de loi normale centrée réduite. 1. Quelle est la fonction d auto-corrélation d un bruit blanc? 2. Simuler un bruit blanc gaussien de taille 100, et représenter le graphiquement. 3. Tracer la fonction d auto-corrélation. 4. Recommencer les deux questions précédentes et observer la variabilité des résultats. Jouer sur la longueur de la série. 5. Simuler maintenant la série temporellex(t) = 0.5t+2ǫ t avecǫ t N(0,1) (taille 100). 6. Représenter graphiquement la série et interpréter-la qualitativement. 7. Faites de même pourx(t) = 0.5t+ǫ t +3cos ( t π 6) avecǫt N(0,1). 1. se référer au document de cours, à la fin du premier chapitre, pour l exportation de graphique sous R 2. les fichiers de données sont disponibles sur jacques/ 11

12 3 Lissages exponentiels Les méthodes de lissages exponentiels constituent un outil permettant de réaliser des prévisions à partir de l observation d une série temporelle. Ces méthodes étant relativement basiques et simples de mise en oeuvre, elles sont souvent utilisées dans l industrie, notamment lorsque le nombre de prévisions à réaliser est important (par exemple, prévisions des ventes de centaines de produits dans une grande surface). Nous présentons trois types de lissage exponentiel : le lissage exponentiel simple qui consiste à ajuster localement à la série temporelle une constante, le lissage exponentiel double qui ajuste quant à lui une droite, le lissage exponentiel de Holt-Winters qui considère des fonctions plus complexes (polynomiales, périodiques...). 3.1 Lissage exponentiel simple Disposant d une série temporelle x 1,...,x n, l objectif du lissage exponentiel est d estimer la valeur x n+h non encore observée. Nous noterons ˆx n,h cette prévision. Etant donnée une constante de lissage 0 < α < 1, on définit la prévision par lissage exponentiel simple : n 1 ˆx n,h = α (1 α) j x n j. (1) j=0 La prévision est une moyenne de toutes les observations passées, pondérée de sorte que plus l observation soit ancienne moins elle ait d importance. Une constante de lissage α proche de 0 ( 0.3) donne une importance significative aux observations éloignées, tandis qu un α proche de 1 ( 0.7) tend à négliger ces observations éloignées. Remarque : la prévision ˆx n,h ne dépend pas deh! Formules récursives de mise à jour La définition (1) vérifiant la formule récursive suivante ˆx n,h = αx n +(1 α)ˆx n 1,h, la prévision ˆx n,h peut être obtenue immédiatement à partir de la connaissance de : 1- la prévision ˆx n 1,h basée sur lesn 1-èmes premières observations, 2- l observationx n. L utilisation de cette récurrence permet de réaliser des algorithmes très rapides d estimation de la prévision par lissage exponentiel (en initialisant à ˆx 1,h = x 1 ). Exercice 4. Ecrire et interpréter la valeur de ˆx n,1 à partir de l équation de récurrence. Exercice 5. Montrer que ˆx n,h défini en (1) est solution asymptotique d un problème de moindres carrés pondérés. Choix de la constante de lissage Pour choisir la constante de lissage, une solution pragmatique consiste à tester plusieurs valeurs et à choisir celle minimisant un critère d erreur minimale. Pour cela on partage l échantillon d observations en un échantillon d apprentissage (les80% premières observations :x 1,...,x m oùmest par exemple l entier le plus proche de 8 10 n) et un échantillon test (les 20% dernières : x m+1,...,x n ), on estime le modèle de lissage exponentiel à partir de l échantillon d apprentissage, et on évalue l erreur sur l échantillon test : n m erreur = (ˆx t,h x t,h ) 2 h=1 On répéte cette opération pour plusieurs valeurs de la constante de lissage α, et on choisit celle conduisant à l erreur la plus petite. 12

13 3.2 Lissage exponentiel double On ajuste au voisinage de l instantn une droite d équationy t = a 1 +a 2 (t n). La prévision par lissage exponentiel double est : oùâ 1 (n) et â 2 (n) sont solution de inf a 1,a 2 R j=0 ˆx n,h = â 1 (n)+â 2 (n)h n 1 (1 α) j (x n j (a 1 +a 2 j)) 2. Les solutions de cette équation sont â 1 (n) = 2L 1 (n) L 2 (n) et â 2 (n) = α 1 α (L 1(n) L 2 (n)) où L 1 (n) = α n 1 j=0 (1 α)j x n j et L 2 (n) = α n 1 j=0 (1 α)j L 1 (n j) sont deux lissages exponentiels simples successifs. Remarque : comme pour le lissage exponentiel simple, l estimateur de la prévision est la meilleure approximation au sens des moindres carrés pondérés. Formules récursives de mise à jour â 1 (n) = â 1 (n 1)+â 2 (n 1)+α(2 α)(x n ˆx n 1,1 ), â 2 (n) = â 2 (n 1)+α(2 α)(x n ˆx n 1,1 ), où â 1 (n) et â 2 (n) sont les estimations des paramètres a 1 et a 2 lorsque l on a observé la série jusqu à la n-ème réalisation. Les valeurs intiales étantâ 1 (0) = x 1 et â 2 (0) = x 2 x Méthode de Holt-Winters Méthode non saisonnière Comme la méthode de lissage exponentiel double, celle de Holt-Winters non saisonnière revient à estimer au voisinage de l instant n une droite y t = a 1 +a 2 (t n). La prévision prend la forme ˆx n,h = â 1 (n)+â 2 (n)h. La variante par rapport à la méthode de lissage exponentiel double est au niveau des formules de mise à jour dans l estimation des paramètresa 1 eta 2. Soient deux constantes de lissages 0 < α < 1 et 0 < β < 1. Les formules de mise à jour sont : â 1 (n) = αx n +(1 α)[â 1 (n 1)+â 2 (n 1)], â 2 (n) = β[â 1 (n) â 1 (n 1)]+(1 β)â 2 (n 1). Exercice 6. Montrer que les formules de mise à jour du lissage exponentiel double sont un cas particulier de ces dernières. Remarque : l introduction de deux constantes rend la méthode plus souple que le lissage exponentiel double : la constante α joue un rôle dans l estimation de l ordonnée à l origine de la droite,a 1, et la constanteβ dans celle de la pente de la droite,a 2. si α etβ sont petits le lissage est important car on tient compte du passé lointain. 13

14 3.3.2 Méthode saisonnière additive On cherche maintenant à ajuster au voisinage de l instantnune droite d équation oùs t est une composante périodique de périodet. Les formules récursives de mise à jour sont : Les prévisions sont de la forme : y t = a 1 +a 2 (t n)+s t, â 1 (n) = α(x n ŝ n T )+(1 α)[â 1 (n 1)+â 2 (n 1)], â 2 (n) = β[â 1 (n) â 1 (n 1)]+(1 β)â 2 (n 1), ŝ n = γ[x n â 1 (n)]+(1 γ)ŝ n T. ˆx n,h = â 1 +â 2 h+ŝ n+h T 1 h T, ˆx n,h = â 1 +â 2 h+ŝ n+h 2T T +1 h 2T. et ainsi de suite pourh 2T. Les trois constantes de lissages, α,β et γ ont le même effet que précédemment, plus elles sont petites et plus l importance des données éloignées est significative. Elles agissent respectivement sur les paramètresa 1,a 2 et s t. Se référer à Gouriéroux et Monfort 1983 [5] pour les valeurs d initialisation Méthode saisonnière multiplicative On ajuste au voisinage de l instantn une droite d équation oùs t est une composante périodique de périodet. Les formules récursives de mise à jour sont : Les prévisions sont de la forme : y t = [a 1 +a 2 (t n)] s t, â 1 (n) = α x n ŝ n T +(1 α)[â 1 (n 1)+â 2 (n 1)], â 2 (n) = β[â 1 (n) â 1 (n 1)]+(1 β)â 2 (n 1), ŝ n = γ x n â 1 (n) +(1 γ)ŝ n T. ˆx n,h = [â 1 +â 2 h]ŝ n+h T 1 h T, Se référer également à [5] pour les valeurs d initialisation. ˆx n,h = [â 1 +â 2 h]ŝ n+h 2T T +1 h 2T. 14

15 3.4 Mise en oeuvre sous R Les méthodes de lissages exponentiels sont disponibles sous R, grâce à la fonctionholtwinters. Pour une série temporellex, cette procédure permet : un lissage exponentiel simple : xlisse <- HoltWinters(x,alpha=α,beta=FALSE,gamma=FALSE), un lissage de Holt-Winters sans composante saisonnière : xlisse <- HoltWinters(x,alpha=α,beta=β,gamma=FALSE), un lissage Holt-Winters additif : xlisse <- HoltWinters(x,alpha=α,beta=β,gamma=γ,seasonal= add ), un lissage Holt-Winters multiplicatif : xlisse <- HoltWinters(x,alpha=α,beta=β,gamma=γ,seasonal= mul ). A noter que pour un lissage de Holt-Winters avec composante saisonnière la série temporelle x doit obligatoirement être un objet de type série temporelle, défini avec la fonctionts en précisant la saisonnalité. L affichage et la visualisation des résultats peuvent être réalisés à l aide des commandes : summary(xlisse) : description de l objet xlisse obtenu précédemment par la procédure HoltWinters, plot(xlisse) : représentation des valeurs observées et des valeurs lissées, plot(xlisse$fitted[,1]) : représentation de l ajustement de la série remis à jour à chaque observation. Les prévisions à l horizon h sont réalisées à l aide de la fonctionpredict : p<-predict(xlisse,n.ahead=h). Un intervalle de confiance (dont le fondement théorique n a pas été étudié dans ce cours) peut être obtenu en validant (àtrue) l optionprediction.interval. Remarque : lorsque les constantes de lissage sont fixées ànull (valeur par défaut), un algorithme interne à la procédureholtwinters se charge d estimer la meilleur constante possible à partir de la série des observations. 15

16 FIGURE 7 Lissage et prévision par lissage exponentiel double d un bruit blanc gaussien 16

17 FIGURE 8 Lissage et prévision par lissage exponentiel double de la série X(t) = 0.5t+2ǫ t avecǫ t N(0,1) 17

18 FIGURE 9 Lissage et prévision par lissage exponentiel double de la série X(t) = 0.5t + ǫ t + 3cos ( t π 6) avec ǫ t N(0,1) 18

19 Lissage Exponentiel Simple bb Time Lissage Exponentiel Double, alpha=0.5 bb Time HoltWinters Seasonal bb Time FIGURE 10 Lissage et prévision par lissage exponentiel simple, double, et Holt-Winters avec composante saisonnière de la sériex(t) = 0.5t+ǫ t +3cos ( t π 6) avecǫt N(0,1) 19

20 4 TP 2 : Lissage Exponentiel Consignes Durée du TP : 2h. Indispensables pour la suite : exercices 1 et Lissage et prévision de données simulées Simuler les trois séries temporelles suivantes (cf. TP1), de taille 100 : X 1 (t) = ǫ t, X 2 (t) = 0.5t+2ǫ t, X 3 (t) = 0.5t+ǫ t +3cos ( t π 6), oùǫ t N(0,1). Les 70 premières données de chaque série vont être utilisées pour prédire les 30 dernières. 1. Pour chaque série, effectuer la prévision par lissage exponentiel simple et double. Tester différentes valeurs du paramètre de lissage α (4 à 5 valeurs), et représenter graphiquement la série ainsi que la prévision. Commenter chaque résultat, et essayer de déterminer graphiquement le lissage le plus adaptée pour chaque série. 2. Calculer pour chaque prévision effectuée la somme des carrés des erreurs, et selectionner le meilleur modèle à l aide de cette quantité. 3. Tester maintenant le lissage exponentiel de Holt-Winters avec composante saisonnière additive puis multiplicative. 4. Les prédictions obtenues sont-elles meilleures? Rq : la commande par(mfrow=c(n,p)) permet d afficher n p graphique sur la même page. 4.2 Lissage et prévision de la concentration en co2 Le fichier de données co2 contenu dans R contient les concentrations en CO2 à proximité du volcan Mauna Loa (Hawaï) de 1959 à Après avoir représenté graphiquement ces données, quel modèle de lissage exponentiel vous semble le mieux approprié? Afin de valider ce modèle, tester la prédiction des données de 1990 à 1997 en utilisant celles de 1959 à Si cela vous semble graphiquement correct, utilisez cette méthode pour prédire les concentrations en co2 de 1997 à Sinon, tester d autres méthodes de lissage exponentiel. 4.3 Lissage et prévision du CAC40 Récupérer le fichier contenant les valeurs de cloture journalière du CAC40 de 1991 à 1998 (données R EuStockMarkets). Essayer de prédire par lissage exponentiel les valeurs de cloture de 1998 en utilisant les valeurs de cloture de 1991 à EuStockMarkets[, 3] Time FIGURE 11 Valeurs de cloture journalières du CAC40 de 1991 à

21 5 Estimation et élimination de la tendance et de la saisonnalité Une série temporelle(x t ) 1 t n est l observation desnpremières réalisations d un processus stochastique(x t ) t. C est ce processus que l on cherche désormais à modéliser. Pour cela, la démarche suivante doit être adoptée : représenter graphiquement la série afin de repérer les tendances et saisonnalités, estimer et supprimer les tendances et saisonnalités (partie déterministe du processus stochastique), choisir un modèle pour les résidus (partie aléatoire du processus stochastique) et l estimer, prédire les réalisations futures à l aide de ce modèle. L objectif de cette section est de donner quelques méthodes pour estimer et supprimer les tendances et saisonnalités. La fin de ce cours sera concentré sur la modélisation de processus stationnaires. 5.1 Bruit blanc Définition 1. Un processus de bruit blanc est une suite de variables aléatoires(x t ) t indépendantes, d espérance et de variance constantes. Si l espérance est nulle, le bruit blanc est centré, et si les variables aléatoires sont gaussiennes, le bruit blanc est gaussien. 5.2 Processus stationnaire Un processus aléatoire(x t ) t est stationnaire s il est d espérance constante E[X t ] := µ t, et si les covariances sont stables par translation dans le temps, c est-à-dire, pour touth Cov(X t,x t+h ) := σ(h) t. On appelle fonction d auto-covariance du processus stationnaire la suite σ(h), et fonction d auto-corrélation du processus stationnaire la suite ρ(h) := σ(h) σ(0). Exercice 7. Montrer que σ(h) = σ( h). 5.3 Une estimation paramétrique de la tendance (trend) Nous supposons que la série temporelle étudiée soit la réalisation d un processus stochastique composé d une tendance déterministem t et d une partie aléatoireǫ t (supposée de moyenne nulle) : X t = m t +ǫ t. Une méthode simple consiste à supposer que cette tendance est linéaire : m t = a+bt, et d estimer les paramètres a et b par moindres carrés. Ainsi, si on observe la sériex 1,...,x n, il faut trouveraet b qui minimisent la quantité : Les solutions de ce problème sont : â = n (x t a bt) 2 t=1 ( 6 n(n 1) ˆb = 12 n(n 2 1) ) n tx t + 2n+1 n x, 3 ) tx t n+1 n x. 2 t=1 ( n t=1 21

22 Exercice 8. Ecrire le problème sous forme matricielle... et le résoudre. L hypothèse de linéairité de la tendance convient très bien à certaines séries temporelles : par exemple, celles des figures 1, 2 (et encore...), 4... Mais ce n est pas le cas de toutes les séries : voir par exemple celle représentant le cours du CAC40, figure 11. Il est alors possible de supposer que la tendance soit de forme polynomiale : m t = a+bt+ct 2 et d estimer les paramètresa,betcpar moindres carrés. Mais il est parfois difficile d estimer le degré du polynôme, et lorsque le degré est trop important, le nombre de paramètres à estimer devient grand et les calculs fastidieux. Dans cette situation, on a recourt à une méthode d estimation non paramétrique. 5.4 Estimation non paramétrique : moyenne mobile Tendance Supposons que la tendancem t soit linéaire dans un petit intervalle[t q,t+q] autour det. Dans ce cas, un bon estimateur de la tendance est la moyenne sur cet intervalle : ˆm t = 1 2q +1 On peut donc estimer la tendance à chaque tempsten calculant la moyenne sur les observations étant dans une fenêtre de largeur2q +1 autour de t : c est ce que l on appelle une estimation par moyenne mobile. Pour éviter les problèmes de bord, on suppose quex t = x 1 si t < 1 et x t = x n si t > n. Tendance et saisonnalité Supposons désormais que le processus ne comporte pas uniquement une tendance, mais également une saisonnalité : X t = m t +s t +ǫ t, avecs t une fonctiont -périodique. Le principe d estimation est (en simplifiant légèrement) le suivant : on estime la tendance moyenne sur une période, puis on estime la composante saisonnière en moyennant sur toutes les périodes les écarts à la tendance moyenne de la période. Application à la série du nombre de morts accidentelles aux Etats-Unis La figure 12 représente la série du nombre de morts accidentelles aux Etats-Unis de 1973 à 1978 (déjà présentée en introduction), la figure 13 représente la tendance (estimée par moyenne mobile) et la figure 14 représente la composante saisonnière. La figure 15 représente la série après élimination de la tendance et la figure 16 représente la série après élimination de la tendance et de la composante saisonnière. La série 16 ainsi obtenue est une série (supposée) stationnaire, sur laquelle nous chercherons plus tard à ajuster un modèle. q k= q x t+k. 22

23 USAccDeaths Time FIGURE 12 Série USAccDeaths : nombre de morts accidentelles aux Etats-Unis de 1973 à 1978 m$trend Time FIGURE 13 Tendance de la série USAccDeaths m$seasonal Time FIGURE 14 Composante saisonnière de la série USAccDeaths 23

24 USAccDeaths m$trend Time FIGURE 15 Série USAccDeaths après élimination de la tendance USAccDeaths m$trend m$seasonal Time FIGURE 16 Série USAccDeaths après élimination de la tendance et de la composante saisonnière 24

25 5.5 Elimination de la tendance et de la saisonnalité par la méthode des différences Cette méthode permet de supprimer les tendance et saisonnalité d une série temporelle sans les estimer. Soit T l opérateur qui associe (X t X t T ) à(x t ) : T X t = X t X t T. On note l opérateur 1, et k T l opérateur T... } {{ T. } k fois Proposition 3. Soit un processus admettant une tendance polynomiale d ordre k : X t = k a j t j +ǫ t. j=0 } {{ } m t Le processus X t admet une tendance polynomiale d ordrek 1. Exercice 9. Faire la preuve. Ainsi, en appliquantk fois, on élimine la tendance. Remarque : il est important de remarquer que si l on applique t quelque soit t, le résultat est le même quant à l élimination de la tendance. Comme en pratique il n est pas évident de connaître le degrék, on appliquera l opérateur jusqu à ce que la moyenne du processus soit nulle (k sera généralement 1, 2 ou 3). Proposition 4. Soit un processus admettant une tendancem t et une saisonnalité, de périodet : Dans ce cas, X t = m t +s t +ǫ t. T X t = (m t m t T )+(ǫ t ǫ t T ) est un processus désaisonnalisé. De plus, si la tendance du processus est linéaire, elle est également supprimée. Exercice 10. Faire la preuve. Si la tendance est plus que linéaire, il suffit d appliquer la procédure précédente pour finir de supprimer la tendance, et obtenir ainsi un processus que l on supposera stationnaire. La figure 17 illustre l élimination de la tendance linéaire et de la saisonnalité de la série x t = t 2 +3cos tπ 6 ǫ t avec ǫ t N(0,1). 5.6 Test sur la série résiduelle L objectif des techniques présentées dans la section 5.5 est d obtenir une série stationnaire (ou tout au moins le plus stationnaire possible), et en particulier sans tendance ou saisonnalité. L étape suivante consiste à modéliser la série résiduelle obtenue. La première chose à faire est donc de tester s il y a dépendance entre les termes de cette série. Si ce n est pas le cas, on dit que la série résiduelle (stationnaire) est un bruit blanc (définition 1). Si la série résiduelle obtenue après désaisonalisation et élimination de la tendance, est un bruit blanc, il n est donc pas utile d aller plus loin dans la modélisation si ce n est d estimer la moyenne et variance du bruit blanc. 25

26 Serie avec tendance lineaire et saisonnalité (période 12) bb Time Serie avec la tendance eliminée par la méthode des différences bb_diff Time Serie avec la saisonnalité (et la tendance) eliminées par la méthode des différences bb_diff Time FIGURE 17 Elimination de la tendance et de la saisonnalité par la méthode des différences (figure du haut : série x t = t 2 +3cos tπ 6 ǫ t avecǫ t N(0,1) ; figure du milieu : sériex t x t 1 ; figure du bas : série x t x t 12 26

27 5.6.1 Comment tester si on est en présence d un bruit blanc? Par l étude de la fonction d auto-corrélation empirique Lorsque n est assez grand, les auto-corrélations d un bruit blanc sont approximativement indépendantes et de loi N(0, 1 n ). Ainsi, 95% des auto-corrélations devraient se trouver dans l intervalle[ 1.96 n, 1.96 n ], et en traçant les 40 premières auto-corrélations il ne devrait pas y en avoir plus de 2 voir 3 en dehors de ces limites. A noter que ces bornes sont tracées lorsque l on demande à R de représenter graphiquement les auto-corrélations. A l aide du test du portemanteau Plutôt que de regarder si chaque auto-corrélation est dans les bornes de l intervalle précédent, nous considérons la statistique définie par la somme deshpremières auto-corrélations au carré Q = n h ˆρ 2 (j). j=1 D après la remarque précédente sur la normalité des auto-corrélations, la statistiqueqsuit une loi duχ 2 àhdegrés de liberté. Il est donc possible de construire un test qui consistera à rejeter l hypothèse nulle (la série est un bruit blanc) si Q est supérieur au quantileχ 2 h,1 α. Ljung et Box (1978) ont amélioré ce test en considérant la statistique Q LB = n(n+2) h j=1 ˆρ 2 (j) n j, dont la distribution est mieux approximée que la précédente par une loi du χ 2 à h degrés de liberté. C est ce test qui est implémenté dans la fonction Box.test de R. 5.7 Mise en oeuvre sous R La fonction decompose permet d extraire d une série temporelle (via la méthode de la moyenne mobile) : serie_decomp<-decompose(serie,type=c( additive, mutliplicative )) la composante saisonnière : serie_decomp$seasonal, que l on suppose additive ou multiplicative dans l option type, la tendance :serie_decomp$trend, le partie aléatoire stationnaire de la série :serie_decomp$random. La fonctiondiff.ts(serie,lag=t,difference=k) permet d appliquer l opérateur de différeciation k T. La fonction Box.test(serie,lag=H) examine l hypothèse nulle de nullité des H première auto-covariance, à l aide du test du portemanteau. Par défaut H est fixé à 1, et seule la nullité de l auto-covariance d ordre 1 est testée. Pour tester si la série peut-être apparentée à un bruit blanc, nous fixerons arbitrairement un H de l ordre de 20 (nous considérerons abusivement que si les 20 premières auto-corrélations sont nulles, la série est indépendante). 27

28 6 TP 3 : Tendance et saisonnalité Consignes Durée du TP : 2h. Indispensable pour la suite : exercice Données AirPassengers Nous étudions la série chronologique du nombre de passagers par mois (en milliers) dans les transports aériens, de 1949 à Cette série est disponible sous R (AirPassengers). 1. Estimation paramétrique de la tendance (a) Représenter graphiquement la série. Ce processus vous semble-t-il stationnaire? Présente-t-il des tendances et saisonnalités? (b) Estimer les paramètres d une tendance linéaire at + b. (c) Supprimer cette tendance et représenter graphiquement la série ainsi obtenue. Vérifier que la série des résidus est de moyenne nulle. (d) Calculer et représenter l auto-corrélation de la série des résidus. 2. Méthode des différences (a) Appliquer la méthode des différences pour enlever la tendance et la saisonnalité. Préciser la période de la saisonnalité, le degré du polynôme de tendance. (b) La série obtenue semble-t-elle stationnaire? 3. Méthode des moyennes mobiles (a) Appliquer la méthode des moyennes mobiles pour enlever la tendance et la saisonnalité. (b) La série obtenue semble-t-elle stationnaire? Pourrait-on la modéliser par un bruit blanc? Remarque : la fonctionbox.test permet de tester l indépendance d une suite de variables aléatoires. Remarque : la fonction Box.test, qui permet de tester l indépendance d une suite de variable aléatoire, peut être utilisée pour 6.2 Données simulées Récupérer la série temporelle contenue dans le fichiersimulation.dat. Cette série a été simulée à partir d un processus relativement simple. Essayer de le retrouver! 1. Analyser qualitativement cette série temporelle. 2. Pouvez-vous proposer une modélisation pour cette série (c est-à-dire définir le processus X t qui a généré cette série)? Indication : la partie saisonnière est de la formeacos(t pi b ) ouasin(tpi b )... à vous de deviner! 28

29 7 Modélisation des séries stationnaires Nous présentons dans cette section comment modéliser une série, qui une fois tendance et saisonnalité supprimées, est stationnaire. A noter que le seul fait de supprimer la tendance et la saisonnalité ne rend pas la série nécessairement stationnaire, puisque cela n affecte pas la variance et l auto-covariance, qui dovient être constantes pour un processus stationnaire. 7.1 Auto-corrélation partielle Le coefficient de corrélation partielle entre les deux variablesx 1 et X n d un processus stochatistique (X t ) t est le coefficient de corrélation entre les deux variables auxquelles on a retranché leurs meilleures explications en terme dex 2,...,X n 1 : r X2,...,X n 1 (X 1,X N ) = corr(x 1 P X2,...,X n 1 (X 1 ),X n P X2,...,X n 1 (X n )), où corr est le coefficient de corrélation classique (quotient de la covariance par le produit des écarts-types), et où P X2,...,X n 1 (X 1 ) est la projection 3 de la variablex 1 dans l espace vectoriel engendré par les variablesx 2,...,X n 1. Ce coefficient exprime la dépendance entre les variablesx 1 etx n qui n est pas due aux autres variablesx 2,...,X n 1. La fonction d auto-corrélation partielle r(h) d un processus stationnaire est définie par : r(h) = r X2,...,X h (X 1,X h+1 ) h 2 r(h) = r( h) h 0 r(1) = ρ(1) L algorithme de Durbin-Watson, que nous ne présentons pas ici, permet d estimer les auto-corrélations partielles d un processus stationnaire. Dans le logiciel R, la fonctionpacf permet ces estimations. 7.2 Les processus auto-régressifs AR p Les premiers modèles que nous présentons sont les processus auto-régressifs, construits à partir de l idée que l observation au temps t s explique linéairement par les observations précédentes. Définition 2. On dit que(x t ) est un processus auto-régressif d ordrep(centré) s il s écrit oùǫ t est un bruit blanc centré de varianceσ 2. X t = ǫ t + p a j X t j, (2) j=1 L observation X t au temps t est alors la somme d un choc aléatoire à l instant t, ǫ t, indépendant de l historique, et d une fonction linéaire de son passé p j=1 a jx t j, qui peut être vue comme la prédiction de X t à partir des p dernières observations passées. ǫ t est l innovation contenue dans le processus au tempst. On dit que(ǫ t ) est le processus d innovation. Les coefficients a j doivent vérifier la contrainte suivante pour assurer la stationnarité du processus : le polynôme caractéristique du processus (2), A(z) = 1 a 1 z... a p z p, ne doit avoir que des racines (réelles ou complexes) de module strictement supérieur à 1. La démonstration sort du cadre de ce cours. Remarque 1 : en prenant l espérance de (2) et en utilisant la stationarité du processus, on obtient que l espérance µ du processus vérifieµ(1 p j=1 a j) = 0. Comme 1 ne peut être racine du polynômea(z), on a nécessairementµ = 0. Remarque 2 : dans ce cours, conformément à la définition (2), nous ne considèrons que des processus AR p centrés. Un processusar p non centré serait défini parx t = µ+ǫ t + p j=1 a jx t j. 3. la projection P X2,...,X n 1 (X 1 ) = γ 2 X γ n 1 X n 1 peut être interprétée comme la meilleure explication linéaire de X 1 en fonction dex 2,...,X n 1. 29

30 Exercice 11. Vérifier la stationnarité et expliciter l expression du processus autorégressif de polynôme caractéristique A(z) = 1 z 1 2 z2. Proposition 5. La variance du processusar p défini en (2) est : et l auto-covariance, pour tout h > 0 : Exercice 12. Faire la démonstration. σ(0) = σ 2 + σ(h) = p a j σ(j) j=1 p a j σ(h j). L auto-covariance d un processusar p vérifie donc la formule de récurrence d ordrep suivante : j=1 σ(h) a 1 σ(h 1)... a p σ(h p) = 0. (3) Le polynôme caractéristique de cette relation de récurrence est : z p a 1 z p 1... a p 1 z a p = z p( 1 a 1 z... a ) ( ) p 1 z p = z p A. z Les racines λ i de ce polynôme sont les inverses des racines du polynôme A, et sont donc de module strictement inférieur à 1. En supposant que A a toute ses racines distinctes, les solutions de l équation de récurrence précédente sont de la forme : p σ(h) = c i λ h i. Ainsi, puisque λ i < 1, l auto-covariance décroit exponentiellement avech. Ces résultats s étendent immédiatement à l auto-corrélation d un processusar p. i=1 p : Quant à l auto-corrélation partielle, elle est nulle à tout ordre strictement supérieur à p, et vauta p à l ordre r(h) = 0 h > p, r(p) = a p. La démonstration de ce résultat très utile ne sera pas abordée dans ce cours Exercice : cas particulier de l AR 1 Soit le processusar 1 (centré) suivant oùǫ t est un bruit blanc centré de varianceσ 2. X t = ax t 1 +ǫ t, 1. Quelle condition sur a doit on imposer pour que ce processus soit stationnaire? 2. Calculer la variance de ce processus. 3. Montrer que l auto-covariance d un tel processus est σ(h) = σ 2 a h 1 a 2 4. En déduire la décroissance vers 0 de l auto-covariance lorsque h tend vers l infini. 5. Calculer l auto-corrélation partielle. 30

31 7.2.2 Illustrations Voici quelques simulations de processus ainsi que leurs auto-corrélation et auto-corrélation partielle empiriques : AR 1 avec coefficient positif puis négatif : figures 18 et 19, AR 2 : figures 20 et Les processus en moyenne mobilema q La seconde catégorie de modèles classiques regroupe les processus en moyenne mobile. Définition 3. On appelle moyenne mobile (Moving Average) d ordreq un processus de la forme X t = ǫ t +b 1 ǫ t b q ǫ t q, où lesǫ j pourt q j t sont des bruits blancs centrés de varianceσ 2. On notera parfoisx t = q j=0 b jǫ t j en imposantb 0 = 1. A noter que pour l instant aucune condition n est nécessaire sur lesb i pour que le processus stationnaire 4. Un processus moyenne mobile est nécessairement centré, et son auto-covariance vérifie la proposition suivante. Proposition 6. L auto-covariance d un processus moyenne mobilex t = ǫ t +b 1 ǫ t b q ǫ t q est Exercice 13. Faire la démonstration (simple). q h σ σ(h) = 2 b k b k+h h q k=0 0 h > q oùb 0 = 1 L auto-corrélation est donc également nulle au dessus de l ordre q. On retrouve le même comportement que l autocorrélation partielle d unar p. L auto-corrélation partielle d un processus moyenne mobile est compliquée à calculer, et sans grand intérêt. Néanmoins, il est important de savoir qu elle tend vers 0 à vitesse exponentielle lorsquehtend vers l infini. Ce comportement symétrique entre les processus moyenne mobile et auto-régressif est du à la propriété suivante : Proposition 7. Un processus auto-régessif est un processus moyenne mobile d ordre infini, et réciproquement un processus moyenne mobile est un processus auto-régressif d ordre infini. Exercice 14. De la définition d un processus moyenne mobile, extraire la valeur de l innovation au temps t, puis ré-écrire la définition d unma q en remplaçant les innovations par leur valeur. Conclure Exercice : cas particulier du MA 1 Calculer les coefficients d auto-corrélation d un tel processus Illustrations Voici quelques simulations de processus ainsi que leurs auto-corrélation et auto-corrélation partielle empiriques : MA 1 avec coefficient positif puis négatif : figures 22 et 23, MA 3 : figure pour des questions de prévision, nous serons amené à supposer que le polynôme caractéristique B(z) = 1 + b 1 z +...+b qz q a toute ses racines de module strictement supérieurs à 1. 31

32 ar Time Series ar1 ACF Lag Series ar1 Partial ACF Lag FIGURE 18 Simulation d unar1 :X t = 0.8X t 1 +ǫ t, auto-corrélation et auto-corrélation partielle. 32

33 ar Time Series ar1 ACF Lag Series ar1 Partial ACF Lag FIGURE 19 Simulation d unar1 : X t = 0.8X t 1 +ǫ t, auto-corrélation et auto-corrélation partielle. 33

34 ar Time Series ar2 ACF Lag Series ar2 Partial ACF Lag FIGURE 20 Simulation d unar 2 : X t = 0.9X t 2 +ǫ t, auto-corrélation et auto-corrélation partielle. 34

35 ar Time Series ar2 ACF Lag Series ar2 Partial ACF Lag FIGURE 21 Simulation d unar 2 :X t = 0.5X t 1 0.9X t 2 +ǫ t, auto-corrélation et auto-corrélation partielle. 35

36 ma Time Series ma1 ACF Lag Series ma1 Partial ACF Lag FIGURE 22 Simulation d unma 1 : X t = ǫ t 0.8ǫ t 1, auto-corrélation et auto-corrélation partielle. 36

37 ma Time Series ma1 ACF Lag Series ma1 Partial ACF Lag FIGURE 23 Simulation d unma 1 : X t = ǫ t +0.8ǫ t 1, auto-corrélation et auto-corrélation partielle. 37

38 ma Time Series ma3 ACF Lag Series ma3 Partial ACF Lag FIGURE 24 Simulation d unma 3, auto-corrélation et auto-corrélation partielle. 38

39 7.4 Les processus mixtes ARMA p,q Cette classe plus générale de modèles définit des processus sous la forme d une récurrence auto-régressive avec un second membre de type moyenne mobile. Définition 4. Un processus auto-régressif moyenne mobile d ordresp etq est de le forme : X t = p a k X t k + k=1 q b j ǫ t j. où lesǫ j pourt q j t sont des bruits blancs centrés de varianceσ 2. La stationnarité d unarma p,q est assurée lorsque toutes les racines du polynômea(z) = 1 a 1 z... a p z p sont de module strictement supérieur à 1. Ce polynôme forme avecb(z) = 1+b 1 z+...+b q z p les deux polynômes caractéristiques du processus. On supposera également que les polynômesa et B n ont pas de racine commune, afin de s assurer qu il n y a pas de représentation plus courte. Exercice 15. Soit le processusarma 1,1 défini parx t +ax t 1 = ǫ t +aǫ t 1. Est-ce un processus stationnaire? Existe-t-il une écriture plus simple de ce processus? Ainsi, j=0 On peut écrire le processusarma p,q sous la forme suivante X t a 1 X t 1... a p X t p = ǫ t +b 1 ǫ t b q ǫ t q. Cov(X t+h a 1 X t+h 1... a p X t+h p,x t ) = σ(h) a 1 σ(h 1)... a p σ(h p) = Cov(ǫ t+h +b 1 ǫ t+h b q ǫ t+h q,x t ) qui est nulle dès que h > q. L auto-covariance d un processus ARMA p,q évolue selon la même récurrence qu un AR p (cf. équation (3)). Ainsi, l auto-covariance (et l auto-corrélation) d un processus ARMA p,q vont tendre exponentiellement vers 0 lorsque h tend vers l infini, à partir de l ordre q Exercice : le processusarma 1,1 Considérons le processus X t = ax t 1 +ǫ t +bǫ t Montrer que la variance du processus est σ(0) = σ 2 1+b2 +2ab 1 a Montrer que l auto-covariance d ordre 1 est σ(1) = σ 2a+b+ab2 +a 2 b 1 a En déduire les auto-corrélationsρ(1) = (a+b)(1+ab) b 2 +2ab+1 et ρ(h) = a h 1 ρ(1) Illustrations Voici une simulation d un processus ARMA 2,2 (figure 25) ainsi que ses auto-corrélation et auto-corrélation partielle empiriques. 39

40 arma Time Series arma22 ACF Lag Series arma22 Partial ACF Lag FIGURE 25 Simulation d unarma 2,2, auto-corrélation et auto-corrélation partielle. 40

41 7.5 Récapitulatif des propriétés des processus MA q, AR p etarma p,q La tableau 7.5 récapitule les principales propriétés des processusma q, AR p et ARMA p,q. modèle MA q AR p ARMA p,q auto-covariance σ(h) = 0 h > q lim σ(h) = 0 h > q, lim σ(h) = 0 h h auto-corrélation ρ(h) = 0 h > q lim ρ(h) = 0 h > q, lim ρ(h) = 0 h h auto-corrélation partielle lim r(h) = 0 r(h) = 0 h > p et r(p) = a p h TABLE 1 Récapitulatif des propriétés des processusma q,ar p et ARMA p,q. 7.6 Estimation, choix de modèle et prévision Les principaux modèles de séries temporelles ont été définis. A partir d une série observée, il faut maintenant choisir un modèle, éventuellement plusieurs, estimer ses paramètres et enfin faire des prévisions pour les réalisations futures. Dans le cas où l on hésite entre plusieurs modèles, des critères de choix de modèles seront utilisés pour sélectionner le meilleur d entre eux Estimation Exemple Considérons le processusar 2 suivant : X t = a 1 X t 1 +a 2 X t 2 +ǫ t. On peut montrer que les auto-covariances d ordre 1 et 2 sont les suivantes : Exercice 16. Montrez-le! σ(1) = a 1 1 a 2 σ(0) et σ(2) = a 1 σ(1)+a 2 σ(0). Ainsi, les paramètres du modèle a 1 et a 2 peuvent être éxprimés en fonction de la variance et des 2 premières auto-covariance du processus : Exercice 17. Montrez-le également! a 1 = σ(1) σ(0) 2 σ(0)σ(1) σ(0) σ(0) 2 σ(1) 2 et a 2 = σ(0)σ(2) σ(1)2 σ(0) 2 σ(1) 2 En estimant les auto-covariances du processus à l aide des auto-covariances empiriques, on en déduit des estimateurs des paramètres du modèlear 2. Comme de plus σ(0) = σ 2 + a 1 σ(1) + a 2 σ(2), il est possible d obtenir également un estimateur de la variance du bruit d innovation. Cas général En réalité, les estimateurs précédents peuvent être améliorés : ainsi, dans le cas général, l estimation des paramètres des modèles ARMA (AR, MA) est faite par maximum de vraisemblance. L expression de la vraisemblance étant généralement trop complexe pour que l on puisse obtenir un maximum explicite, des algorithmes numériques (type Newton) sont utilisés Choix de modèle Comme on l a vu précédemment (cf. tableau récapitulatif 7.5) l étude des auto-covariances, auto-corrélations et auto-corrélations partielles peut conduire à certaines hypothèses sur la nature du modèle. Une fois quelques modèles choisis, et leur paramètres estimés, des critères vont être utilisés pour choisir le modèle qui effectue le meilleur compromis entre : 41

42 ajustement à la série de données, complexité du modèle. Il est en effet très important de prendre en compte ce compromis, car si on ne s intéressait qu à coller au mieux aux données, on serait tenter de choisir un modèle ARMA avec un très grand nombre de paramètres. Or, plus il y a de paramètres, plus il faut de données pour les estimer. Et donc pour un nombre d observations fixé de la série, plus le modèle sera complexe, moins bien seront estimés les paramètres. Les critères de choix de modèles les plus courants sont : le critère AIC (Akaïke Information Criterion), qui sera généralement préféré si l objectif de l étude est de faire de la prévision, et qui est défini par : AIC = 2logL(θ)+2ν, oùl(.) est la vraisemblance du modèle,θ représente les paramètres du modèle etν le nombre de ces paramètres. le critère BIC (Bayesian Information Criterion) sera quant à lui généralement préféré si l objectif de l étude est de s ajuster à la série observée, et est défini par : BIC = 2logL(θ)+nν oùnest le nombre d observations de la série. Les modèles ayant la plus petite valeur du critère devront être choisis. Ces deux critères conduisent donc à séléctionner des modèles dont la vraisemblance est grande, en la pénalisant par la complexité du modèle Prévision L objectif est de prévoir la valeur que va prendre la variable aléatoire X n+h, h étant appelé l horizon de la prévision, ayant observé la réalisation des variables aléatoiresx 1,...,X n. Dans le cadre d une modélisation ARMA, on choisit d estimerx n+h par une combinaison linéaire desx j précédents (1 j n) : ˆX n,h = c 1,h X c n,h X n. Les coefficientsc j,h sont estimés de sorte qu il minimise : E[(X n+h c 1,h X 1... c n,h X n ) 2 ]. L estimateur ˆX n,h ainsi défini n est autre que la projection de X n+h sur l espace vectoriel engendré par les variables X 1,...,X n. Exercice 18. Montrer que la prévision au rang 1 d un processusar p défini par l équation 2 n est autre que ˆX n+1 = a 1 X n +...+a p X n+1 p. En déduire que l erreur de prévision à horizon 1 est le bruit d innovation. Nous ne détaillerons pas plus en détail cette partie dans ce cours, mais nous citons néanmoins, sans démonstrations, deux propriétés intéressantes. Proposition 8. L erreur de prévision à horizon 1 pour un processusarma est le bruit d innovationǫ n+1. La variance de l erreur de prévision à horizon h dans un processus ARMA croît depuis la variance du bruit d innovation (valeur prise pour h = 1) jusqu à la variance du processus lui-même. Intervalle de confiance sur la prévision Enfin, si on suppose que le bruit d innovationǫ t est gaussien, les variables aléatoiresx t sont elles aussi gaussiennes, tout comme l erreur de prédiction. Ainsi, il sera possible de construire des intervalles de confiances sur la prédiction, ce que permettent les fonctions du logiciel R décrites plus loin. 42

43 8 Processus non stationnaire : ARIMA et SARIMA Les modèles ARMA sont destinés à modéliser des processus stationnaires. En pratique, les séries temporelles sont généralement non stationnaires, et un pré-traitement est nécessaire pour supprimer les tendances et saisonnalités. Une fois la série stationnarisée analysée, et les valeurs futures prédites, il est ensuite nécessaire de revenir à la série initiale. 8.1 Exemple Considérons une série temporelle(x t ) 1 t n qui présente une saisonnalité de période 12. Afin de supprimer cette saisonnalité, c est la série suivante que nous étudions : y t = x t x t 12 pourt = 13,...,n (4) L ajustement d un modèle ARMA et les prévisions sont réalisées sur la série (y t ). Il est donc nécessaire de revenir à la série initiale, car ce sont les prévisions de(x t ) qui nous intéressent. De l équation (4) on obtient : x t = y t +x t 12 = y t +y t 12 +x t 24. = y t +y t 12 +y t y r(t)+12 +x r(t) oùr(t) est le reste de la division euclidienne de t par 12. Puisque l on connait lesx t pourt n ainsi que les prévisionsy n+h, on peut en déduire les prévisions dex n+h. Exercice 19. Ecrire pour cet exemple la prévision à l horizon 1 de la série (x t ) 1 t n. 8.2 Les processus ARIMA et SARIMA Les processus ARIMA et SARIMA sont la généralisation des modèles ARMA pour des processus non stationnaires, admettant une tendance (ARIMA), ou encore une tendance et une saisonnalité (SARIMA). En pratique, et dans le logiciel R notamment, ce sont ces processus qui sont directement utilisés. Soit l opération de différenciation précédemment défini (section 5), qui associe au processus(x t ) t N le processus (X t X t 1 ) t N. Nous rappelons que le processus obtenu en différenciant deux fois de suite,(x t 2X t 1 +X t 2 ) t N, est noté 2. Et ainsi de suite. Définition 5. Un processus(x t ) est un processusarima p,d,q si le processus est un processusarma p,q. Y t = d X t Les processus ARIMA p,d,q sont donc bien adaptés aux séries temporelles présentant une tendance polynômiale de degréd 1. Soit T l opérateur précédemment défini (section 5), qui fait passer de (X t ) à (X t X t T ). Définition 6. Un processus(x t ) est un processussarima p,d,q,t si le processus est un processusarma p,q. Y t = T d X t Les processussarima p,d,q,t sont bien adaptés aux séries temporelles présentant une période de longueurt et une tendance polynômiale de degré d. Remarque : en réalité, les processus SARIMA sont plus complexes et comportent d autres paramètres. Nous ne considèrerons que cette version SARIMA p,d,q,t dans ce cours, se référer à [5] pour des compléments sur ces processus. 43

44 8.3 Mise en oeuvre sous R : processus ARMA, ARIMA, SARIMA La fonctionarima.sim(modele,n) permet de simuler un processusarma p,q défini par X t p a k X t k = ǫ t + k=1 q b j ǫ t j. Les paramètresa k et b j du processus sont précisés dans le paramètremodele de la fonction : modele<-list(ar=c(a 1,...,a p ),ma=c(b 1,...,b q )). Pour simuler un modèle ARIMA p,d,q il faut ajouter le composantorder=c(p,d,q) dans le paramètremodele de la fonctionarima.sim. La fonctionar permet d estimer les paramètres d un processusar p : out<-ar(data,aic=true,order.max=null) L ordre p du processus auto-régressif est choisi (inférieur à order.max) à l aide du critère AIC (si l option aic est validée). La fonction arima permet d estimer les paramètres : d unarma p,q :out<-arima(serie,order=c(p,0,q)) d unarima p,d,q :out<-arima(serie,order=c(p,d,q)) d unsarima p,d,q,t : out<-arima(serie,order=c(p,d,q),seasonal=list(order=c(p,d,q),period=t)) Les paramètres P,D,Q du modèle SARIMA ne sont pas abordés dans ce cours, nous leur donnerons par défaut la valeur des paramètres p, d, q (pas trop grands). Parmi les sorties de cette fonction, on peut obtenir : out$coef : estimation des coefficients, out$aic : valeur du critère AIC, out$resid : estimation des résidus. La fonction p=predict(out,h) permet d effectuer une prévision à l horizon h. Parmi les sorties de cette fonction, p$pred contient les prévisions, et p$se contient l écart-type de l erreur de prévision. Il n existe pas de fonction prédéfinie pour calculer un intervalle de confiance sur les prévisions, mais cela peut être fait manuellement grâce à ces deux sorties de la fonction predict. j=1 44

45 9 TP 4 : Processus ARMA et ARIMA Consignes Durée du TP : 4h. Indispensable pour la suite : exercices 1 à Simulation de processus ARMA Penser à représenter chaque processus simulé. 1. Donner la définition d un processusarma p,q. Rappeler les conditions sur les coefficients pour que ce processus soit stationnaire. 2. A l aide de la fonctionarima.sim, simuler plusieurs processusar p et MA q (p et q pas trop grands). Avant toute simulation, écrire la définition mathématique du processus à simuler et veillez à ce que les conditions de stationnarité soient respectées. 3. Observer les auto-corrélations empiriques (partielles ou non). Que constatez-vous? 4. Simuler quelquesarma p,q, observer et interpréter les auto-corrélations empiriques (partielles ou non). 5. Faire de même avec un modèlearima p,d,q, avec undassez petit. 9.2 Identification d un processus ARMA Récupérer le fichier de donnéesserie1.dat. 1. Ce processus vous semble-t-il modélisable par un processus ARM A? Pourquoi? 2. On travaille désormais avec la série obtenue en appliquant la fonction diff à la série. Quelle transformation a-t-on effectuée? Pourquoi? 3. En observant les auto-corrélations empiriques et auto-corrélations partielles empiriques, proposer des modèles AR p et MA q d ordre faible pour modéliser cette série. 4. Estimer les paramètres des deux modèles sélectionnés. 5. Tester la blancheur des résidus. 6. Conclure pour choisir un modèle. 7. S inspirer de la démarche pour modéliser la sérieserie2.dat. 9.3 Prévision dans un processus ARMA Soit le processusx t X t X t X t 3 = ǫ t avecǫ t un bruit blanc gaussien centré réduit. 1. Après avoir identifié ce processus, simuler 50 réalisations de longueur Pour chaque simulation, extraire les 100 premières valeurs et estimer les paramètres d unar Pour chaque simulation, prédire les cinq valeurs suivantes. 4. Donner une estimation de l erreur moyenne (biais) et de la variance de l erreur de prévision à 1, 2, 3, 4 et 5 pas. 5. Recommencer en rallongeant la durée d observation, et comparer aux résultats précédents. 9.4 Précipitations mensuelles à San Fransisco entre 1932 et 1966 Récupérer la sériesanfran.dat. 1. La série semble-t-elle stationnaire? Si non faites en sorte qu elle le soit. 2. Proposer un modèlear p adapté à la série stationnarisé. Valider votre proposition en testant les résidus. 3. Gardez votre idée de coté. Estimer le modèlesarima {2,0,0,12} sur les données jusqu à la fin de l année 1963 (car nous allons chercher à prédire les précipitations des trois dernières années). Que pouvez-vous dire quant à mon choix de vous demander d utiliser ce modèle? Afficher et tester les résidus de cette modélisation. 45

46 4. Prévoir, à partir de cette modélisation, les précipitations de 1964, 1965 et Superposer sur un graphique prévision et valeurs réelles. 5. Reprenez votre idée, et refaites la prédiction des précipitations de 1964 à 1966, à l aide du modèle que vous pouvez proposer à l issue des deux premières questions. Faites de même avec un lissage exponentiel de Holt- Winters, avec et sans composante saisonnière. 6. Quel est, graphiquement, le meilleur modèle pour prédire cette série? 7. Comment peut-on répondre à la question précédente de façon moins subjective? Comparer les résultats à l analyse graphique. 9.5 Taux d intérêt au Royaume-Uni Le fichier UKinterestrates.dat contient le spread des taux d intérêts (différence entre taux d intérêt à long terme et à court terme) pour le Royaume-Uni entre mars 1953 et décembre En vous inspirant des exercices précédents, proposer une modélisation de type ARM A, ARIM A ou SARIM A. Justifier bien votre démarche. 46

47 10 Processus ARCH et GARCH Les séries précédemment étudiées étaient supposées stationnaires. Si besoin, tendances et saisonnalités étaient supprimées pour obtenir une série résiduelle stationnaire. Néanmoins, toutes les séries résiduelles obtenues de la sorte ne sont pas nécessairement stationnaires. C est le cas par exemple de la série représentée par la figure 26, qui contient les évolutions journalières de la bourse des valeurs de New-York (NYSE) du 19 octobre 1984 au 31 décembre x Index FIGURE 26 Evolution journalière de la bourse des valeurs de New-York ( ) La figure 27 représente la simulation d un processusarch x Time FIGURE 27 Simulation d unarch 2 Comme on peut le voir, la moyenne semble constante alors que la variance change au cours du temps (on qualifie ce comportement d «hétéroscédastique»). De plus, les moments de grande variabilité semblent regroupés. Les modèles de type ARIMA qui supposent un comportement «homoscédastique»(variance constante), ne sont pas adaptés à ce type de série. Nous présentons dans cette section des modèles adaptés à ce type de série : les processus ARCH (AutoRegressive Conditionally Heteroscedastic) introduits pas Engle vers 1982, ainsi que leur généralisation, les processus GARCH. 47

48 10.1 Définitions Un processusarch p est défini par : X t = ǫ t ǫ t X t 1,X t 2,... N(0,σ 2 t ) σ 2 t = α 0 +α 1 X 2 t α p X 2 t p La variance condionnelle dépend du temps : si les valeurs précédentes sont grandes (en valeur absolue), la variance sera grande, et inversement. Ainsi, si on observe un choc dans la série (valeur anormalement grande), elle sera suivi d une période de haute volatilité, dont la durée dépend de l ordre p du modèle ARCH. Exercice 20. Pensez-vous que cela correspond à la série NYSE (figure 26)? 10.2 Quelques rappels de probabilités Soit un couple de variables aléatoires continues (X,Y), de dentsité f(.,.). Soit f Y (.) la densité marginale de Y. La densité conditionnelle dex sachant quey = y est définie par : f X Y (x,y) = f(x,y) f Y (y) si f Y (y) > 0 L espérance conditionelle est donc l espérance par rapport à cette loi : E[X Y = y] = xf X Y (x,y)dx La variance conditionnelle est σ 2 t = V(X t I t 1 ) = E[X 2 Y = y] E[X Y = y] 2 SoitI s 1 = {X s 1,X s 2,...} l ensemble des observations précédant l instants. On a : et en particulier E[X t ] = E[E[X t I s ]] Propriétés des processus ARCH Si X t est un processus ARCH, alors : E[X t I s ] = X t t s E[X t I r ] = E[E[X t I s ] I r ] R E[X t ] = 0 r s E[X t I t 1 ] = 0 oùi t 1 = X t 1,X t 2,... α 0 p V(X t ) = 1 p i=1 α si α i < 1 i i=1 V(X t I t 1 ) = α 0 +α 1 X 2 t α p X 2 t p Cov(X t,x t+h ) = σ h = 0 h > 0 Cov(X t,x t+h I t 1 ) = 0 Remarque : un processus ARCH est conditionnellement hétéroscédastique mais inconditionnellement homoscédastique! Condition suffisante de stationnarité : p i=1 α i < 1. On peut montrer également, ce qui peut être intéressant pour détecter un ARCH en pratique, que la distribution d un processus ARCH a un skewness nul (moment centré d ordre 3) : la distribution est donc symétrique, un kurtosis (moment centré d ordre 4) supérieur à 3 : la distribution est donc plus applatie qu une gaussienne. 48

49 10.4 Processus GARCH et propriétés Un processusgarch p,q est défini par : X t = ǫ t ǫ t X t 1,X t 2,... N(0,σ 2 t ) σ 2 t = α 0 +α 1 X 2 t α p X 2 t p +β 1 σ 2 t β q σ 2 t q avecα 0 > 0,α i 0 pouri = 1,...,p et β j 0 pourj = 1,...,q. Un processus GARCH peut être vu comme un processus ARCH d ordre infini, et peut ainsi représenter formellement de façon plus parcimonieuse un processus ARCH comprenant un nombre élevé de paramètres. Remarque évidente : ungarch p,0 est unarch p. Si X t est un processusgarch p,q, alors : E[X t ] = 0 E[X t I t 1 ] = 0 Cov(X t,x t+h ) = σ h = 0 h > 0 Cov(X t,x t+h I t 1 ) = 0 Propriété : soit X t un processus GARCH p,q, et soit m = max(p,q). Le processus X 2 t admet une représentation ARMA(m,q). Ainsi, pour identifier un GARCH p,q, on identifiera tout d abord le processus ARMA(m,q) qui modélise X 2 t. Pour identifier p dans le cas où m = q (p q), il faut effectuer des tests de significativité des coefficients α q,...,α 1 du processus ARM A(m, q) (sont-ils significativement non nuls?) Mise en oeuvre sous R Pour utiliser les fonctions spécifiques à l étude des modèles ARCH et GRACH, il faut avant tout charger le package tseries à l aide de la commandelibrary(tseries). La fonctiongarch permet d estimer ungarch p,q :serie<-garch(data,order=c(q,p)) Parmi les sorties de cette fonction :coef,residuals,fitted.values. La prédiction se fait de la même façon que pour les modèles de type ARMA. 49

50 11 TP 5 : Processus ARCH et GARCH Consignes Durée du TP : 2h. Nécessite l installation du package tseries. Pour cela charger le package à l aide de la commande library (si le package n est pas présent dans votre version installée de R, il sera nécessaire de l installer grâce à la commande install.packages) Données simulées Soit le processusx t défini par : X t X t 1,X t 2,... N(0,σ 2 t) avecσ 2 t = X 2 t X 2 t Reconnaissez-vous ce processus? 2. Simuler dans un vecteur x 1000 réalisations de ce processus. Représenter cette trajectoire graphiquement, et analyser les moyenne, variance et auto-covariance empiriques. 3. Ajuster un processusarch p au vecteurx Données réelleseustockmarkets Le fichier EuStockMarkets de R contient les valeurs de cloture des 4 principaux indices boursiers européens, de 1991 à Pour chaque indice, chercher un modèle ARCH ou GARCH approprié, et effectuer la prévision à 30 jours. Les données pourront (devront?) au préalable être transformées Données réelles :NYSE Le fichier nyse.dat contient les évolutions journalières de la bourse des valeurs de New-York (NYSE) du 19 octobre 1984 au 31 décembre Checher un processus ARCH ou GARCH adapté, et réaliser la prévision à 30 jours. Références [1] Aragon, Y. Séries temporelles avec R. Méthodes et cas., Springer, Paris, [2] Bensaber A. et Bleuse-Trillon B. Pratique des chroniques et de la prévision à court terme, Masson, Paris, [3] Bosq D. et Lecoutre J-P. Analyse et prévision des séries chronologiques, Masson, Paris, [4] Brockwell P.J. et Davis R.A. Introduction to Time Series and Forecasting, Springer, [5] Gouriéroux C. et Montfort A. Cours de séries temporelles, Economica, Paris, [6] Shumway R.H. et Stoffer D.S. Times Series Analysis and Its Applications, With R Example, Springer, Ce cours est en partie inspiré du cours de M.-Cl. Viano disponible à l adresse suivante : viano/economcours.pdf 50