Motivation / objectif Cours GIMAS8AD

Transcription

1 Motivation / objectif Cours GIMAS8AD Séries chronologiques - Séance Les processus ARIMA Frédéric Sur École des Mines de Nancy Box et Jenkins 197 (à la suite de Yule et Slutsky 197) : de nombreuses phénomènes temporels (ou leur dérivée), dans de nombreux domaines, peuvent être représentés par des processus. Rappel : les processus considérés sont de la forme X t = m + + j= a j ε t j avec + j= a j < + et (ε t ) bruit blanc (faible) En fait (ε t ) sera même généralement un bruit blanc gaussien. on parle de processus linéaire gaussien. 1/35 /35 Séance Séance /35 4/35

2 Les processus MA (=moyenne mobile) Caractérisation de l ordre d un MA(q) Définition : processus MA(q) (Slutsky 197) Ce sont les processus (X t ) du type : t, X t = m + ε t q θ i ε t i où q 1, (θ i ) 1 i q réels, et (ε t ) est un bruit blanc (gaussien dans notre cours). Convention d écriture X t m = Θ(B)ε t où Θ(B) = 1 θ 1 B θ q B q et B est l opérateur retard : B k ε t = ε t k. h, ρ(h) = Cov(X t, X t+h ) Var(Xt )Var(X t+h ) = γ(h) γ(). Pour un processus MA(q) : (calcul algébrique simple) ( 1 + θ θ ) q σ si h = γ(h) = (θ h + θ h+1 θ θ q θ q h ) σ si 1 h q si h > q Propriété : fonction d autocorrélation (ACF) d un MA(q) 1 si h = θ ρ(h) = h +θ h+1 θ 1 + +θ q θ q h si 1 h q θ1 + +θ q si h > q 5/35 Remarque : les processus MA(q) sont. 6/35 Intérêt : détermination de q. Espérance conditionnelle si (X t ) gaussien Fonction d autocorrélation partielle (PACF) Définition ( rappel ) : espérance conditionnelle E(X t X t 1,..., X t h ) = a 1 (h)x t a h (h)x t h (X t ) stationnaire donc dans (L, E(XY )). E(X t X t 1,..., X t h ) = a 1 (h)x t a h (h)x t h est la meilleure approximation de X t par une combinaison linéaire de (X t 1,..., X t h ) dans L muni du produit scalaire < X, Y >= E(XY ). (cf régression) X t Vect(X t 1,..., X t h ) Définition : PACF de (X t ) Le terme r(h) = a h (h) est la corrélation partielle d ordre h. Propriété (cf poly : géométrie dans un espace de Hilbert) ( h 1, a h (h) = corr Xt, X ) t h où : X t = X t E(X t X t 1,..., X t h+1 ) et : X t h = X t h E(X t h X t 1,..., X t h+1 ) E(X t X t 1,..., X t h ) Interprétation : corrélation entre X t et X t h lorsque l influence des variables X t 1,..., X t h+1 a été retirée. 7/35 8/35

3 Retour aux processus MA(q) Résumé : les processus MA (moyennes mobiles) L expression générale du PACF d un processus MA(q) est compliquée. Cas particulier : MA(1) Définition : processus MA(q) q X t = m + ε t θ i ε t i X t m = Θ(B)ε t alors : t, X t = m + ε t + θε t 1. r(h) = a h (h) = θh (θ 1) 1 θ h+. avec Θ(B) = 1 θ 1 B θ B θ q B q. Propriété Un processus MA(q) est stationnaire. ( r(h) ) h 1 décroît de manière exponentielle (si θ 1). Corrélogrammes : ACF : ρ(h) = si h > q, PACF : r(h) tend vers. (q = 1 vitesse exponentielle ) permet l identification d un MA(q). 9/35 1/35 Les processus AR (=autorégressif) Exemple : processus AR(1) Définition : processus AR(p) (Yule 197) Ce sont les processus (X t ) du type : t, X t = c + p φ i X t i + ε t où p 1, (φ i ) 1 i p réels, et (ε t ) est un bruit blanc (gaussien). Convention d écriture : (constante c vs. moyenne m) Φ(B)X t = c + ε t ou : Φ(B)(X t m) = ε t t, X t = φx t 1 + ε t ( ou (1 φb)x t = ε t ) Exemple-type, car : Φ(B)X t = ε t p ( 1 φ i B ) X t = ε t si φ < 1 alors X t = ( 1 + φb + φ B +... ) ε t (X t ) stationnaire, équivalent à MA( ). si φ > 1 alors X t = ( φ 1 B 1 + φ B +... ) ε t (X t ) stationnaire (mais non causal sous cette forme). 11/35 avec Φ(B) = 1 φ 1 B φ p B p (B : opérateur retard) et : (1 φ 1 φ p )m = c Question : un processus AR(p) est-il stationnaire? 1/35 si φ = 1 (marche aléatoire) : X t = X t 1 + ε t. On a bien t, E(X t ) = E(X t 1 ). Mais var(x t ) dépend de t (non constante). (X t ) non-stationnaire.

4 Simulation de processus AR(1) (ε t ) i.i.d. N (, 1) φ =. φ =.8 φ = Caractérisation de l ordre d un AR(p) stationnaire Propriété : PACF d un processus AR(p) Si r(h) est la fonction d autocorrélation partielle : h > p, r(h) = Preuve : X t = p φ ix t i + h i=p+1 X t i + ε t, puis projection sur (X t 1,..., X t h ) sachant ε t décorrélé de X t 1,..., X t h. Intérêt : détermination de p Propriété : ACF d un processus AR(p) ( ρ(h) ) h décroît vers de manière exponentielle φ =. φ =.8 φ = 1 Preuve : cf équations de Yule-Walker, qui permettent de retrouver les φ i à partir des ρ(h) (poly). 13/35 14/35 Résumé : les processus AR (autorégressifs) Les processus ARMA (=autorégressif moyenne mobile) Définition : processus AR(p) p X t = c + φ i X t i + ε t Φ(B)(X t m) = ε t avec Φ(B) = 1 φ 1 B φ p B p. Propriété Φ(B)(X t ) = c + ε t Un processus AR(p) est stationnaire si Φ n a pas de racine unité. Définition : processus ARMA(p,q) Ce sont les processus (X t ) du type : t, X t = θ + p φ i X t i q θ j ε t j + ε t j=1 où p 1, (φ i ) 1 i p et (θ j ) j q réels, et (ε t ) b.b. gaussien. Notation symbolique : Φ(B)X t = θ + Θ(B)ε t. ou : Φ(B)(X t µ) = Θ(B)ε t avec : θ = Φ(B)µ (θ joue le rôle de c dans proc. AR) 15/35 Corrélogrammes : ACF : ρ(h) décroît de manière exponentielle vers PACF : h > p, r(h) = permet l identification d un AR(p). Remarque : si Φ a ses racines à l extérieur du cercle unité, alors on peut écrire : X t = + j= a j ε t j (sous forme MA( + ) + relations entre a j ) cf. principe de parcimonie. 16/35

5 Séance Les processus non 1 3 Forme générale d une chronique (modèle linéaire) : X t = T t + S t + u t. avec T t tendance, S t saisonnalité, u t perturbation aléatoire. (X t ) n est pas stationnaire /35 18/35 Les processus ARIMA (=ARMA intégré) Dérivation des processus Opérateur de différentiation : X t = X t X t 1 = (1 B)X t. Définition : processus ARIMA(p,d,q) Ce sont les processus (X t ) du type : Φ(B)(1 B) d X t = θ + Θ(B)ε t où Φ sans racine unitaire, p, d, q, et (ε t ) est un bruit blanc gaussien (écart-type σ). Remarque : processus ARIMA non, mais d fixé tel que (1 B) d X t stationnaire. ARIMA : Φ(B)(1 B) d X t = θ + Θ(B)ε t Intérêt 1 : permet de traiter les chroniques avec tendance. X t = at + b + u t : alors (1 B)X t = a + (1 B)u t est stationnaire. X t = at + bt + c + u t : (1 B) X t est stationnaire. etc. Intérêt : permet de stabiliser la variance. X t = X t 1 + u t (marche aléatoire), alors (1 B)X t = u t est stationnaire. Remarque : dans les deux cas, racine unité dans la partie AR. 19/35 /35

6 Les processus SARIMA Séance Permettent de traiter le cas de la saisonnalité. cf prochaine séance /35 /35 Modélisation des chroniques par (S)ARIMA du modèle ARIMA(p,d,q) Comment modéliser une chronique X t par un ARIMA(p,d,q)? méthode de Box et Jenkins (197) 1 des paramètres p, d, q. des θ j,φ i, et σ 3 du modèle. 4 du futur.. Transformation de la chronique (log, exp,, Box-Cox) pour stabiliser la variance, passage au modèle additif. 1. de d. Indices de non-stationnarité : ça se voit sur le graphique (tendance), l ACF ne décroît pas assez vite. dériver. Attention à ne pas trop dériver... Si X t déjà stationnaire, alors Y t = X t X t 1 a tendance à présenter un ρ(1) (ACF) proche de 1. (introduction d autocorrélations négatives) indication de d trop grand... 3/35 4/35

7 du modèle ARIMA(p,d,q). de p et q. Utilisation des corrélogrammes. Rappel : ACF PACF AR(p) ρ(h) : décroissance r(h) = si h > p exponentielle vers MA(q) ρ(h) = si h > q r(h) décroissance exponentielle vers des paramètres θ j, φ i, σ (1) Définition : vraisemblance de la réalisation d un v.a. X Soit f θ la densité de X, et x une réalisation de X : L(x; θ) = f θ (x) (θ : paramètres de la densité d un vecteur aléatoire) Méthode du maximum de vraisemblance : estimer θ qui maximise L(x; θ), connaissant x. (idée : plus la vraisemblance est grande, plus il est probable que le modèle pour les (X t ) soit bon) Remarque 1 : on dispose des ACF et PACF empiriques. SAS donne des intervalles de confiance pour les ρ(h) et r(h), on vérifie que les pics ne sont pas significatifs. Remarque : si vrai ARMA(p,q), comme on se limitera à p, q, on teste les différents modèles... (sinon méthodes plus sophistiquées, cf méthode du coin.) Exemple : x 1, x,..., x n réalisations i.i.d. gaussiennes : L(x 1, x,..., x n ; µ, σ) = ( ) 1 exp 1 n ( xi µ ) σ n (π) n/ σ x i µ=1,σ= µ=1,σ=4 µ= 1,σ= 5/35 6/ /35 des paramètres θ j, φ i, σ () t, X t = θ + p φ i X t i + ε t Hypothèse : (ε t ) i.i.d. N (, σ ). Donc (X t ) t T est un vecteur gaussien. (car combinaison linéaire des (ε t )) q θ j ε t j Vraisemblance des T observations X t : L ( (X t ) (φ i ), (θ j ), σ ) ( 1 = (π) T / det Ω exp 1 ) X Ω 1 X où Ω dépend des φ i, θ j, σ ; X = (X t ) 1 t T j=1 des paramètres (φ i ), (θ j ), σ par la méthode (numérique) du maximum de vraisemblance. Remarque : il existe d autres méthodes d estimation. à utiliser lorsque SAS avertit d un problème d optimisation numérique. 8/35 Examen de la validité du modèle 1. Significativité des paramètres estimés (Student). Résidus = bruit blanc gaussien? e t des résidus : écart entre observation X t et X t 1 (1) (cf ) Vérifier que les résidus (e t ) sont bien des réalisations d un bruit blanc gaussien (ε t ) : vérification graphique : moyenne nulle, variance constante, pas de structure. ACF et PACF des résidus ne doivent pas avoir de pics significatifs. Portmanteau Test (Box-Pierce) sur les résidus : soit ρ(h) l ACF des résidus. Alors : (T K) K h=1 ρ(h) suit un χ à K p q d.d.l., sous hypothèse (ε t ) bruit blanc gaussien. Mieux : Ljung-Box. (sous SAS, généralement K = 6, K = 1...)

8 Sélection de modèle avec modèle ARIMA(p,d,q) Question : comment choisir entre différents modèles ARIMA(p,d,q) valides? Plusieurs possibilités : Minimisation de la variance des résidus σ. Minimisation de critères d information : AIC = log(l) + (p + q) ou BIC = SBC = log(l) + (p + q) log(t ). (compromis entre vraisemblance et nombre de paramètres) la semaine prochaine. Remarque 1 : le choix entre différents modèles se fait selon un critère. Remarque : on préfère les modèles simples (principe du rasoir d Ockham ou de parcimonie). 9/35 3/35 Séance 1 3 La procédure ARIMA d un modèle ARIMA(p,d,q) : proc arima data=serie; identify var=variable; identify var=variable(1); estimate p=1 plot; estimate p=1 q=1 plot; forecast out=sortie back=1 lead=1; identify : identification des ordres p et q avec ACF et PACF de la chronique, éventuellement différentiée (ordre d). 4 5 estimate : estimation des paramètres et significativité, ACF et PACF des résidus, portmanteau. forecast : s. 31/35 3/35

9 Écriture des différents modèles : estimate estimate p=3; Y t = θ + φ 1 Y t 1 + φ Y t + φ 3 Y t 3 + ε t ARIMA(3, d, ) estimate p=3 noconstant; Y t = φ 1 Y t 1 + φ Y t + φ 3 Y t 3 + ε t sous-modèle de ARIMA(3, d, ) estimate p=1 q=; Y t = θ + φ 1 Y t 1 + ε t θ 1 ε t 1 θ ε t ARIMA(1, d, ) estimate p= q=(); Y t = θ + φ 1 Y t 1 + φ Y t + ε t θ ε t sous-modèle de ARIMA(, d, ) estimate q=(1 3); Y t = θ θ 1 ε t 1 θ 3 ε t 3 sous-modèle de ARIMA(, d, 3) estimate p=(1) q=; Y t = θ + φ 1 Y t 1 + ε t θ 1 ε t 1 θ ε t SARIMA(, d, )(1, d, ) 1 Séance /35 34/35 stationnaire? AR pur (sans racine unité), MA pur, ARMA. identifications des ordres p / q : ACF et PACF. -stationnaire? on stationnarise d abord en transformant la variable et / ou dérivant (ARIMA / SARIMA) Il faut aussi valider le modèle identifié (significativité des coefficients, résidus b.b.g., etc). à pratiquer en TD! 35/35