SERIES TEMPORELLES LINEAIRES

Transcription

1 Deuxième année SERIES TEMPORELLES LINEAIRES Polycopié librement inspiré du cours de Madame Doz La rédaction a été commencée par la cuisine expérimentale pour les chapitres, 2 et 3 puis complétée et achevée par Joachim Connault pour les chapitres 4 et 5

2

3 Table des matières Introduction Processus réels stationnaires du second ordre 3 Processus stationnaire du second ordre 3 Définitions 3 2 Rappels sur L 2 (Ω, A, P) 6 2 Outils pour l étude des processus stationnaires 6 2 Transformée d un processus stationnaire par une moyenne mobile infinie 6 22 Régression linéaire ou affine théorique sur un nombre fini de retards 8 23 Régression linéaire théorique sur un nombre infini de retards 0 24 Densité spectrale et auto-corrélations inverses 25 Estimateurs associés et lois limites 4 3 Polynômes retard et avance 5 3 Définitions et propositions 5 32 Inversibilité des polynômes en L 7 2 Processus ARMA et ARIMA 2 2 Processus auto-régressifs d ordre p (AR(p)) 2 2 Définition et représentation canonique 2 22 Propriétés des processus AR(p) Auto-corrélations partielle et inverse d un processus AR(p) Processus moyenne mobile d ordre q (MA(q)) Définition et représentation canonique Propriétés des processus MA(q) Processus ARMA(p, q) 3 23 Définition et représentation canonique minimale Propriétés des processus ARMA(p, q) Processus ARIMA(p, d, q) Approximation auto-régressive d un ARIMA(p, d, q) Approximation moyenne mobile d un ARIMA(p, d, q) 36 3 Identification et estimation d un modèle ARM A ou ARIM A 39 3 Première phase de l identification : choix de d 39 3 Approche empirique : l auto-corrélogramme Approche par les tests de racine unité 4 32 Deuxième phase de l identification : choix de p et q Résultats préliminaires 47 i

4 322 Choix de p pour un AR(p) Choix de q pour un MA(q) Choix de (p, q) pour un ARMA(p, q) Estimation Cas d un AR(p) Cas d un MA(q) Cas d un ARMA(p, q) 5 34 Vérifications a posteriori 5 34 Tests sur les paramètres Tests sur les résidus Choix du modèle 53 4 Prévision dans les ARMA et les ARIMA 55 4 Prévisions dans un AR(p) Prévision dans un MA(q) Cas d un ARMA(p, q) Forme AR( ) Utilisation d une équation de récurrence Cas d un ARIMA(p, d, q) Intervalles de précision 60 5 Processus vectoriels stationnaires - Processus V AR stationnaires 63 5 Processus vectoriels stationnaires du second ordre 63 5 Définition et proposition Densité spectrale d un processus vectoriel stationnaire Innovation d un processus vectoriel Convergence des moments empiriques Processus V AR stationnaires Définition et proposition générale Prévision dans un V AR stationnaire Estimation d un modèle V AR sous hypothèse de normalité Ecriture empilée du modèle Estimation par les MCQG EMV sous l hypothèse de normalité Propriétés de l EMV sous l hypothèse de normalité Tests de restrictions linéaires sur les paramètres du modèle sous hypothèse de normalité 79 Bibliographie 83 Index 84 ii

5 Introduction Les séries temporelles sont des données mesurées à des intervalles de temps régulier Les données macroéconomiques sont relevées par année, trimestres, mois, Les données financières sont mensuelles, hebdomadaires, quotidiennes, infra-journalières (on peut généraliser à temps continu, t R) On fera des études en temps discret donc on indicera de façon dénombrable, t Z On étudiera des séries univariées : elles résultent de l observation d une seule série On modélise la valeur en t en fonction des valeurs passées On peut aussi étudier des séries multivariées, c est-à-dire vectorielles Par exemple on a un contenu économique qui repose sur un a priori économique mais on n a pas d a priori sur le poids des variables (rôle symétrique?) On parle de modèles V AR évoqués dès 98 par Sims x t = x,t x n,t

6 2

7 Chapitre Processus réels stationnaires du second ordre Formalisme : On observe une grandeur donnée sur des dates de à T On considère des observations x,, x T, réalisations des variables aléatoires X,, X T : (Ω, A, P) R, ω Ω est un état de la nature tel que x t = X t (ω) On dit que (X t ) t Z est un processus stochastique et que (x t ) t Z une trajectoire du processus (X t ) t Z Hypothèses supplémentaires : Si E(X t ) = m t, on a une seule observation (x t en l occurrence) pour estimer m t En revanche si pour tout t Z, E(X t ) = m, on peut estimer m par ˆm = T T t= X t Il paraît donc nécessaire de supposer que la suite X t a certaines propriétés de régularité Processus stationnaire du second ordre Définitions Dans toute la suite on considérera (X t ) t Z et on supposera X t L 2 (Ω, A, P), t Z Définition (Stationnarité stricte ou forte) (X t ) t Z est un processus stationnaire au sens strict si : n N, (t,, t n ), h Z, la loi de (X t,, X tn ) est identique à la loi de (X t+h,, X tn+h ) Théorème (Théorème de Kolmogorov) (X t ) t Z est un processus stationnaire au sens strict si et seulement si la loi de (X t ) t Z est identique à la loi de (Y t ) t Z où Y t = X t+h Définition 2 (Stationnarité faible) (X t ) t Z est un processus stationnaire du second ordre (ou un processus faiblement stationnaire) s il vérifie : (i) t Z, E(X t ) = m (ii) t Z, V(X t ) = σ 2 = γ(0) (iii) t Z, h Z, Cov(X t, X t+h ) = γ(h) (ne dépend que de h) γ(h) est l auto-covariance d ordre h de X t 3

8 4 CHAPITRE PROCESSUS RÉELS STATIONNAIRES DU SECOND ORDRE Remarque () Dans la suite, les processus stationnaires désignent les processus de la définition 2 ; (2) (iii) (ii) : h = 0 et γ(0) = σ 2 ; (3) Si un processus est stationnaire au sens strict alors il est faiblement stationnaire ; (4) Si (X t ) t Z est un processus gaussien alors il y a équivalence entre stationnarité faible et forte ; X t m X t γ(0) γ(t j t i ) (5) E = V = m γ(0) X tn X tn Exemple (Processus stationnaire) () Bruit blanc faible (white noise), (ε t ) t Z, si et seulement si : E(ε t ) = 0, t Z On notera ε t BB(0, σ 2 ) V(ε t ) = σ 2, t Z Cov(ε t, ε τ ) = 0, si t τ (2) ε t est un bruit blanc fort si et seulement si les ε t sont iid, E(ε t ) = 0 et V(ε t ) = σ 2 (3) Processus moyenne mobile d ordre, noté MA() (moving average of order ) Soit θ R Soit ε t BB(0, σ 2 ) Soit (X t ) t Z défini par : t Z, X t = ε t θε t Alors (X t ) t Z est un processus stationnaire On dit que X t MA() Remarque 2 En pratique on ne distinguera plus x t et X t (x t ) ou (X t ) désignera toujours le processus et x,, x T ou X,, X T la suite des observations Exemple 2 (Processus non stationnaires) () Marche aléatoire (random walk) Soit ε t BB(0, σ 2 ) (X t ) t Z est une marche aléatoire sans dérive si et seulement si (i) X t = X t + ε t, t 0 (ii) Cov(ε t, X t k ) = 0, 0 < k t Même si on a la propriété EX t = EX t EX t = m, t Z, (X t ) t n est pas stationnaire : X t = X t + ε t X t = X t 2 + ε t t X t = X 0 + ε k k= X = X 0 + ε D où ( t t ) V(X t ) = V(X 0 ) + 2 Cov(ε k, X 0 ) + V ε k = V(X 0 ) + tσ 2 k= k= Le processus n est pas stationnaire en variance

9 PROCESSUS STATIONNAIRE DU SECOND ORDRE 5 (2) Processus stationnaire autour d un trend déterministe X t = a + bt + Y t où (Y t ) t Z est un processus stationnaire Par exemple si Y t = ε t BB(0, σ 2 ), EX t = a + bt, le processus n est pas stationnaire en espérance Définition 3 (Fonction d auto-covariance) L auto-covariance d un processus stationnaire (X t ) t Z est définie par : γ : Z R h γ(h) = Cov(X t, X t h ) Proposition (i) γ est une fonction paire : γ( h) = γ(h) h (ii) γ est de type positif : n N, (t,, t n ), (a,, a n ) R n a i a j γ(t i t j ) > 0 i,j n Démonstration (i) Parité : γ(h) = Cov(X t, X t+h ) = Cov(X t h, X (t h)+h ) = Cov(X t h, X t ) = Cov(X t, X t h ) = γ( h) (ii) Positivité : ( ) V ai X ti = Cov i a i X ti, j a j X tj = i,j a i a j Cov(X ti, X tj ) = i,j a i a j γ(t i t j ) 0 On suppose toujours qu il n y a pas de relations linéaires entre les X t En effet, si on avait V ( a i X ti ) = 0 alors a i X ti = constante presque sûrement Définition 4 (Fonction d auto-corrélation) La fonction d auto-corrélation d un processus stationnaire (X t ) t Z est définie par : h Z, ρ(h) = γ(h) γ(0) = Corr(X t, X t+h ) Proposition 2 ρ : h ρ(h) est une fonction paire, de type positif, à valeurs dans ] ; [

10 6 CHAPITRE PROCESSUS RÉELS STATIONNAIRES DU SECOND ORDRE Démonstration On a Corr(X t, X t+h ) = Cov(X t, X t+h ) VarXt VarX t+h = γ(h) γ(0) où γ est paire de type positif Définition 5 (Auto-corrélogramme théorique) L auto-corrélogramme de (X t ) t Z est le graphe de : { N ] ; [ 2 Rappels sur L 2 (Ω, A, P) h ρ(h) L 2 (Ω, A, P) est une espace de Hilbert pour le produit scalaire (X Y ) = EXY Si X n L 2 X j Z a j X j 2 = j Z alors la série j Z a jx j est définie ps et : q j= p lim X n X 2 = 0 n + a j X j p,q + a j X j 2 < + a j X j Théorème 2 (Projection sur un sev fermé H de L 2 (Ω, A, P)) j Z X L 2 (Ω, A, P),!X H/ X X 2 = min Y H X Y 2 P H (X) = X est caractérisé par X H et X X H Théorème 3 (Théorème des trois perpendiculaires) Soit H un sev fermé de L 2 (Ω, A, P), G un sev fermé de H, alors : X L 2 (Ω, A, P ), P G (P H (X)) = P G (X) 2 Outils pour l étude des processus stationnaires 2 Transformée d un processus stationnaire par une moyenne mobile infinie Définition 2 (Proposition) Soient (X t ) t Z un processus stationnaire et (a j ) j Z une suite de réels tels que j a j < + Alors Y t = j Z a jx t j est défini (ps) pour tout t On a les propriétés suivantes : (i) Y t L 2 (Ω, A, P), t Z

11 2 OUTILS POUR L ÉTUDE DES PROCESSUS STATIONNAIRES 7 (ii) (Y t ) t est un processus stationnaire tel que EY t = m Y = a j m X j Z γ Y (h) = j,k a j a k γ(h + k j) = j,k a j a k γ(h + j k), h Z On dit que (Y t ) t Z est la transformée de (X t ) t Z par la moyenne mobile infinie associée aux (a j ) j Z Démonstration (i) a j X t j 2 = j j a j X t j 2 = j a j (m 2 X + γ X (0)) 2 < + Y t est donc défini ps et Y t L 2 (Ω, A, P) (ii) On a alors : EY t = Ω Y t dp = = ( a j j Z Ω Ω a j X t j dp j Z X t j dp = E a j X t j j Z ) (Fubini) = j Z a j EX t j = m X j a j Enfin : Cov(Y t, Y t h ) = Cov a j X t j, a k X t h k j Z k Z = j k a j a k Cov(X t j, X t h k ) } {{ } γ X (h+k j) Définition 22 Si X t = ε t BB(0, σ 2 ) alors Y t = j Z a jε t j et on dit que Y t MA( )

12 8 CHAPITRE PROCESSUS RÉELS STATIONNAIRES DU SECOND ORDRE 22 Régression linéaire ou affine théorique sur un nombre fini de retards Définition 23 Soit (X t ) t Z un processus stationnaire (i) La régression linéaire théorique de X t sur X t,, X t p est la projection orthogonale dans L 2 (Ω, A, P) de X t sur H = V ect(x t,, X t p ) On note généralement EL(X t X t,, X t p ) la régression linéaire théorique de X t sur X t,, X t p (ii) La régression affine théorique de X t sur X t,, X t p est la projection orthogonale dans L 2 (Ω, A, P ) de X t sur H = V ect(, X t,, X t p ) On note généralement EL(X t, X t,, X t p ) la régression affine théorique de X t sur X t,, X t p Proposition 2 (i) et (ii) coïncident si et seulement si EX t = 0 Remarque 2 () Si EX t 0, on calculera toujours la régression affine On la note aussi souvent EL(X t X t,, X t p ) (2) V ect(x t X t,, X t p ) et V ect(x t X t,, X t n ) sont des sev de dimension finie de L 2 donc fermés (3) Si (X t ) t est gaussien, alors EL(X t ) = E(X t ) Rappel : Calcul de la régression affine théorique (ii) H = V ect(, X t,, X t p ) et X t = p H (X t ) est caractérisé par X t H et X t X t H p Xt H a 0, a,, a p / Xt = a 0 + a j X t j j=

13 2 OUTILS POUR L ÉTUDE DES PROCESSUS STATIONNAIRES 9 X t X t H { (Xt Xt ) = 0 (X t Xt X t j ) = 0 j =,, p { E(Xt Xt ) = 0 E[(X t Xt )X t j ] = 0 j =,, p p p EX t = m X = E a 0 + a j X t j = a 0 + m X a j j= j= [( ) ] p E(X t X t j ) = E a 0 + a k X t k X t j j =,, p a 0 = m X p j= E(X t X t j ) = E p a 0 = m X a j [m X ( j= E(X t k X t j ) = m 2 X p a 0 = m X j= a j a j ( E(X t k X t j ) = m 2 X + k= p k= ) ] p a k X t j + k= ) p a k + k= p a k E(X t k X t j ) k= p a k E(X t X t k ) k= [ a k E(Xt X t k ) m 2 ] X j =,, p j =,, p j =,, p On a donc j =,, p E(X t X t j ) m 2 X = p k= [ a k E(Xt k X t j ) m 2 ] X Soit encore p j =,, p Cov(X t, X t j ) = a k Cov(X t k+j, X t j ) k= Et p γ(j) = a k γ(k j) k= a 0 = m X p j= a j

14 0 CHAPITRE PROCESSUS RÉELS STATIONNAIRES DU SECOND ORDRE γ() γ(p ) γ() γ(p 2) γ(p ) γ(p 2) Puis en divisant par γ(0) ρ() ρ(p ) ρ() ρ(p 2) ρ(p ) ρ(p 2) a a p a a p = = Cette dernière matrice étant inversible si les X t sont indépendants Définition 24 (Propriété) On appelle auto-corrélation partielle d ordre p γ() γ(p) ρ() ρ(p) r(p) = Corr(X t EL(X t X t,, X t p+ ), X t p EL(X t p X t,, X t p+ )) = Cov(X t EL(X t X t,, X t p+ ), X t p EL(X t p X t,, X t p+ )) [Var(X t EL(X t X t,, X t p+ ))Var(X t p EL(X t p X t,, X t p+ ))] /2 On montre que r(p) = a p coefficient de X t p dans EL(X t X t,, X t p ) EL(X t p X t,, X t p+ ) = p a j X t j Pour la démonstration, on utilise le théorème de Frish-Waugh j= Définition 25 (Auto-corrélogramme partiel) L auto-corrélogramme partiel de (X t ) t Z est le graphe de : { N ] ; [ p r(p) 23 Régression linéaire théorique sur un nombre infini de retards Définition 26 Soit (X t ) t Z un processus stationnaire (i) La régression linéaire théorique de X t sur X t,, X t p, est la projection orthogonale dans L 2 (Ω, A, P) de X t sur H = V ect(x t,, X t p, ) (ii) La régression affine théorique de X t sur, X t,, X t p, est la projection orthogonale dans L 2 (Ω, A, P) de X t sur H = V ect(, X t,, X t p, ) On note aussi L(X t ) l espace L(, X t,, X t k, ) et : EL(X t X t ) = EL(X t X t,, X t k, ) la régression linéaire (ou affine) sur L(X t ) ( = EL(X t, X t,, X t k, )) Proposition 22 Les deux notions coïncident si et seulement si EX t = 0, t

15 2 OUTILS POUR L ÉTUDE DES PROCESSUS STATIONNAIRES Remarque 22 Xt = EL(X t X t,, X t p ) X t Xt 2 = min a 0,,a p X t a 0 + = min Y H X t Y 2 p a j X t j Proposition 23 EL(X t X t ) = lim n + EL(X t X t,, X t n ) au sens de L 2 j= 2 Théorème 2 (Admis) Soient (X t ) t Z un processus stationnaire et Xt régression affine de X t sur L(, X t,, X t k, ) et ε t = X t Xt, alors (ε t ) t Z est un bruit blanc Cov(ε t, ε t k ) = 0 k > 0 = EL(X t X t ) la Définition 27 (Processus des innovations) Avec les notations du théorème ci-dessus : (i) (ε t ) t Z est le processus des innovations de (X t ) t Z (ii) ε t est l innovation de X t (iii) X t est la prévision optimale de X t à la date t Remarque 23 ε t = X t X t = X t EL(X t X t ) donc ε t et ε t X t k, k > 0, ce qui peut aussi s interpréter comme : E(ε t ) = 0 k > 0, E(ε t X t k ) = Cov(ε t, X t k ) = 0 Théorème 22 (De Wold) Soient (X t ) t Z un processus stationnaire et (ε t ) t Z le processus des innovations correspondant Alors (a k ) k Z / + a k < + et X t = m + 24 Densité spectrale et auto-corrélations inverses + a k ε t k Proposition 24 (Densité spectrale) Soit (X t ) t Z un processus stationnaire de la forme : X t = m + + j=0 a j ε t j où (ε t ) t Z BB et + j=0 a j < + Alors (i) h Z γ X (h) < + (ii) ω [ π; π], f X (ω) = 2π γ X (h)e iωh h Z f X est la densité spectrale de (X t ) t Z

16 2 CHAPITRE PROCESSUS RÉELS STATIONNAIRES DU SECOND ORDRE Démonstration Et on a Donc γ X (h) = a j a k γ ε (h + j k) h Z h Z γ ε (h + j k) = j,k { 0 si h + j k 0 σ 2 ε si h + j k = 0 γ X (h) = h Z h Z σ2 ε a j a h+j j σε 2 a j a h+j = σε 2 j h,j a j 2 < + Proposition 25 Sous les hypothèses précédentes, Démonstration f X (ω) = 2π f X (ω) = 2π [ γ X (0) + h>0 γ X (h) cos(ωh) h Z γ X (h)e iωh + h<0 γ X (h)e iωh ] = γ X (0) + γ X (h)e iωh + γ X ( h) 2π } {{ } h>0 h>0 =γ X (h) = 2π γ X (0) + γ X (h) (e iωh + e iωh ) } {{ } h>0 =2 cos(ωh) = γ X (0) + γ X (h) cos(ωh) 2π h 0 = 2π γ X (h) cos(ωh) h Z Exemple 2 () (ε t ) t Z BB(0, σ 2 ) f ε (ω) = σε 2π (2) (X t ) t Z MA() f ε (ω) = σε 2π ( + θ2 2θ cos ω) Théorème 23 (Injectivité) Avec les notations précédentes, h Z, γ X (h) = [ π;π] f X (ω)e iωh dω = [ π;π] e iωh f X (ω) cos(ωh)dω

17 2 OUTILS POUR L ÉTUDE DES PROCESSUS STATIONNAIRES 3 Démonstration [ π;π] f X (ω)e iωh dω = ( ) γ X (k)e iωk e iωh dω 2π [ π;π] k Z ( ) = 2π γ X (k) k Z = γ X (h) e iω(k h) dω } [ π;π] {{ } 8 < = : 0 si k h 2π si k = h (d après Fubini) Conséquence par f X La fonction f X γ X est une bijection donc (X t ) t est caractérisé complètement Exemple 22 () Si f X (ω) = constante alors X BB (2) Si f X (ω) = a + 2b cos ω alors X MA() { a = σ2 où 2π ( + θ2 ) b = σ2 2π Proposition 26 Soit (X t ) t Z tel que X t = j Z a jε t j où ε t BB et j a j < + Soit Y t = k Z b kx t k avec k b k < + Alors (i) Y t = k Z c k ε t k 2 (ii) f Y (ω) = f X (ω) b k e iωk k Z Démonstration (i) Y t = b k X t k = b k a j ε t k j = a j b k ε t (k+j) = a j b h j ε t h = a j b h j k Z k Z j Z j,k Z j,h Z h Z j Z } {{ } c h ε t h

18 4 CHAPITRE PROCESSUS RÉELS STATIONNAIRES DU SECOND ORDRE (ii) f Y (ω) = 2π = 2π = 2π = 2π γ Y (h)e iωh h Z b j b k γ X (h + j k) e iωh h Z h,j,k Z j,k Z b j b k γ X (h + j k)e iω(h+j k) e iωj e iωk ( ) γ X (l)e iωl ( ) b j e iωj b k e iωk j Z l Z 2 = f X (ω) b k e iωk k Z k Z Définition 28 (Auto-corrélations inverses) Soit (X t ) t Z tel que X t = j Z a jε t j ε t BB et j a j < + On suppose que ω f X (ω) e iωh est intégrable sur [ π; π] On appelle auto-covariance inverse d ordre h de (X t ) t Z γx(h) i = f X (ω) e iωh dω [ π;π] où L auto-corrélation inverse d ordre h est alors définie comme ρ i X(h) = γi X (h) γ i X (0) Définition 29 (Auto-corrélogramme inverse) L auto-corrélogramme inverse de (X t ) t Z est le graphe de : { N ] ; [ h ρ i X (h) 25 Estimateurs associés et lois limites On considère un processus stationnaire (X t ) t Z tel que pour tout t Z, EX t = m On cherche à estimer les grandeurs associées γ X (h), ρ X (h) = γ X(h) γ X (0), r X(h) = a h h, f X(ω), γx i (h) et ρi X (h) et ceci sachant qu on observe X,, X T On prend comme estimateurs : ˆm = T X t = T X T moyenne empirique, t= ˆγ X (h) = T h T t=h+ (X t X T )(X t h X T ) auto-covariance empirique d ordre h (estimation acceptable si h n est pas trop grand), ˆρ X (h) = ˆγ X(h) ˆγ X (0),

19 3 POLYNÔMES RETARD ET AVANCE 5 ˆr(h) = â h h dans la régression empirique (mco) de x t sur, x t,, x t h, ˆf X (ω) = H ˆγ X (h)e iωh, le problème ici étant que l on voudrait un H suffisamment 2π h= H grand mais prendre un H trop grand est risqué pour l estimation de ˆγ X (h) On prend alors un estimateur corrigé : ˆf X (ω) = 2π H h= H ( h ) ˆγ X (h)e iωh H + } {{ } coefficient de Newey-West On donne moins de poids aux ˆγ X (h)e iωh avec un grand h on ne prend pas ˆρ i = ˆγi (h) ˆγ i (0) où ˆγi (h) = [ π;π] ˆf X (ω) e iωh dω, il existe d autres façons de l obtenir Proposition 27 Si (X t ) est un processus stationnaire alors tous les estimateurs présentés ci-dessus sont convergents Démonstration C est la loi des grands nombres Proposition 28 Si X t = m + + j=0 a jε t j où E(ε 4 t ) = η < +, alors tous ces estimateurs ont des lois jointes asymptotiquement gaussiennes : L ( T ( ˆm m) N 0, h Z γ X(h) ) T T T Ω h, W h et Σ h étant calculables ˆγ(0) γ(0) ˆγ(h) γ(h) ˆρ(0) ρ(0) ˆρ(h) ρ(h) ˆr(0) r(0) ˆr(h) r(h) L N (0, Ω h ) L N (0, W h ) L N (0, Σ h ) Remarque 24 () Les auto-corrélogrammes (direct, partiel et inverse) associés aux valeurs estimées sont appelés auto-corrélogrammes empiriques (2) On en déduit des intervalles de confiance asymptotiques 3 Polynômes retard et avance 3 Définitions et propositions Définition 3 (i) L opérateur retard L ( lag) ou B ( backward) est défini sur la classe des processus stationnaires comme étant : L : (X t ) t Z (Y t ) t Z tel que Y t = X t

20 6 CHAPITRE PROCESSUS RÉELS STATIONNAIRES DU SECOND ORDRE On note : LX t = X t (ii) De la même façon, l opérateur avance F ( forward) correspond à On note : F X t = X t+ Proposition 3 F : (X t ) t Z (Y t ) t Z tel que Y t = X t+ (i) L k = L} {{ L} vérifie L k X t = X t k kfois (ii) F k = F} {{ F} vérifie F k X t = X t+k kfois Notation : L 0 = Id est noté L 0 = (L 0 X t = X t ) Définition 32 Soit P un polynôme, P (z) = p a kz k, a k R, on lui associe le polynôme retard P (L) défini comme suit : p P (L) = a k L k Et ( p ) P (L)X t = a k L k X t = p a k X t k De façon similaire on obtient le polynôme avance P (F ) : ( p ) p P (F )X t = a k F k X t = a k X t+k Définition 33 (Séries en L (ou en F )) (polynômes de degré infini) Soit A(z) = + a kz k et Y t = A(L)X t = + a kx t k Alors (Y t ) t Z est bien un processus stationnaire car + a k < + Proposition 32 On suppose + a k < + et + b k < + et Alors (i) α R, A(L) = + a k L k B(L) = ( + ) αa(l) = (αa)(l) = α a k L k = + + b k L k (αa k )L k ( + ) ( + ) (ii) A(L) + B(L) = (A + B)(L) = a k L k + b k L k = + (a k + b k )L k (iii) A(L) B(L) = (AB)(L) = B(L) A(L) avec (AB)(L) = (BA)(L) = C(L) = c k = + j=0 a j b k j + c k L k et

21 3 POLYNÔMES RETARD ET AVANCE 7 32 Inversibilité des polynômes en L Définition 34 (Inversibilité) A(L) est inversible B(L) tel que A(L) B(L) = Id On suppose P (L) = p a kl k et Y t = P (L)X t et on désire savoir si X t peut s exprimer en fonction de Y t (X t = P (L) Y t ) On peut décomposer notre polynôme de la façon suivante : p p p ) p P (z) = (z z i ) = ( z i ) ( zzi = α λ i z) avec λ i = i=( z i i= i= où les z i C sont les racines de P p Finalement P (L) = α ( λ i L) Inversibilité de λl i= Proposition 33 (i) Si λ <, alors λl est inversible et ( λl) = + (ii) Si λ >, λl est inversible et ( λl) = λ k F k (iii) Si λ =, λl n est pas inversible Démonstration (i) Si λ < alors ( λl) + λk = λ < +, donc A(L) = i= k= + + λ k L k λ k L k est bien défini On a ainsi ( λl)a(l) = C(L) = + j=0 c jl j et c j = + a kb k j avec b 0 =, b = λ, b k = 0 si k > et a k = λ k On trouve c 0 = et c j = 0 si j 0, soit encore C(L) = On en déduit que ( λl) est inversible et ( λl) = A(L) On pouvait aussi montrer ce résultat en écrivant : k ( λl)a(l) = lim ( λl) λ j L j = lim k + k + λk+ L k+ = j=0 ( (ii) Si λ > alors λl = λ L ) ( = λl F ) λ λ On a alors (λl) = ( λ F et F ) + = λ λ k F k car λ > En combinant ces deux résultats, on obtient ( ( λl) = ( λl) F ) ( = + λ λ F Dans ce cas, X t = ( λl) Y t = + k= λ k Y t+k ) + λ k F k = k= λ k F k = k= λ k L k

22 8 CHAPITRE PROCESSUS RÉELS STATIONNAIRES DU SECOND ORDRE (iii) Cas λ = Alors L n est pas inversible Montrons-le par l absurde Supposons Y t = ( L)X t = X t X t On a vu que si (Y t ) t Z est stationnaire alors (X t ) t Z ne l est pas (cf page 4, l exemple où Y t = ε t BB(0, σ 2 )) On n a pas X t = a k Y t k avec a k < + ; k Z k Z Il n existe pas A(L) = a k L k, a k < + tel que ( L)A(L) = k Z k Z On peut le voir à la main Dans ces conditions k Z ( L)A(L) = a k = a k et donc ne tend pas vers 0 a k = + Inversion d un polynôme en L Soit φ un polynôme de degré p à coefficients réels : φ(z) = + ϕ z + + ϕ p z p φ(l) = + ϕ L + + ϕ p L p (φ(0) = ) φ possède p racines (z,, z p ) dans complexes ou réelles, on peut donc le décomposer en p p p ) p φ(z) = ϕ p (z z j ) = ϕ p ( z j ) ( zzj = α ( λ j z) j= j= j= j= où λ j = z j Par conséquent, on peut se ramener à : φ(l) = p ( λ j z) On a alors 2 cas possibles : si z i R alors λ i R, si z i C R alors z i racine de φ de même ordre de multiplicité que z i (i) Si λ i < alors λ i < et j= φ(z) = ( λ i z)( λ i z)ψ(z) (( λ i L)( λ i L)) = ( λ i L) ( λ i L) ( ) ( ) = λ k i L k k λ i L k k k = A(L) A(L) (ii) λ i >, idem avec ( λ i L) = λk i Lk (iii) Si λ i = alors φ(l) n est pas inversible

23 3 POLYNÔMES RETARD ET AVANCE 9 Proposition 34 Avec les notations précédentes (i) φ est inversible si et seulement si ses racines sont de module distinct de (ii) Si λ j <, j [, p], alors φ(l) est inversible et φ(l) = + a k L k où a 0 =, a k R et + a k < + Remarque 3 λ j < z j = λ j > Démonstration (i) j, ( λ j L) est bien défini, de la forme k Z a j,k L k et φ(l) = p ( λ j L) est donc aussi défini Mais φ(l) peut contenir des termes en L k, k > 0 qui sont des termes concernant le futur et donc peu utilisables en pratique (ii) Si λ j < pour tout j alors ( λ j L) = + λ k j L k et j= p φ(l) = ( λ j L) = + j= a k L k tel que + a k < + Par ailleurs ( p p + ) φ(z) = ( λ j z) et φ(z)φ(z) = ( λ j z) a k z k = j= j= Donc φ(0)φ(0) = a 0 = a 0 = S il existe j tel que λ j C\R alors φ(l) = ( λ j )( λ j )P (L) et : ( λ j ) ( λ j ) = = ( + ) ( + ) λ k j L k λ k j L k + α k L k où α k R, α 0 =, + Méthodes pratiques d inversion de φ(l) On se place dans le cadre défini précédemment où : p φ(l) = ( λ j L) j= α k < +

24 20 CHAPITRE PROCESSUS RÉELS STATIONNAIRES DU SECOND ORDRE a) Quand p 2, φ(l) = ( p + ) j= λk j Lk Cette méthode s avère fastidieuse en général b) Par identification : on écrit que ( + ) ( + ) φ(l) a k L k = ( + ϕ L + + ϕ p L p ) a k L k = Les a k sont obtenus par récurrence puis identification c) Décomposition en éléments simples : φ(l) = j= j= p p λ j L = a j λ j L On décompose cette fraction rationnelle en éléments simples Dans la pratique on l utilise quand les racines sont simples d) Division selon les puissances croissantes de par φ(z) : = φ(z)q r (z) + z r+ R r (z) tel que lim Q r(z) = φ (z) r +

25 Chapitre 2 Processus ARMA et ARIMA Les ARM A sont des processus stationnaires et les ARIM A des processus non stationnaires intégrés, c est-à-dire qu on les rend stationnaires par différentiation 2 Processus auto-régressifs d ordre p (AR(p)) 2 Définition et représentation canonique Définition 2 (Processus AR) (X t ) t Z est un processus AR(p) si (i) (X t ) est stationnaire (ii) (X t ) vérifie une équation X t = µ+ϕ X t + +ϕ p X t p +ε t avec ϕ p 0 et ε t BB(0, σ 2 ) On note φ(l)x t = µ + ε t où φ(l) = (ϕ L + + ϕ p L p ) Exemple 2 X t AR() ie ( ρl)x t = µ + ε t où ε t BB(0, σ 2 ) et ρ < Remarque 2 Il existe des solutions non stationnaires (en espérance) de la même équation Soit Y t tel que ( ρl)y t = 0 Y t = ρy t Y t = ρ t Y 0 Soit (X t ) un processus stationnaire On définit (Z t ) par Z t = X t + Y t On a alors ( ρl)z t = ( ρl)x t + ( ρl)y t = ε t + 0 EZ t = EX t + EY t = m X + ρ t EY 0 cte Donc (Z t ) n est pas un processus stationnaire Proposition 2 Si X t AR(p) tel que φ(l)x t = µ + ε t, alors EX t = µ φ() = µ (ϕ + + ϕ p ) Démonstration X t = µ + ϕ X t + + ϕ p X t p + ε t EX t = µ + ϕ EX t + + ϕ p EX t p + Eε t m = µ + ϕ m + + ϕ p m m = µ (ϕ + + ϕ p ) = µ φ() 2

26 22 CHAPITRE 2 PROCESSUS ARM A ET ARIM A On retrouve bien le résultat annoncé Proposition 22 Si X t AR(p) est tel que φ(l)x t = µ + ε t et si l on pose Y t = X t m (où m = EX t ), on a alors φ(l)y t = ε t et EY t = 0 Démonstration EX t = m = µ φ() et φ(l)(x t m) = φ(l)x t φ(l)m Or Lm = m et par conséquent : φ(l)m = ( (ϕ + + ϕ p ))m = φ()m Finalement : φ(l)(x t m) = φ(l)x t µ = ε t Ecriture MA( ) quand les racines de φ sont de module strictement supérieur à On suppose que φ(l)x t = µ + ε t où φ(l) = (ϕ L + + ϕ p L p ) et aussi que z φ(z) 0 On suppose que φ(z) = p ( λ iz) où λ i = z i < Alors φ(l) est inversible et φ(l) = 0 a kl k = A(L) tel que a k < et a 0 = On en déduit X t = A(L)µ + A(L)ε t ( ) = A()µ + a k L k ε t = m + 0 a k L k ε t k 0 car φ() µ = m Proposition 23 Sous les hypothèses précédentes, (X t ) t Z admet une représentation MA( ) ie : X t = m + + a k ε t k, où a 0 =, a k R, + Proposition 24 Sous les hypothèses précédentes : (i) L(X t ) = L(ε t ) (ii) ε t est l innovation de X t a k < + Rappel de notation L(X t ) = L(, X t, X t,, X t p, ) L(ε t ) = L(, ε t, ε t,, ε t p, )

27 2 PROCESSUS AUTO-RÉGRESSIFS D ORDRE P (AR(P )) 23 Démonstration (i) X t = µ + ϕ X t + + ϕ p X t p + ε t On a vu que X t = η + + a t ε t k Donc k 0, X t k L(ε t k ) L(ε t ) De la même façon, comme X t L(ε t ) = L(, ε t, ε t,, ε t k, ) L(, X t, X t,, X t k, ) L(ε t ) L(X t ) L(ε t ) L(X t ) L(ε t ) ε t = X t (µ + ϕ X t + + ϕ p X t p ) on obtient l inclusion réciproque et finalement L(X t ) = L(ε t ) (ii) L innovation de X t vaut, par définition, X t X t, or : Comme L(X t ) = L(ε t ), on a : X t = EL(X t X t ) = EL(X t, X t,, X t k, ) = EL(µ + ϕ X t + + ϕ p X t p +ε t X t ) } {{ } L(X t ) = µ + ϕ X t + + ϕ p X t p + EL(ε t X t ) EL(ε t X t ) = EL(ε t ε t ) = 0 car ε t BB Finalement X t = µ + ϕ X t + + ϕ p X t p et X t X t = ε t, ε t est bien l innovation de X t Définition 22 Soient X t AR(p) et φ un polynôme vérifiant : φ(l)x t = µ + ε t z φ(z) 0 On dit que la représentation φ(l)x t = µ + ε t est la représentation canonique de (X t ) t Z Cas où φ admet des racines de module inférieur à Remarque 22 () Si (X t ) t Z est supposé stationnaire alors φ n a pas de racines de module égal à (2) On sait que φ(l) est inversible, φ(l) = Z a kl k Mais on n a plus l égalité L(X t ) = L(ε t ) L écriture φ(l)x t = µ + ε t ne met pas en évidence l innovation de X t On cherche une autre représentation de (X t )

28 24 CHAPITRE 2 PROCESSUS ARM A ET ARIM A On peut écrire On définit φ(l) = p ( λ j L) = j= φ (z) = j/ λ j < j/ λ j < ( λ j z) ( λ j L) j/ λ j > j/ λ j > ( z ) λ j ( λ j L) de telle sorte que φ a toutes ses racines de module strictement supérieur à On définit ensuite le processus (η t ) t Z tel que η t = φ (L)(X t m) où m = µ φ() On montre alors que η t BB(0, σ 2 η) en calculant f η (ω) : Comme φ(l)x t = ε t, on a aussi : f η (ω) = f X (ω) φ (e iω ) 2 Ceci nous mène à : Or f η (ω) = σ2 ε 2π = σ2 ε 2π = σ2 ε 2π f ε (ω) = f X (ω) φ(e iω ) 2 = σ2 ε 2π φ(e iω ) 2 φ (e iω ) 2 [ ] [ j/ λj < λ je iω 2 ] 2 j/ λ j > eiω λ j [ ] [ ] j/ λj < λ je iω 2 j/ λj > λ je iω 2 j, λ j > λ j e iω 2 λ j 2 λ j e iω 2 j/ λ j > λ j e iω 2 λ j e iω 2 = En effet : Si λ j R, λ j e iω 2 = λ j e iω 2 = λ j e iω 2 λ j e iω 2 λ j e iω 2 Si λ j R\C, λ j e iω 2 λ j e iω =, λ 2 j étant aussi une racine de φ puisque celui-ci est à coefficients réels On a donc f η (ω) = α σ2 ε 2π = σ2 η 2π avec α = λ j 2 < et finalement η t BB(0, σ 2 ) car sa transformée de Fourier est une constante j, λ j > Bilan La représentation φ (L)X t = φ ()m + η t = µ + η t est la représentation canonique de (X t ) t Z car φ a toutes ses racines de module strictement supérieur à et η t est l innovation de X t

29 2 PROCESSUS AUTO-RÉGRESSIFS D ORDRE P (AR(P )) Propriétés des processus AR(p) On suppose que φ(l)x t = µ + ε t où les racines de φ sont de module strictement supérieur à, ε t suit un bruit blanc On peut se ramener ensuite à µ = 0 par centrage car φ(l)(x t m) = ε t où m = µ/φ() On considère donc le cas où φ(l)x t = ε t (et EX t = 0) Auto-covariance, auto-corrélations et équivalence de Yule-Walker L auto-covariance : γ(h) = Cov(X t, X t h ) = E(X t X t h ) pour h 0 (car m X = 0), et Donc X t = ϕ X t + + ϕ p X t p + ε t Xt 2 = ϕ X t X t + + ϕ p X t X t p + X t ε t γ(0) = ϕ γ() + + ϕ p γ(p) + E(X t ε t ) Or E(X t ε t ) = E[(ϕ X t + + ϕ p X t p )ε t ] +E(ε 2 t ) } {{ } =0 car ε t L(X t ) D où Si h > 0, on procède de la même façon : γ(0) = ϕ γ() + + ϕ p γ(p) + σ 2 ε X t X t h = ϕ X t X t h + + ϕ p X t p X t h + ε t X t h γ(h) = ϕ γ(h ) + + ϕ p γ(h p) + E(ε t X t h ) } {{ } =0 car ε t X t h Les auto-corrélations : A partir de la relation de récurrence de γ(h) on déduit celle sur ρ(h) = γ(h) γ(0) ρ(h) = ϕ ρ(h ) + + ϕ p ρ(h p), h 0 Ces dernières équations sont appelées équations de Yule-Walker Pour h > 0, les γ(h) et les ρ(h) vérifient une relation de récurrence d ordre p et = ϕ ρ() + + ϕ p ρ(p) + σ2 ε γ(0) γ(0) = σε 2 (ϕ ρ() + + ϕ p ρ(p))

30 26 CHAPITRE 2 PROCESSUS ARM A ET ARIM A Les équations de Yule-Walker pour h =,, p peuvent s écrire : ρ() ρ(p ) ρ() ρ() ρ(p 2) ρ(p ) ϕ ϕ p = ρ() ρ(p) Les solutions de l équation de récurrence sont complètement déterminées par la donnée de conditions initiales ρ(),, ρ(p) : elles permettent d obtenir ϕ,, ϕ p En particulier elles donneront une estimation préliminaire de ˆϕ,, ˆϕ p en fonction de ˆρ T (),, ˆρ T (p) ρ() = ϕ + ϕ 2 ρ() + + ϕ p ρ(p ) ρ(p) = ϕ ρ(p ) + + ϕ p ρ() + ϕ p ϕ = ( ϕ 2 )ρ() ϕ p ρ(p ) ϕ p = ρ(p) ϕ ρ(p ) + ϕ p ρ() On peut donc aussi obtenir ρ(),, ρ(p) en fonction de ϕ,, ϕ p Proposition 25 Si X t AR(p) alors les ρ(h) et les γ(h) décroissent vers 0 exponentiellement avec h Démonstration h > 0, ρ(h) ϕ ρ(h ) ϕ p ρ(h p) = 0 Le polynôme caractéristique de cette relation de récurrence est : ( z p ϕ z p ϕ p z ϕ p = z p ϕ z ϕ p z p ϕ ) ( ) p z p = z p φ z Avec φ(l)x t = ε t et φ(l) = ϕ L ϕ p L p Les racines du polynôme caractéristique sont les λ i = z i (les z i étant les racines de φ) avec λ i < La forme générale de la solution est, si z,, z n sont des racines distinctes de φ de multiplicité respective m,, m n : n m i ρ(h) = α ik λ k i h k i= λ i < donc ρ(h) décroît vers 0 exponentiellement avec h 23 Auto-corrélations partielle et inverse d un processus AR(p) Proposition 26 Si (X t ) t Z AR(p) et si φ(l)x t = µ + ε t est sa représentation canonique, alors : { 0 si h > p r(h) = 0 sinon

31 2 PROCESSUS AUTO-RÉGRESSIFS D ORDRE P (AR(P )) 27 Démonstration r(h) est le coefficient de X t h dans EL(X t X t,, X t h ) et X t = µ + ϕ X t + + ϕ p X t p +ε t } {{ } L(,X t,,x t p ) L(,X t,,x t h ) EL(X t X t,, X t h ) = µ + ϕ X t + + ϕ p X t p + EL(ε t X t,, X t h ) Si h > p, le coefficient de X t h est 0 Si h = p, le coefficient de X t p est ϕ p 0 = µ + ϕ X t + + ϕ p X t p + 0 Proposition 27 Si (X t ) t Z AR(p), alors : { 0 si h > p γ(h) = 0 si h = p { 0 si h > p ρ(h) = 0 si h = p Démonstration ρ i (h) = γ i(h) γ i (0) où : γ i (h) = π π f X (ω) eiωh dω φ(l)x t = ε t (en remplaçant éventuellement X t par X t m) : Et par conséquent : avec ψ 0 = et ψ k = ϕ k, k > 0, f X (ω) φ(e iω ) 2 = f ε (ω) = σ2 ε 2π f X (ω) = σ2 ε 2π φ(e iω ) 2 f X (ω) = 2π φ(e iω ) 2 σ 2 ε φ(z) = ϕ z ϕ p z p = f X (ω) = 2π σ 2 ε = 2π σ 2 ε ( p ( p ψ k e iωk) ψ k ψ l e iω(k l) 0 k,l p p ψ k z k ψ k e iωk ) Ainsi γ i (h) = 2π σ 2 ε 0 k,l p π ψ k ψ l e iω(k l+h) dω π } {{ } =0 sauf si k l+h=0

32 28 CHAPITRE 2 PROCESSUS ARM A ET ARIM A Or k l p; p donc si h > p, γ i (h) = 0 En revanche si h = p : π π eiω(k l+h) dω p = l k { l = p k = 0 Donc γ i (p) = 4π2 σ 2 ε ψ 0 ψ p = 4π2 σε 2 ϕ p 0 22 Processus moyenne mobile d ordre q (M A(q)) 22 Définition et représentation canonique Définition 22 (X t ) t Z MA(q) s il existe ε t BB(0, σ 2 ) et θ,, θ q tels que X t = m + ε t θ ε t θ q ε t q Proposition 22 EX t = m Remarque 22 () (X t ) t Z est nécessairement stationnaire (2) On note X t = m + θ(l)ε t où θ(l) = θ L θ q L q (3) Comme X t m = θ(l)ε t, on peut centrer X t, EX t = 0 Ecriture AR( ) quand les racines de θ sont de module > Sous ces hypothèses θ(l) est inversible et θ(l) = Il s en suit que Soit encore + a k L k avec a 0 = et a k < + X t m = θ(l)ε t θ(l) (X t m) = ε t θ(l) X t m θ() = ε t + a k X t k µ = ε t où µ = D où la représentation canonique AR( ) X t = + k= a k X t k + Proposition 222 Sous les hypothèses précédentes (i) L(X t ) = L(ε t ) (ii) ε t est l innovation de X t m θ() m θ() + ε t

33 22 PROCESSUS MOYENNE MOBILE D ORDRE Q (M A(Q)) 29 Démonstration (i) Comme X t = m + ε t θ ε t θ q ε t q X t L(, ε t,, ε t q ) L(ε t ) Ceci nous amène à (cf cas AR page 23 pour plus de détails) : L(X t ) L(ε t ) + ε t = a k X t k µ L(ε t ) L(X t ) L(X t) = L(ε t ) (ii) X t = EL(X t X t ) = EL(m + ε t θ ε t θ q ε t q X t ) = EL(m + ε t θ ε t θ q ε t q ε t ) = m + 0 θ ε t θ q ε t q = X t ε t Donc X t X t = ε t, X t est bien l innovation de X t Cas où des racines de θ sont de module < On suppose qu on s est ramené à X t = θ(l)ε t par centrage : X t = ( λ i L) ( λ i L) ε t i/ λ i < Comme précédemment, on définit : θ (L) = ( λ i L) i/ λ i < On définit aussi (η t ) par X t = θ (L)η t, d où i/ λ i > η t = θ (L) X t i/ λ i > ( λ i L) On montre que f η (ω) = cte (η t ) BB On a donc X t = θ (L)η t toutes les racines de θ sont de module > η t BB C est la représentation canonique de (X t ) et (η t ) est le processus des innovations Cas où certaines racines de θ sont de module égal à On montre que (X t ) est stationnaire Par exemple X t = ( L)ε t On ne peut plus écrire θ(l) inversible avec θ(l) = 0 a kl k (ε t ) reste le processus des innovations de (X t ) mais la démonstration est difficile

34 30 CHAPITRE 2 PROCESSUS ARM A ET ARIM A 222 Propriétés des processus M A(q) On suppose que la représentation étudiée est la représentation canonique X t = m + θ(l)ε t toutes les racines de θ sont de module > θ(l) = θ L θ q L q ε t BB Proposition 223 (Auto-covariance) Sous les hypothèses précédentes 0 si h > q θ γ(h) = q σε 2 0 si h = q σε 2 ( θh + q i=h+ θ ) iθ i h si h < q σε 2 ( + q ) i= θ2 i si h = 0 On en déduit ρ(h) = 0 si h > q et ρ(q) 0 Démonstration Si h = 0 X t = ε t θ ε t θ q ε t q après centrage Car Cov(ε t j, ε t k ) = 0 si j k Si h > q Si h = q Si h < q γ(h) = Cov(X t, X t h ) γ(0) = VarX t = σ 2 ε( + θ θ 2 q) 0 = Cov[(ε t θ ε t θ q ε t q ), (ε t h θ ε t h θ q ε t h q )] } {{ } } {{ } ε t j, j 0,q ε t k, k h,q+h t j t k γ(h) = 0 γ(q) = Cov[(ε t θ ε t θ q ε t q ), (ε t q θ ε t q θ q ε t 2q )] = θ q σ 2 ε γ(h) = Cov[(ε t θ ε t θ q ε t q ), (ε t h θ ε t h θ q ε t h q )] q q = θ i Cov[ε t i, ε t h θ k ε t h k ] car Cov(ε t, ε t i ) = 0 i > 0 i= = θ h σ 2 ε + = θ h σ 2 ε + q q i= k= ( q i=h+ k= θ i θ k Cov(ε t i, ε t h k ) } {{ } =0 si i h+k θ i θ i h ) σ 2 ε Remarque 222 On n a pas de résultat particulier pour les auto-corrélations partielles Proposition 224 ρ i (h) décroît exponentiellement avec h

35 23 PROCESSUS ARM A(P, Q) 3 Démonstration ρ i (h) = γi (h) γ i (0) avec, γi (h) = π π f X (ω) eiωh dω et X t = θ(l)ε t f X (ω) = σ2 ε 2π θ(eiω ) 2 f X (ω) = 2π σ 2 ε θ(e iω ) 2 Soit (Y t ) t Z un processus tel que θ(l)y t = η t et Y t AR(q) : Donc On a ainsi : f Y (ω) = f X (ω) σ 2 η 2π = f Y (ω) θ(e iω ) 2 f Y (ω) = σ2 η 2π θ(e iω ) 2 2π σ 2 ε = σ2 η 2π σ2 η = 4π2 σ 2 ε Tableau récapitulatif des différentes situations Les auto-corrélations inverses d un processus M A(q) ont les mêmes propriétés que les auto-corrélations d un AR(q) : AR(p) MA(q) ρ(h) décroît exponentiellement vers 0 avec h 0 si h > q et non nul si h = q r(h) 0 si h > p et non nul si h = p - ρ i (h) 0 si h > p et non nul si h = p décroît exponentiellement vers 0 avec h 23 Processus ARM A(p, q) 23 Définition et représentation canonique minimale Définition 23 Un processus stationnaire (X t ) t Z admet une représentation ARMA(p, q) canonique minimale s il vérifie une équation : où (i) ε t BB(0, σ 2 ) φ(l)x t = µ + θ(l)ε t (ii) φ(l) = ϕ L ϕ p L p, avec ϕ p 0 (iii) θ(l) = θ L θ q L q, avec θ q 0 (iv) φ et θ ont toutes leurs racines de module strictement supérieur à (représentation canonique) (v) φ et θ n ont pas de racines communes (représentation minimale) Remarque 23 () Il existe des solutions non stationnaires : soit (X t ) un processus stationnaire et (Y t ) déterministe tel que φ(l)y = 0 On définit Z t = X t + Y t qui vérifie l équation (2) Retour sur la représentation canonique :

36 32 CHAPITRE 2 PROCESSUS ARM A ET ARIM A Si (X t ) est stationnaire, alors les racines de φ sont de module distinct de On pourrait considérer le cas où θ a des racines de module (c est compatible avec la stationnarité) Si on suppose que φ et θ ont des racines de module distinct de, on peut toujours se ramener à la représentation φ (L)X t = µ + θ (L)η t où φ et θ ont des racines de module > Si φ et θ ont des racines de module strictement supérieur à mais admettent une racine commune, alors φ(l) = ( λl)ϕ 0 (L) et θ(l) = ( λl)θ 0 (L) D où ϕ 0 (L)X t = µ λ + θ 0(L)ε t X t ARMA(p, q ) Proposition 23 (i) EX t = µ φ() = m (ii) φ(l)(x t m) = θ(l)ε t Remarque 232 Par centrage on peut donc se ramener au cas où µ = 0 Démonstration (i) On a (ii) E(X t ϕ X t ϕ p X t p ) = E(µ + ε t θ ε t θ q ε t q ) Et comme (X t ) est supposé stationnaire Donc φ(l)(x t m) = θ(l)ε t m( ϕ ϕ p ) = µ + 0 m = µ φ() φ(l)x t = φ()m + θ(l)ε t = φ(l)m + θ(l)ε t Proposition 232 Sous les hypothèses précédentes, (i) (X t ) admet une représentation AR( ), + a kx t k = µ+ε t où a 0 = et k a k < + (ii) (X t ) admet une représentation MA( ), X t = m+ + b kε t k où b 0 = et k b k < + (iii) L(X t ) = L(ε t ) (iv) ε t est l innovation de X t Démonstration (i) On sait que φ(l)(x t m) = θ(l)ε t, celà nous permet d écrire Et ce avec A()m = φ() θ() = µ θ() θ(l) φ(l) (X } {{ } t m) = ε t A(L) A(L)X t A()m = ε t

37 23 PROCESSUS ARM A(P, Q) 33 (ii) De la même façon φ(l)x t = µ + θ(l)ε t amène X t = µ φ() + φ(l) θ(l) } {{ } B(L)= P b k L k ε t (iii) Etant donné que (X t ) est de la forme AR( ), on a : t, ε t L(X t ) L(ε t ) L(X t ) L(ε t ) L(X t ) Par un raisonnement identique et tenant compte du fait que (X t ) est également de la forme MA( ) on obtient : L(X t ) L(ε t ) Les deux résultats nous permettent alors de dire que : (iv) Calculons l innovation de X t : L(X t ) = L(ε t ) X t X t = X t EL(X t X t ) = X t EL( = X t + = ε t + =0 + =0 a k X t k + µ + ε t X t ) a k X t k µ EL(ε t ε t ) } {{ } =0 Remarque 233 AR(p) ARMA(p, 0) MA(q) ARMA(0, q) ARMA(p, q) AR( )#AR(P ) si P grand MA( )#MA(Q) si Q grand Souvent l un des paramètres (p ou q) est petit alors que l autre est grand Avec l approximation précédente on a alors moins de paramètres à estimer En vertu du théorème de Wold, X t = m+b(l)ε t, où (ε t ) est le processus des innovations, si de plus X t ARMA(p, q) alors B(L) = θ(l) φ(l) 232 Propriétés des processus ARM A(p, q) On considère un processus ARMA(p, q) tel que : φ(l)x t = θ(l)ε t, éventuellement après centrage, φ(l) = ϕ L ϕ p L p, θ(l) = θ L θ q L q C est la représentation canonique minimale Proposition 233 (Auto-covariance et auto-corrélation) les ρ(h) vérifient les équations de récurrence d ordre p : γ(h) ϕ γ(h ) ϕ p γ(h p) = 0 ρ(h) ϕ ρ(h ) ϕ p ρ(h p) = 0 (i) Pour h > q, les γ(h) et (ii) Elles décroissent donc vers 0 exponentiellement avec h, pour h > q

38 34 CHAPITRE 2 PROCESSUS ARM A ET ARIM A Démonstration (i) X t = ϕ X t + + ϕ p X t p θ ε t θ q ε t q et par conséquent : γ(h) = E(X t X t h ) = ϕ E(X t X t h ) + + ϕ p E(X t p X t h ) θ E(ε t X t h ) θ } {{ } q E(ε t q X t h ) } {{ } =0 =0 = ϕ γ(h ) + + ϕ p γ(h p) Il s en suit que : ρ(h) = ϕ ρ(h ) + + ϕ p ρ(h p) (ii) Les γ(h) et ( les ) ρ(h) vérifient une équation de récurrence dont le polynôme caractéristique est z p+ φ z Les conditions initiales sont γ(q), γ(q ),, γ(q p + ) et ρ(q), ρ(q ),, ρ(q p + ) Equations de Yule-Walker L équation précédente pour k = q +,, q + p donne : ρ(q) ρ(q + p ) ϕ ρ(p + ) = ρ(q + p ) ρ(q) ϕ p ρ(p + q) Quand ρ est connu ou estimé, on peut alors calculer les φ j Ou inversement, quand les ϕ j sont connus, on calcule ρ(q + ),, ρ(q + p) qui seront les conditions initiales pour le calcul de ρ(h) tel h > q 24 Processus ARIM A(p, d, q) Ces processus sont non stationnaires dès que d Les séries économiques sont souvent non stationnaires, tel le PIB Exemple 24 On considère un processus (X t ) t Z correspondant à une marche aléatoire c està-dire t 0, X t = X t + ε t tel que ε t BB(0, σ 2 ) et t > 0, Cov(ε t, X 0 ) = 0 Alors t t X t = X 0 + ε k = X 0 + On ne peut pas itérer le procédé car = X + + j=0 k= j=0 t ε k = X + ε t j t j=0 ε t j ε t j n est pas défini On ne peut pas supposer le processus démarre à La condition initiale est Cov(X 0, ɛ k ) = 0 pour k > 0 On peut alors penser à considérer : ( L)X t = X t X t = X t = ε t

39 24 PROCESSUS ARIM A(P, D, Q) 35 Idée générale : X t ARIMA(p, d, q) si et seulement si ( L) d X t est stationnaire alors que ( L) d X t ne l est pas (dans le cas de la marche aléatoire, d = ) Définition 24 (Représentation canonique minimale) (X t ) t pd est un processus ARIMA(p, d, q) en représentation canonique minimale s il vérifie une équation du type : t 0, ( L) d φ(l)x t = µ + θ(l)ε t Et ceci avec : (i) ε t BB(0, σ 2 ) (ii) φ(l) = ϕ L ϕ p L p où ϕ p 0 θ(l) = θ L θ q L q où θ q 0 (iii) φ et θ ont leurs racines de module > et n ont pas de racines communes (iv) conditions initiales Z = (X,, X p d, ε,, ε q ) telles que Cov(ε t, Z) = 0 Exemple 242 Soit le processus défini par ( L)X t = ε t On a donc d o φ = d o θ = 0 Si Z = X, Cov(Z t, ε t ) = 0 t 0 Remarque 24 Comme ( L) d φ(l)x t = φ(l)( L) d X t, on pose Y t = ( L) d X t (Y t ) suit alors le processus : φ(l)y t = µ + θ(l)ε t Proposition 24 Sous les hypothèses précédentes, ( L) d X t = Y t est alors asymptotiquement équivalent à un processus ARM A(p, q) Démonstration Ce qui signifie qu il existe un processus stationnaire (Z t ) t Z tel que : φ(l)z t = µ + θ(l)ε t lim Y t Z t 2 = 0 t + Notations Si d = 0, X t ARMA(p, q) qui est un processus stationnaire On note X t I(0) Si d =, (X t ) est un processus intégré d ordre On note X t I() Si d = 2, (X t ) n est pas stationnaire, Y t = ( l)x t non plus, Z t = ( l)y t = ( L) 2 X t est asymptotiquement équivalent à un processus stationnaire On note X t I(2) Définition 242 Si ( L) d X t est asymptotiquement équivalent à un processus stationnaire et si ( L) d X t ne l est pas alors on dit que (X t ) est intégré d ordre d et on note X t I(d)

40 36 CHAPITRE 2 PROCESSUS ARM A ET ARIM A 24 Approximation auto-régressive d un ARIM A(p, d, q) Proposition 242 Avec les notations précédentes, A t (L), A t (L) = t j=0 at j Lj et a 0 t = µ 0 h(t) R p+d+q et lim h(t) = 0 tels que A t(l)x t = µ 0 + ε t + h(t) Z t + X t = t a t jx t j + ε t + h(t) Z Démonstration On pose ψ(l) = ( L) d φ(l), avec cette notation : j= ψ(l)x t = µ + θ(l)ε t d o ψ = p + d, d o θ = q On effectue la division selon les puissances croissantes à l ordre t de par θ(z) : = θ(z)q t (z) + z t+ R t (z) où d o Q t = t, d o R t = q Ce qui implique : Or = θ(l)q t (L) + L t+ R t (L) Ainsi En décomposant la somme t j=0 ψ(l)q t (L) X } {{ } t = Q t ()µ + Q t (L)θ(L)ε t d o =p+d+t p+d+t j=0 = Q t ()µ + ( L t+ R t (L))ε t a (t) j X t j = µ 0 + ε t R t (L)ε p+d+t a (t) j X t j = µ 0 + ε t j=t+ a (t) j q X t j r (t) k ε k On effectue le changement d indice k = t j dans p+d+t j=t+ a(t) j X t j : t j=0 a (t) j X t j = µ 0 + ε t k= p d a (t) q t k X k r (t) k ε k } {{ } h(t) Z 242 Approximation moyenne mobile d un ARIM A(p, d, q) Proposition 243 Sous les mêmes hypothèses, B t (L), B t (L) = t j=0 b(t) j Lj et b (0) t = µ h(t) R p+d+q et lim h(t) = 0 tels que X t = µ + B t (L)ε t + h(t) Z t +

41 24 PROCESSUS ARIM A(P, D, Q) 37 Corollaire t, ε t L(X 0,, X t,, Z) X t L(ε 0,, ε t,, Z) ε t = X t EL(X t X 0,, X t,, Z) est le processus des innovations Proposition 244 (Calcul de EX t ) Si l on note m t = EX t alors m t vérifie ψ(l)m t = µ On obtient ainsi : ( ) une équation de récurrence dont le polynôme caractéristique est z p+d+ ψ, z une forme générale de la solution (pour µ = 0 et µ 0) Exemple 243 (i) Marche aléatoire sans dérive : ( L)X t = ε t ( L)m t = 0 m t = cte (ii) Marche aléatoire avec dérive : ( L)X t = µ + ε t alors m t m t = µ ( L)m t = µ m t = m 0 + µ t (iii) ( L)( ϕl)x t = ε t et alors m t = α + βϕt (iv) On a vu que : X t = X 0 + t k= ε k si µ = 0 EX t = EX 0 X t = X 0 + µt + t k= ε k si µ 0 EX t = EX 0 + µt

42 38 CHAPITRE 2 PROCESSUS ARM A ET ARIM A

43 Chapitre 3 Identification et estimation d un modèle ARMA ou ARIMA Introduction On dispose d observations x,, x T de X,, X T Comment modéliser par un ARMA ou un ARIMA? On a 2 types de choix : (X t ) t Z est un processus stationnaire auquel cas il faut estimer un ARMA(p, q), ou (X t ) I(d) est donc non stationnaire mais ( L) d X t est stationnaire, dans ce cas il faut estimer un ARIMA(p, d, q) La démarche pour l identification est la suivante : (i) Choix de d, (ii) Choix de (p, q), (iii) Estimer ϕ,, ϕ p, θ,, θ q (ce qui peut se faire par le maximum de vraisemblance sous l hypothèse que les ε t N (0, σ 2 ) sont iid) et σ 2, (iv) Phase de vérification : ϕ p 0? ϕ p 0? ε t BB(0, σ 2 )? Les deux premières étapes constituent la phase d identification du processus et pour vérifier la non nullité des coefficients lors de la phase de vérification il faudra définir les tests auxquels on aura recours En ce qui concerne le choix de d on peut procéder de façon empirique (en observant les auto-corrélogrammes) ou en effectuant des tests de racine unité : { H0 : d = H : d = 0 DF (ADF), PP, SP H 0 : d = 0 H : d = KPSS 3 Première phase de l identification : choix de d 3 Approche empirique : l auto-corrélogramme On a vu que : si X t ARMA(p, q), les ρ(h) décroissent exponentiellement vers 0 avec h (pour h > q), 39

44 40CHAPITRE 3 IDENTIFICATION ET ESTIMATION D UN MODÈLE ARMA OU ARIMA si (X t ) est stationnaire ˆρ T (h) P ρ(h), sous des hypothèses suffisantes (E ( ε 4 ) t = cte) : ( ) ˆρT () ρ() L T N (0, ), ˆρ T (h) ρ(h) h Remarque 3 Si (X t ) admet une racine unité, la proposition ρ(h) décroît exponentiellement vers 0 avec h n est plus vraie : c est la persistance des chocs Exemple 3 On considère un processus (X t ) tel que X t X t = ε t où ε t BB(0, σ 2 ) et Cov(ε t, X 0 ) = 0 si t 0 t X t = X 0 + k= ε k t+h X t+h = X 0 + k= ρ(h) = Cov(X t, X t+h ) V(Xt )V(X t+h ) ( Cov X 0 + t k= ε k, X 0 + ) t+h j= ε j = (VX0 + tσ 2 ) /2 (VX 0 + (t + h)σ 2 ) ε k = VX 0 + tσ 2 (VX0 + tσ 2 )(VX 0 + (t + h)σ 2 ) Pour t grand et h t, tσ 2 ρ(h)# σ 2 t(t + h) = # h + h 2t t La décroissance est lente et linéaire en h D où une règle pratique : si les ˆρ T (h) restent proches de ou décroissent linéairement avec h alors le processus est sans doute non stationnaire Remarque 32 () Si l auto-corrélogramme fait penser que (X t ) est non stationnaire, alors on étudie l auto-corrélogramme de Y t = ( L)X t (2) On étudie l auto-corrélogramme inverse pour étudier une sur-différentiation éventuelle (3) Rappel : si φ(l)x t = θ(l)ε t et θ(l)z t = φ(l)η t, alors Si (X t ) est stationnaire, alors φ() 0 ρ i X(h) = ρ Z (h) φ(l)( L)X t = θ(l)( L)ε t ρ i X(h) = ρ W (h) avec (W t ) d équation θ(l)( L)W t = φ(l)η t Si on a sur-différentiation les ρ i X (h)ne décroissent pas vers 0 exponentiellement avec h

45 3 PREMIÈRE PHASE DE L IDENTIFICATION : CHOIX DE D 4 32 Approche par les tests de racine unité On présente ci-dessous les principaux tests de racine unité dans la littérature Dans les trois premiers paragraphes (tests de Dickey-Fuller, Phillips-Perron, Schmidt-Phillips) ; l hypothèse nulle est l hypothèse de non-stationnarité dans la série étudiée ; dans le dernier paragraphe, (tests KPPS), l hypothèse nulle est celle de stationnarité La présentation qui est donnée ici des tests de Dickey-Fuller et de Phillips-Perron s inspire largement de celle de JD Hamilton, Time Series Analysis, Princeton University Press, 994 Il faut d emblée signaler que les tests présentés ici sont peu puissants Par ailleurs, les tests de Dickey-Fuller sont présentés en détail à cause de la place qu ils tiennent dans la littérature, mais leur mise en œuvre pratique s avère souvent problématique : nécessité de procéder à des tests emboîtés d une part, cadre mal adapté aux séries présentant une tendance d autre part Dans ce dernier cas notamment, on leur préfère le test de Schmidt-Phillips Les tests de Dickey-Fuller Dans tous les modèles présentés ci-dessous, (η t ) désigne un bruit blanc et ρ un réel tel que ρ Le cadre général des tests DF et ADF Ces tests peuvent être regroupés en quatre cas : Pour les tests DF y t = ρy t + η, avec H 0 : ρ =, marche aléatoire sans dérive ; 2 y t = α + ρy t + η, avec H 0 : α = 0, ρ =, marche aléatoire sans dérive ; 3 y t = α + ρy t + η, avec H 0 : α 0, ρ =, marche aléatoire avec dérive ; 4 y t = α + βt + ρy t + η, avec H 0 : α = 0, β = 0, ρ =, marche aléatoire sans dérive, ou H 0 : β = 0, ρ =, marche aléatoire avec dérive Pour les tests ADF Soit Φ(L) polynôme de degré p 2, dont les racines sont supposées de module supérieur à, et ayant au plus une racine égale à : p Φ(L) = ( λ i L) i= avec éventuellement! i 0 / λ i0 = et i i 0, λ i < D où la réécriture des cas : Φ(L)y t = η, H 0 : Φ() = 0 ; 2 Φ(L)y t = α + η, H 0 : Φ() = 0, α = 0 ; 3 Φ(L)y t = α + η, H 0 : Φ() = 0, α 0 ; 4 Φ(L)y t = α + βt + η, H 0 : Φ() = 0, α = 0, β = 0, ou H 0 : Φ() = 0, β = 0 L écriture des quatre modèles ci-dessus peut être transformée en utilisant la démarche suivante : On décompose Φ(L) = φ L φ p L p sous la forme p Φ(L) = Φ() + ( L)Φ (L) = Φ() ( L) α i L i i=0