Package facts. Franck Arnaud 27 novembre 2007

Transcription

1 Package facts Franck Arnaud 27 novembre 2007 Le pakage facts a été développé dans deux directions : factoriser les fonctions d usage récurrent, favoriser la mise à disposition de fonctions utiles : c est principalement le chaînage des comptes trimestriels qui a initié cette approche Précisons bien entendu que le package facts n engage en rien ni son auteur, ni une quelconque puissance publique. Ce document s appuie sur la version du package. Si vous avez des commentaires/questions/remarques/demandes d informations/contributions/signalements de bugs/whatever, n hésitez pas à m écrire à franck.arnaud@ensae.org. À l heure actuelle, je ne fournis pas d information du type : depuis la version précédente, telle fonction a été modifiée, tel bug a été corrigé. C est mal, je devrais. Après une première partie de présentation générale des fonctionnalités, je reviens sur chacune des trois grandes familles de fonctionnalités : les fonctions relatives à l analyse conjoncturelle, dans un sens très large, les fonctions graphiques, les petites fonctions pratiques. Table des matières 1 Présentation très générale 2 2 Analyse conjoncturelle Évolutions, glissements annuels Décomposition de variance Chaînage Marché des changes Autres points divers Fonctions graphiques Diagnostic de séries temporelles Scatterplot Graphex Barplot avec time series Comparaison Intervalle de confiance bivarié Quelques petites choses 16 1

2 1 Présentation très générale De façon générale, on trouve maintenant dans facts : Beaucoup de fonctions graphiques : un dessin valant mieux qu un long discours,... Ces fonctions sont essentiellement centrées autour des séries temporelles, tout en restant basiques. Des outils plus élaborés sont fournis dans d autres packages, le package facts doit rester basique. Des fonctions spécifiques à l analyse conjoncturelle Des données : uniquement quelques séries des comptes trimestriels français et 196 séries américaines. De petites fonctions pratiques Fonctions graphiques Notamment pour les séries temporelles : comparaison : pour comparer deux séries, par exemple pour étudier les révisions, scat et scat0 : scatterplot avancés, plot.ci2 : intervalles de confiance bivariés, plot.state.processes : pour représenter un processus quantitatif avec un processus d état, saplot1, saplot2 et saplot3 1 pour étudier les profils saisonniers. barplot.ts et barplot2.ts sont des fonctions très pratiques pour afficher des barplot de time series graphex produit plusieurs graphiques, avec notamment des partages volume-prix et des indications sur la position d une évolution dans sa distribution empirique. diagnos pour faire du diagnostic de séries temporelles ; Fonctions relatives à l analyse conjoncturelle Statistiques usuelles : évolutions, glissements annuels, contribution Des fonctions spécialisées dans le traitement des prix chaînés : le calcul de contrichutions : contribgen les additions en prix chaînés : pluch les relations entre modes de valorisation : PCt < VO < PCh De nombreuses petites fonctions pas inutiles ipf fait du calage sur marges, Gini affiche des courbes de Lorentz et les indices de Gini associés 1 Dès qu AA me l aura donnée... 2

3 2 Analyse conjoncturelle 2.1 Évolutions, glissements annuels La fonction ev fournit des taux d évolution, ga des glissements annuels. Elles agissent sur des vecteurs, des ts ou des mts. Exemples d utilisation : data(cnt) ev(td.pib7_ch) ga(td.pib7_ch) ev(cbind(td.p3m_d7_ch,td.p31g_d7_ch)) La fonction aev autorise le calcul de taux d évolution en rythme annuel : c est ainsi que sont publiées les statistiques américaines. Rappelons que le taux d évolution en rythme annuel de X t est donné par la formule : ( 1 + X ) 4 t X t X t X t 1 X t 1 X t 1 où le terme de droite est une approximation. Notons que l écart entre la réalité et son approximation peut dépasser le dixième de point, en particulier dès que le taux de croissance est important. Le code suivant produit le graphique : data(gdp) approx<-ev(gdpc96)*4 vrai<-aev(gdpc96) par(las=1,mar=c(2,3,2,3)) barplot.ts(bar=10*(vrai-approx),lignes=cbind(e1,e2), colbar="purple",colli=c("blue","red"),lwd=2, main="approximation sur le PIB US", FUNavant="ombrage(1950:2010);abline(h=0)",start=1970) legend("topleft",inset=5,bg="white", legend=c("approx","exact"), col=c("blue","red"),lwd=2) legend("bottomright",inset=5,bg="white", legend="ecart",fil="purple") axis(side=4,at=axticks(side=2),labels=axticks(side=2)/10) Dernière remarque : si quelqu un sait comment le BEA calcule ses contributions, ça m intéresse. Celles-ci s additionnent en effet pour donner le taux d évolution, mais comment peuvent-elles s additionner pour redonner le taux d évolution en rythme annualisé? C est impossible à moins de prendre le quadruple de la contribution et de créer un résidu, voire de le répartir entre les différents postes. Bizarre Décomposition de variance Dans un agrégat, les composantes importantes ne sont pas nécessairement celles dont le poids est important : on préfère en effet identifier les composantes qui contribuent fortement aux variations de l agrégat. Cette fonction implémente la décomposition suivante, où X = Xi : V(X) = i cov(x,x i ) = i 3 corr(x,x i ) Xi X

4 2.3 Chaînage Il n est pas question ici de refaire un cours sur les prix chaînés. On va néanmoins faire un rapide rappel, avant de présenter quelques séries, et les fonctions pour chaîner, additionner correctement, et faire des calculs licites de contributions Rappels sur les prix chaînés Quelques mesures de volume les volumes aux prix constants d une année de base, dits PCt, les volumes aux prix de l année précédente (non chaînés), dits VO, les volumes aux prix de l année précédente chaînés (notés PCt) : en réalité, il n existe pas un unique concept mais une multiplicité 2 de méthodes différentes de chaînage. Eurostat en recommande deux : le chaînage Annual Overlap est relativementaisé à mettre en oeuvre, garantit automatiquement le calage sur les comptes annuels, mais peut potentiellement causer des sauts importants aux T1. En pratique, ce n est pas le cas. le chaînage Quarterly Overlap pallie le potentiel problème précédent, au prix de l abandon du calage, ce qui nécessite une gestion spécifique du calage. Comme de fait le problème potentiel de la méthode Annual Overlap ne se présente pas, elle a été retenue et est très rapidement présentée dans la suite Le chaînage Annual Overlap des PCt aux VO : aux niveaux élémentaires uniquement : X VO at = X PCt at X VA a 1 X PCt a 1 Ensuite, on recalcule toutes les opérations agrégées ; par exemple, on définit la valeur ajoutée de chaque branche comme étant la différence entre la production de la branche et les consommations intermédiaires de cette branche. Il est capital de comprendre que le chaînage direct de la valeur ajoutée produirait un résultat différent. Rappelons aussi que les volumes aux prix de l année précédente non chaînés n ont absolument aucun intérêt en eux-mêmes pour l analyse trimestrielle : les profils sont totalement non pertinents, car toutes les séries connaissent un taux de croissance très élevé au T1, dû au changement du système de prix. des VO aux PCh : cette seconde étape du chaînage est réalisée à tous les niveaux : En pratique Des fonctions pour chaîner X PCh at = X VO at X PCh a 1 X VA a 1 Rappelons que tous les changements de concepts de valorisation sont conditionnels à la connaissance des séries en valeur : sans elles, calculer des prix est impossible. 2 En trimestriel tout du moins, car en annuel il n en existe qu une. 4

5 PCt et VO Le package facts implémente la méthode annual overlap. Voici un exemple d utilisation : data(cnt) pib7<-pctva2vo(pct=td.pib1,va=td.pib3) La fonction vopct2va fait l inverse. Notons qu en théorie il faut chaîner avec les poids bruts, en remplissant les arguments pct.brut et va.brut VO et PCh data(cnt) pib7<-pctva2vo(pct=td.pib1,va=td.pib3) pib7_ch<-vova2pch(vo=pib7,va=td.pib3) comparaison(pib7_ch,td.pib7_ch) Bien entendu, le comparaison indique que les deux séries ne sont pas identiques : la première étape du chaînage du PIB (des PCt aux VO) a été faite n importe comment, ici Addition en prix chaînés Contrichutions Après un rappel des formules de contrichutions, on présente quelques exemples avec la fonction contrichutions qui les implémente La théorie Si la formule annuelle est très simple : contrib PCh a (Y,X) = evol a (Y PCh ) Y a 1 VA il n en va pas de même pour la formule infra-annuelle : contrib at (Y PCh,X PCh ) ( B +contrib contrib PCh at (Y PCh,X PCh Y ) a 1 at (Y,X) = ( ) Ba 1 X Y PCh (B a 1,S + Y PCh Y a 1 a 1 Xa 1,S PCh Xa 1 PCh Ba 1 X Tous les détails figurent dans la note Contrichutions. X VA a 1 ) 1 BY a 2 B X a 2 ) si t = 1 (1) (2) Exemples d utilisation Contrichution des dépenses de consommation des ménages au PIB data(cnt) contrichutions("td.p3m_d7_ch","td.pib7_ch") 5

6 Qtr1 Qtr2 Qtr3 Qtr Il est tout à fait normal que les contrichutions débutent en 1979T2 (cf la formule). Les arguments de contrichutions prennent la forme de deux chaînes de caractères, car en réalité la fonction va chercher les séries en valeur sous-jacentes, en remplaçant le 7 ch par un Contrichution du solde extérieur au PIB cp6<-contrichutions("td.p6_d7_ch","td.pib7_ch") cp7<-contrichutions("td.p7_d7_ch","td.pib7_ch") print(round(cp6-cp7,1)) Qtr1 Qtr2 Qtr3 Qtr Contrichutions au glissement annuel Il suffit de spécifier l option type="ga" : cga.p6<-contrichutions("td.p6_d7_ch","td.pib7_ch",type="ga") cga.p7<-contrichutions("td.p7_d7_ch","td.pib7_ch",type="ga") cat("contrichution du solde extérieur au glissement annuel du PIB:\n") print(round(cga.p6-cga.p7,1)) Qtr1 Qtr2 Qtr3 Qtr Contrichutions annuelles La formule de calcul des contrichutions annuelles est bien plus facile qu en trimestriel. On la met en oeuvre avec l option type="an" : round(contrichutions("td.p3m_d7_ch","td.pib7_ch",type="an"),1) Time Series: Start = 1979 End = 2007 Frequency = 1 [1] [16]

7 Notons que, par défaut, l acquis de la contrichution est donné : ici Par acquis de contrichution on entend bien sûr la contrichution de la série élémentaire à la série agrégée, avec un traitement similaire à l acquis (pour des détails, se reporter à la note contrichutions). Pour ne pas avoir cet acquis, il faut préciser type="an2". 2.4 Marché des changes Le site de la Federal Reserve de Saint-Louis (Fred) propose les cours d une trentaine de devises dont la fonction fredimport du package fimport facilite la récupération dans R. Voici comment récupérer le taux de change euro/dollar : library(fimport) USvsEUR0<-fredImport("DEXUSEU", file = "tempfile", + source = " + frequency = "daily", save = FALSE, sep = ";", try = TRUE) On récupère un data.frame, qu il faut transformer en série temporelle : comme les observations sont irrégulièrement espacées dans le temps. On utilise pour cela la classe zoo. Concrètement, on récupère les dates et on convertit l objet, avec : date<-as.date(as.vector(usvseur0@data[,1]),format="%y-%m-%d") USvsEUR<-zoo(as.vector(USvsEUR0@data[,2]),date) On peut alors ploter le cours : plot(usvseur,col=2,lwd=2) Pour le représenter à partir de début 2007 (i.e faire l équivalent d un window), on commence par créer la date du 1er janvier 2007 avec as.date(" ",format="%d-%m-%y"). Et on tronque avec window : ccc<-window(usvseur,start=as.date(" ",format="%d-%m-%y")) plot(ccc,lwd=2,col="blue") abline(h=seq(1.2,1.5,by=5),lty="59",col=grey(0.5)) mois<-as.date(paste("01-",1:12,"-2007",sep=""),format="%d-%m-%y") abline(v=as.integer(mois),lty="59",col=grey(0.5)) On obtient avec ce code la figure 1. Après, tout est possible. Le programme suivant (dont le produit fait l objet de la figure 2) calcule l appréciation du dollar sur 4 semaines glissantes : fin<-time(usvseur) debut<-fin-28 indices<-debut %in% fin apres<-usvseur[indices] avant<-usvseur[debut[indices] avant0<-as.vector(avant) 7

8 ccc janv. mars mai juil. sept. nov. Index Fig. 1 Taux de change euro/dollar en 2007 apres0<-as.vector(apres) apprec.1m<-100*(apres0/avant0-1) apprec.1m<-zoo(apprec.1m,fin[indices]) serie<-window(apprec.1m,start=as.date(" ",format="%d-%m-%y")) par(mar=c(2,2.5,2,1),las=1) plot(serie,ylab="",main="appréciation sur 28 jours",col="blue",lwd=2,xaxs="i") trim<-as.date(c(paste("01-",(1:4)*3-2,"-2006",sep=""),paste("01-",(1:4)*3-2," format="%d-%m-%y") ombrage(trim) lines(serie,col="blue",lwd=2) abline(h=0) 2.5 Autres points divers La fonction writs écrit des séries temporelles dans un fichier CSV : writs(cbind(td.pib7_ch,td.p3m_d7_ch),file="out.csv") 8

9 Appréciation sur 28 jours Fig. 2 Appréciation glissante de l euro 3 Fonctions graphiques Il est important de noter que les fonctions plot, lines et points sont redéfinies pour des séries temporelles : objets de classe ts (voire mts) uniquement. 3.1 Diagnostic de séries temporelles La fonction diagnos affiche 9 graphiques de diagnostic. Commentons-les en ligne : Trajectoire On représente (t,x t ) t 1;T : Il est absolument nécessaire de regarder une série avant même de chercher à la modéliser ou à calculer des statistiques. Densité Estimation non-paramétrique par la méthode des noyaux. Permet d identifier des queues un peu épaisses, une asymétrie, plusieurs modes, etc. Q-plot Sont représentés les quantiles empiriques (avec des ronds) contre la droite de Henri : quantiles d une gaussienne. Permet de détecter des queues de distribution épaisses. Autocorélations auto-covariance : γ(h) = cov(x t,x t+h ) ne dépend que de h si X est stationnaire (faible). Auto-corrélations : ρ(h) = γ(h)/γ(0). S annulent à partir de q + 1 pour une MA(q). Densité spectrale Estimation du poids de chaque fréquence dans le total. On représente le périodogramme 3 et un bon estimateur. De façon générale, la densité spectrale est un très bon outil théorique et un très mauvais outil pratique 4 Test du portmanteau Les autocorrélations (jusqu à un certain ordre) peuvent-elles être considérées comme nulles. Sur le graphique sont représentées, pour plusieurs valeurs de l ordre p, les p-values du test. Autocorélations partielles Information complémentaire aux autocorrélations. S annulent à partir de p + 1 pour un AR(p). 3 Qui n est pas un estimateur convergent 4 Prenez un AR(1) de 1000 points (ce qui ne se rencontre jamais en pratique), représentez sa DS théorique et sa DS empirique : ça ne se ressemble pas. 9

10 Scatterplot Représentation de X t en fonction de X t 1. Permet de détecter des régimes de corrélations, des formes particulières. Voir aussi scat. Test ARCH Test d Engle (1982) d homoscédasticité. La figure 3 contient le produit du code suivant : data(gdp) usgdp<-aev(gdpc96) diagnos(usgdp,nom="pib américain") Trajectoire Corrélations Corrélations partielles Densité Densité spectrale Scatterplot QQ plot Test de Box Pierce Test ARCH Fig. 3 diagnos sur PIB US en évolution 3.2 Scatterplot La fonction diagnos produit entre autres un scatterplot (en position (3,2) dans la matrice 3 3 des graphiques. Les fonctions scat et scat0 construisent des scatterplot plus évolués. Examinons scat0, les deux lignes suivantes génèrent la figure 4 : data(cnt) scat0(ev(td.p3m_d7_ch),ev(td.pib7_ch),main="pib et consommation") Détaillons la construction de cette figure : En abscisse figure le taux d évolution des dépenses de consommation des ménages (en volumes aux prix de l année précédente chaînés), en ordonnée le taux de croissance trimestriel du PIB. Par conséquent, chaque point noir représente un couple (conso,pib) pour un trimestre donné. Comme attendu, le nuage de point est relativement allongé autour d une droite (non représentée sur le graphique). Le dernier couple de point connu est représenté par la cible verte : aux RD de 2007T2 (publiés fin septembre 2007), on avait 0.3 point pour le PIB et 0.6 point pour les dépenses de consommation des ménages. 10

11 Pour donner une idée de la relation normale entre ces deux variables, on a représenté la moyenne conditionnelle, estimée de façon non-paramétrique par la méthode de Nadaraya-Watson : comme il est bien connu que les résultats dépendent sensiblement d un paramètre de cet estimateur 5, on a préféré représenter l estimateur pour plusieurs valeurs de la taille de la fenêtre. Ce sont les courbes rouge, bleu et violet. Au T2, on constate que le PIB est en-dessous de ce que la simple consommation voudrait. Par exemple, d autres éléments tirent le PIB vers le bas (en l occurence le commerce extérieur et la FBCF). PIB et consommation Fig. 4 Scatterplot de deux variables Pour ajouter la droite de régression du PIB sur la consommation, les lignes suivantes suffisent : yy<-ev(td.pib7_ch) xx<-ev(td.p3m_d7_ch) truc<-lm(yy~xx) print(summary(truc)) abline(truc,col="orange",lwd=3,lty="59") Voici les résultats Call: lm(formula = yy ~ xx) Residuals: Min 1Q Median 3Q Max La taille de la fenêtre, the bandwidth. 11

12 Coefficients: Estimate Std. Error t value Pr( t ) (Intercept) e-12 *** xx e-13 *** --- Signif. codes: 0 '***' 01 '**' 1 '*' 5 '.' 0.1 ' ' 1 Residual standard error: on 115 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 1 and 115 DF, p-value: 1.412e-13 L élasticité du PIB à la consommation s élève donc à Les résidus de la régression ont un écart-type de 0.36, ce qui signifie que la régression n est pas extrêmement informative. La fonction scat produit le même genre de graphique mais pour une seule variable, car on y représente (X t 1,X t ) au lieu de (X t,y t ). Ce genre de graphiques est utile pour valider statistiquement, pas économiquement un diagnostic de type rebond après un bon/mauvais trimestre. 3.3 Graphex Décrivons le résultat de la figure 5, qui étudie la série de dépenses de consommation des ménages 6 : dans la grande fenêtre en haut à gauche se trouvent les contributions de cette série au PIB en valeur : c est la ligne rouge, les contributions 7 de cette série au PIB en volume aux prix de l année précédente chaînés : c est le bâton bleu, par différence, on en déduit les contributions du prix des dépenses de consommation des ménages au PIB : c est le bâton vert. les deux fenêtres en bas à gauche contiennent les taux d évolution des valeurs et des volumes, ainsi que les évolutions des prix. dans la colonne de droite, on replace le dernier taux d évolution dans la distribution empirique des taux historiques. Prenons l exemple du dernier taux d évolution connu des dépenses de consommation des ménages : 0,6%. On construit la fonction de répartition empirique des taux de croissance trimestriels : c est la courbe bleue dans le graphique du milieu de la colonne de droite. Les traits pointillés verticaux représentent les déciles, et le trait rouge la médiane. On indique le quantile empirique du dernier taux connu : le graphique nous apprend ici que le taux est exactement à la médiane des taux constatés. De la même façon, le graphique du dessous nous apprend que le prix des dépenses de consommation est relativement élevé, puisque on a constaté des prix plus hauts seulement dans 8% des cas. 3.4 Barplot avec time series Les barplot sont très utiles, la fonction barplot.ts facilite leur construction. Par exemple, voici les contrichutions au PIB (figure 6) : data(cnt) 6 Des RD de 2007T2 7 En prix chaînés 12

13 Dépenses de consommation des ménages Contribution à l évolution du PIB Evolution valeur et volume (pch) Evolution du prix Distr. ev Val Distr. ev PCh Distr. ev PriCh Fig. 5 Graphex sur dépenses de consommation des ménages cp41<-contrichution("td.p41_d7_ch","td.pib7_ch") cp4g<-contrichution("td.p4g_d7_ch","td.pib7_ch") cp4<-cp41+cp4g cp51<-contrichution("td.p51_d7_ch","td.pib7_ch") cp6<-contrichution("td.p6_d7_ch","td.pib7_ch") cp7<-contrichution("td.p7_d7_ch","td.pib7_ch") cpsolde<-cp6-cp7 cp54<-ev(td.pib7_ch)-(cp4+cp51+cpsolde) bar<-cbind(cp4,cp51,cp54,cpsolde) couleurs<-c(2,4,"purple",3) par(mar=c(1.5,3,2,1),las=1,mfrow=c(2,1)) cp41<-contrichution("td.p41_d7_ch","td.pib7_ch") cp4g<-contrichution("td.p4g_d7_ch","td.pib7_ch") cp4<-cp41+cp4g cp51<-contrichution("td.p51_d7_ch","td.pib7_ch") cp6<-contrichution("td.p6_d7_ch","td.pib7_ch") cp7<-contrichution("td.p7_d7_ch","td.pib7_ch") cpsolde<-cp6-cp7 cp54<-ev(td.pib7_ch)-(cp4+cp51+cpsolde) bar<-cbind(cp4,cp51,cp54,cpsolde) couleurs<-c(2,4,"purple",3) par(mar=c(1.5,3,2,1),las=1,mfrow=c(2,1)) # Barres juxtaposées 13

14 barplot.ts( barres=bar,lignes=ev(td.pib7_ch),type="juxt", + colbarres=couleurs,collignes=1,lwd=3, + main="contrichutions à la croissance", + start=2003, + FUNavant="ombrage(2000:2007);abline(h=0)" +) legend("bottomleft",inset=2,ncol=4,bty="n", + legend=c("p4","p51","p54","solde"), + fill=c(2,4,"purple",3)) # Barres empilées barplot.ts( barres=bar,lignes=ev(td.pib7_ch),type="stack", + colbarres=couleurs,collignes=1,lwd=3, + main="contrichutions à la croissance", + start=2000, + FUNavant="ombrage(2000:2007);abline(h=0)" +) Contrichutions à la croissance P4 P51 P54 Solde Contrichutions à la croissance Fig. 6 Contrichutions à la croissance avec barplot.ts 3.5 Comparaison La fonction comparaison facilite la comparaison de deux séries, et notamment l analyse de révisions. 14

15 3.6 Intervalle de confiance bivarié Soit ˆθ un estimateur sans biais bivarié (i.e ˆθ R 2 ), de variance Σ : ( ) σ 2 Σ = 1 ρσ 1 σ 2 ρσ 1 σ 2 σ2 2 L intervalle de confiance au niveau α de θ est donc : { } IC α = R 2 /(ˆθ θ) Σ 1 (ˆθ θ) t α où t α est donc le fractile d ordre 1 α d une loi du chi deux à 2 degrés de libertés. C est une ellipse (dans le cas σ 2 1 = σ 2 2, une ellipse dégénérée qu on appelle souvent disque). La commande exemple(plot.ci2) produit le graphique 7. 5 Intervalle de confiance 4 3 Variable Variable 1 Fig. 7 Résultat de plot.ci2 15

16 4 Quelques petites choses Courbes de Lorentz et indice de Gini Pour mesurer les inégalités. Voir aussi le package ineq 8 de A. Zeilis, qui fait probablement tout ça mieux. Calage sur marges Iterative Proportional Fitting, en bon anglais. D où le nom de la fonction ipf. 8 http ://cran.r-project.org/src/contrib/descriptions/ineq.html 16