CENTRE INTERUNIVERSITAIRE QUÉBÉCOIS DE STATISTIQUES SOCIALES Institut national de la recherche scientifique Université du Québec à Montréal

Transcription

1 CENTRE INTERUNIVERSITAIRE QUÉBÉCOIS DE STATISTIQUES SOCIALES Institut national de la recherche scientifique Université du Québec à Montréal Atelier Introduction à Stata par Nicholas Labelle Benoît-Paul Hébert Benoît Laplante Juin 2007

2 Table des matières 1. Introduction Initiation à Stata Comprendre l environnement de Stata Préparation de Stata à une séance de travail Ouvrir une base de données Les fichiers lus par Stata La syntaxe de base d une instruction Un exemple : l instruction summarize Poser des conditions à une instruction Pondération Les programmes (do-files) Commentaires Conservation des données en mémoire Création d un fichier de sortie (log file) Utiliser le dictionnaire des variables Explorer les données Voir les données Décrire les données Manipulation des données I Création et transformation d une variable Noms et descripteurs Création de variables dichotomiques Tableaux de fréquence, mesures d association et visualisation de données Les tableaux de fréquence Corrélations et autres mesures d association Visualisation de données Combiner des bases de données Concaténation de bases de données Fusion de bases de données Manipulation des données II Sélectionner des variables ou des observations Relier des observations Répéter des instructions Remodeler une base de données Lire des bases de données brutes Les fichiers dont les valeurs sont délimitées par des tabulations ou des virgules Les fichiers dont les valeurs sont délimitées par des espaces Les fichiers en format fixe Un exemple en format fixe à partir d un fichier SPSS Annexe 1 Exemple d un fichier fixe à partir d un fichier SPSS Annexe 2 Exemple de fusion d un fichier BIBLIOGRAPHIE OUVRAGES D INTRODUCTION À STATA... 46

3 1. Introduction Ce guide vise à aider les participants à l atelier Introduction à Stata à examiner, préparer et manipuler d importantes bases de données à l aide du logiciel Stata. Ce document servira de support aux 4 séances d atelier ayant lieu les vendredi 11 et 18 janvier 2008, de 9h30 à 12h30 et de 14h à 17h. L évolution du contenu suit rigoureusement le document en anglais Introduction to Stata préparé par Benoît-Paul Hébert (CIED / CÉETUM / CIQSS 1 ) pour un atelier du même genre à l été StataCorp a mis la première version de Stata sur le marché en janvier Ce programme demeure depuis un puissant outil d analyse. Sa capacité de gestion de gros fichiers de données, son niveau d automatisation de même que sa fonction d aide très évoluée constituent trois de ses principaux avantages. Il existe une infinité de sites et de documents traitant de Stata. Je vous en conseille deux plus particulièrement - Stata Tutorial de l Université Princeton ( - Le Guide d économétrie appliquée pour Stata par Estelle Ouellet, août 2005 ( Enfin, les fonctions Help\Search et Help\Stata Command sont indispensables pour les utilisateurs avancés. La fonction d aide sera traitée plus loin. 1 1 CIED, Centre interuniversitaire d études démographiques; CEETUM, Centre d études ethniques des universités montréalaises. L école d été du CIQSS succède à une école d été mise sur pied à l origine par des professeurs de l INRS associés au CIED et un professeur du département de sociologie de l Université de Montréal associé au CEETUM.

4 2 2. Initiation à Stata 2.1 Comprendre l environnement de Stata 9 L environnement de Stata est constitué de fenêtres qui possèdent chacune leur propre fonction. 1. La fenêtre Results (Ctrl+1) affiche les calculs de Stata, le plus souvent sous forme de tableaux ou de messages d erreur. 2. La fenêtre Viewer (Ctrl+3) sert principalement à visionner les fichiers d aide et les fichiers.log. Les fichiers.log servent à conserver les résultats qui s affichent dans la fenêtre Results. Vous apprendrez plus tard à les générer. 3. La fenêtre Command (Ctrl+4) n est qu une ligne pour inscrire les instructions. Les touches Page Sup et Page Inf permettent d afficher les lignes d instructions soumises depuis le début de la session de travail. 4. La fenêtre Review (Ctrl+5) conserve les lignes d instructions soumises depuis le début de la session et permet les répéter sans avoir à les écrire de nouveau. 5. La fenêtre Variables (Ctrl+6) affiche l ensemble des variables contenues dans le fichier.dta qui se trouve en mémoire. Cliquer sur une variable la fait s afficher automatiquement dans la fenêtre Command. 6. La fenêtre Data Editor (Ctrl+7) affiche la matrice des données qui se trouve en mémoire, où toutes les variables placées horizontalement et toutes les observations le long de l axe vertical. Elle permet de visualiser les données, de les modifier et aussi de les copier dans un chiffrier comme Excel, avec Ctrl+C et Ctrl+V, pour faire des tableaux plus facilement. Le Data Browser ne permet pas de modifier les données, mais seulement de les visionner. 7. La fenêtre Do-file Editor (Ctrl+8) fait apparaître une page servant à créer et modifier un do-file, c est-à-dire un fichier regroupant des instructions qui peuvent être exécutées en différé automatiquement. Vous apprendrez sous peu à écrire de tels fichiers. 8. La fenêtre Graph affiche les graphiques générés par Stata. Les fenêtres Command et Results sont toujours à l écran alors que les autres peuvent être ouvertes ou fermées au besoin.

5 2.2 Préparation de Stata à une séance de travail Au démarrage de Stata, deux fenêtres s affichent : Stata Results et Stata Command. Au début de chaque séance, Stata fixe la taille de la mémoire qu il utilise; par défaut, cette taille est de kilooctets, ce qui est très peu. Au début de chaque séance, il faut déclarer la taille de la mémoire que l on veut permettre à Stata d utiliser. Ceci se fait au moyen de l instruction set mem : set mem 3000 Ici, on fixe la mémoire à k, ce qui est toujours peu. Pour fixer la mémoire à 300 mégaoctets, par exemple, on écrit : set mem 300m Au début de chaque programme, il faut également songer à vider la mémoire si le programme prévoit la lecture de nouvelles données. Cette opération doit être faite avant de fixer la taille de la mémoire. Au début d un programme, on trouve donc couramment deux instructions comme celles qui suivent : clear set mem 300m 2.3 Ouvrir une base de données Pour ouvrir une base de données Stata (généralement, un fichier dont l extension est.dta), il suffit : - de sélectionner File/Open (ou Ctrl+O); - d ouvrir le dossier où se trouve le fichier Stata, soit sur un disque compact, un réseau ou sur le disque dur; - d aller cliquer sur le fichier pertinent, ici 2001famille24.dta Vous devriez voir apparaître dans la fenêtre Results quelque chose comme: use "C:\data\2001famille24.dta", clear Autrement dit, c est la ligne de instruction Stata qu il faudrait écrire manuellement pour accomplir cette action. use "[path\]filename, [clear] Par exemple, use "C:\Program Files\Stata9\auto.dta", clear. Le chemin doit être fourni seulement si la base de données n est pas dans le répertoire de travail. Pour changer le répertoire de travail, il suffit d inscrire cd "path\". Par exemple, cd c:\data. L option clear nettoie la mémoire avant d ouvrir le fichier et l extension.dta est par défaut. 2.4 Les fichiers lus par Stata Un point et une extension de généralement 3 lettres indiquant au système d exploitation quel type de programme ouvrir pour la lecture suivent toujours le nom d un fichier. 3

6 Par exemple,.doc désigne un fichier Word et.xls, un fichier Excel. Pour Stata, on compte diverses extensions :.ado Un programme écrit dans le langage de programmation de Stata. On peut programmer une nouvelle instruction en utilisant ce langage et conserver le programme dans un fichier portant cette extension. La plupart des instructions de Stata sont en fait des programmes conservés dans des fichiers qui portent l extension.ado.do Un fichier.do contient des lignes d instructions les unes à la suite des autres qu on peut ensuite exécuter à l aide d un seul clic..dta Le format des bases de données..gph Un fichier sauvegardant un graphique de Stata.log Un fichier.log sert à conserver ce qui défile dans la fenêtre Results..smcl Un fichier Stata Markup and Control Language paraît mieux graphiquement lorsqu il est lu par le Stata Viewer. Les fichiers.ado et.smcl sont des fichiers de texte; ils peuvent être lus, et même édités, avec un éditeur de texte comme l éditeur de Stata ou ConTEXT. On déconseille habituellement de les modifier avec un traitement de texte comme Word. 2.5 La syntaxe de base d une instruction command [varlist] [if exp] [in range] [wghtype=wghtvar] [, options] Nous donnerons des exemples plus tard, mais nous pouvons pour l instant éclaircir quelques points. - Les éléments entre crochets sont optionnels; - command est le nom ou l abréviation de l instruction. Par exemple, nous verrons plus tard l instruction summarize; - varlist est une liste de variables séparées par une espace; - if exp sert à inscrire une liste de conditions où exp indique les conditions logiques à satisfaire. Par exemple, if var1<=10000; - in range sert à retenir des observations consécutives. Par exemple, in 1/10 ne retient que les 10 premières observations; - wghtype=wghtvar permet d exécuter un calcul en tenant compte d un coefficient de pondération. Dans la plupart des cas, on doit utiliser une variable qui contient le coefficient de pondération de chaque individu d un échantillon pour obtenir des résultats qui soient généralisables à la population dont est tiré l échantillon. Voir la section options est toujours précédé d une virgule et modifie les paramètres d une instruction. On retrouve ses paramètres en inscrivant dans la fenêtre de Command help command. Par exemple, help summarize. 4

7 2.6 Un exemple : l instruction summarize La fonction summarize permet d obtenir de l information sur des variables continues. summarize [varlist] [weight] [if exp] [in range] [, [detail meanonly] format] Ici, les lettres «s» et «u» sont soulignées. Tant que l instruction contient ces deux lettres, Stata la comprendra. Ainsi, summar équivaut à sum qui équivaut à su. Par exemple, on pourrait analyser le revenu total de la famille de recensement (TOTALC): sum TOTALC Variable Obs Mean Std. Dev. Min Max TOTALC On peut aussi inscrire une suite de variables: sum TOTALC WAGESC SELFIC CHDBNC Variable Obs Mean Std. Dev. Min Max TOTALC WAGESC SELFIC ou même mettre des conditions: sum TOTALC if CFSTRUC==1 & NUCHILD>=2 & TOTALC< Variable Obs Mean Std. Dev. Min Max TOTALC Poser des conditions à une instruction Le mot if suivit d opérateurs logiques tient ce rôle. Par exemple, observez la différence entre les trois instructions sum : sum TOTALC Variable Obs Mean Std. Dev. Min Max TOTALC sum TOTALC if TOTALC< Variable Obs Mean Std. Dev. Min Max TOTALC sum TOTALC if TOTALC< Variable Obs Mean Std. Dev. Min Max TOTALC

8 L opérateur logique «et» ( & ) sert entre autres à établir des bornes. Par exemple : sum TOTALC if CFSIZE>=3 & CFSIZE<=5 6 Variable Obs Mean Std. Dev. Min Max TOTALC On pourrait aussi connaître la moyenne d âge des hommes entre 18 et 64 ans inclusivement en faisant : sum TOTALC if CFSIZE>=3 & CFSIZE<=5 & TENUREC==1 Variable Obs Mean Std. Dev. Min Max TOTALC Ce tableau fournit quelques opérateurs logiques utiles (Ouellet et al., 2005, p ) : soustraction - addition + division / multiplication * non ( ) puissance ^ ou et & renvoie l argument possédant la valeur la moins élevée min(x 1 x a ) renvoie l argument possédant la valeur la plus élevée max(x 1 x a ) différent ~= égal == racine carrée de x sqrt(x) e x exp(x) plus petit < plus grand > logarithme naturel de x log(x) Σ x sum(x) plus petit ou égal <= plus grand ou égal >= Par exemple (Hébert, 2003, p. 19), a < b a > b a >= b a <= b a == b a ~= b a!= b a est inférieur à b a est supérieur à b a est supérieur ou égal à b a est inférieur ou égal à b a est égal à b a n est pas égal à b a n est pas égal à b Stata respecte la théorie de la programmation qui distingue l opération qui consiste à affecter une valeur à une variable qu il représente par le symbole «=» et l opération qui consiste à comparer les valeurs de deux variables qu il représente par «==», c.-à-d. deux fois le symbole de l égalité.

9 On peut aussi utiliser les opérateurs logiques «et» ( & ) et «ou» ( ) (Hébert, 2003, p. 19). 7 if a >=b & c <= d if a!=. (c == d & e > f) Si a est supérieur ou égal à b et si c est inférieur ou égal à b Si a n est pas égal au point (qui représente une valeur manquante) ou [si c est égal à d et en plus e est strictement supérieur à f ] Pour avoir l âge moyen de chaque province, il faudrait exécuter l instruction summarize pour chacune d entre elle. Stata offre un certain nombre d instructions spéciales, les préfixes, qui modifient l action d autres instructions. Deux de ces préfixes permettent d exécuter une instruction en fonction des valeurs d une autre variable. by varlist [, sort] : command bysort varlist : command Par exemple, pour avoir l âge moyen pour chacune des provinces, il faudrait écrire : bysort pvreg25 : sum ecage26 if ecage26< > pvreg25 = 10 Variable Obs Mean Std. Dev. Min Max ecage > pvreg25 = 11 Variable Obs Mean Std. Dev. Min Max ecage > pvreg25 = 12 Variable Obs Mean Std. Dev. Min Max ecage [ETC ] Les instructions sort et gsort classent les observations en ordre croissant selon les valeurs d une ou plusieurs variables. L instruction gsort permet de les classer en ordre décroissant si le signe précède la variable de l instruction gsort. sort varlist gsort [-] varname1 [[-] varname] Le point (. ), qui représente les valeurs manquantes numériques, est placé en dernier dans les variables numériques; la chaîne vide, qui représente la valeur manquante alphanumérique, est placée en premier pour les variables alphanumériques aussi nommées chaînes de caractères (string variable).

10 2.8 Pondération L Ontario est plus peuplée que l Île-du-Prince-Édouard. Par ailleurs, la précision d un estimé, par exemple l erreur-type d une moyenne, varie en raison inverse du carré du nombre des unités à partir de laquelle on calcule cet estimé. Il s ensuit qu augmenter un peu la taille d un petit échantillon augmente beaucoup la précision des estimés qu il sert à calculer alors qu augmenter, même de beaucoup, la taille d un échantillon déjà grand n augmente que peu la précision des estimés qu il sert à calculer. Pour cette raison, lorsqu on réalise un sondage au Canada, il est habituel de construire l échantillon en attribuant proportionnellement moins de répondants aux provinces les plus peuplées et proportionnellement plus de répondants aux provinces les moins peuplées. Ceci permet de calculer des estimés qui ont une précision raisonnable même pour l Île-du-Prince-Édouard sans que cette forme de péréquation ne diminue beaucoup la précision des estimés calculés pour l Ontario. Cela dit, pour calculer les estimés eux-mêmes c.-à-d. la moyenne elle-même plutôt que son erreur-type, et surtout à l échelle du Canada tout entier, il faut que les informations recueillies auprès des individus comptent en fonction de leur importance dans la population et non pas en fonction de leur importance dans l échantillon. On résout ce problème en associant à chaque individu une valeur, que l on nomme son «poids» ou son «coefficient de pondération», qui représente l importance de cet individu dans la population et dont on se sert pour calculer les estimés. Stata permet d utiliser différents type de poids, dont certains correspondent à des types de données qu on rencontre peu dans la recherche en sciences sociales. La forme de poids la plus courante en sciences sociales est le poids d échantillonnage, que nous venons de décrire. Stata connaît ces poids sous le nom de «probability weights»; on les désigne au moyen de l option pweights ou de son abréviation pw, qui sont toujours placées entre crochets. Les enquêtes de Statistique Canada utilisent toutes des plans de sondage complexes qui exigent que l on utilise des poids pour obtenir des estimés qui décrivent correctement la population. L usage de tels plans de sondage exige également que l on utilise une approche spéciale pour calculer les erreurs-types des estimés. Stata permet d utiliser différentes approches pour calculer des erreurs-types correctes lorsqu on utilise des données obtenues au moyen d un plan de sondage complexe. Règle générale, ceci se fait en décrivant les caractéristiques du plan de sondage au moyen de l instruction svyset puis en plaçant le préfixe svy devant les instructions de Stata qui permettent de calculer des estimés simples, comme des moyennes et des proportions, ou plus avancées, comme des coefficients de régression. L usage des poids et des approches qui permettent de calculer correctement les erreurstypes dépasse le cadre de cet atelier qui est une introduction au logiciel et non un cours de statistique ou de méthodes quantitatives. Pour cette raison, il est important de comprendre que les instructions que l on voit dans cet atelier permettent d examiner les données, de les transformer et de les préparer pour des analyses, mais ne permettent pas de réaliser des calculs dont les résultats soient généralisables à la population. 8

11 2.9 Les programmes (do-files) Sous Stata, on peut travailler de manière interactive (interactive mode) ou différée (batch mode). On travaille de manière interactive lorsqu on écrit les instructions une à une dans la fenêtre Command. On travaille de manière interactive pour examiner ou explorer les données, vérifier qu une transformation donne bien le résultat que l on veut qu elle donne et, plus généralement, lorsque les opérations que l on effectue ne sont pas définitives. Lorsqu on effectue des opérations qui doivent mener à des transformations importantes des données ou produire des résultats destinés à la publication, il est impératif d écrire l ensemble des instructions nécessaires pour obtenir le résultat voulu dans un fichier qui peut être exécuté en entier en une seule fois et de manière autonome. Cette manière de précéder est la seule qui permette à l usager et à autrui (ses pairs, son directeur de recherche, son patron, le personnel qui peut être appelé à le dépanner) de s assurer de la cohérence des opérations, de conserver une trace exacte des opérations qui ont mené à un résultat donné, de produire ce résultat si besoin est et d apporter les corrections nécessaires sans avoir à tout réinventer lorsqu on découvre une erreur. Sous Stata, les fichiers qui contiennent des suites d instructions doivent porter l extension.do pour que le logiciel les reconnaisse comme tels. L usage fait que l on nomme dofiles les fichiers d instructions destinés à être exécutés en différé par Stata. On peut écrire ces fichiers d instructions avec un éditeur de texte, comme l éditeur ConTEXT qui est installé à l antenne UQAM/INRS du CIQSS, ou avec l éditeur de texte de Stata, qui se nomme Do-file editor. Il est fortement déconseillé d écrire un fichier de ce genre avec un traitement de texte. On ouvre l éditeur de programme de Stata en cliquant sur le bouton New Do-file Editor. 9 On écrit le programme en inscrivant les instructions les unes au-dessous des autres, et en terminant chacune en appuyant sur touche la Entrée. Pour que Stata exécute les instructions, cliquez sur l icône Do current file. On peut aussi utiliser l instruction do "[path\]filename.do" [, nostop].

12 On peut aussi inscrire doedit pour ouvrir l éditeur de do-file dans la fenêtre Command. L option nostop laisse Stata continuer même si une erreur se produit. Par exemple, inscrivez et exécutez par la suite : clear set mem 300m use "2001famille24.dta", clear Pour sauvegarder ou ouvrir un do-file, il faut simplement passer par la fenêtre Do-file Editor et sélectionner File/Save (Ctrl+S) ou File/Open (Ctrl+O) selon le cas. L extension du fichier sera.do. Astuce : Lorsque vous aurez un do-file volumineux, si vous sélectionnez une partie du texte dans la fenêtre Do-file Editor et cliquez sur Do current file, Stata n exécutera que les instructions surlignées. 10 Conseil : Dès que la tâche dépasse quelques lignes, il devient préférable d utiliser un éditeur de programmes comme ConTEXT plutôt que l éditeur de Stata. Les éditeurs de programmes permettent généralement d afficher les différentes parties des instructions dans des couleurs différentes selon la nature de l instruction et de chacune de ces parties. Ceci permet de repérer rapidement les parenthèses et les guillemets oubliés ou en trop, ce que l éditeur de Stata ne permet pas et les traitements de texte non plus. Les éditeurs de programmes possèdent également des fonctions utiles, comme la sélection de blocs de largeur arbitraire, ce que ne permet pas l éditeur de Stata et encore moins les traitements de texte. Astuce : #delimit { ; cr } En inscrivant «#delimit ;», toutes les instructions doivent se terminer par «;». Cette instruction est utile pour les longues listes d instructions (voir l annexe 1 pour un exemple). Pour revenir au mode normal, il suffit de taper «delimit cr» Commentaires Une fois un programme écrit, on oublie rapidement les raisons qui ont motivé le choix et l ordre des instructions qui le constituent. Pour cette raison, et aussi pour permettre aux personnes avec lesquelles on est susceptible de partager les programmes que l on écrit directeur de recherche, collègues d une équipe de recherche il est nécessaire d expliquer le but et le fonctionnement et commenter les instructions ou blocs d instructions qui le constituent. Stata offre deux manières d ajouter des commentaires à un programme. La première consiste à placer un astérisque (*) au début de la ligne indique au logiciel qu il ne doit pas s occuper de ce qui est écrit sur cette ligne. Cette manière permet, par exemple, de placer un titre court au début de chaque section du programme ou une explication courte avant ou après une instruction.

13 L autre manière consiste à marquer le début du commentaire par une barre oblique suivie d un astérisque (/*) et de marquer la foin du commentaire par un astérisque suivi d une barre oblique (*/). Cette manière permet d inscrire un commentaire très court au milieu ou à la fin d une ligne d instruction. Elle permet également d ajouter des commentaires plus longs qui occupent plusieurs lignes : tout ce qui est compris entre la marque du début et la marque de la fin du commentaire est ignoré par le logiciel, qui se contente de le recopier dans la fenêtre Results et dans le fichier.log. * Ceci est un commentaire. Stata le recopie sans l interpréter. tab var1, missing nolabel /* Ceci est aussi un commentaire. */ /* Ceci est également un commentaire, volontairement écrit sur plus d une ligne. */ 2.11 Conservation des données en mémoire Il arrive parfois que l on veuille transformer les données en mémoire de manière temporaire. Les instructions preserve et restore permettent de faire ceci de manière très simple, sans avoir à sauvegarder les données en mémoire dans un fichier. Taper preserve ordonne à Stata de copier les données en mémoire, dans l état où elles sont à ce moment, dans un espace réservé du disque dur. Taper restore efface les données en mémoire et les remplace par les données conservées sur le disque dur par la plus récente instruction preserve Création d un fichier de sortie (log file) log using [path\]filename[.log] [, append replace] Contrairement au fichier.do, où l on ne conserve que les instructions, le fichier.log permet de conserver tout ce qui défile dans la fenêtre Results, c.-à-d. les instructions et les résultats. L instruction log using demande au logiciel de conserver dans un fichier tout ce qui défile dans la fenêtre Results. On peut utiliser cette instruction à partir de la fenêtre Command; dans ce cas, on conservera dans un fichier tout ce qui s affichera par la suite dans la fenêtre Results. Il est plus courant d utiliser l instruction log using dans un programme, et donc dans un fichier.do. Elle permet alors de conserver tout ce que le programme fait défiler dans la fenêtre Results. Règle générale, on place l instruction log using au tout début du programme. Dans un programme, on utilse généralement cette instruction sous la forme suivante : log using [nom du fichier choisi].log, replace Utiliser l extension.log indique que l on veut conserver les résultats sous forme de texte simple plutôt qu avec une mise en forme décrite le langage SMCL de Stata. Les fichiers écrits en SMVL ne peuvent être lus qu avec le Viewer de Stata, ce qui les rend généralement peu utiles. L option replace indique que l on veut remplacer le fichier du même nom s il existe déjà. On peut souhaiter ajouter du contenu au fichier.log qui existe déjà plutôt que de le remplacer; on utilise alors l option append. clear set mem

14 use "\\\Rafii\usagers\PROF\ECO5072\edtrperson2002.dta", clear log using atelierstata.log, replace (On inscrit ici les diverses instructions.) log close log close ferme le fichier log. log off le suspend pour l ouvrir plus tard. log on le réactive. Entre guillemets, on peut mettre le nom du fichier.log s il est dans le répertoire de travail ou alors il faut mettre le chemin au long. Ce chemin apparaît dans la fenêtre Results quand on ouvre une base de données avec File/Open. Pour ouvrir le fichier.log, dans Stata, il faut passer par File/Log/View. La sélection à l aide de la souris se fait par l option Browse ou on peut aussi écrire directement le nom du fichier.log, dans ce cas-ci, atelierstata.log. La fenêtre Viewer s ouvrira alors. Pour l amener dans les contrôles, l option copier (Ctrl+C) coller (Ctrl+V) dans un fichier MS Word demeure la façon la plus facile. Par contre, pour bien respecter la mise en page, il faut choisir la police Courrier New avec une taille maximum de 9. Si le nom du fichier.log existe déjà, la fonction append rajoutera les résultats et les instructions à la suite. Par ailleurs, l option replace réécrit par-dessus le fichier du même nom. Pour n obtenir que les lignes d instructions sans les résultats, il suffit de rajouter cmd avant l instruction log. cmdlog using [path\]filename [, append replace] cmdlog close cmdlog off cmdlog on 2.13 Utiliser le dictionnaire des variables Pour savoir quelles variables sont disponibles et leur signification dans une base de données, un dictionnaire des variables est indispensable. Pour les données du Recensement de 2001 (fichier de microdonnées à grande diffusion sur les familles du recensement de 2001), Statistique Canada fournit toutes les informations nécessaires par thèmes. Au-dessus de chaque page, vous verrez à quel fichier (personnes, de familles économiques, de familles de recensement ou clé) appartiennent les variables. La fonction sum TOTALC montre que le maximum est Dans le dictionnaire, on indique que le signifie Non applicable. Ainsi, cette donnée non valide biaise la moyenne. Pour calculer la vraie moyenne de TOTALC, il faudra donc poser des conditions 12

15 Astuce : Pour chercher une variable en particulier ou un mot dans un fichier Adobe Reader (*.pdf), utilisez l instruction Rechercher (Ctrl+F). Par exemple, faites Ctrl+F et tapez jobdur1 et vous arriverez directement à la description de cette variable. 13 Astuce : Si vous voulez obtenir la liste des variables rapidement et dans un format compact, faites l instruction ds. 3. Explorer les données 3.1 Voir les données browse [varlist] [if exp] [in range] Cette instruction ouvre la matrice en mode visionnement seulement. En tapant browse, on voit toute la base de données. edit [varlist] [if exp] [in range] Cette instruction effectue la même chose que browse à la différence qu elle permet de modifier les données comme dans un chiffrier. Ctrl+7 est une touche raccourcie. save [ [path\]filename ] [, replace] save sauvegarde la base de données présentement utilisée par Stata. save myfile sauvegarderait myfile.dta dans le répertoire de travail de Stata. Si ce fichier existait déjà, il faudrait utiliser l option replace : save myfile, replace. 3.2 Décrire les données describe [varlist] [, short detail fullnames numbers] Ou, si la base de données n est pas téléchargée, on pourrait inscrire : describe using [path\]filename Par exemple, avec la base de données edtr2002 personnes.dta, on aurait, mais avec une liste de variables beaucoup plus longues que celle-ci: clear set mem 300m use "2001famille24.dta" describe Contains data from 2001famille24_pat.dta obs: 871 Fichier de microdonnées du recensement de Extrait du fichier des familles vars: 42 3 Jan :55 size: 79,261 (99.9% of memory free) storage display value variable name type format label variable label

16 PROVF byte %57.0g PROVF PROVINCE OU TERRITOIRE CMAF int %40.0g CMAF RÉGION MÉTROPOLITAINE DE RECENSEMENT (RMR) NSTIENC byte %37.0g NSTIENC NOMBRE DE SOUTIENS DANS LE MÉNAGE ROOMC byte %18.0g ROOMC NOMBRE DE PIÈCES RPAIRC byte %31.0g RPAIRC ÉTAT DU LOGEMENT VALUEC long %10.0g VALUEC VALEUR DU LOGEMENT TENUREC byte %54.0g TENUREC MODE D OCCUPATION [ETC ] L instruction list présente simplement la liste des valeurs des variables demandées. list [varlist] [if exp] [in range] [, [no]display noheader nolabel noobs doublespace] Toutes les variables seront présentées si aucune n est spécifiée. Il faudrait mettre des conditions clear set mem 300m use "2001famille24.dta" list TOTALC-SELFIC in 1/20 if TENUREC== TOTALC WAGESC SELFIC L instruction list ec* in 1/20 if ecsex99==1 présentera les valeurs des observations 1 à 20 dont le la famille est propriétaire et dont la liste des variables commence par TOTALC et termine par SELFIC. L instruction inspect donne une bonne idée d une variable numérique : inspect [varlist] [if exp] [in range] clear set mem 300m use "2001famille24.dta" 14 inspect ROOMC ROOMC: NOMBRE DE PIÈCES Number of Observations Non- Total Integers Integers

17 # Negative # Zero # Positive # # # # # # Total # # # # Missing (10 unique values) 15 ROOMC is labeled and all values are documented in the label. L instruction codebook peut être utilisée aussi bien avec des variables numériques que des variables alphanumériques (string variables). codebook [varlist] [, all header notes mv tabulate(#)] codebook CFTYPE TOTALC CFTYPE GENRE DE FAMILLE DE RECENSEMENT type: numeric (byte) label: CFTYPE range: [1,9] units: 1 unique values: 4 missing.: 0/871 tabulation: Freq. Numeric Label Famille de soutien principal 2 2 Autre famille avec soutien 12 3 Famille sans soutien Sans objet TOTALC REVENU TOTAL DE LA FAMILLE DE RECENSEMENT type: numeric (long) label: TOTALC, but 826 nonmissing values are not labeled range: [0, ] units: 1 unique values: 827 missing.: 0/871 examples: Manipulation des données I 4.1 Création et transformation d une variable Pour créer de nouvelles variables, on utilise l instruction generate. generate [type] newvar = exp1 [if exp2] [in range]

18 L option type sert à préciser le type de variables: byte, int, long, float, double ou str#. Stata choisit automatiquement en l absence d une spécification. exp1 comprend l opération qui génèrera la nouvelle variable. exp2 comprend les conditions sous lesquelles la nouvelle variable est générée. Par exemple, pour vérifier un effet non linéaire sur l âge, il faudrait d abord créer la variable de l âge au carré : g age2= ecage26^2 En allant voir dans le Data Browser ou en faisant browse, complètement à gauche, la variable age2 sera visible. Ou encore, pour utiliser le logarithme du salaire, on écrirait : g lnsalaire = ln(earng42) 16 Astuce : Pour s assurer que la bonne variable a bel et bien été créée, vous pouvez la vérifier grâce à l instruction keep [noms des variables]. Cette instruction éliminera toutes les variables de la base de données sauf celles inscrites à la suite de keep. Ensuite, vous n avez qu à vérifier dans le Data Editor que les bonnes opérations ont été effectuées. Mais attention, il faut avoir enregistré les instructions du projet dans un fichier do pour pouvoir recréer la base de données utilisée. Autrement, par la suite, on peut faire dans Stata soit File/Save As ou Ctrl+S pour enregistrer un fichier *.dta qui constituera une base de données personnalisée. Cependant, pour éviter les erreurs, il est préférable de travailler à partir de la base de données originale sans jamais la modifier. En cas de catastrophe, on revient à la base de données originale. Astuce : Pour s y retrouver dans le Data Editor, l instruction aorder place toutes les variables en ordre alphabétique. Voici des exemples d opérations algébriques effectuées dans Stata (Hébert, 2003, p. 16) : c = a+b c = a-b c = a*b c= a/b c= b^c (pour b c ) c = log(b) c = sqrt(a) (pour a ) c = exp(b) (pour e b ) Voici d autres exemples (Hébert, 2003, p. 16) : generate sumx1x2 = x1+ x2

19 generate sqrtx3 = sqrt(x3) if x3>=0 generate abs_x4= abs(x4) generate trunc_x5 = int(5) generate rnd_x6 = round(x6,.01) generate str1 gender = string(sex) generate byte ngender = real(gender) generate startdate = mdy(mthvar,dayvar,yearvar) generate p = uniform() generate z = invnorm (p) 17 Valeur absolue de x4 Nombre entier obtenu en tronquant x5 Valeur de x6 à deux décimales Création d une variable alphanumérique d un caractère à partir de la variable numérique sex Création d une variable numérique à partir de la variable alphanumérique gender Création d une variable date en format Stata à partir de trois variables numériques soit le mois, le jour et l année. Création de la variable p qui est tirée aléatoirement et comprise entre 0 et 1. Affecte à la variable z, la valeur de la variable aléatoire qui correspond à la valeur p de la fonction de répartition de la loi normale. Par définition, la fonction de répartition d une loi statistique varie de 0 à 1. Ici, si p varie uniformément entre 0 et 1 (ce qui est le cas du p de l exemple précédent), z suit une loi normale centrée réduite. On utilise couramment cette procédure pour générer une variable artificielle qui suit une loi normale. On utilise help function pour obtenir la liste de toutes les fonctions disponibles. L instruction egen offre également une série de possibilités qui permettent de créer rapidement des variables qui demanderaient autrement plusieurs lignes d instructions. egen [type] newvar = function(arguments) [if exp] [in range] [, options] Certaines fonctions génèrent la même constante pour toutes les observations (Hébert, 2003, p. 17). egen min_x1 = min(x1) Prend la valeur minimum de x1 egen max_x1 = max(x1) Prend la valeur maximale de x1 egen sum_x1 = (x1) Somme de toutes les valeurs de x1 egen med_x1 = median(x1) Valeur médiane de x1 egen avg_x1 = mean(x1) Moyenne de x1 egen sd_x1 = sd(x1) Écart-type de x1. Certaines fonctions génèrent une valeur différente pour chaque observation ou ligne. egen z_x1 = std(x1) Valeur standardisée de x1 (soustraire la moyenne et diviser par

20 18 egen rank_x1 = rank(x1) l écart-type). Rang de l observation egen min_x = rmin(x1 x2 x3) Valeur minimale entre (x1, x2, x3) egen max_x = rmax(x1 x2 x3) Valeur maximale entre (x1, x2, x3) gen et egen ne peuvent que créer de nouvelles variables. Pour changer une variable existante, on doit utiliser l instruction replace. replace oldvarname = exp1 [if exp2] [in range] L instruction suivante permet de changer la valeur d une variable par une autre valeur : replace [variable concernée]=[nouvelle valeur] if (conditions) Pour remplacer la valeur 97 de la variable pvreg25 par un point, il suffirait d entrer : replace pvreg25=. if pvreg25==97 Conseil : Lorsque Stata rencontre un point (.) comme valeur, il considère la donnée comme manquante et ne la traite tout simplement pas. Par contre, dans une condition, toute valeur numérique est inférieure au point. Par exemple, replace adult=1 if age>18 remplacerait le point par 1 parce que Stata considère le point supérieur à 18. Il faudrait plutôt inscrire replace adult=1 if age>18 & age<. tab CFSTRUC STRUCTURE DE LA FAMILLE DE RECENSEMENT Freq. Percent Cum Famille comptant un couple marié: Avec Famille comptant un couple marié: Sans Famille comptant un couple en union lib Famille comptant un couple en union lib Famille monoparentale: Père seul Famille monoparentale: Mère seule Sans objet Total replace CFSTRUC=. if CFSTRUC==9 (313 real changes made, 313 to missing). tab CFSTRUC STRUCTURE DE LA FAMILLE DE RECENSEMENT Freq. Percent Cum Famille comptant un couple marié: Avec Famille comptant un couple marié: Sans Famille comptant un couple en union lib Famille comptant un couple en union lib Famille monoparentale: Père seul Famille monoparentale: Mère seule Total Le fait d avoir remplacé la valeur 9 signifiant ne sait pas par un point a diminué le nombre de données totales de 313, soit exactement la quantité de 9 préalable ( =313).