Traitement informatique d un tableau de données statistiques. Classes de logiciels de statistique.

Transcription

1 Traitement informatique d un tableau de données statistiques. Classes de logiciels de statistique. B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 1

2 Objectifs et contenu du chapitre Objectifs Présenter les étapes d une analyse statistique d une tableau de données sur ordinateur. Présenter les différentes classes de logiciels de statistique. Contenu Etapes d une analyse statistique de données Définition et gestion informatique d un tableau de données Récommandations pour l exploration et l analyse statistique des données Gestion des résultats d une analyse statistique et préparation de rapports Présentation générale des différentes classes de logiciels Présentation rapide de logiciels SPSS, JMP, S-Plus, SAS et Excel. B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 2

3 Etapes d une analyse statistique de données Collecte des données (historiques ou expérimentales) Question Mise en forme des données et validations de base Analyse exploratoire des données Analyse statistique pour répondre à la question Exportation des résultats Conclusion - rapport B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 3

4 Présentation de l étude de cas Contexte Un groupe d agences immobilières d une ville d un état américain désire établir une relation entre le prix de vente d une maison et ses caractéristiques. Le tableau de données 119 observations (maisons) et 8 variables (5 numériques et 3 catégorielles). Les variables X1 Prix de vente de la maison (en $) X2 Surface habitable de la maison (en pieds 2 ) X3 Age de la maison en années X4 Nombre d articles présents dans une liste de 11 (raccordement TV, tél, lave-vaisselle, sèchoir ) X5 Maison standard (0) ou personnalisée (1) X6 Situation de la maison au nord-est de la ville (1=Oui ou 0=Non) X7 Situation de la maison sur un coin (Oui ou Non) X8 Taxes annuelles à payer par le propriétaire (en $) B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 4

5 Qu est ce qu un tableau de données statistiques? Les logiciels de statistique traitent en général uniquement des tableaux de données définis comme de simples tableaux rectangulaires dont les colonnes sont les variables et les lignes les observations. prix surface age fournit ne pers coin taxes NO NO NO NO NO NO NO NO NO NO NO NO NO NO NO NO NO NO YES YES NO NO NO YES NO YES 731 Eléments d un tableau Observation Variable numérique, catégorielle Variable quantitative, qualitative Valeur manquante Donnée erronée ou aberrante B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 5

6 Stockage de données statistiques sur ordinateur Dans quels types de fichiers stocker les données? Pour les petits à structure rectangulaire -> fichier texte ou Excel Pour les bases de données grandes et complexes -> bases de données comme ACCESS, Oracle, SAS (on parle de data warehousing ). Quelle stratégie utiliser pour transférer des données d un logiciel à l autre (dans le cas de petits fichiers)? Données sous forme papier ou informatique Mise en forme des données dans Excel Excel Transfert de données dans un fichier texte Fichier texte (.txt,.csv,.prn) Importation des données dans un logiciel SPSS SAS Sauvegarde dans le format du logiciel Fichier.sav Fichier.sd2 Fichier.xls S-Plus Objet S+ Où stocker les données sur l ordinateur? Comprendre l organisation de fichiers sur disque en répertoires. Se créer soit un répertoire par projet (mieux), soit un répertoire par logiciel, parfois les deux pour les gros projets. B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 6

7 Lecture et préparation de données dans Excel Fichier texte de départ Importation dans Excel Mise en forme dans Excel Exportation dans un fichier texte B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 7

8 Imporation et préparation de données dans SPSS Importation des données Mise en forme en SPSS (ajout de labels aux variables et niveaux) B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 8

9 Mise en forme des données et validations de base Rassembler les données en un fichier rectangulaire et mise en forme du fichier. Choisir une structure de fichier en accord avec l analyse qui sera faite. Unifier les noms des variables, le codage des variables catégorielles, les unités Choisir des noms explicites pour les variables (8 lettres ou chiffres sans accents) Mettre des labels explicites pour les niveaux des variables catégorielles (si pas trop longs) Coder les valeurs manquantes (blanc,., NA,-9999 ). Choisir le. comme délimiteur décimal (et configurer Windows en conséquence). Validations de base Recherche rapide des erreurs et valeurs aberrantes (intervalle acceptable, relations logiques entre variables ). Action appropriée dans le fichier mais ne pas jeter d information. Transformer éventuellement des variables Outils conseillés Excel pour les petits tableaux (manipulations manuelles) SAS pour les grands tableaux et/ou les tâches répétitives (data step). S-Plus pour les tableaux moyens, tâches répétitives et/ou complexes (programmation). Cette étape peut prendre les ¾ du temps de l étude. B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 9

10 Analyse exploratoire des données Objectif Tirer un maximum d informations des données par des analyses descriptives simples sans a priori. Etudier les distribution des variables, les relations entre elles et repérer des données aberrantes Méthodes Pour chaque variable, dessiner la distribution (histogramme ou diagramme en barres), la résumer pas qq indices (min, max, moyenne, médiane, tableau de fréquence) Pour chaque couple de variables étudier la relation qui les lie (graphe X-Y ou table de contingence) Quand le nombre de variables est grand, utiliser des techniques d analyse de données (composantes principales, clustering ) B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 10

11 Analyse exploratoire en JMP B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 11

12 Analyse statistique pour répondre à la question Objectifs Répondre aux questions posées dans l étude. Tirer un maximum d informations supplémentaires des données. Méthododologie Rechercher les méthodes statistiques utiles pour répondre aux questions etqui soient adaptées aux variables en jeu (nombre, quant ou qual). Effectuer les analyses avec si possible plusieurs méthodes (ex. Test param non-param) et tester pluieurs variantes des méthodes (transfomer les variables, selection de variables dans les modèles ) Valider les hypothèses sous-jacentes aux méthodes et recherche de points influents (indépendance, normalité ) Comparer, recouper les résultats des différentes analyse à l aide de graphiques et d indices statistiques. Tenter de comprendre la source des différences. L analyse statistique est un processus itératif B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 12

13 Analyse de régression avec JMP B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 13

14 Exportation des résultats, préparation du rapport Types de résultats : textes, tableaux et graphiques Mode de sauveguarde de résultats : Dans un traitement de texte (Word), sous forme HTML, sous forme de fichier texte ou graphique (EPS, GIF ), sous forme de fichier intelligent lié au logiciel qui l a produit. Méthode de transfert des résultats du logiciel fi traitement de texte : via fichiers ou par copier/coller Recommandations Mettre les résultats (tableaux, graphiques) en forme dans le logiciel statistique. Documenter rapidement les analyses liées à chaque sortie. Faire parfois les calculs dans un logiciel mais les tables et graphiques dans un autre. Attention aux pertes de qualité dans le copier/coller. Utiliser le copier special dans Word. B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 14

15 Classes de logiciels de statistique Un logiciel se caractérise par : Interface : menus ou/et programmation, Difficulté, clarté de l organisation et des termes utilisés, rigueur, langue Possibilité d automatiser les tâches Format et taille des fichiers de données acceptés, outils pour manipuler les données. Qualité des outputs et possibilités de remise en forme et d exportation sous différents formats Disponibilité et qualité du Help et des manuels utilisateurs Fonctionnalités statistiques : Générales ou spécifiques. Superficielles ou développées. Organisation des concepts statistiques dans l interface utilisateur Qualité des algorithmes et disponibilité d une documentation technique Autres caractéristiques Prix Taille du logiciel, puissance machine nécessaire, type de machine supportée Sérieux et durabilité du développeur Attention il est difficile de se contenter d un seul logiciel B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 15

16 Exemple de programme S-Plus function() { # # Cours stat 2430 # Analyse des données house.pretrait # # 1. Tranformation des x <- house.pretrait x$ne <- factor(house.pretrait$ne, label = c("no", "YES")) x$pers <- factor(house.pretrait$pers, label = c("no", "YES")) # # 2. Résumé descriptif des variables quantitatives cat("\n Resume descriptif des variables quantitatives ") cat("\n \n\n") print(summary(x)) # # 3. Histogrammes des variables quantitatives par(mfrow = c(2, 2)) for(i in 1:4) { hist(x[, i], main = paste("histogramme : ", dimnames(x)[[2]][i]), xlab = dimnames(x)[[2]][i]) } # # 4. Graphes X-Y entre variables quantitatives # graphsheet() par(mfrow = c(2, 3)) for(i in 1:3) { for(j in (i + 1):4) { plot(x[, i], x[, j], main = "Graphe X-Y : ", xlab = dimnames(x)[[2]][i], ylab = dimnames(x)[[2]][j]) } } # # 5. Analyse de régression cat("\n Resultat de l'analyse de regression ") cat("\n \n\n") rx <- lm(prix ~ surface + age + fournit + ne + pers + coin, data = x, na.action = na.exclude) summary(rx) } B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 16

17 Exemple de programme SAS (1) /* Programme SAS - ch1 cours STAT2430 Donnees House_pretrait.txt pretraitement des donnees et regression */ /* Importation du fichier des donnees sous format txt */ PROC IMPORT OUT= WORK.ch1 RUN; DATAFILE= "C:\bgs_cour\stat2430\newch1_soft\house_pretrait.txt" DBMS=TAB REPLACE; GETNAMES=YES; DATAROW=2; /* Analyse descriptive des variables quantitatives*/ PROC MEANS DATA=ch1 VARDEF=DF MAX MEAN MIN N STDDEV; VAR prix surface age fournit; RUN; /* Histogrammes des variables quantitatives */ PROC UNIVARIATE DATA=ch1 NOPRINT; RUN; VAR prix surface age fournit; HISTOGRAM / CAXES=BLACK CFRAME=CXE0E0E0 NOVLABEL CBARLINE=BLACK CFILL=BLUE PFILL=SOLID WAXIS=1; /*Tableaux de fréquence pour les variables qualitatives */ PROC FREQ DATA=ch1; TABLES ne pers coin ; RUN; /* Matrice des corrélation entre variables quantitatives */ PROC CORR DATA=ch1 NOSIMPLE NOPROB ; VAR prix surface age fournit; RUN; B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 17

18 Exemple de programme SAS (2) /* Régression linéaire du prix sur les variables explicatives*/ PROC GLM DATA=ch1 ; CLASS coin; MODEL prix= surface age fournit ne pers coin / SOLUTION SS3 ; OUTPUT OUT=WORK._PLOTOUT PREDICTED=_predicted1 STUDENT=_student1 ; RUN; /* Graphique des résidus de la régression*/ AXIS1 MAJOR=(NUMBER=5) WIDTH=1; AXIS2 OFFSET=(10 PCT) WIDTH=1; AXIS3 MAJOR=(NUMBER=5) OFFSET=(5 PCT); GOPTIONS PUBLISH; PROC GPLOT DATA=WORK._PLOTOUT; WHERE prix IS NOT MISSING AND surface IS NOT MISSING AND age IS NOT MISSING AND fournit IS NOT MISSING AND ne IS NOT MISSING AND pers IS NOT MISSING AND coin IS NOT MISSING; TITLE9 "Standardized Residuals of prix by Predicted prix"; SYMBOL1 C=BLUE V=DOT HEIGHT=2PCT INTERPOL=NONE L=1 W=1; LABEL _student1 = "StdResidual"; LABEL _predicted1 = "Predicted prix"; WHERE _student1 IS NOT MISSING AND _predicted1 IS NOT MISSING; PLOT _student1 * _predicted1 / VAXIS=AXIS1 VMINOR=0 HAXIS=AXIS3 HMINOR=0 VREF=0 DESCRIPTION = "Standardized Residuals of prix by Predicted prix" ; RUN; SYMBOL; QUIT; PROC DELETE DATA=WORK._PLOTOUT; RUN; TITLE;FOOTNOTE;RUN; B. Govaerts - Institut de Statistique - UCL STAT2430 Traitements de données et classes de logiciels Page 18