Un progiciel developpe sous SAS/ AF pour creer des tables SAS a partir de tout type de fichier ou SGBD"" interfa~able avec SAS

Transcription

1 Un progiciel developpe sous SAS/ AF pour creer des tables SAS a partir de tout type de fichier ou SGBD"" interfa~able avec SAS Serge SILBERBERG Daniel JAGER - Jacques PERRIER EUROPSTAT EXTRACT t 1.1NTRODUCTION. Le logiciel "EXTRACT +" est un extracteur de donnees a vocation universelle. II permet, a partir de donnees stockees dans tout type de fichier ('a plat', table SAS, DB2, ORACLE, etc... ) de rapatrier dans des tables SAS : des variables (choisies par l'utilisateur). des observations selectionnees selon certains criteres (definis par l'utilisateur). Caracteristiques principales : II est supporte par toutes les plate-formes informatiques disposant d'une version de SAS compatible avec la version Utilise dans un contexte multi-utilisateurs, il permet a un administrateur de gerer efficacement l'acces aux donnees des utilisateurs. II peut etre utilise comme federateur de donnees provenant de systemes de stockage heterogenes. Convivial et simple d'emploi, il est accessible a tous sans necessiter de connaissances particulieres de l'environnement SAS. Un systeme d'aide en ligne de type hypertexte assiste l'utilisateur dans les differentes parties de l'application. * : SGBD : Systeme de Gestion de Bases de Donnees. Exemple : Oracle, DB2,

2 - 0"'.". ", Gestion des droits d'acces : EXTRACT + supporte la notion de groupe de travail. En effet, il permet de gerer deux niveaux de donnees: un niveau public, gere par un administrateur et mis a la disposition, en lecture et utilisation, de l'ensemble des utilisateurs. un niveau utilisateur, propre a chacun et permettant la gestion de bases de donnees personnelles. Outre son role de mise a disposition de donnees publiques dans un contexte multi-utilisateurs, l'administrateur gere la population des utilisateurs (attribution de droits d'acces et definition de l'espace des donnees accessibles). Une conception modulaire : EXTRACT+ est compose de cinq modules: un module de gestion du dictionnaire de donnees un module de gestion des algorithmes de selection des donnees un module de gestion de requetes d'extraction de donnees un module d'execution de requetes et visualisation de tables SAS resultats un module de gestion de l'outil. II,.. ",IMENU PRINCIPAL! ::::"": - - Menu pricipal " acces aux differents modules _.- _-/-'.'-J.'~-.-_-:

3 2. CONCEPTS DE BASE UTILISES PAR EXTRACT + L ~ '~.',:. I, c.. La realisation d'un extracteur de donnees it vocation universelle suppose l'emploi de concepts d'usage global. Ces concepts permettent de se liberer des terminologies prop res it une plateforme ou un gestionnaire de base de donnees particulier. IIs sont explicites ci-apres : Bibliotheque : Ie terme bibliotheque designe dans EXTRACT + une unite de stockage de donnees. Une bibliotheque contient une ou plusieurs tables. II peut donc s'agir d'une librairie SAS, d'un repertoire DOS, d'un fichier partitionne sous MVS., etc... Une bibliotheque est referencee dans EXTRACT + par un nom logique de 12 caracteres. Ce nom logique, independant de la plate-forme, est reemploye dans les differents modules en remplacement du nom physique. Le module "Gestion de l'outil" permet it tout administrateur d'allouer des bibliotheques en associant un nom logique it un nom physique. Ces bibliotheques, dites publiques, sont mises it disposition des utilisateurs. Tout utilisateur peut lui aussi allouer des bibliotheques it usage personnel. Le terme table definit sous EXTRACT + un ensemble structure de donnees. Les donnees sont groupees par observation (ou enregistrement ou ligne) et par variable (ou champ ou colonne). II peut s'agir d'un fichier "it plat", d'une table SAS ou d'une table provenant d'un SGBD interfa9able avec SAS. En fonction de la bibliotheque dont elle est membre, une table appartient au domaine public ou au domaine utilisateur. Donnee: Le terme donnee designe sous EXTRACT + une variable ou une colonne d'une table. L'ensemble des donnees est stocke dans un dictionnaire. L'administrateur (respectivement l'utilisateur) incorpore des donnees ou les retire du dictionnaire public (respectivement dictionnaire utilisateur). Le module 'Gestion du dictionnaire de donnees' permet ces operations. Une donnee est definie par une table et une bibliotheque. Si la table est un fichier "it plat", il convient de localiser la donnee dans la table (position, format de lecture). Des attributs supplementaires peuvent etre affectes it une donnee : libelle, format d'ecriture, theme, soustheme

4 Theme: Les donnees peuvent etre classees par themes et sous-themes. La possibilite de filtrer a tout moment les donnees manipules dans EXTRACT + par theme et sous-theme facilite la gestion courante de l'application, notamment si les donnees sont nombreuses. Requete: Une requete est definie sous EXTRACT + par la selection de donnees de restitutions pouvant provenir indistinctement et simultanement des dictionnaires publics et utilisateur. II est possible de completer la definition d'une requete par l'adjonction de un ou plusieurs algorithmes (publics ou personnels). ' ':,,' Algorithme. Un algorithme est un ensemble de conditions sur des donnees provenant indistinctement et simultanement des dictionnaires public et utilisateur. II permet de ne retenir - pour constituer les tables generees par l'extracteur - que les observations de base satisfaisant ces conditions. I ' 3. MODULE 'DICTIONNAIRE DE DONNEES'. Ce module permet : d'integrer les donnees disponibles pour l'extraction, pouvant provenir de tout type de fichiers ('a plat', tables SAS, DB2, ORACLE, RDB, etc... ). On notera que l'ajout de donnees peut se faire de maniere automatique si celles-ci ont une structure standard (table). de repartir ces donnees entre diiferents themes de maniere a faciliter leur gestion. Ce module necessite ladefinition prealable (par l'intermediaire du module "Gestion de l'outil" ): des correspondances entre nom logique et nom physique des bibliotheques. des formats particuliers. de la liste des themes disponibles. \ \ 1324

5 ,-,- r =" ~ I..:.!. +~ICTIONNAIRE DE DONNEESI : r~;; Ligne Code Non Table Type Table Biblloth~que DictlOmlll i Extrait du dictionnaire de donnees utilisateur }.c,. 4. MODULE 'GESTION DES ALGORITHMES DE SELECTION DES DONNEES'. Ce module permet : ).:- la gestion de la bibliotheque d'algorithmes. la definition de ces algorithmes. Les algorithmes definis par l'administrateur sont publics. Les algorithmes definis par l'utilisateur sont personnels. L'utilisateur peut utiliser conjointement des algorithmes publics et personnels dans une requete. La definition d'un algorithme integre plusieurs niveaux de parentheses et tous les operateurs logiques classiques.... SAS '. ',... AF []~ ~ l.!.+@dition ALGORITHMEI ::::""': Nom: ALGOl Libe116: GATEAUX ( Ancien noa: '-'*-'*') \ \, Definition d'un a/gorithme 1325

6 MODULE "GESTION DES REQUETES D"EXTRACTION DES DONNEES". Ce module permet : la gestion de la bibliotheque des requetes. la definition de ces requetes (choix de variables a retenir, des liens entre les diiferentes tables et des algorithmes a appliquer). F":~. -~---~---~-----~---~-~~- ~-~--l ~.ILISTE des REQUETESI :::'''': Dieti_ire Nooo Date Li be II'; Ecran de gestion des requetes utilisateur Ces operations necessitent la definition prealable : du dictionnaire de donnees (cf module "Dictionrtaire de donnees"). des algorithmes employes (cf module "Gestion des algorithmes de selection des donnees"). Une requete d'extraction permet de choisir les donnees devant composer une table genense par l'extracteur, ainsi que les algorithmes servant a filtrer les observations a retenir ~--- --~ ~~~ - :,. ~+~ELECTION des DONNEES I :::/1994: Code NoooTable Blblioth~que Libelle IBtlAG Ar;ASlN TEST. k~ IBPROO ROOUIT T~gT ~ JUANT I T~ EHAT TEST -==== ==---====-----===----= Hi I ON LlIAT TEST " I'lIX ',rhat TEST '.. CLIENT.../lCIlAT... TEBT.DATE.. JlCIlAT... TEBT.LlBREG... REGION TEST.IIAGI\S IN... ACHAT... TEST. IIAGI\S IN..,1A61'18 IN...TEST.PROD JlCHAT...TEST.PROD. PROOU IT... TEST.1EG10N... IEGION... TEST Donn6es: o Pub Selection des donnees d'une requete , ~ -- "~ :--.>-,:~";-.:;.~:~;-,~---.:-;,.

7 ~-~~~~---~--~------~-~-- ~- -, I ~ +~LECTION IB ALGORlTHMESI :::...: LI b.. 116,(tTEI'J!JX.. GATEAUX - REGION NORD Donn';... : I Choix d'algorithmes associes a une requete Si la requete puise ses donnees dans deux tables ou plus, il est necessaire de definir sur queues donnees seront fusionnees les observations issues des diiferentes tables. Cette fonction est assuree par l'ecran 'Edition des. liens' :~-""""""""""'''''''''''''''''''''''''''''r::'~ r:~' l ~JEDITION DES LIENSI :::1994: _mw RESULT Fichl... /Table Varlabl.. Varlabl.. Flchler/Tabl.. Definition de liens entre tables _. _.. -

8 6. MODULE 'EXECUTION ET VISUALISATION'. Ce module permet : de soumettre une requete dont l'execution sera soit immediate (sur PC), soit effectuee sous la forme d'un batch (express ou de nuit). de choisir la table ou sera stocke Ie resultat de la requete, ainsi que sa duree de vie. de visualiser les tables resultats de requetes precedemment soumises (d'abord a l'ecran, avec possibilite de sortie papier). d'exporter les tables resultats existantes sous un autre format (DB2, SQL, etc... ).. " SAS ~. : AF D~ I-':---~ ~.!.JExECUTION des REQUETESI :=,... : Dlct.lo... lre : Nom Date LI be :.. ',... :. 'HEX flllflntltl HllilflN~1 11If! L! tli1(, PRIlf) Choix d'une requ~te pour execution r-~ ~1 '\ \ \ Visualisation des resu/tats d'une requ~te 1328 t -'-,- -- -

9 , " 7. MODULE 'GESTION DE L'OUTlL' Le module 'Gestion de l'outil' permet a tout utilisateur : r-/--" i I de creer des themes et sous-themes. de creer des formats. d'a1louer des bibliotheques personnelles (noms logiques <-> noms physiques). de purger les fichiers inutiles. L'administrateur peut de surcroit gerer les droits d'acces utilisateurs. I~:---~ -~ ~JMENU PARAMETRESI~,' I -, : 1329

10 8. CONCLUSION. Ces fonctionnalites font d' EXTRACT + : Un outil d'infocentre "multi-environnement" capable de recuperer des donnees issues de systemes de stockage heterogenes : fichiers it plat, tables SAS, tables Oracle, DB2, RDB, etc... Un outil permettant it l'utilisateur de creer tres facilement ses propres extractions et de disposer ainsi rapidement de resultats, sans connaissance prealable du systeme SAS. Un outil permettant it l'utilisateur de gerer sa pro pre bibliotheque de requetes, utili sables periodiquement sans qu'il soit necessaire de les redefinir. Un outil permettant it l'utilisateur de definir et de gerer son propre environnement de stockage. Un outil pre servant la securite et la confidentialite des donnees (acces protege au logiciel, droits d'acces personnalises aux donnees,... ). Contact: Olivier POULIGNY EUROPSTAT 105 rue Jules Guesde LEV ALLOIS PERRET Tel: int + 33 (1) 47.3l Fax: int + 33 (1) 47.3l SAS, et SAS/AF sont des registered trademarks de SAS Institute Inc., Cary, NC, USA. 1330