Construction d un EDD avec SQL 2008 R2. D. Ploix - M2 Miage - EDD - Création

Transcription

1 Construction d un EDD avec SQL 2008 R2

2 Plan Analyse du DW construit Construction de la base DW dans SQL 2008 Construction des tables de faits et dimensions Injection des données Étapes de l injection des données Spécification des injections dans le DW Projets d analyse et de rapport

3 Analyse du DW Le sujet de l entrepôt porte sur une application de gestion des ventes et des vendeurs (base de donnée NorthWind exemple de SQLServeur) L entrepôt de données va étudier les ventes des produits. Les analyses porteront principalement sur le chiffre d affaire par produit, par fournisseur, par client, par distributeur selon l ensemble des caractéristiques disponibles.

4 Modèle source

5 Analyse des données présentes dans le modèle source L analyse est relative à l étude des commandes. Les dimensions analysées seront celles relatives aux produits, aux fournisseurs, aux distributeurs et aux clients. Les mesures analysées seront celles relatives aux commandes. La granularité choisie est celle du détail de chaque ligne de commande (table OrderDetail)

6 Analyse des dimensions Pour les produits, les types d informations présentes sont : Son nom et sa catégorie, Son fournisseur (nom, contact, titre du contact) L adresse du fournisseur, Pour les clients, les types d informations présentes sont : Le nom, contact, titre du contact, Son adresse Pour le distributeur, les types d informations sont : Le nom

7 Analyse des dimensions et des mesures Pour le détail de la commande, les informations présentes sont : Le numéro de commande Les dates de commande, cible de livraison, effective de livraison, Et les mesures présentes sont : La quantité de produit vendu, Mesure numérique additive sur toute les dimensions Le prix unitaire de vente Mesure numérique non additive La remise sur la vente Mesure numérique non additive Le prix total (quantité x prix unitaire remise) Mesure numérique additive sur toutes les dimensions

8 Table d analyse décisionnelle Mesures Order OrderID Products (produits) Supplier (fournisseur) ProductName CompanyName Shiper Adresse Adresse Date Date Cible Date effective (distributeur) Customer Supplier Customer Commande livraison Livraison CompanyNam e CompanyName Adresse Adresse Date Date Date Dimsension CategoryNam dégradée e ContactName ContactName City City Order Detail UnitPrice ContactTitle ContactTitle Region Region Order Detail Quantity PostalCode PostalCode Order Detail Discount Dimension "Company" Country Country Odrer Detail Price Dimension Adresse Dimension Date

9 Plan Analyse du DW construit Construction de la base DW dans SQL 2008 Construction des tables de faits et dimensions Analyse du DSA Injection des données Spécification des injections dans le DSA Spécification des injections dans le DW Projet d analyse et de rapport

10 Définition des tables du DW dans SQL 2008 R2 Démarrer Microsoft SQL Serveur 2008 R2 SQL Server Management Studio Nom du serveur : le nom de votre machine. Création de deux bases de données : Une pour le DW : DW NorthWind, taille initiale de 10 Mo, Une pour le DSA : DSA NorthWind, taille initiale de 10 Mo. (Pour créer une base de données : clic droit sur base de données nouvelle base de données)

11 Création des tables du DW Dans la base de données créée, on construit en premier lieu les tables des dimensions (ouvrir la BD, bouton de droite sur Tables, Nouvelle Table). Chacune des tables de dimension aura un ID_dim_<nom de table> en clé primaire. Cette clé primaire est l ID unique de référence construit au moment de l injection des données sources dans le DSA. Le type sera «int» et il n utilisera pas la méthode automatique de création de nouvelle valeur SQL Serveur (Identity). Caractéristiques : ne pas autoriser les valeurs Null, puis, bouton de droite sur la colonne, «définir la clé primaire». Pour les autres caractéristiques, le type de donnée choisi est soit : varchar(taille à spécifier) : permet le stockage de chaîne de caractères de la taille souhaitée. numeric(précision, échelle) : précision = nombre de chiffres décimaux à gauche et à droite de la virgule (entre 1 et 38), échelle = nombre de chiffres à droite de la virgule.

12 Création des tables du DW La table de faits contiendra les mesures et des clés étrangères vers les dimensions. L ajout de clé étrangère est réalisée en définissant un attribut (qui sera la clé étrangère) et clic droit sur l attribut relations Ajouter Spécification tables et colonnes table de clé primaire = la table de dimension, table de clé étrangère, la tables de Faits. Pour les champs, on choisi l ID clé primaire de la table de dimension et l attribut clé étrangère. Attention à bien identifier l ensemble des attributs des tables car toute modification demande la destruction préalable de la table modifiée (même si vide de données).

13 Schéma du DW

14 Initialisation des Dimensions Gestion de la valeur NULL La valeur NULL prendra, dans le DW les valeurs suivantes : Numérique (jours, mois, année) : 0 Texte : «inconnue» Pour chaque dimension, une valeur «pas de valeur» sera créée. Insert into <table> (<champ>, ) Values ( inconnue, ) GO À l intégration des données dans les dimensions, les valeurs NULL seront systématiquement remplacées par la valeur correspondante.

15 Plan Analyse du DW construit Construction de la base DW dans SQL 2008 Construction des tables de faits et dimensions Injection des données Analyse de l injection des données Spécification des injections dans le DW Projets d analyse et de rapport

16 Analyse de l injection des données L injection des données commence par construire les dimensions afin de pouvoir y ajouter des faits. Pour chaque dimension, on doit analyser : Les sources, Les normalisations et transformations à apporter en fonction des sources, Identifier les évolutions lentes, Identifier les clés fonctionnelles uniques. Afin de réaliser le flux d injection de données des sources vers leurs cibles respectives

17 Intégration SSIS : flux de contrôle

18 Intégration dans SSIS : définition des connexions OLE DB

19 Dimension Produit Information Attributs Sources Transformation / Normalisation Évolution lente PK fonctionnel Description Le nom du produit ProductName La catégorie du produit CategoryName Jointure entre la table Products et Categories à partir de la clé étrangère CaterogyID de la table Products, Si le produit n a pas de catégorie (clé étrangère à NULL), la catégorie est «inconnue» Non : toute nouvelle valeur est ajoutée Nom du produit + catégorie du produit

20 Dimension Produit : flux d injection Le flux de données sera le suivant

21 Dimension Produit : source des données

22 Dimension Produit : filtrage (colonne dérivée)

23 Dimension Produit : recherche des nouvelles données à insérer

24 Dimension produit : injection dans la cible

25 Dimension Date Information Attributs Sources Transformation / Normalisation Évolution lente PK fonctionnel Description Numéro du jour, du mois et de l année L ensemble des dates présentes dans la table commande : date de commande, date requise, date prévue. Transformation : les numéros du jour, mois et année sont extraits de la date Normalisation : Si la date est nulle, les valeurs des trois composantes sont à 0 Non : toute nouvelle valeur est ajoutée Jour, mois, année

26 Dimension Date : flux de données

27 Dimension date : sources (même principe pour les deux autres )

28 Dimension date : union des sources et suppression des doublons

29 Dimension Date : Ajout jours, mois, années La recherche des doublons et l insertion dans la cible suivra le même procédé que pour la dimension produit.

30 Dimension Adresse Information Attributs Sources Transformation / Normalisation Évolution lente PK fonctionnel Description Adresse, ville, région, code postal, pays Les adresses des tables fournisseur et client Normalisation : si une composante est nulle, elle est remplacée par la valeur «inconnue» Non : toute nouvelle valeur est ajoutée L ensemble des attributs

31 Dimension Adresse : flux de données

32 Dimension Adresse : filtrage des données

33 Dimension Company Information Attributs Sources Transformation / Normalisation Évolution lente PK fonctionnel Description Noms de la company, nom du contact, titre du contact Les companies des tables fournisseur, distributeur et client Normalisation : si une composante est nulle, elle est remplacée par la valeur «inconnue» Non : toute nouvelle valeur est ajoutée L ensemble des attributs

34 Dimension Company : flux de données

35 Dimension Company : ajout des colonnes pour le Shipper

36 Dimension Company : Sauvegarde des rejets dans un fichier csv

37 Dimension Company : Sauvegarde des rejets dans un fichier csv

38 Table de faits Information Mesures Dimensions Sources Transformation / Normalisation Évolution lente PK fonctionnel Description Quantité, prix unitaire, remise, prix total (= quantité * PU remise) L ensemble des caractéristiques liées aux dimensions du fait (adresses, dates, compagnies, produits) Le croisement des tables commande, détail de commande, Transformations : les composantes jour, mois et années seront extraites des dates de la commande. Normalisation : si une composante est nulle, elle est remplacée par la valeur «inconnue» Non : toute nouvelle valeur est ajoutée L ensemble des attributs

39 Injection dans la table de faits : requête source

40 Injection dans la table de faits : requête source

41 Injection dans la table de faits : flux de données

42 Table de faits : source OLE DB

43 Table de faits : filtrage des données

44 Table de faits : recherche des faits existants

45 Exécution de l injection

46 Dans la table de faits

47 Plan Analyse du DW construit Construction de la base DW dans SQL 2008 Construction des tables de faits et dimensions Analyse et construction du DSA Injection des données Spécification des injections dans le DSA Spécification des injections dans le DW Projets d analyse et de rapport

48 Projet d analyse (analysis services) Étapes du projet : Définition des sources de données Définition des liens vers les bases de données source du cube créé. Méthodologie comparable à celle utilisée dans SSIS pour définir les sources de données. Définition des vues sur les sources de données, Définition des dimensions, Définition du cube

49 Définition des vues sur les sources de données Définition des tables dans la bases de données source.

50

51 Définition des dimensions Pour chaque table dimension source on choisira : La clé primaire (ou l ensemble des composants «clé primaire» de la table) L ensemble des attributs de la dimension qui seront utilisés dans les cubes du projet en cours.

52 Définition des dimensions : commande

53 Définition des dimensions : date

54 Définition du fait Choix de la source (table de faits) Choix des mesures Choix des dimensions (telles que définies précédemment)

55 Définition du cube

56 Travail avec le cube

57 Recherche des ventes par profession (titre) du contact pour avril 1997.

58 Lien entre le pays du consommateur et le pays du producteur