Stockage des données sur disque

Transcription

1 Stockage des données sur disque

2 Conception physique de bases de données Les données composants une base de données sont stockées physiquement sur un support de stockage informatique La phase de conception physique décrit de quelle manière les données vont être stockées Organisation en fichiers Index créés, etc.

3 Supports Système informatique offre plusieurs mécanismes de stockage : Mémoires Critères des mémoires Le prix Rapidité Mode d accès aux données Durabilité

4 Hiérarchie des mémoires Deux types : mémoire principale : mémoire à laquelle l'uc a directement accès mémoire centrale + mémoires caches rapide, mais capacité de stockage réduite Mémoire volatile! mémoire secondaire : disques durs + dispositifs de stockage amovibles flash memory, DVD, CD, etc. plus grande capacité, moins chères Unité de stockage : le bloc (ou page disque) Non volatiles!

5 Hiérarchie des mémoires Mémoire cache : Utiliser par le processeur pour stocker ses données et ses instructions Mémoire centrale : Espace de travail de la machine. Toute données ou tout programme doit être chargé en mémoire centrale avant d être traité par le processeur Disque : Grande capacité de stockage. Accès en lecture écriture efficace Les bande magnétique : Très économique. Lent

6 Hiérarchie des mémoires Processeur Mémoire cache Mémoires volatiles Mémoire centrale Disque Bandes Mémoire non volatile

7 Lecteur de disques (ou volume) Dans les dispositifs double-face, une tête par face Écriture à partir de la périphérie des disques (piste 0) Pistes créées lors du formatage Distance tête-disque : quelques microns Pistes divisées en secteurs, unité de mémoire la plus petite dans laquelle on peut stocker des données, 512 Ko en général Transfert de données par bloc, 1 bloc = 1 à 16 secteurs 1 fichier occupe un minimum de secteurs, appelé cluster

8 Caractéristiques disques simple/double face têtes mobiles : déplacement de bras têtes fixes : switch électronique Taux de transfert : qte de données pouvant être lue ou écrite en un temps donné, de l ordre du Mo/s Transfert d'un bloc a. positionnement de la tête sur la bonne piste seek time (tps d accès) b. rotation du disque jusqu'au bon bloc rotational delay ou latency (tps de latence) c. transfert : block transfer time a et b beaucoup plus importants que c solution : transfert de plusieurs blocs consécutifs a + b + c reste très coûteux C est une des raisons pour lesquelles les données ont été regroupées dans des fichiers (années 50)

9 2.Données des bases de données Données persistantes En grande quantité ne tiennent pas en mémoire vive stockage en mémoire secondaire, dans des fichiers d'articles Objectif : choisir la meilleure organisation de fichiers pour optimiser les accès en lecture/écriture Données organisées en articles (ou enregistrements) 1 enregistrement est composé de champs, associés chacun à 1 type de données 1 type est associé à un nb d octets 1 fichier est un ensemble d enregistrements de même structure

10 3. Organisation des données sur disque Un fichier se caractérise par : un nom, un créateur, une date de création, un emplacement en mémoire secondaire, une organisation descripteur de fichier = ensemble des informations caractérisant un fichier : longueur des enregistrements, adresses du dernier bloc du fichier, nature du fichier (ASCII ou hexadécimal), taille du fichier, nombre d enregistrements, présence d index Le descripteur est transféré en mémoire principale lors de l ouverture du fichier Un disque (volume) peut contenir plusieurs fichiers Table des matières de volume (ou catalogue) : ensemble des descripteurs des fichiers d un volume sur le volume Label de volume : 1er secteur d un volume contenant son nom et l adresse de la table des matières

11 Vue d un volume LABEL n TABLE DES MATIERES F1 F2 F3 F4 F5 F1 F2 F3 F4

12 Stockage des relations Chaque relation est stockée sous forme de fichier 1 tuple 1 enregistrement 1 attribut 1 champ Sauf : les clusters (de tables) «jointure permanente» entre 2 relations, à créer lorsque les jointures entre les 2 tables sont fréquentes Avantageux pour les requêtes exploitant cette jointure, coûteux sinon

13 Articles de longueur fixe ou variable articles de longueur variable requis lorsque un champ est de longueur variable Ex : nom un champ peut avoir plusieurs valeurs (table non normalisée dans ce cas!) Ex : noms des auteurs d un livre un champ est optionnel Ex : nom de jeune fille Position des articles et des champs articles de longueur fixe : régulière articles de longueur variable : insertion de séparateurs

14 3.2. Différents formats d'enregistrements Enregistrement de taille fixe ex : article Salarié Nom SS Salaire code-prof. Service Date-embauche Conversion taille variable fixe champs optionnels valeur NULL Nom SS n appt rue ville code postal NULL Champs multivalués ajouter des champs supplémentaires

15 3.3. Répartition des enregistrements dans les blocs Granule d allocation de fichier = bloc (<> région : suite de granules de taille fixe) taille d'un bloc : B taille d'un article : R si B > R, un bloc peut contenir plusieurs articles facteur de blocage bfr = E(B/R) si R ne divise pas B, espace libre = B - (bfr * R) octets Utilisation de l'espace libre : stockage d'une partie d'un article, un pointeur vers le bloc contenant le reste de l'article stockage étendu (spanned) si un article ne peut être réparti dans plusieurs blocs stockage non-étendu (unspanned). simplifie le traitement des articles mais augmente le temps de transfert Article 1 Article 2 Article 3 Article 1 Article 2 Article 3 Ar P Article 4 Article 5 Non-étendu ticle 4 Article 5 Etendu Article 6 Arti P

16 Allocation de blocs aux fichiers Allocation contigüe : blocs du fichier dans des blocs consécutifs : lecture du fichier rapide mais extension difficile Allocation chaînée : un bloc du fichier pointe vers le bloc suivant extension aisée du fichier mais lecture coûteuse Combinaison des deux : allocation de groupes chaînés de blocs (appelés segments) Allocation indexée : des blocs d'index contiennent des pointeurs vers les blocs du fichier

17 4. Organisation de fichier Organisation de fichier : fait référence à l'organisation des données d'un fichier en articles, blocs, et structures d'accès, inclut la manière dont les articles sont distribués sur le support de stockage, et reliés Objectif : rendre efficaces les opérations suivantes Localisation d un enregistrement Lecture d un enregistrement Localisation de l enregistrement suivant Suppression d un enregistrement Modification d un enregistrement Insertion d un nouvel enregistrement

18 Organisation de fichier et méthode d'accès L organisation d un fichier fait référence au mode de placement de ses articles méthode d'accès : ensemble de programmes permettant d effectuer de manière optimale les opérations précédentes plusieurs méthodes d'accès peuvent être utilisées pour une organisation de fichier certaines méthodes d'accès ne peuvent être utilisées pour certaines organisations de fichiers ex : méthode d'accès indexée pour un fichier dépourvu d'index

19 Organisation(s) de fichier? Tout fichier a une organisation dite primaire Elle définit le mode de placement des enregistrements dans le fichier Elle est déterminante pour l insertion et la suppression d enregistrements Un fichier peut avoir 1 ou plusieurs organisations secondaires Associées à une structure de données supplémentaires, facilitant l accès aux données Améliorent les autres opérations

20 Organisation séquentielle Articles placés dans l'ordre dans lequel ils sont insérés. Pas de structure additionnelle, recommandée pour les traitements sur l ensemble du fichier Fichier trié ou non Non trié : tas ou pile Trié : fichier dit en mode séquentiel Le critère de tri peut être la concaténation de plusieurs champs recherche selon une valeur du champ d'ordonnancement permet une recherche dichotomique (log 2 (n)) Nécessite une zone de débordement + réorganisation périodique en cas d insertions multiples Insertion efficace : dernier bloc du fichier chargé, nouvel article ajouté, bloc réécrit sur disque. Adresse du dernier bloc conservée dans le descripteur de fichier

21 Organisation séquentielle (suite) Recherche : uniquement linéaire: pour un fichier de b blocs, en moyenne b/2 lectures Effacement d'article : lecture + réécriture gestion de l'espace vide : marquer les articles à effacer, compacter l'espace régulièrement insérer des articles à la place des articles à effacer Fichier peut être étendu/non étendu, les articles peuvent être de taille fixe ou variable Articles de taille fixe + blocs non-étendus + allocation contigüe = organisation relative

22 Organisation directe Appelée également aléatoire, ou relative Consiste à répartir les enregistrements dans des blocs selon la valeur d une clé Avantages : Recherche facilitée selon cette clé la clé est un n d'article, articles de longueur fixe Relation directe entre la valeur de la clé et son emplacement sur disque une fonction de hachage donne le paquet (ici bloc) dans lequel est stocké l'article

23 Organisation séquentielle indexée Tire parti des avantages de l organisation séquentielle et de l organisation directe Améliore la recherche d articles par rapport à l organisation séquentielle recherche dichotomique sur l index Utilise une structure additionnelle : l index À utiliser pour les fichiers dynamiques (insertions et suppressions fréquentes) Fichier trié, beaucoup plus petit que le fichier de données Index le plus simple : Liste clé-pointeur Pointeur vers un bloc (ou pointeur vers un enregistrement) Avantage : efficacité des accès Inconvénient : la mise à jour du fichier peut entraîner celle de l index Si les mises à jour de l index sont très fréquentes, lui préférer une structure différente de celle de liste, exemple : les arbres

24 Organisation séquentielle indexée (suite) Index primaire (ou index plaçant), construit à partir de la clé d un fichier trié Index secondaire, construit à partir des champs qui n ordonnent pas le fichier Il peut y en avoir plusieurs par fichier! Même structure que pour les index primaires Intérêt pour les recherches basées sur le champ d indexation Index de groupement (ou clustering index) Possible sur des fichiers de données triés suivant un champ non clé Il peut y avoir plusieurs enregistrements associés à une valeur de ce champ

25 Choix d une organisation primaire Pour chaque relation Dépend de l usage futur de la relation De manière générale Organisation de tas Table petite, tous les enregistrements concernés par les traitements, insertions de masse Organisation directe Accès aléatoires à des enregistrements fondés sur la valeur du champ de recherche, ex : tous les produits d une catégorie donnée Organisation séquentielle indexée Recherche suivant la valeur exacte d une clé Inconvénient : statique lui préférer les organisations dynamiques (arbres) en cas d insertions multiples

26 Matrice de choix d organisation primaire On représente, pour chaque table ou cluster, la nature des accès pour chaque transaction future Accès unique par clé primaire (U) Table 1 Transac tion 1 U Transac tion 2 X Transac tion n - Accès séquentiel (-) Aucun accès par la clé primaire (X) Table 2 - U X Table n X - U

27 Choix de l accès primaire Organisation primaire Heap (tas) Accès unique sur clé primaire < 5% Accès séquentiel (trié) < 5% Séquentiel < 5% >50% Séquentiel indexé >5% > 50% Direct (hachage) > 50% > 5%

28 Choix d une organisation secondaire Les index secondaires ont un coût Espace mémoire Temps de mise à jour A utiliser lorsque Attribut souvent utilisé dans les requêtes Accès fréquent suivant une clé étrangère Attributs souvent utilisés dans des jointures, tris ou agrégats, ou fonctions A éviter lorsque Attribut fréquemment mis à jour Des requêtes générant un résultat > 25 % du nb d enregistrements

29 Matrice de détermination des accès secondaires Table 1 Att. 1 Transaction 1 f1 Transaction n fn fréquences Champs non clés Table 2 Att. 2 Att.n Att. 1 Att. 2 Att. n

30 Différents types d organisations directes Le critère de recherche doit être une égalité portant sur un seul champ appelé champ de hachage Souvent le champ de hachage est aussi une clé du fichier, appelé alors clé de hachage Idée : utiliser une fonction h (fonction de hachage ou fonction aléatoire), qui, appliquée à la valeur d'un champ, donne l'adresse du bloc disque dans lequel l'article correspondant est stocké (recherche dans le buffer ensuite) Hachage utilisé pour de petits fichiers dans un programme hachage interne des fichiers indépendants à stocker sur disque hachage externe

31 Hachage (externe) Articles regroupés dans des paquets (buckets) sur disque un paquet = 1 ou plusieurs blocs la fonction de hachage permet d'obtenir l'adresse d'un paquet ou le numéro du paquet (table dans le descripteur de fichier pour obtenir l'adresse sur le disque du paquet) N de paquet Adresses de blocs sur disque

32 Le problème des collisions Technique de chaînage en débordement possible : aux paquets initiaux, on ajoute des paquets de débordement dans un paquet, on ajoute un pointeur vers l'article en débordement Il est décrit par l adresse du paquet La position relative de l'article dans le paquet

33 Inconvénients du hachage statique un fichier peut être utilisé par plusieurs applications, une lecture dans l'ordre d'un champ peut être souhaitée le hachage devient un handicap, à moins de disposer d'une fonction de hachage qui conserve l'ordre du champ de hachage espace fixe alloué au fichier : si le nombre d'articles est très inférieur à celui prévu gaspillage d'espace disque si le nombre d'articles est supérieur à celui prévu collisions, qui ralentissent l'exploitation du fichier solution : modifier le nombre de paquets de manière dynamique

34 Techniques de hachage permettant une extension dynamique de l'espace alloué au fichier Techniques utilisées hachage dynamique hachage extensible Ces deux techniques reposent sur une structure annexe au fichier exploitent le fait que la valeur résultant de la fonction de hachage est positive peut être représentée sous forme binaire Les articles sont distribués dans les paquets en fonction de cette valeur de hachage

35 Hachage dynamique Quand un paquet est plein, il éclate en deux paquets les articles sont répartis dans les deux paquets suivant la valeur du premier bit de leur valeur de hachage un index (directory) est créé : chaque noeud interne a deux fils, l'un correspondant à 0, l'autre à 1 chaque noeud feuille pointe vers un paquet

36 1... Schema de la structure du hachage dynamique 0 Paquets dont les articles ont une valeur de hachage commençant par :

37 Hachage extensible le répertoire est un tableau de 2 d adresses de paquets, d étant la profondeur globale du répertoire les d premiers bits (poids fort) d'une valeur de hachage déterminent une entrée du répertoire. L'adresse associée est celle du paquet dans lequel se situe l'article plusieurs entrées peuvent pointer sur le même paquet car un paquet est constitué à partir de l'exploitation des d' premiers bits de la valeur de hachage, d'<=d d est une profondeur locale, d est la profondeur globale si un paquet utilisant les d valeurs est plein, il éclate et d d + 1 (double la taille du répertoire)

38 Hachage extensible : exemple Insertion d un article dans le paquet correspondant à la valeur de hachage commençant par 010 H : débordement du paquet d'=3 000 d'= d'=2

39 Hachage extensible : exemple d'= d'=3 d'=3 d'=2

40 Hachage linéaire Idée : étendre ou réduire le nombre de paquets sans utiliser de répertoire Moyens : le fichier est étendu par paquet dés qu'un paquet est plein le paquet doublé n'est pas celui qui est saturé, mais un paquet pointé par un pointeur courant qui parcourt le fichier circulairement un niveau d'éclatement P du fichier est conservé dans le descripteur du fichier; pour un paquet situé avant le pointeur courant, (M+P+1) bits de la fonction de hachage doivent être utilisés alors que seulement (M+P) sont à utiliser pour adresser un paquet situé après le pointeur courant une gestion de débordement est nécessaire puisque un paquet plein n'est en général pas éclaté