Stockage physique des données. Type de mémoire. Organisation d un disque. Organisation physique des données 08/12/2009

Transcription

1 Stockage physique des données Stockage des données: support, fonctionnement d un disque, RAID Organisation des fichiers: champs, enregistrements, blocs, techniques d accès 1 2 Type de mémoire Ordre de grandeur des accès mémoires Vitesse processeur Registre processeur Mémoire cache Mémoire centrale Mémoire secondaire (DD) Capacité Mémoire: Taille (en Mo), Temps d accès (secondes) Cache: Env. 1 Mo, -8 ( nanosecondes) Principale: Quelques Go, -8-7 (-0 nanosec.) Secondaire: Plusieurs centaines de Go, -2 ( millisecondes) Tertiaire: To, 1 seconde Mémoire tertiaire Un accès disque est environ un million de fois plus coûteux qu un accès en mémoire principale 3 4 Organisation physique des données Bases de données trop volumineuses pour tenir entièrement en mémoire centrale Conception physique de la base: responsabilité des administrateurs Pour chaque ensemble de données accédé, localisation sur le disque (position dans un segment), copie en mémoire centrale, traitement, puis, si modification, réécriture sur le disque Données stockées sur disque organisées en fichiers d enregistrement: Nécessité de pouvoir les localiser rapidement Minimiser le nombre d accès (accès disque dur lent) => Performance d un SGBD dépend de sa capacité à gérer efficacement les transferts disque-mémoire. Organisation d un disque Disque: généralement une surface magnétique, suite de 0 ou de 1, divisé en secteurs Un disque dur est généralement composé de plusieurs plateaux. Chaque plateau à 2 surfaces. Une tête de lecture est associé à chaque surface. Les têtes de lecture ne peuvent se déplacer individuellement. Une seul tête à la fois peut lire/écrire Les données d une surface sont inscrites sur des pistes disposés en cercle concentrique autours de l axe de rotation. Cylindre: ensembles des pistes des différentes surfaces situés à une même distance du centre Une piste est divisé en portions appelées secteur Un secteur est donc l unité d adresse et de transfert minimal Le système d exploitation impose généralement qu un fichier occupe un bloc (de 1 à N secteurs) 5 6 1

2 Disque Piste Secteur Plateau Tête de lecture/écriture Mémoire à accès direct Un disque à de 1 à N secteurs Cylindre Adresse d un secteur sur disque = (num surface, num piste, num secteur) Le contrôleur de disque effectue une conversion entre le numéro de secteur absolue (utilisé par le SE) et l adresse du secteur. 7 8 Délai accès donnée 1. Délai positionnement tête piste: temps nécessaire pour positionner la tête sur la bonne piste (seek time) 2. Délai latence: temps nécessaire pour que la tête de lecture atteigne le secteur demandé (rotational delay) 3. Temps transfert: temps nécessaire pour que le (ou les) secteur(s) soient lus et transférés (transfer time) La somme de ces délais détermine le temps d accès à un secteur (access time) Exemple caractéristique disque Seagate Barracuda Go Caractéristiques Performance Taux de transfert 300 Mo/s Cache 32 Mo Nombre de plateaux 2 (4 têtes de lecture) Nombre total secteurs (512) Nombre de cylindres Vitesse de rotation 70 tpm Délai de latence moyen 4.16 ms Temps de positionnement moyen 11 ms Fiabilité heures 9 Quelques calculs A partir de ces spécification, on peut calculer: 1. Nombre de secteurs par surface 2. Nombre moyen de secteur par piste 3. Nombre moyen d octets par piste et par cylindre 4. Délai de transfert pour 1 à N secteurs On peut en déduire un temps minimal, moyen et maximal de lecture d un ensemble de N secteurs. Optimisation: position des blocs Pour diminuer le temps d accès aux données, il peut être judicieux de positionner les données dans des secteurs proches Dans un même bloc (512o) Dans N blocs consécutifs (n*512o) Sur une même piste Sur un même cylindre Sur des pistes proches

3 Importance de la contiguïté physique Exemple: Transfert de 1 Mo: 00 secteurs de 512 octets Taux de transfert: 2Mo/s Temps déplacement tête (délai positionnement) : 6 ms Délai de rotation : 4ms Secteurs consécutifs TempsESDisque(1 Mo) = ms + 0ms = 5ms Secteurs dispersés aléatoirement (pire des cas) TempsESDisque(un secteur) = ms + 0,25ms =,25ms Total = 00,25 = 0 ms =,5 secs Optimisation: mémoire cache Afin de diminuer le nombre d accès le nombre d accès disque, il est possible de garder des blocs en mémoire. Un des paramétrages des SGBD consiste à leur attribuer une partie de la mémoire centrale qui servira principalement de cache. Clustering regrouper physiquement les données selon des schémas d accès logiques Optimisation: ordre des accès Entrelacement des demandes entraîne des lectures aléatoires sur le disque Solution: ordonner les lectures Exemple: L(1-16), L(2-23), L(1-18), L(2-24), L(1-17) Stockage dans une mémoire tampons Séquenceur L(1-16), L(1-17), L(1-18), L(2-23), L(2-24) Accès au disque Hit ratio Paramètre qui mesure l efficacité d une mémoire tampon est le hit ratio, défini comme suit : hit ratio = (nb de lectures logiques - nb lectures physiques) / nb de lectures logiques Si toutes les lectures logiques (demande de bloc) aboutissent à une lecture physique (accès au disque), le hit ratio est 0, S il n y a aucune lecture physique, le hit ratio est de Autres techniques Deux autres techniques permettent d optimiser les lectures. 1. Remplacement dans le cache: choisir le bloc à remplacer quand le cache est plein. 2. Lecture à l avance (appelée read ahead ou prefetching) Technologie RAID Stockage sur disque : point sensible des SGBD, pour les performances et pour la sécurité. On estime : risque de panne pour 1 disque pendant les prochains ans = 1 risque de panne pour 2 disques pendant les prochains 5 ans = 1 risque de panne pour 0 disques pendant le prochain mois = 1 RAID: Redundant Array Independant Disks La technologie RAID permet de Limiter le risque dû à une défaillance (redondance des données, réparties sur plusieurs disques) Optimiser les accès en répartissant les données sur plusieurs disques

4 Niveaux RAID Grappe de disques: N disques si possibles de taille identique Il existe 7 niveaux principaux, numérotés de 0 à 6: niveau 0 : répartition des données sur plusieurs disques niveau 1 : réplication des données niveau 4 : reprise sur panne basée sur la parité niveau 5 : répartition de l information de parité niveau 6 : prise en compte de défaillances simultanées. RAID 0 Répartition des données sur plusieurs disques Les disques durs peuvent travailler en parallèle Exemple: Disk 1, Disk 2, un fichier de 4 blocs (F0, F1, F2, F3) F0, F2 écrit sur Disk 1 F1, F3 écrit sur Disk 3 Fiabilité: Aucune. La perte d un disque entraîne la perte des données Coût : Pas de redondance: tout l espace disque est utilisé 19 RAID 1 Miroitage des disques: Utilisation de N disques chaque disque contient une copie identiques des autres disques Capacité: La taille des donnée est égale à la taille du plus petit des disques de la grappe RAID 4 On dispose de n disques, tous de même taille. On introduit un disque de contrôle contenant la parité. Exemple (n=4) : D1: D2: D3: Coût: la taille des donnée représente environ 1/N de l espace mémoire totale). Chaque écriture sur un des disque entraîne une écriture sur chacun des disques Fiabilité: Il est possible de perdre N-1 disque et de toujours conserver les donnée Chaque bit du disque de contrôle donne la parité, pour le même bit, des autres disques : DC: 0101 =>permet la reprise sur panne en cas de défaillance d un seul disque Performances du RAID 4 Lectures : elles s effectuent de manière standard sur les disques de données Répartition : le RAID 4 distribue les blocs sur les n disques, ce qui permet d effectuer des lectures en parallèle. Écritures il faut tenir compte des versions avant et après mise à jour d un octet. Exemple : avant : après : 0100 Octet de mise à jour : On doit inverser les bits 2, 3, 5 du disque de parité RAID 5-6 Problème du RAID 4 : n fois plus d écritures sur le disque de contrôle. Solution RAID 5 : les blocs de parité sont distribués sur les n+1 disque. Exemple : D1: D2: D3: D4: 0101 Et si deux disques tombent en panne en même temps? RAID 6 : un codage plus sophistiqué permettant de récupérer deux défaillances simultanées. Cout de reconstruction des données après la perte de 2 disques couteux

5 Niveaux RAID combinés RAID 01 Mirroring de grappe en alterné Nécessite au minimum 4 disques Ecriture alternée (raid 0) puis mirroring (raid 1) RAID D abord mirroring (raid 1) puis écriture alternée (raid 0) RAID 05 Fichiers Une base de données = un ou plusieurs fichiers. Un fichier = un à plusieurs secteurs. Le SGBD choisit l organisation des fichiers : 1. l espace est-il bien utilisé? 2. est-il facile et efficace de faire une recherche? 3. est-il facile et efficace de faire une mise à jour? 4. les données sont-elles correctement représentées, et en sécurité? Tous les SGBD prennent en charge la gestion des fichiers et de leur contenu Enregistrements Un enregistrement: suite de champs stockant les valeurs des attributs Exemple: (idemp INTEGER, nom CHAR(128), iddept INTEGER) Enregistrements de taille fixe Chaque champ => nombre fixe d octets Remplissage par caractère neutre Type (SQL) Taille en octets INTEGER 4 FLOAT 4 DOUBLE 8 CHAR(M) M DATE 7 NUMBER(P,S) < P/2 VARCHAR2(M) M 27 nocatalogue ENTIER binaire 32 bits (4 octets) description CHAINE[30] un octet (ASCII 8 bits) par caractère (remplissage avec espaces) (30 octets) Total : 42 octets prixunitaire REEL point-flottant 64 bits (8 octets) 28 Tailles variables et valeurs NULL Lorsque tous les champs sont de taille fixe et ont une valeur, la taille d un enregistrement est constante Enregistrements de taille variable Frontières de champs et d enregistrements indicateur detaille en entête de chaque champ (descripteur de champ) Généralement, certains champs ont une taille variable ou peuvent avoir la valeur NULL: taillenocatalogue nocatalogue tailledescription description tailleprixunitaire prixunitaire Pour les champs de taille variable : on précède la valeur par la taille exacte (nombre d octets à lire), Pour les valeurs NULL : on peut indiquer une taille 0 (Oracle) ou définir un «flag» associé à cette valeur. délimiteur (code réservé) nocatalogue description index en entête de l'enregistrement (descripteur d'enregistrement) prixunitaire 29 nocatalogue description prixunitaire 30 5

6 Blocs et enregistrements Enregistrements de taille fixe On essaie d éviter qu un enregistrement chevauche deux blocs (pas toujours possible), Il est nécessaire d envisager le cas où la taille d un enregistrement varie, A chaque enregistrement on associe une adresse, on pourra ainsi accéder et lire tout l enregistrement directement à partir de son adresse, Le déplacement des enregistrement d un bloc à un autre doit être prévu. => l indexation des enregistrements. Pour une taille de bloc B et d enregistrement E, on a [B/R] enregistrements par bloc Exemple : B = 96, E = 84 donc [96/84] 48 enregistrements par bloc. L enregistrement 383 est dans le bloc [383/48] = 7, Le bloc 7 contient les enregistrements allant de (7*48) = 336 à (8*48 1) = 383, Un bloc peut être référencé par le fichier + le bloc + le numéro interne (ici F1.7.48) Enregistrement de taille variable Un enregistrement peut changer de taille (réorganisation interne du bloc), Un enregistrement peut être déplacé. Indirection Indirection: On associe à une adresse logique une adresse physique Indirection dans le bloc (solution Oracle) Au sein du bloc, on a une indirection pour obtenir les adresses des enregistrements Entête Espace libre Bloc F indirection Enregistrements Réorganisation du stockage L adressage indirect donne une certaine souplesse: si un enregistrement s agrandit, mais qu il reste de la place dans le bloc : une réorganisation interne suffit. sinon on le déplace et on crée un chaînage dans l entête du bloc. La création de chaînage pénalise les performances => si possible laisser de l espace libre dans un bloc. Exemple d évolution avec chaînage L enregistrement F s agrandit: Situation initiale Agrandissement de l enregistrement 46 Il reste suffisamment d espace libre dans le bloc Agrandissement de l enregistrement 46 Il ne reste plus suffisamment d espace libre dans le bloc. L enregistrement est déplacé

7 Recherche dans un fichier Rechercher d un enregistrement Méthode basique: parcourir séquentiellement le fichier. Mise à jour d un fichier Pour les UPDATE et DELETE : recherche de l enregistrement à modifier/supprimer dans le fichier. La performance du parcours est conditionnée par : la bonne utilisation de l espace (idéalement tous les blocs sont pleins), le stockage le plus contigu possible (même piste, même cylindre, ). La recherche sera beaucoup plus rapide si le fichier est trié sur la clé de recherche (recherche par dichotomie) Insertion d un n-uplet On souhaite d éviter de parcourir tout le fichier à chaque insertion pour rechercher un espace libre Solution 1: liste chaînée des espaces libres Solution 2: conserver une table des pages libres Libre? Espace Libre (octets) adresse O N 2 O 10 7 => Avantage: on peut facilement trouver l espace nécessaire Oracle Principales structures physiques dans ORACLE : 1. Bloc: unité physique d E/S. La taille d un bloc ORACLE est un multiple de la taille des blocs du système sous-jacent. 2. Extent: ensemble de blocs contigus contenant un même type d information. 3. Segment: ensemble d extent stockant un même type d objet logique (une table, un index...). 4. Tablespace Le paramétrage du stockage des données (fichier, quota, ) est spécifié dans un tablespace. 39 Tablespace Une base est divisée par l administrateur en tablespace. Chaque tablespace consiste en un (au moins) ou plusieurs fichiers. La notion de tablespace permet : 1. De contrôler l emplacement physique des données. (par ex. : le dictionnaire sur un disque, les données utilisateur sur un autre), 2. de régler l allocation de l espace (extensions), 3. de faciliter la gestion (sauvegarde, protection, ). Les utilisateurs sont assignés à un tablespace. Commandes tablespace Création: CREATE TABLESPACE TB1 DATAFILE fichiertb1.dat SIZE 0k REUSE AUTOEXTEND ON NEXT 0 MAXSIZE 0M; Désactiver tablespace ALTER TABLESPACE TB1 OFFLINE; Mettre en tablespaceen lecture seule ALTER TABLESPACE TB1 READ ONLY; Ajouter un nouveau fichier à un tablespace ALTER TABLESPACE ADD DATAFILE fichiertb2.dat SIZE 300 M; Placement d une table dans un tablespace CREATE TABLE emp( idemp INTEGER PRIMARY KEY ) TABLESPACE TB1;

8 Extent et segment L extent est une suite de blocs contigus. Le segment est un ensemble d extent contenant un objet logique. Les extents ne sont pas forcément continus sur le disque Tables, segments, extents et blocs Table Niveau logique Niveau physique Il existe plusieurs types de segments : segment de données (table), segment d index, rollback segment utilisé pour les transactions, lobsegment pour contenir les objets de grande taille segment temporaire (utilisé pour toute les opérations nécessitant un tri comme order by, distinct, group by, ) Bloc Oracle Gestion de l espace Entête (adresse du bloc, type de segment) Tables représentés dans le bloc Adresse des enregistrements Espace libre Enregistrements Au moment de la création de table, on peut spécifier la valeur des paramètres: PCTFREE: indique le pourcentage de l espace du bloc à réserver pour les mises à jour, PCTUSED: indique le pourcentage de l espace du bloc qui doit être libre pour pouvoir effectuer des insertions dans ce bloc. Oracle maintient une liste des blocs disponibles pour insertions. Exemple : 1. PCTFREE = 30% et PCTUSED=70% 2. PCTFREE = % et PCTUSED=80% Le second choix est plus efficace, mais plus risqué et plus coûteux Stockage et adressage des enregistrements En règle générale un enregistrement est stocké dans un seul bloc. Sinon l enregistrement est chainée sur plusieurs blocs consécutifs. L adresse physique d un enregistrement est le ROWID, construit à partir de 4 valeurs: 1. Le numéro du segment (000000), 2. Le numéro de fichier (FFF), 3. Le numéro du bloc (BBBBBB), 4. Le numéro du n-uplet dans le bloc (RRR). Exemple de ROWID: AAAAaoAATAAABrXAAE SELECT ROWID FROM emp;

9 Pourquoi indexer? En l absence d un index, seules solutions : Parcours séquentiel (complexité linéaire) Recherche par dichotomie si fichier trié (complexité logarithmique) Avec un index : Parcours de l index, puis accès direct à l enregistrement Mais attention : mises à jour plus coûteuses Cout des opérations: fichier non trié Fichiers non ordonnés: Type d organisation le plus simple. Les enregistrements sont placés dans le fichier dans l ordre de leur insertion. Insertions/modifications d un n-uplet : En moyenne F/2 bloc sont lues (donc transférées) si l enregistrement existe déjà F+1 pages transférées si la page n existe pas Effacement d un n-uplet : En moyenne F/2 blocs sont lues (donc transférées) si l enregistrement existe déjà F blocs transférées si l enregistrement n existe pas 49 Cout des opérations: fichier trié Les enregistrements sont ordonnés physiquement sur disque en fonction des valeurs d un de leurs champs (champ d ordonnancement). Généralement le champ d ordonnancement est la clé primaire Avantages : Les requêtes basées sur le champ d ordonnancement ont un coût moyen en log 2 par recherche binaire Adapté à la recherche de n-uplet successifs Aucun avantage si l accès se fait par d autres attributs que le champ d ordonnancement. Inconvénients : Le maintien de l ordre est couteux Pour N enregistrement, en moyenne, N/2 lectures pour trouver la position et N/2 écritures pour déplacer les enregistrements Indexage et hachage Sélection basée sur une clé d'accès recherche des informations associer à cette clé Ex: Chercher le salaire de l employé pour lequel idemp= Séquentiel lire tout le fichier en pire cas O(N) Indexage O(log(N)) sélection par intervalle Hachage ~O(1) Indexage Index valeur de la clé => adresse de(s) l'enregistrement Numéro Index de bloc Index dense: fichier, trié sur la clé, contenant tous les enregistrements 0 1 Cèdre en boule Epinette bleue Pommier Erable argenté Chêne Catalpa Génévrier Herbe à puce Sapin Poirier Numéro d'enregistrement relatif Fichier séquentiel indexé Non dense (seulement les adresses de bloc) Index plus petit Accès séquentiel rapide Difficile à maintenir (déplacement d un n-uplet) Index Numéro de bloc 0 1 Cèdre en boule Sapin Epinette bleue Chêne Erable argenté Herbe à puce Poirier Catalpa Pommier Génévrier Numéro d'enregistrement relatif

10 Index séquentiel hiérarchique Niveau 1 d'index Zone de débordement Niveau 2 d'index Réorganisations chroniques Cèdre en boule.99 Sapin Epinette bleue Chêne Erable argenté Herbe à puce Poirier Catalpa Pommier Génévrier Indexage par Arbre-B et variantes Arbre-B (B-arbre, B-tree) forme d index hiérarchique équilibré O(log(N)) en pire cas Réoganisation dynamique division/fusion des blocs taux d occupation minimum de % Arbre-B+ Hypothèse initiale : clé simple et unique Nœud = bloc Structure d une feuille FBM f : nombre de clé maximum par feuille 1. Remplie à moitié au minimum FBM f /2 nombre de clés FBM f 2. Clés triées : i < j C i < C j 3. Clésd'une feuille < clésde lasuivante Au même niveau (équilibré) Espace C 1 R 1... C n R n S libre Bloc C i : Clé R i : reste de l'enregistrement ou référence S : Pointeur sur le bloc suivant dans la liste des feuilles Structure d un bloc interne Rechercher la clé Remplie à moitié au minimum: Ordre I /2 nombre de pointeurs Ordre I 2. Clés triées : i < j C i < C j 3. C i-1 <= Clés sous P i-1 < C i P 1 C 1 P 2... C i-1 P i-1 C i... P n-1 C n-1 P n Espace libre Bloc C < C 1 C i-1 <= C < C i C n-1 <= C 59

11 Complexité de la recherche et hauteur de l'arbre FBM f = et Ordre I = 0 Hauteur = nombre de niveaux Hauteur 2 N 2 * = clés (pire cas) Hauteur 3 N 2 * 0 * = clés Hauteur 4 N 2 * 0 * 0 * = clés Hauteur 5 N 2 * 0 * 0 * 0 * = clés Hauteur H N 2* Ordre I /2 H-2 * FBM f /2 pour H 2 H 2 + log OrdreI /2 (N /(2* FBM f /2 )) O(log N) Hauteur moyenne H ~ 1 + log OrdreMoyenI (N / FB f ) OrdreMoyen I = 2/3 Ordre I FB f = 2/3 FBM f Insertion dans un arbre-b+ FBM = 3, Ordre I = Débordement et division Insertion de 30 Débordement et la division du bloc 0 est promue Nouvelle racine Insertion de 25 Insertion de Débordement et la division du bloc 0 25 est promue

12 Insertion de Insertion de Débordement et la division du bloc 1 est promue Insertion de Insertion de 45 Division du bloc 1 est promue Division de la racine Suppression dans un arbre-b+ Cas simple minimum préservé pas la première 25 Première clé du bloc et pas la première feuille Remplacer dans le parent (si pas «aîné»)

13 Première clé du bloc et pas la première feuille Remonter tant que l'enfant est l «aîné» Violation du minimum : redistribution si possible Ajuster séparateur Bloc Bloc Violation du minimum : fusion Violation de la règle du minimum Fusion des deux frères Cas de fusion de feuilles et de redistribution au niveau du parent 25 Violation de la règle du minimum Fusion des deux frères Redistribution Violation de la règle du minimum Cas de fusion de feuilles et de redistribution au niveau du parent (suite) Violation de la règle du minimum Cas de fusion en cascade 25 Redistribution Violation de la règle du minimum Fusion des deux frères Violation de la règle du minimum Fusion des deux frères

14 Cas de fusion en cascade (suite) : réduction de la hauteur Violation de la règle du minimum 25 Fusion des deux frères