Stockage des données

Documents pareils
Techniques de stockage. Techniques de stockage, P. Rigaux p.1/43

Structure fonctionnelle d un SGBD

Chapitre V : La gestion de la mémoire. Hiérarchie de mémoires Objectifs Méthodes d'allocation Simulation de mémoire virtuelle Le mapping

6 - Le système de gestion de fichiers F. Boyer, UJF-Laboratoire Lig, Fabienne.Boyer@imag.fr

Systèmes d Exploitation - ENSIN6U3. Aix-Marseille Université

SYSTÈME DE GESTION DE FICHIERS

SYSTÈME DE GESTION DE FICHIERS SGF - DISQUE

1. Systèmes d entrée/sortie 2. Systèmes de fichiers 3. Structure de mémoire de masse (disques)

Gestion de mémoire secondaire F. Boyer, Laboratoire Sardes

Bases de données documentaires et distribuées Cours NFE04

Administration de Bases de Données : Optimisation

On distingue deux grandes catégories de mémoires : mémoire centrale (appelée également mémoire interne)

Créer et partager des fichiers

Optimisations des SGBDR. Étude de cas : MySQL

Travaux pratiques. Compression en codage de Huffman Organisation d un projet de programmation

1.1 L EXPLORATEUR WINDOWS

Programmation parallèle et distribuée

Cours de Système : Gestion de Fichiers

Programmation parallèle et distribuée

Rappels sur les fichiers

Technologie SDS (Software-Defined Storage) de DataCore

Sauvegarde collaborative entre pairs Ludovic Courtès LAAS-CNRS

Comme chaque ligne de cache a 1024 bits. Le nombre de lignes de cache contenu dans chaque ensemble est:

Créer le schéma relationnel d une base de données ACCESS

Introduction aux SGBDR

Système de Gestion de Fichiers

PHP. Performances. Audit et optimisation LAMP. Julien Pauli. Cyril Pierre de Geyer. Guillaume Plessis. Préface d Armel Fauveau

Cloud computing et sécurité

Partie 7 : Gestion de la mémoire

Concepts et systèmes de stockage

Évaluation et optimisation de requêtes

Organiser le disque dur Dossiers Fichiers

Unix/Linux I. 1 ere année DUT. Université marne la vallée

Manuel Utilisateur Nuabee Backup pour Windows 7/8/8.1

Mise en oeuvre TSM 6.1

L annuaire et le Service DNS

Présentation du module Base de données spatio-temporelles

Chapitre 3 : Système de gestion de fichiers

EX4C Systèmes d exploitation. Séance 14 Structure des stockages de masse

Faculté des sciences de gestion et sciences économiques BASE DE DONNEES

Architecture des ordinateurs

Problématiques de stockage d un Data Center

Sommaire. 3. Les grands principes de GFS L architecture L accès de fichier en lecture L accès de fichier en écriture Bilan

Configuration du FTP Isolé Active Directory

Cours Bases de données

Analyse et réalisation d un système de disques répartis à forte disponibilité

INF601 : Algorithme et Structure de données

iil est désormais courant de trouver sur Internet un document

Systèmesdegestionde. basesdedonnées

«clustering» et «load balancing» avec Zope et ZEO

ARBRES BINAIRES DE RECHERCHE

Access et Org.Base : mêmes objectifs? Description du thème : Création de grilles d écran pour une école de conduite.

Conservation des documents numériques

Systèmes d Exploitation - ENSIN6U3. Aix-Marseille Université

La mémoire. Un ordinateur. L'octet. Le bit

Windows Internet Name Service (WINS)

Chapitre 4 : Les mémoires

Licence Sciences et Technologies Examen janvier 2010

ECR_DESCRIPTION CHAR(80), ECR_MONTANT NUMBER(10,2) NOT NULL, ECR_SENS CHAR(1) NOT NULL) ;

Tests de performance du matériel

Architecture des ordinateurs Introduction à l informatique

<Insert Picture Here> Solaris pour la base de donnés Oracle

Table des matières Nouveau Plan d adressage... 3

Les bases de données

Fichiers, dossiers, enregistrer et arborescence

Gestion répartie de données - 1

Placez vous au préalable à l endroit voulu dans l arborescence avant de cliquer sur l icône Nouveau Répertoire

FinImportExport Documentation Utilisateur Gestion d'environnement dans Fininfo Market

MANUEL UTILISATEUR SOPISAFE V 3.5

Procédure de restauration F8. Série LoRdi 2012 à Dell V131 V3360 L3330

Codage d information. Codage d information : -Définition-

Le stockage. 1. Architecture de stockage disponible. a. Stockage local ou centralisé. b. Différences entre les architectures

Informatique pour scientifiques hiver Plan général Systèmes d exploitation

INTERSYSTEMS CACHÉ COMME ALTERNATIVE AUX BASES DE DONNÉES RÉSIDENTES EN MÉMOIRE

Le data center moderne virtualisé

NOTIONS DE RESEAUX INFORMATIQUES

Procédure d installation pour WinEUR PROCÉDURE D INSTALLATION POUR WINEUR. Copyright GIT SA 2015 Page 1/16

A -Systèmes de fichiers 1 - FAT vs NTFS

Ecole des Hautes Etudes Commerciales HEC Alger. par Amina GACEM. Module Informatique 1ière Année Master Sciences Commerciales

Programmation impérative

Nœud Suisse du Projet International GBIF (Global Biodiversity Information Facility)

Tutoriel XBNE Connexion à un environnement XBMC distant

Programmation parallèle et distribuée (Master 1 Info )

Une ergonomie intuitive

Cours admin 200x serveur : DNS et Netbios

Administration des bases de données relationnelles Part I

USTL - Licence ST-A 1ère année Codage de l information TP 1 :

Représentation des Nombres

TIC. Tout d abord. Objectifs. L information et l ordinateur. TC IUT Montpellier

TP Sauvegarde et restauration avec le logiciel Cobian Backup. Etape 1 :

LES SYSTÈMES DE FICHIERS

Micro ordinateur & Périphériques Mémoire de masse Disque dur (SOLUTION)

TABLE DES MATIÈRES. PRINCIPES D EXPÉRIMENTATION Planification des expériences et analyse de leurs résultats. Pierre Dagnelie

SGM. Master S.T.S. mention informatique, première année. Isabelle Puaut. Septembre Université de Rennes I - IRISA

LES TYPES DE DONNÉES DU LANGAGE PASCAL

Présentation du système DNS

6. Hachage. Accès aux données d'une table avec un temps constant Utilisation d'une fonction pour le calcul d'adresses

Manuel de System Monitor

Transcription:

Stockage des données

1. Support : mémoire Plus une mémoire est rapide, plus elle est chère (plus elle est réduite)! mémoire cache utilisée par le processeur pour stocker ses données et ses instructions! mémoire vive (principale) qui stocke les données et les processus constituant l espace de travail de la machine! disques magnétiques, principal périphérique, qui offrent une grande capacité de stockage avec des accès en lecture et en écriture acceptables! bandes magnétiques, supports très économiques, dont la lenteur les destine aux sauvegardes. N. Chaignaud GM4 - Base de données 2

1. Support : transfert de données " Une base de données est toujours placée sur disque pour des raisons de taille et de persistance. " Les données doivent impérativement être placées en mémoire vive pour être traitées. " Un SGBD doit effectuer des transferts entre mémoire principale et disque pour satisfaire les requêtes. " Le coût de ces transferts intervient énormément dans les performances du système. N. Chaignaud GM4 - Base de données 3

1. Support : disque " Un disque est une surface magnétisée (simple ou double) capable d enregistrer des informations. " Les disques sont divisés en secteurs : plus petite surface d adressage. Leur taille est souvent de 512 octets. " Une suite d octets forme une piste sur la surface du disque. " Le SE, au moment de l initialisation du disque, peut fixer une unité d entré/sortie supérieure au secteur : bloc. " Chaque piste est divisée en blocs (pages) constituant l unité d échange entre le disque et la mémoire. " Un cylindre est un ensemble de pistes de même taille. " Toute lecture ou écriture sur les disques s effectue par blocs. N. Chaignaud GM4 - Base de données 4

1. Support : disque dur N. Chaignaud GM4 - Base de données

2. Accès aux données " Un disque est une mémoire à accès direct. " Adresse donnée à chaque bloc au moment de l initialisation du disque par le SE. " Adresse généralement composée du n du disque ou n de la surface si disques à double-face, du n de la piste et du n du bloc sur la piste. " Le temps de lecture varie en fonction du placement sur le disque, de l ordre des commandes d E/S ou de la présence des données dans une mémoire cache. " Toutes les techniques permettant de réduire le temps d accès sont utilisées par les SGBD. N. Chaignaud GM4 - Base de données 6

2. Accès aux données " Le regroupement consiste à placer dans le même bloc des données suceptibles d être lues au même moment. " Le placement dans des blocs contigus permet des lectures séquentielles plus performantes que les celles aléatoires. " Les SGBD essaient d optimiser la proximité des données au moment de leur placement sur le disque. " Une table est stockée sur une même piste ou sur les pistes d un même cylindre pour un parcours séquentiel efficace. " Le SGBD doit avoir, à la création de la base, un espace important sur le disque dont il sera le seul à gérer l organisation. " Une mémoire cache (ou buffers ou tampons) est un ensemble de blocs en mémoire principale qui sont des copies des blocs sur le disque. " L administration d une base de données consiste en partie à spécifier la mémoire qui peut être attribuée en permanence au SGBD. Plus cette mémoire est grande et plus la performance sera importante. N. Chaignaud GM4 - Base de données 7

3. Fichiers " Un fichiers est composé d enregistrements. " Quelques informations sont stockées dans un entête : taille de l enregistrement (si variable), pointeur vers le schéma de la table (pour savoir son type), date de la dernière mise à jour, " Les SE organisent les fichiers dans une arborescence de répertoires. " Il faut distinguer l emplacement physique du fichier sur le disque et son emplacement logique dans l arbre des répertoires. N. Chaignaud GM4 - Base de données 8

3. Fichiers : adressage " Le stockage des enregistrements dans un fichier tient compte du découpage en blocs de ce fichier. " On peut placer plusieurs enregistrements dans un bloc et mais un enregistrement ne chevauche pas 2 blocs. " On peut localiser physiquement un enregistrement par son fichier, puis par le bloc, puis par la position dans le bloc. " Pour permettre le déplacement des enregistrements on combine une adresse logique qui identifie un enregistrement indépendamment de sa localisation. " Pour localiser un enregistrement, on donne l adresse physique de son bloc, puis dans le bloc, on gère une table de localisation au sein du bloc ou éventuellement dans un autre bloc. N. Chaignaud GM4 - Base de données 9

3. Fichiers : indexation " La création d un index permet de créer des chemins d accès aux enregistrements plus directs. " Un index permet de satisfaire certaines requêtes (mais pas toutes) portant sur un ou plusieurs attributs (mais pas tous). " L index existe indépendamment de l organisation du fichier, ce qui permet d en créer plusieurs pour optimiser plusieurs types de requêtes. " La création d un nombre important d index est pénalisante pour le SGBD qui doit gérer, pour chaque mise à jour sur une table, la récupération de cette mise à jour sur tous les index de la table. " Un index est une structure permettant d optimiser les recherches par critères de recherche (souvent sur clé primaire) # le parcours de l index fournit l adresse de l enregistrement, # par accès direct au fichier on obtient l enregistrement. N. Chaignaud GM4 - Base de données 10

4. Indexation : index non-dense " Dans le cas d un fichier trié sur la clé primaire, il est possible d effectuer une recherche dichotomique, mais le fichier est souvent fragmenté car très gros. " Dans ce cas, l index est lui-même un fichier contenant des enregistrements [valeur, adresse]. " Toutes les valeurs de clé existant dans le fichier de données ne sont pas représentées dans l index (index non-dense). " L index n a que les valeurs de clé des premiers enregistrements de chaque bloc. La recherche dichotomique est effectuée sur le fichier d index. Une seule lecture suffit pour trouver l enregistrement. " Un index non-dense est très efficace pour les opérations de recherche mais le problème est de maintenir l ordre du fichier pour les insertions et les destructions. Ce type d index est peu utilisé par les SGBD. N. Chaignaud GM4 - Base de données 11

5. Indexation : index dense " Si on veut indexer un fichier qui n est pas trié sur la clé de recherche, il faut baser l index sur toutes les valeurs de clé existant dans le fichier et les associer à l adresse d un enregistrement (et pas à l adresse d un bloc). " Un index dense peut coexister avec un index nondense. On peut trier un fichier sur la clé primaire et créer un index non-dense, puis ajouter des index denses pour les attributs qui servent fréquemment de critère de recherche. N. Chaignaud GM4 - Base de données 12

5. Indexation : index multi-niveaux " Il peut arriver que la taille du fichier d index soit si grande que les recherches dans l index soient pénalisées. " La solution est d indexer le fichier d index lui-même. " Index multi-niveaux permet de passer, dès le second niveau, d une structure dense à une structure nondense. " Très efficaces en recherche même pour des données de très grande taille. La difficulté est de maintenir des fichiers triés sans dégradation des performances. N. Chaignaud GM4 - Base de données 13

5. Indexation : B-arbre Arbre binaire généralisé équilibré " Blocs chaînés entre eux pour créer une structure arborescente " Chaque nœud est contenu dans une page de disque (une seule opération) " Chaque nœud du B-arbre contient # un tableau de clés trié par ordre croissant, # un tableau d enregistrements associés à ces clés, # n : le nombre de clés stockées dans le nœud, # un booléen valant vrai si le nœud est une feuille, faux sinon, # si le nœud est interne, un tableau de pointeurs vers un sous-arbre dont toutes les clés k sont tq i [2, n], clé[i-1] k clé[i] ; k clé[1] et clé[n] k. " Tout chemin de la racine à une feuille a une longueur h (hauteur). Le degré minimum du B-arbre t (t 2) fixe le nombre minimum et maximum de clés par nœud : tout nœud non racine contient un nombre de clés n tel que t-1 n 2t-1. Tout nœud interne possède entre t et 2t fils (2, 3 ou 4 fils pour le plus simple). N. Chaignaud GM4 - Base de données 14

5. Indexation : B-arbre " Exemple N. Chaignaud GM4 - Base de données 15

5. Indexation : B+-arbre " Un B+-arbre est un B-arbre où les feuilles contiennent toutes les clés (dernier niveau) " Les feuilles sont liées entre elles dans l ordre lexicographique des valeurs permet de répondre aux recherches par intervalle " Les recherches, insertions et suppressions dans un B+-arbre s effectuent par le parcours d un chemin de l arbre nombre d accès disque = O(h) = O(log(n)) " Les B+-arbres sont grandement utilisés pour les bases de données N. Chaignaud GM4 - Base de données 16

5. Indexation : B+-arbre " Exemple N. Chaignaud GM4 - Base de données 17

5. Indexation : B+-arbre " Insertions Insertion de 50 Plusieurs insertions Insertion de 30 N. Chaignaud GM4 - Base de données 18

5. Indexation : B+-arbre " Suppression de 33 N. Chaignaud GM4 - Base de données 19

5. Indexation : hachage " Organiser des données d après une clé et utiliser une fonction qui, pour chaque valeur de clé c, donne l adresse f(c) d un espace de stockage. " Pour obtenir une distribution uniforme avec la fonction d adressage, on utilise les 4 ou 8 premiers caractères de la clé comme des entiers qu on somme. " Indirection entre l identification «logique» du bloc et son emplacement physique. " Avantages # la structure n occupe aucun espace disque (contrairement au B-arbre), le répertoire tient en mémoire principale, # permet d effectuer les recherches par clé par accès direct (calculé) au bloc susceptible de contenir les enregistrements. " Inconvénient : ne permet pas d optimiser les recherches par intervalle puisque l organisation des enregistrements ne s appuie pas sur l ordre de clés. N. Chaignaud GM4 - Base de données 20

5. Indexation : index bitmap " Un index bitmap considère toutes les valeurs possibles pour un attribut, qu elle soit présente ou non dans la table. " Pour chacune de ces valeurs, on stocke un tableau de bits (bitmap) avec autant de bits qu il y a de lignes dans la table # Si le bit est à 1, l attribut A a pour valeur v dans la ligne l # Sinon le bit est à 0. " Pour rechercher une valeur v, il faut prendre le bitmap associé à v, chercher tous les bits à 1 et accéder aux enregistrements. " Un index bitmap est très efficace si le nombre de valeurs possibles pour un attribut est faible. N. Chaignaud GM4 - Base de données 21