Techniques de stockage

Save this PDF as:
 WORD  PNG  TXT  JPG

Dimension: px
Commencer à balayer dès la page:

Download "Techniques de stockage"

Transcription

1 NFE113 Administration et configuration des bases de données 2010 Techniques de stockage 1 Eric Boniface

2 Sommaire Stockage de données Disques RAID Fichiers Oracle et MySQL 2

3 Stockage de données Une base de données = un ou plusieurs fichiers volumineux sur un support non volatile Le support le plus courant : le disque magnétique Bon compromis capacité / prix / performance Deux raisons principales à l utilisation de fichiers Courant d avoir des bases de données dont la taille dépasse celle de la mémoire principale Une base de données doit survivre à l arrêt de l ordinateur qui l héberge, que cet arrêt soit normal ou dû à un incident matériel 3

4 Stockage de données L accès à des données sur un périphérique = caractéristiques essentielles d un SGBD problèmes potentiels de performance dus aux temps de lecture > accès en mémoire principale Points importants des SGBD L organisation des données sur un disque Les structures d indexation Les algorithmes de recherche utilisés Objectif : minimiser les temps d accès Outils de paramétrage et de contrôle pour le DBA 4

5 Stockage de données : support Utilisation des stockages du système informatique La mémoire cache, utilisée par le processeur pour ses données et instructions La mémoire vive ou principale, pour les données et processus Les disques magnétiques, grande capacité de stockage avec accès relativement efficaces Les bandes magnétiques, économiques mais lentes Hiérarchie 5

6 Stockage de données : support Capacité Registres 1 ns Mém cache 5 ns Mém vive 10 ns Mém masse 5 ms Temps d accès Le ratio entre mémoire vive et disque est d environ (parfois 10 6 ) Limiter les accès aux disques, utiliser la mémoire vive 6

7 Stockage de données : disque Inventé en 1956, par Reynold Johnson d IBM Un disque = surface circulaire magnétisée La surface magnétisée est soit D un seul côté = simple face Des deux côtés = double face Division en secteurs = la plus petite surface d adressage Lecture/écriture de zones débutant sur un secteur et couvrant un nombre entier de secteurs La taille d un secteur est le plus souvent de 512 octets Cylindre : ensemble des pistes placées dans un même plan vertical 7

8 Stockage de données : disque 8

9 Stockage de données : disque Asynchronisme entre le traitement par le processeur central et le déroulement des E/S Gestion d une file de requêtes d'e/s Optimisation du temps de réponse global des requêtes en Minimisant les déplacements de bras pour les unités à têtes mobiles Minimisant le nombre de rotations des disques mais ne pas choisir un algorithme trop complexe! 9

10 Stockage de données : disque DEC RP07, années Atlas 15k 2004 Source : Wikipedia 10

11 Stockage de données : disque Mécanisme de regroupement Si besoin de lire un bloc de 4096 octets pour un entier de 4 octets, les 4092 octets restants seront en mémoire centrale À la base des structures d index et de hachage Les pistes accessibles par les têtes sont les mêmes pour tous les disques de la pile en tenir compte pour optimiser le placement des données L ensemble des pistes accessibles = le cylindre La notion de cylindre = toutes les données disponibles sans avoir besoin de déplacer les têtes de lecture 11

12 Stockage de données : disque Regroupement Exemple : lecture de 5 chaînes de caractères de 1000 octets chacune. Si taille de bloc = 4096 octets deux blocs peuvent suffire (a) : 5 déplacements, 5 délais de latence 5x(3,8 +2) = 29 ms (b) : un déplacement, 1 délai de latence + lecture instantanée du bloc suivant 5,8 ms Rapport de 1 à 5 Le temps minimal = combinaison de regroupement et contiguïté 12

13 Stockage de données : disque Gain de lecture : maximal si données «proches» Proximité maximale = dans le même bloc Niveau de proximité suivant = dans deux blocs consécutifs Si dans deux blocs sur la même piste du même disque, lectures par la même tête, sans déplacement de cette dernière, et en une seule rotation du disque L étape suivante = les deux blocs dans un même cylindre évite le déplacement des têtes de lecture Si les blocs dans deux cylindres distincts, la proximité = la distance (en nombre de pistes) à parcourir 13

14 Stockage de données : disque Gain de lecture : maximal si données «proches» Les SGBD essaient d optimiser la proximité des données au moment de leur placement sur le disque Une table devrait être stockée sur une même piste ou, si plus d une piste, sur les pistes d un même cylindre, pour effectuer efficacement un parcours séquentiel A la création de la base, donner un espace important sur disque dédié Ne pas devoir demander à l OS de l allocation disque perpétuelle = fragmentation 14

15 Stockage de données : disque Séquencement En théorie, si un fichier de n blocs est stocké continûment sur une même piste, la lecture séquentielle de ce fichier = en ignorant le temps de transfert n fois plus efficace que si répartition aléatoire sur les pistes du disque A relativiser car un système = multi utilisateurs doit gérer les demandes concurremment Si un utilisateur A demande le fichier F 1 et l utilisateur B demande le fichier F2 déplacements des têtes, même si fichiers stockés en séquentiel 15

16 Stockage de données : disque Séquencement Possibilité de réduire ceci = zone tampon/cache + réorganisation (séquencement) des accès, par l OS ou le SGBD Une technique systématique = l ascenseur Les têtes de lecture se déplacent régulièrement du bord de la surface du disque vers l axe de rotation, puis de l axe le bord. Le déplacement piste par piste, et à chaque piste le séquenceur transmet au contrôleur les demandes d E/S pour la piste courante 16

17 Stockage de données : disque Séquencement Réduction au maximum de temps de déplacement des têtes puisque systématique sur la piste adjacente. Particulièrement efficace pour des systèmes avec de très nombreux processus demandant chacun quelques blocs de données. Effets négatifs = si quelques processus gros consommateurs de données Le processus qui demande des blocs sur la piste 1 alors que les têtes viennent juste de passer à la piste 2 devra attende un temps certain 17

18 Stockage de données : disque Mémoire tampon Très largement utilisée dans les SGBD : l utilisation de mémoires tampon ou «buffer» Un «buffer» = ensemble de blocs en mémoire principale copies des blocs sur le disque Quand le système demande à accéder à un bloc, une première inspection a lieu dans le «buffer» Si le bloc s y trouve déjà, une lecture a été évitée Sinon lecture sur disque et stockage dans le «buffer» 18

19 Stockage de données : disque Mémoire tampon L idée : maintenir en mémoire principale une copie aussi large que possible du disque, même si tout n est pas directement utile Part importante du DBA : définir la part de la mémoire disponible qui peut être attribuée en permanence 19

20 Stockage de données : disque Mémoire tampon Plus de mémoire plus de données gains en performance importants Si «buffer» non plein, lectures en avance («read ahead» ou «prefetching») Exemple : la lecture d une table Fréquent d avoir à lire une table séquentiellement, bloc à bloc Même si besoin que de quelques blocs, chargement de toute la table dans le cache Sera accédé ultérieurement 20

21 Stockage de données : RAID Le stockage sur disque = fonctionnalité sensible Performance Sécurité Une défaillance en mémoire centrale = un impact limité, les données modifiées mais non sur disque seront perdues Si perte d un disque, toutes les données sont perdues et restauration d une sauvegarde Risque fort Perte d information Perte de temps 21

22 Stockage de données : RAID Risque augmente avec le nombre de disques utilisé Durée de vie moyenne d un disque (MTBF) = de l ordre d une dizaine d année Risque de panne pour un disque parmi 100 : grossièrement estimé à 120/100 = 1,2 mois Si la défaillance d un disque une perte de données risque trop important 22

23 Stockage de données : RAID La technologie RAID = Redundant Array of Independent Disks Limiter les conséquences des pannes Répartition des données sur un grand nombre de disques La défaillance de l un des disques ni perte de données ni même l indisponibilité du système Plusieurs niveaux RAID, de 0 à 6 Chacun correspondant à une organisation différente des données et donc à des caractéristiques différentes 23

24 Stockage de données : RAID RAID 0 = «striping» Les données sont réparties sur au moins deux disques sous la forme d'agrégats par bandes Augmentation des performances en lecture et écriture Le débit de la grappe de disques en RAID 0 est égale au débit d'un disque multiplié par le nombre de disques Aucune sécurité des données, la perte d'un disque entraîne la perte des données de tous les disques de la grappe 24

25 Stockage de données : RAID RAID 1 = «mirroring, shadowing,duplexing» Toutes les E/S en parallèle sur deux disques Les écritures ne sont pas simultanées pour éviter une interruption d écriture d un même bloc Ecriture sur le disque principal puis sur le second = disque miroir Coûteux car deux fois plus d espace que de données Permet des optimisations en lecture Pas d amélioration du taux de transfert 25

26 Stockage de données : RAID RAID 2 = «striping with parity» Obsolète Similaire au RAID 0 Plus écriture de bits de contrôle ECC sur unité distincte Niveau de sécurité plus élevé Performances mauvaises 26

27 Stockage de données : RAID RAID 3 & 4 = «disk array with bit-interleaved data» & «disk array with block-interleaved data» Très proches. RAID 3 travaille sur octets, RAID 4 travaille sur blocs RAID4 : moins de synchronisme entre les disques RAID4 : meilleures performances Nécessitent n disques (avec n >= 3) N 1 premiers disques = les données Nème disque = la parité sollicité à l écriture performance du disque Si plus d'un disque vient à défaillir perte de données 27

28 Stockage de données : RAID RAID 3 & 4 Soit n disques de données, ajout d un disque de contrôle Les n+1 disques même taille et même structure À chaque bit du disque de contrôle peuvent donc être associés les n bits des disques de données situés à la même position S il y a un nombre pair de 1 parmi ces n bits, le bit de parité vaudra 0, sinon 1 28

29 Stockage de données : RAID RAID 3 & 4 Exemple : soit 3 disques de données et le contenu du premier octet de chaque disque : D1: D2: D3: Prendre chaque colonne et compter le nombre p de 1 dans la colonne La valeur du bit de parité est p mod 2 Première colonne : p = 2 le bit de parité = 0 Premier octet du disque de contrôle DC:

30 Stockage de données : RAID RAID 5 = «disk array with block-interleaved distributed parity» «Disque de contrôle» : réparti entre tous les disques Les disques travaillent tous autant Si système compatible «HotPlug» échange de disques à chaud Performance en lecture et en écriture Recommandé pour les serveurs de fichiers, d'applications, de base de données, Web Le RAID le plus utilisé Performances proches du RAID 0 Tolérance aux pannes 30

31 Stockage de données : RAID RAID 5 Exemple : soit quatre disques durs A, B, C et D, de tailles identiques Enregistrement des premiers blocs sur A, B et C Sur D, résultat de l'opération OU exclusif entre les autres disques (ici A xor B xor C) Puis enregistrement des blocs suivants sur D, A et B et la parité (soit D xor A xor B) sur C Si défaillance d'un disque : reconstitution des données par l'opération xor Propriété XOR : si N blocs de taille identique A 1,..,A n et si A 1.. A n =X alors X A 2..A n =A 1 31

32 Stockage de données : RAID RAID 5 Capacité de stockage utile réelle : si X disques de capacité c identiques = (X-1) * c Si disques de tailles différentes calcul avec la capacité minimale Exemple : trois disques de 100 Go en RAID Go utiles. Dix disques, 900 Go utiles Attention à la durée de reconstruction du RAID Orthogonal RAID 5 Créé par IBM Identique au RAID 5 mais un contrôleur par disque Augmentation sécurité sur matériel 32

33 Stockage de données : RAID RAID 6 = «disk array with block-interleaved distributed parity» Identique au RAID 5 mais avec 2 codes de redondance Fonctionne si 2 disque maximum en panne Nécessite au moins 4 disques Utilise les codes de Hamming ou les codes de Reed- Solomon Temps d'écriture longs calculs de redondance complexes Temps de reconstruction si défaillance de 2 disques extrêmement long De nouveau à la mode, cf Linux

34 Stockage de données : RAID RAID 7 Utilisation d une carte à microcontrôleur Calcul de parité Gestion des disques Surveillance temps réel Grand nombre de disques Nombre de disque défaillant proportionnel au nombre de disques de parité Transferts de données en mode asynchrone 1,5 à 6 fois plus performants en écriture Peu utilisé car coûteux en équipements et complexe 34

35 Stockage de données : RAID JBOD ou NRAID = «Just a Bunch Of Disks» Agrégat de disques, sans sécurité Utile pour créer volume logique depuis plusieurs disques physiques Permet de faire évoluer un volume physique par ajout de disque Ecriture séquentielle : les données sont écrites sur le disque dur suivant que si plus de place sur le précédent RAID DP = «Dual Parity» Comme RAID 6, mais disques de parité fixes Utilisé dans les baies NAS 35

36 Stockage de données : RAID Combinaisons RAID 01 ou 0+1 : «mirroring» + «striping» Nécessite 4 unités au moins Fiabilité moyenne, reconstruction très longue Si > 3 grappes : le retrait d une = sauvegarde «instantanée» RAID 10 ou 1+0 Volume agrégé par bande fiable car basé sur des grappes répliquées Chaque grappe : >= 2 unités, >= 2 grappes minimum 4 unités de stockage Grande fiabilité, reconstruction assez performante Wikipedia Wikipedia 36

37 Stockage de données : RAID Conclusion Les plus utilisés : 1 et 5 Trois critères pour le choix Sécurité RAID 1 et 5 niveau de sécurité élevé Mais la méthode de reconstruction des disques varie entre les deux solutions En cas de panne du système, RAID 5 reconstruit le disque manquant à partir des informations stockées sur les autres disques, tandis que RAID 1 opère une copie disque à disque 37

38 Stockage de données : RAID Conclusion Trois critères pour le choix Performance RAID 1 meilleures performances que RAID 5 en lecture mais moins bon sur écritures importantes Le coût Directement lié à la capacité de stockage RAID 5 : volume utile représentant 80 à 90% RAID 1 : 50 % du volume total 38

39 Stockage de données : RAID Conclusion Soit 10 disques durs de 120 Go, avec débit réel en lecture/écriture de 70/50 Mo/s Meilleur rapport capacité/performances/sécurité RAID 5 Attention : ne pas être trop confiant 39

40 Sommaire Stockage de données Disques RAID Fichiers Oracle et MySQL 40

41 Fichiers Base de données = ensemble de données stockées sur un support persistant Technique la plus répandue = effectuer le stockage des données sur disque par des fichiers Gestion de fichiers = aspect commun aux systèmes d exploitation et aux SGBD En théorie le SGBD pourrait s appuyer sur les fonctionnalités de l OS, mais Les modules de gestion peuvent varier d un OS à l autre Les éditeurs peuvent préférer leurs techniques d accès La mémoire tampon de l OS peut être gênante 41

42 Fichiers Les SGBD, sauf MySQL ont leur propre module de gestion de fichiers Enregistrements Pour l OS, fichier = suite d octets sur un/plusieurs blocs Fichiers d un SGBD plus structurés Constitués d enregistrements = entités du SGBD Selon le modèle logique du SGBD des n-uplets dans une relation ou des objets Nous nous limiterons au premier cas dans ce qui suit 42

43 Fichiers Un n-uplet dans une table relationnelle = une liste d attributs, chacun ayant un type A ce n-uplet un enregistrement, constitué de champs Chaque type d attribut détermine la taillle du champ nécessaire pour stocker une instance du type Tableau de la taille habituelle pour les principaux types de la norme SQL 43

44 Fichiers Taille d un n-uplet, approximation La somme des tailles des champs En réel, plus compliqué Les champs de taille variable les enregistrements aussi si la taille d un enregistrement augmente suite à mise à jour trouver l espace libre Représentation de la valeur NULL? D après le tableau des tailles, 2 catégories Taille fixe Taille variable 44

45 Fichiers Entiers/flottants : binaire sur 2, 4 ou 8 octets Si type DECIMAL pour fixer la précision, les nombres sous la forme d une chaîne de caractères Exemple Un DECIMAL(12,2) 12 octets, les deux derniers correspondant aux deux décimales Chaque octet : un caractère représentant un chiffre DATE et TIME : sous la forme de chaînes de caractères, aux formats AAAAMMJJ et HHMMSS CHAR particulier : indication de la taille fixe CHAR(5) sur 5 octets comment est représentée la valeur NFE? 45

46 Fichiers Représentation de NFE pour un char(5) Ajout de deux blancs Ajout d un caractère conventionnel La convention adoptée influe sur les comparaisons Dans un cas stockage de Bou (deux blancs) Dans l autre Bou sans caractères de terminaison Si utilisation du type CHAR important d étudier la convention adoptée par le SGBD 46

47 Fichiers Utilisation plus fréquente du type VARCHAR(n) Permet de stocker des chaînes de longueur variable Il existe (au moins) deux possibilités Longueur n+1, le premier octet = la longueur exacte Longueur l+1, avec l<n pas de stockage inutile Exemple sur la 1 ère possibilité Stockage NFE dans un VARCHAR(10) 3NFE Le premier octet = 3 au format binaire Les trois octets suivants = caractères N, F et E Les 7 octets suivants restant inutilisés 47

48 Fichiers Représentation d un entier sur un octet Limitation de la taille maximale d un VARCHAR à 255 Une variante pour lever cette limite : remplacer l octet initial contenant la taille par un caractère de terminaison de la chaîne (comme en C) Le type BIT VARYING Comme un VARCHAR Mais l information stockée ne contient pas que des caractères codés en ASCII pas de caractère de terminaison Utilisation d un préfixe pour indiquer la taille, sur 2, 4 ou 8 octets selon la taille maximale autorisé pour ce type 48

49 Fichiers Possibilité d un stockage optimisé pour le type énuméré dont les instances ne peuvent prendre leur (unique) valeur que dans un ensemble spécifié (par exemple avec une clause CHECK) Exemple : { valeur1, valeur2,... valeurn } Le SGBD doit contrôler, sur affectation d une valeur qu elle appartient à { valeur1, valeur2,... valeurn } Utilisation de l indice de la valeur, sur 1 ou 2 octets selon la taille de l ensemble énuméré (au maximum valeurs pour 2 octets) Cela représente un gain d espace, notamment si les valeurs consistent en chaînes de caractères 49

50 Fichiers : en-tête d enregistrement Souvent nécessaire de stocker des informations complémentaires sur un enregistrement dans un en-tête La taille de l enregistrement, si de taille variable Un pointeur vers le schéma de la table, pour savoir quel est le type de l enregistrement La date de dernière mise à jour Etc. Utilisation possible de cet en-tête pour les NULL Absence de valeur pour un des attributs délicate à gérer On ne stocke rien risque de perturber le découpage du champ On stocke une valeur conventionnelle perte de l espace 50

51 Fichiers : en-tête d enregistrement Une solution possible : créer un masque de bits Un pour chaque champ de l enregistrement Donner à chaque bit la valeur 0 si le champ est NULL 1 sinon Ce masque peut être stocké dans l en-tête de l enregistrement Possibilité de ne pas utiliser d espace pour un NULL tout en restant en mesure de décoder correctement la chaîne d octets constituant l enregistrement 51

52 Fichiers : en-tête d enregistrement Exemple Table Film avec les attributs id de type INTEGER, titre de type VARCHAR(50) et annee de type INTEGER Représentation de l enregistrement (123, Vertigo, NULL) L identifiant est stocké sur 4 octets Le titre sur 8 octets, dont un pour la longueur L en-tête de l enregistrement contient Un pointeur vers le schéma de la table Sa longueur totale (soit 4 + 8) Un masque de bits 110 indiquant que le troisième champ est à NULL Notez qu en lisant l en-tête, on sait calculer l adresse de l enregistrement suivant 52

53 Fichiers : blocs Un fichier est découpé en blocs En général, possible de placer plusieurs enreg. dans un bloc Objectif : éviter qu un enreg. chevauche deux blocs Le nombre maximal d enregistrements de taille E pour un bloc de taille B est donné par Le plus grand entier < à B/E 53

54 Fichiers : blocs Exemple Un fichier stockant une table sans attributs de longueur variable (VARCHAR/BIT VARYING) Taille des enregistrements = somme des tailles Suppositions La taille table = 84 octets La taille de bloc = 4096o En-tête de chaque bloc = 100 octets (espace libre, un chaînage avec d autres blocs, etc.) Placement possible de ( )/ 84 = 47 enreg. Reste : 3996-(47x84) = 48 octets inutilisés 54

55 Fichiers : blocs Récupération de l enregistrement 563 Calcul du bloc : 563/47+1 = 12 Récupération du bloc en mémoire centrale Recherche dans le bloc Le premier enregistrement du bloc : 11x47+1 = 517 Le dernier enregistrement : 12x47 = 564 Le 563 est l avant-dernier du bloc, avec pour numéro interne le 46 En supposant que le fichier soit codé par F1, l adresse de l enregistrement peut être représentée par F

56 Fichiers : blocs De nombreux autres modes d adressage possibles Inconvénient d une adresse physique : changer un enregistrement de place sans rendre invalides les pointeurs sur cet enregistrement (index) utilisation d une adresse logique, identifie un enregistrement indépendamment de sa localisation Une table de correspondance entre l adresse physique et l adresse logique Grande souplesse dans l organisation et la réorganisation En revanche il entraîne un coût additionnel 56

57 Fichiers : blocs Adressage avec indirection Adressages physique et logique 57

58 Fichiers : blocs Solution intermédiaire : adressages physique et logique Pour localiser un enregistrement : adresse physique de son bloc; dans le bloc, une table donnant la localisation au sein du bloc ou dans un autre bloc Exemple enregistrement F F1.12 indique le bloc 12 du fichier F1 46 logique de l enregistrement dans le bloc L enregistrement 46 = emplacement au sein du bloc L enregistrement 57 a été déplacé dans un autre bloc 58

59 Fichiers : blocs Noter que l espace libre dans le bloc est situé entre l en-tête du bloc et les enregistrements eux-mêmes Augmentation simultanément de ces deux composantes au moment d une insertion par exemple, sans avoir à effectuer de réorganisation interne du bloc Ce mode d identification offre beaucoup d avantages, et est utilisé par ORACLE par exemple. Il permet de réorganiser souplement l espace interne à un bloc 59

60 Fichiers : enregistrements taille variable Table avec VARCHAR ou BIT VARYING enregistrements de taille variable Insertion d un enregistrement calcul de la taille d après le nombre réel d octets nécessaires La taille est stockée au début de l emplacement pour déterminer le début de l enregistrement suivant Si mise à jour et place initialement réservée insuffisante créer un chaînage entre l enregistrement initial et les parties complémentaires créées 60

61 Fichiers : enregistrements taille variable Insertion dans Film de «Marnie», sans résumé, stockage dans le bloc F1.12, numéro 46 Insertion autre film, numéro 47 du bloc F1.12 Titre exact = «Pas de printemps pour Marnie» UPDATE si espace libre suffisant : réorganisation interne en mémoire centrale, réorganisation à coût nul d E/S Puis mise à jour pour le résumé, or plus de place libre déplacement dans un autre bloc, tout en gardant la même adresse 61

62 Fichiers : enregistrements taille variable Oracle : déplacement de l enregistrement entier MySQL : fragmentation en stockant le résumé dans un autre bloc, avec un chaînage au niveau de l enregistrement Déplacement/fragmentation des enregistrements de taille variable : pénalisante pour les performances Autant de lectures sur le disque que d indirections / fragments Coût d une lecture d un enregistrement en n parties, à n fois le coût d un enregistrement compact Les SGBD, comme Oracle peut réserver un espace disponible dans chaque bloc 62

63 Fichiers : enregistrements taille variable Enreg. de taille variable, plus compliqués à gérer Accès au fichier prendre en compte les en-têtes de bloc ou d enregistrement pour savoir où commence et où finit un enregistrement donné Un fichier contenant des enregistrements de taille variable utilise souvent mieux l espace qui lui est attribué Si on définissait par exemple Les attributs de taille variable comme CHAR et pas VARCHAR enreg. de taille fixe Beaucoup d espace perdu 63

64 Fichiers : organisation OS : les fichiers dans une arborescence de répertoires Un répertoire = ensemble de fichiers identifiés de manière unique (dans le répertoire) par un nom Emplacement physique du fichier sur le disque emplacement logique dans l arbre des répertoires Deux aspects indépendants : possibilité de changer le nom d un fichier ou de modifier son répertoire sans que cela affecte ni son emplacement physique ni son contenu SGBD : un fichier = une liste de blocs, regroupés sur certaines pistes ou répartis aléatoirement sur l ensemble du disque et chaînés entre eux 64

65 Fichiers : organisation Meilleures performances : regroupement Dans la mesure du possible gestion de blocs consécutifs. Si non possible de stocker un fichier sur un seul espace contigu (p. ex. un seul cylindre), une solution intermédiaire est de chaîner entre deux de tels espaces Le terme d organisation pour un fichier = la structure utilisée pour stocker les enregistrements du fichier Une bonne organisation limiter les ressources en espace et en temps consacrées à la gestion du fichier 65

66 Fichiers : organisation Espace : situation optimale = la taille d un fichier est la somme des tailles des enregistrements du fichier Peu ou pas d espace vide dans le fichier Temps : favoriser les opérations sur un fichier En pratique, concentration sur la recherche d un enregistrement, car conditionne l efficacité de la mise à jour et de la destruction Ne pas négliger le coût des insertions 66

67 Fichiers : organisation Efficacité en espace = rapport entre le nombre de blocs utilisés et le nombre minimal de blocs nécessaire Exemple, si possible de stocker 4 enregistrements dans un bloc, stockage optimal de 1000 enreg. = 250 blocs Si mauvaise organisation : un enregistrement par bloc et 1000 blocs nécessaires Dans le pire des cas : des blocs vides et la taille du fichier indépendante du nombre d enregistrements Difficile de garantir une utilisation optimale de l espace à tout moment (destructions / modifications) Bonne gestion de fichier réorganiser dynamiquement pour préserver espace 67

68 Fichiers : organisation Efficacité en temps = en fonction d une opération donnée (p. ex. l insertion / la recherche) Le rapport entre le nombre de blocs lus et la taille totale du fichier Pour une recherche p. ex., il faut dans le pire des cas lire tous les blocs du fichier pour trouver un enregistrement, ce qui donne une complexité linéaire Certaines organisations permettent d effectuer des recherches en temps sous-linéaire : arbres-b (temps logarithmique) et hachage (temps constant) 68

69 Fichiers : organisation Une bonne organisation un bon compromis pour les quatre types d opérations Insertion Recherche Mise à jour Destruction Exemple sur une structure simple : fichier séquentiel, non ordonné = sequential file ou heap file Enregistrements stockés dans l ordre d insertion, première place disponible Aucun ordre sur les enregistrements Objectif : utilisation de l espace et bonnes performances pour les mises à jour 69

70 Fichiers : organisation, recherche Consiste à trouver le(s) enreg. satisfaisant un ou plusieurs critères La complexité des critères de sélection : pas d impact sur le coût de la recherche dans un fichier séquentiel Partir du début du fichier, lire un par un tous les enregistrements en mémoire centrale Effectuer le test sur les critères de sélection, fait en mémoire centrale complexité peut être considérée comme négligeable par rapport au temps de chargement de tous les blocs du fichier 70

71 Fichiers : organisation, recherche Si nombre d enregistrements à trouver inconnu parcourir tout le fichier Si recherche par clé unique s arrêter dès que l enregistrement est trouvé Coût moyen = n/2, n nombre de blocs Si fichier trié sur le critère de recherche : dichotomie Exemple, recherche de «Scream» Prendre le bloc au milieu du fichier Si «Scream» recherche terminée Sinon, recherche dans la partie droite ou gauche Retour à l étape (1), espace de recherche la moitié droite ou gauche du fichier 71

72 Fichiers : organisation, recherche Algorithme récursif, diminution par deux de la taille de l espace de recherche à chaque étape Si taille initiale de n blocs n/2 à l étape 1 n/2 k à l étape k Au pire : fin si plus qu un seul bloc Si k, tel que n < 2 k Nombre maximal d étapes = le plus petit k tel que n < 2 k, soit log 2 (n) < k Pour un fichier de 100 Mo Parcours séquentiel lecture des blocs Dichotomie log 2 (25000) = 15 lectures 72

73 Fichiers : organisation, recherche Deux obstacles Suppose que le fichier soit organisé d un seul tenant, et qu il est possible à chaque étape de calculer le bloc du milieu Le maintien de l ordre dans un fichier soumis à des insertions, suppressions et mises à jour, difficile à obtenir A la source de nombreuses structures d index L arbre-b résout les deux problèmes ci-dessus Système de pointeurs décrivant, à chaque étape de la recherche, l emplacement du fichier qui reste à explorer Utilise une algorithmique qui lui permet de se réorganiser dynamiquement sans perte de performance 73

74 Fichiers : organisation, mise à jour Problème : trouver un bloc avec un espace libre suffisant Ne pas parcourir tous les blocs insérer toujours à la fin du fichier car il faut réutiliser les espaces rendus disponibles par les destructions La seule solution : garder une structure annexe qui distingue les blocs pleins des autres, et permette de trouver rapidement un bloc avec de l espace disponible 74

75 Fichiers : organisation, mise à jour Liste doublement chaînée des blocs libres Quand de l espace se libère dans un bloc plein, insertion à la fin de la liste chaînée Quand un bloc devient plein : suppression de la liste En imaginant que le bloc 8 devienne plein Chaînage des blocs 3 et 7 par un jeu classique de modification des adresses Nécessite deux adresses Bloc précédent et bloc suivant dans l en-tête L adresse du 1 er bloc de la liste dans l en-tête du fichier 75

76 Fichiers : organisation, mise à jour Inconvénient : pas d indication sur la quantité d espace disponible dans les blocs Insertion d un enreg. de taille volumineuse, risque de parcourir une partie de la liste lecture de plusieurs blocs Autre solution : structure séparée des blocs du fichier Un répertoire qui donne, pour chaque page, un flag O/N indique s il reste de l espace un champ donnant le nombre d octets Pour trouver un bloc avec une quantité d espace libre donnée parcourir ce répertoire 76

77 Fichiers : organisation, mise à jour Le répertoire doit être stocké dans une ou plusieurs pages associées au fichier Stockage de très peu d informations par bloc taille moins élevée que celle du fichier lui-même le temps d accès au répertoire est négligeable comparé aux autres opérations 77

Techniques de stockage. Techniques de stockage, P. Rigaux p.1/43

Techniques de stockage. Techniques de stockage, P. Rigaux p.1/43 Techniques de stockage Techniques de stockage, P. Rigaux p.1/43 Techniques de stockage Contenu de ce cours : 1. Stockage de données. Supports, fonctionnement d un disque, technologie RAID 2. Organisation

Plus en détail

Plan. Cours 4 : Méthodes d accès aux données. Architecture système. Objectifs des SGBD (rappel)

Plan. Cours 4 : Méthodes d accès aux données. Architecture système. Objectifs des SGBD (rappel) UPMC - UFR 99 Licence d informatique 205/206 Module 3I009 Cours 4 : Méthodes d accès aux données Plan Fonctions et structure des SGBD Structures physiques Stockage des données Organisation de fichiers

Plus en détail

La technologie RAID. L'essentiel. Que choisir?

La technologie RAID. L'essentiel. Que choisir? La technologie RAID L'essentiel Que choisir? Alben21 - Tous droits réservés - Edition 2012 RAID (Redundant Array of Independent Disks) = Ensemble redondant de disques indépendants La technologie RAID permet

Plus en détail

Structure fonctionnelle d un SGBD

Structure fonctionnelle d un SGBD Fichiers et Disques Structure fonctionnelle d un SGBD Requetes Optimiseur de requetes Operateurs relationnels Methodes d acces Gestion de tampon Gestion de disque BD 1 Fichiers et Disques Lecture : Transfert

Plus en détail

Niveau 1. Disque 1 Bande 1 Bande 4 Bande 7. Disque 3 Bande 3 Bande 6 Bande 9. Disque 2 Bande 2 Bande 5 Bande 8

Niveau 1. Disque 1 Bande 1 Bande 4 Bande 7. Disque 3 Bande 3 Bande 6 Bande 9. Disque 2 Bande 2 Bande 5 Bande 8 Présentation de la technologie RAID, un article de «Comment ça marche» La technologie RAID (acronyme de Redundant Array of Inexpensive Disks, parfois Redundant Array of Independent Disks, traduisez Ensemble

Plus en détail

CNAM Paris. Cours de bases de données

CNAM Paris. Cours de bases de données CNAM Paris Cours de bases de données Aspects système Philippe Rigaux Philippe.Rigaux@cnam.fr http://deptinfo.cnam.fr/rigaux 2 Table des matières 1 Techniques de stockage 7 1.1 Stockage de données.....................................

Plus en détail

Le RAID. RAID = Redundant Array of Independent (or Inexpensive) Disks = matrice

Le RAID. RAID = Redundant Array of Independent (or Inexpensive) Disks = matrice 1. Qu est-ce-que le RAID? Le RAID RAID = Redundant Array of Independent (or Inexpensive) Disks = matrice redondante de disques indépendants (ou bon marchés) Le RAID est une technique permettant de regrouper

Plus en détail

Systèmes de gestion de bases de données

Systèmes de gestion de bases de données Systèmes de gestion de bases de données Supports de stockage P. Rigaux Cnam, dépt. informatique April 1, 2015 PR (Cnam, dépt. info) Systèmes de gestion de bases de données April 1, 2015 1 / 1 Techniques

Plus en détail

CHAPITRE 4: RAID (Redundant Array of Independant / Inexpensive Disks)

CHAPITRE 4: RAID (Redundant Array of Independant / Inexpensive Disks) CHAPITRE 4: RAID (Redundant Array of Independant / Inexpensive Disks) Le system RAID peut être Matériel ou Logiciel I. RAID 0 : Volume agrégé par bandes (Striping) On a un fichier découpé en plusieurs

Plus en détail

Les systèmes RAID Architecture des ordinateurs

Les systèmes RAID Architecture des ordinateurs METAIS Cédric 2 ème année Informatique et réseaux Les systèmes RAID Architecture des ordinateurs Cédric METAIS ISMRa - 1 - LES DIFFERENTS SYSTEMES RAID SOMMAIRE INTRODUCTION I LES DIFFERENTS RAID I.1 Le

Plus en détail

Systèmes de Fichiers

Systèmes de Fichiers Systèmes de Fichiers Hachage et Arbres B Serge Abiteboul INRIA February 28, 2008 Serge Abiteboul (INRIA) Systèmes de Fichiers February 28, 2008 1 / 26 Systèmes de fichiers et SGBD Introduction Hiérarchie

Plus en détail

ASR2 ASR2-S. Gestion des disques. Gestion des disques : plan et illustrations. Plan. 1 Un disque, comment ça marche?

ASR2 ASR2-S. Gestion des disques. Gestion des disques : plan et illustrations. Plan. 1 Un disque, comment ça marche? ASR2-S ASR2-Système Département Informatique IUT Bordeaux 1 ASR2 Plan Fichiers, répertoires, systèmes de fichiers Comment marche un disque La gestion d un disque par le système les systèmes RAID l organisation

Plus en détail

Systèmes de gestion de bases de données

Systèmes de gestion de bases de données Systèmes de gestion de bases de données Fichiers P. Rigaux Cnam, dépt. informatique April 1, 2015 PR (Cnam, dépt. info) Systèmes de gestion de bases de données April 1, 2015 1 / 1 Fichiers Une base de

Plus en détail

Chargement de processus Allocation contigüe Allocation fragmentée Gestion de pages. Gestion mémoire. Julien Forget

Chargement de processus Allocation contigüe Allocation fragmentée Gestion de pages. Gestion mémoire. Julien Forget Julien Forget Université Lille 1 École Polytechnique Universitaire de Lille Cité Scientifique 59655 Villeneuve d Ascq GIS 3 2011-2012 1 / 46 Rôle du gestionnaire de mémoire Le gestionnaire de mémoire a

Plus en détail

Bases de données. Cours 2 : Stockage

Bases de données. Cours 2 : Stockage Bases de données Polytech Paris-Sud Apprentis 4 ème année Cours 2 : Stockage kn@lri.fr http://www.lri.fr/~kn Plan 1 Rappels 2 Stockage 2.1 Introduction 2.2 Aspects bas-niveau 2.3 Stockage pour les SGBD

Plus en détail

Implémentation des systèmes de fichiers. Didier Verna. didier@lrde.epita.fr http://www.lrde.epita.fr/ didier. Systèmes d Exploitation

Implémentation des systèmes de fichiers. Didier Verna. didier@lrde.epita.fr http://www.lrde.epita.fr/ didier. Systèmes d Exploitation 1/25 Implémentation des systèmes de fichiers didier@lrde.epita.fr http://www.lrde.epita.fr/ didier 2/25 Table des matières 1 2 Méthodes d allocation 3 Implémentation des répertoires 4 Implémentation du

Plus en détail

Chapitre V : La gestion de la mémoire. Hiérarchie de mémoires Objectifs Méthodes d'allocation Simulation de mémoire virtuelle Le mapping

Chapitre V : La gestion de la mémoire. Hiérarchie de mémoires Objectifs Méthodes d'allocation Simulation de mémoire virtuelle Le mapping Chapitre V : La gestion de la mémoire Hiérarchie de mémoires Objectifs Méthodes d'allocation Simulation de mémoire virtuelle Le mapping Introduction Plusieurs dizaines de processus doivent se partager

Plus en détail

Gestion de mémoire secondaire F. Boyer, Laboratoire Sardes Fabienne.Boyer@imag.fr

Gestion de mémoire secondaire F. Boyer, Laboratoire Sardes Fabienne.Boyer@imag.fr Gestion de mémoire secondaire F. Boyer, Laboratoire Sardes Fabienne.Boyer@imag.fr 1- Structure d un disque 2- Ordonnancement des requêtes 3- Gestion du disque - formatage - bloc d amorçage - récupération

Plus en détail

Les différents niveaux de RAID

Les différents niveaux de RAID Les différents niveaux de RAID Les niveaux standard Les différents types d'architecture RAID sont numérotés à partir de 0 et peuvent se combiner entre eux (on parlera alors de RAID 0+1, 1+0, etc.). RAID

Plus en détail

Introduction aux systèmes d exploitation

Introduction aux systèmes d exploitation Introduction aux systèmes d exploitation Le système d exploitation est un ensemble de logiciels qui pilotent la partie matérielle d un ordinateur. Les principales ressources gérées par un système d exploitation

Plus en détail

Systèmes d exploitation Gestion des fichiers. Catalin Dima

Systèmes d exploitation Gestion des fichiers. Catalin Dima Systèmes d exploitation Gestion des fichiers Catalin Dima 1 Problématique Certains processus doivent stocker/avoir accès à une très grande quantité de mémoire Parfois plusieurs ordres de grandeur par rapport

Plus en détail

Plan. Bases de données. Cours 2 : Stockage. Quels types de mémoire pour une BD? Où stocker les données? Polytech Paris-Sud. Apprentis 4 ème année

Plan. Bases de données. Cours 2 : Stockage. Quels types de mémoire pour une BD? Où stocker les données? Polytech Paris-Sud. Apprentis 4 ème année Bases de données Polytech Paris-Sud Apprentis 4 ème année Cours 2 : Stockage 2.1 Introduction 2.2 Aspects bas-niveau kn@lri.fr http://www.lri.fr/~kn 2/20 Hierarchie mémoire : Où stocker les données? Type

Plus en détail

Utilisation du RAID logiciel Sur un serveur Windows 2000

Utilisation du RAID logiciel Sur un serveur Windows 2000 BTS INFORMATIQUE DE GESTION Option Administrateur de réseaux développement d applications COMPTE-RENDU D ACTIVITE ACTIVITE N 6 Nom et Prénom : Casanova Grégory Identification (objectif) de l activité Utilisation

Plus en détail

MISE EN SERVICE D UN SERVEUR FREENAS

MISE EN SERVICE D UN SERVEUR FREENAS ACTIVITE de FORMATION ACTIVITE : MISE EN SERVICE D UN SERVEUR FREENAS CONDITIONS D EXERCICE - Moyens et Ressources @ TAXONOMIE 1 2 3 4 Internet Logiciel Doc. PC Outillages Matériels ON DEMANDE CRITERE

Plus en détail

6 - Le système de gestion de fichiers F. Boyer, UJF-Laboratoire Lig, Fabienne.Boyer@imag.fr

6 - Le système de gestion de fichiers F. Boyer, UJF-Laboratoire Lig, Fabienne.Boyer@imag.fr 6 - Le système de gestion de fichiers F. Boyer, UJF-Laboratoire Lig, Fabienne.Boyer@imag.fr Interface d un SGF Implémentation d un SGF Gestion de la correspondance entre la structure logique et la structure

Plus en détail

Cours de bases de données Aspects système

Cours de bases de données Aspects système Cours de bases de données Aspects système Version 1.0 Philippe Rigaux 08 October 2015 Table des matières 1 Introduction 3 2 Dispositifs de stockage 5 2.1 S1 : Supports de stockage........................................

Plus en détail

Livre blanc sur la technologie RAID

Livre blanc sur la technologie RAID Livre blanc sur la technologie RAID En tant que spécialiste du stockage de données, LaCie sait que la majorité des utilisateurs d'ordinateurs ont besoin d'une solution de stockage ou de sauvegarde et que

Plus en détail

Qu est ce que le RAID?

Qu est ce que le RAID? LES SYSTEMES RAID PLAN Introduction : Qu est ce que le RAID? Quels sont les différents niveaux de RAID? Comment installer une solution RAID? Conclusion : Quelle solution RAID doit-on choisir? Qu est ce

Plus en détail

Architecture des ordinateurs. Mémoires (II) Licence Informatique - Université de Provence. Jean-Marc Talbot

Architecture des ordinateurs. Mémoires (II) Licence Informatique - Université de Provence. Jean-Marc Talbot Architecture des ordinateurs Licence Informatique - Université de Provence Jean-Marc Talbot Mémoires jtalbot@cmi.univ-mrs.fr L3 Informatique - Université de Provence () Architecture des ordinateurs 120

Plus en détail

Informatique pour scientifiques hiver 2003-2004. Plan général Systèmes d exploitation

Informatique pour scientifiques hiver 2003-2004. Plan général Systèmes d exploitation Informatique pour scientifiques hiver 2003-2004 27 Janvier 2004 Systèmes d exploitation - partie 3 (=OS= Operating Systems) Dr. Dijana Petrovska-Delacrétaz DIVA group, DIUF 1 Plan général Systèmes d exploitation

Plus en détail

Approche générale. Vocabulaire élémentaire. Partition. Volume. Systèmes de fichiers avancés. Texte. Volumes, Partitions, RAID. Partition.

Approche générale. Vocabulaire élémentaire. Partition. Volume. Systèmes de fichiers avancés. Texte. Volumes, Partitions, RAID. Partition. Texte Approche générale Systèmes de fichiers avancés Volumes, Partitions, RAID 1 2 Vocabulaire élémentaire Partition Disque dur : élément physique destiné au stockage Partition : division d un disque dur

Plus en détail

Le RAID? Notre sujet n est pas l unité d élite de la police...

Le RAID? Notre sujet n est pas l unité d élite de la police... Le RAID Le RAID? Notre sujet n est pas l unité d élite de la police... Notre sujet n est pas non plus... Le RAID? Le RAID? signifie "Redundant Array of Inexpensive Drives". inventé au début des années

Plus en détail

Gestion des périphériques

Gestion des périphériques 3 4 Organisation s périphériques Il existe ux catégories périphérique : les périphériques en mo caractère (carte réseau, imprimante, terminaux, ban, etc.). l unité élementaire d échange est l octet (un

Plus en détail

La Gestion des Fichiers

La Gestion des Fichiers KWWSZZZDGHOHLPDJIUaGRQVH]FRXUV 6\VWqPHVG ([SORLWDWLRQ La Gestion des Fichiers Hafid Bourzoufi Université de Valenciennes Didier Donsez Université Grenoble 1 'LGLHU'RQVH]#LPDJIU 2 Système de fichiers De

Plus en détail

ASR2-S ASR2. Gestion des disques : plan et illustrations. 2 Pour l utilisateur 4 FAT. 3 Catalogue de fichiers. 2.

ASR2-S ASR2. Gestion des disques : plan et illustrations. 2 Pour l utilisateur 4 FAT. 3 Catalogue de fichiers. 2. ASR2-S ASR2-Système Département Informatique IUT Bordeaux 1 ASR2 1 Définition 2 Pour l utilisateur nom du position du fichier premier bloc taille CLIENTS 10 50 PRODUITS 60 500 FACTURES 560 2000 pour l

Plus en détail

Introduction aux S.G.B.D.

Introduction aux S.G.B.D. NFE113 Administration et configuration des bases de données - 2010 Introduction aux S.G.B.D. Eric Boniface Sommaire L origine La gestion de fichiers Les S.G.B.D. : définition, principes et architecture

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution

Plus en détail

Encryptions, compression et partitionnement des données

Encryptions, compression et partitionnement des données Encryptions, compression et partitionnement des données Version 1.0 Grégory CASANOVA 2 Compression, encryption et partitionnement des données Sommaire 1 Introduction... 3 2 Encryption transparente des

Plus en détail

2 Définitions avant de commencer pour clarifier la suite des explications

2 Définitions avant de commencer pour clarifier la suite des explications Je vais tenter de vous expliquer en images et le plus simplement possible les différents RAID, même si vous n'utiliserez jamais que le RAID 0, RAID 1 ou RAID 5. Le but n'est pas de vous expliquez c'est

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2014) Marc Parizeau, Département de génie électrique et de génie informatique Plan Mégadonnées («big data») Architecture Hadoop distribution

Plus en détail

INF601 : Algorithme et Structure de données

INF601 : Algorithme et Structure de données Cours 2 : TDA Liste B. Jacob IC2/LIUM 15 février 2010 Plan 1 Définition du TDA Liste 2 Réalisation du TDA Liste 3 Type de stockage des éléments 4 Recherche d un élément Dans une liste non triée Dans une

Plus en détail

Aujourd hui: gestionnaire de fichiers

Aujourd hui: gestionnaire de fichiers Gestion des fichiers GIF-1001 Ordinateurs: Structure et Applications, Hiver 2015 Jean-François Lalonde Source: http://www.business-opportunities.biz/2014/11/16/40-home-offices-that-are-messier-than-yours/

Plus en détail

Architecture (5) - DISQUES DURS -

Architecture (5) - DISQUES DURS - 1/24 Introduction Structure des données Interfaces Architecture (5) - DISQUES DURS - Pierre Gançarski Université de Strasbourg IUT Robert Schuman DUT Informatique 2/24 Introduction Structure des données

Plus en détail

Les systèmes de Fichier

Les systèmes de Fichier Les systèmes de Fichier 1 Les disques durs, aussi petits soient-ils, contiennent des millions de bits, il faut donc organiser les données afin de pouvoir localiser les informations, c'est le but du système

Plus en détail

sécurité et protection des objets externes Sécurité et protection des objets externes

sécurité et protection des objets externes Sécurité et protection des objets externes 1 Sécurité et protection des objets externes Service attendu 2 Service attendu sur la conservation des données Retrouver les données dans l'état Permettre d'avoir un rôle de "propriétaire" Altération due

Plus en détail

Sauvegarde Version 1.0. 25/05/2015 BTS SIO SISR Brochard Florent

Sauvegarde Version 1.0. 25/05/2015 BTS SIO SISR Brochard Florent Sauvegarde Version 1.0 25/05/2015 BTS SIO SISR Brochard Florent Sommaire I. Introduction... 3 II. Définition de la sauvegarde... 3 III. Stratégie de sauvegarde... 3 IV. Types de sauvegarde... 4 A. La sauvegarde

Plus en détail

Disques. 1 er mai 2011

Disques. 1 er mai 2011 de Gilles.Roussel@univ-mlv.fr http://igm.univ-mlv.fr/~roussel/l22/ Licence 2 1 er mai 2011 C est quoi un disque? de C est quoi un disque? de Différents types de disques disques magnétiques (disques durs,

Plus en détail

LES FICHIERS DE DONNEES STRUCTURES EN ENREGISTREMENTS...

LES FICHIERS DE DONNEES STRUCTURES EN ENREGISTREMENTS... ALGO Ch 6 Fichiers I. INTRODUCTION... 1 A. NOTION DE FICHIERS... 1 B. STRUCTURATION DES DONNEES DANS UN FICHIER... 1 1. Fichiers NON structurés... 1 2. Fichiers structurés... 2 C. RESUME DES CARACTERISTIQUES

Plus en détail

exemples de SGF Exemples de SGF

exemples de SGF Exemples de SGF 1 Exemples de SGF FAT - VFAT (1) 2 Partitions 2 Go 3 parties: FAT, éventuellement dupliquée répertoire racine, de taille bornée: 512 entrées de 32 octets objets externes Allocation par bloc de taille fixe

Plus en détail

Architecture des ordinateurs. Optimisation : pipeline. Pipeline (I) Pipeline (II) Exemple simplifié : Instructions de type R

Architecture des ordinateurs. Optimisation : pipeline. Pipeline (I) Pipeline (II) Exemple simplifié : Instructions de type R Architecture des ordinateurs Licence Informatique - Université de Provence Jean-Marc Talbot Optimisation : pipeline jtalbot@cmi.univ-mrs.fr L3 Informatique - Université de Provence () Architecture des

Plus en détail

Chapitre VI : La gestion des disques et des fichiers. Les supports de stockage Les fichiers L organisation des fichiers

Chapitre VI : La gestion des disques et des fichiers. Les supports de stockage Les fichiers L organisation des fichiers Chapitre VI : La gestion des disques et des fichiers Les supports de stockage Les fichiers L organisation des fichiers Introduction La gestion des fichiers recouvre deux activités : Une gestion statique

Plus en détail

Mémoire virtuelle. Généralités

Mémoire virtuelle. Généralités Mémoire virtuelle Généralités La pagination pure - Conversion d adresses virtuelles en adresses physiques - Table des pages à plusieurs niveau et table inversée - Algorithmes de remplacement de page -

Plus en détail

Guide pour l Installation des Disques Durs SATA et la Configuration RAID

Guide pour l Installation des Disques Durs SATA et la Configuration RAID Guide pour l Installation des Disques Durs SATA et la Configuration RAID 1. Guide pour l Installation des Disques Durs SATA... 2 1.1 Installation de disques durs Série ATA (SATA)... 2 2. Guide de Configurations

Plus en détail

Systèmes d'exploitation Chapitre 3: Gestion de fichiers

Systèmes d'exploitation Chapitre 3: Gestion de fichiers Université Cadi Ayyad Faculté Polydisciplinaire de Safi Département sciences mathématiques et informatique Systèmes d'exploitation Chapitre 3: Gestion de fichiers Le stockage fiable, rapide de grandes

Plus en détail

CHAPITRE VI : SYSTEME DE GESTION DE FICHIERS

CHAPITRE VI : SYSTEME DE GESTION DE FICHIERS 56 CHAPITRE VI : SYSTEME DE GESTION DE FICHIERS 6.1 INTRODUCTION : Afin de fournir un accès efficace et pratique au disque, le SE impose un système de gestion de fichiers (SGF) pour permettre de stocker,

Plus en détail

Le Raid c est quoi? Comment ca marche? Les différents modes RAID :

Le Raid c est quoi? Comment ca marche? Les différents modes RAID : Le Raid c est quoi? Redundant Array of Inexpensive Disks: ensemble redondant de disques peu chers. Le RAID est une technologie qui a été dévellopée en 1988 pour améliorer les performances des unités de

Plus en détail

Systèmes de fichiers. Didier Verna

Systèmes de fichiers. Didier Verna 1/23 de fichiers didier@lrde.epita.fr http://www.lrde.epita.fr/ didier 2/23 Table des matières 1 2 Structure des fichiers 3 Structure des répertoires 4 Protection et sécurité 4/23 Répondre aux problèmes

Plus en détail

Travaux pratiques. Compression en codage de Huffman. 1.3. Organisation d un projet de programmation

Travaux pratiques. Compression en codage de Huffman. 1.3. Organisation d un projet de programmation Université de Savoie Module ETRS711 Travaux pratiques Compression en codage de Huffman 1. Organisation du projet 1.1. Objectifs Le but de ce projet est d'écrire un programme permettant de compresser des

Plus en détail

Base de données en mémoire

Base de données en mémoire Base de données en mémoire Plan Bases de données relationnelles OnLine Analytical Processing Difficultés de l OLAP Calculs en mémoire Optimisations 1 Base de données relationnelle Introduction Date Exemple

Plus en détail

Gestion de la Mémoire 1 ère partie: Point de vue processeur. Chapitre 5

Gestion de la Mémoire 1 ère partie: Point de vue processeur. Chapitre 5 Gestion de la Mémoire 1 ère partie: Point de vue processeur Chapitre 5 Présentation La mémoire peut être adressée de 3 points de vue Point de vue processeur Comment le processeur adresse la mémoire physique

Plus en détail

Gilles Roussel. Disques. Optimisation. Bas niveau. Partitions. fichiers FAT RAID. Gilles Roussel. Disques. Optimisation. Bas niveau.

Gilles Roussel. Disques. Optimisation. Bas niveau. Partitions. fichiers FAT RAID. Gilles Roussel. Disques. Optimisation. Bas niveau. C est quoi un disque? de Gilles.Roussel@univ-mlv.fr http://igm.univ-mlv.fr/ens/licence/l2/2012-2013/system/ Licence 2 de 7 avril 2015 C est quoi un disque? C est quoi un disque? de Différents types de

Plus en détail

La gestion de la mémoire

La gestion de la mémoire La gestion de la mémoire 1. Rôle Le gestionnaire de mémoire est un sous-ensemble du système d exploitation. Son rôle est de partager la mémoire entre l O.S. et les diverses applications. Le terme «mémoire»

Plus en détail

Introduction : Caractéristiques du RAID : La redondance et la parité : Les différents types de systèmes RAID :

Introduction : Caractéristiques du RAID : La redondance et la parité : Les différents types de systèmes RAID : Introduction : La technologie RAID (regroupement redondant de disques indépendants) permet de constituer une unité de stockage à partir de plusieurs disques durs. Cette unitée,appelée grappe, a une tolérance

Plus en détail

Continuité de service et sûreté de fonctionnement Application aux données : le RAID. Arnaud Delhay Licence Professionnelle GSR

Continuité de service et sûreté de fonctionnement Application aux données : le RAID. Arnaud Delhay Licence Professionnelle GSR Continuité de service et sûreté de fonctionnement Application aux données : le RAID Arnaud Delhay Licence Professionnelle GSR Motivations Assurer un service constant à l utilisateur niveau calcul : dupliquer

Plus en détail

Introduction à l Informatique

Introduction à l Informatique Introduction à l Informatique. Généralités : Etymologiquement, le mot informatique veut dire «traitement d information». Ceci signifie que l ordinateur n est capable de fonctionner que s il y a apport

Plus en détail

Optimisations des SGBDR. Étude de cas : MySQL

Optimisations des SGBDR. Étude de cas : MySQL Optimisations des SGBDR Étude de cas : MySQL Introduction Pourquoi optimiser son application? Introduction Pourquoi optimiser son application? 1. Gestion de gros volumes de données 2. Application critique

Plus en détail

Gestion de mémoire secondaire F. Boyer, Laboratoire Sardes Fabienne.Boyer@imag.fr

Gestion de mémoire secondaire F. Boyer, Laboratoire Sardes Fabienne.Boyer@imag.fr Gestion de mémoire secondaire F. Boyer, Laboratoire Sardes Fabienne.Boyer@imag.fr 1- Structure d un disque 2- Ordonnancement des requêtes 3- Gestion du disque - formatage - bloc d amorçage - récupération

Plus en détail

Disques durs et disques optiques

Disques durs et disques optiques Disques durs et disques optiques GIF-1001 Ordinateurs: Structure et Applications, Hiver 2015 Jean-François Lalonde (sculpture faite de vieux disques durs, source: http://www.wired.com/2009/12/hard-drives-sculpture/all/1)

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Introduction a la recherche d information Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département

Plus en détail

Chapitre 3: Modèle relationnel et conception

Chapitre 3: Modèle relationnel et conception LOG660 - Base de données de haute performance Solutions: Chapitre 3: Modèle relationnel et conception QUESTION 1 Plusieurs schémas sont acceptables. Les points à considérer sont: 1. L'agrégation entre

Plus en détail

Système de Gestion de Fichiers

Système de Gestion de Fichiers Chapitre 2 Système de Gestion de Fichiers Le système de gestion de fichiers est un outil de manipulation des fichiers et de la structure d arborescence des fichiers sur disque et a aussi le rôle sous UNIX

Plus en détail

Les systèmes de fichiers : implantation

Les systèmes de fichiers : implantation Les systèmes de fichiers : implantation Polytech Paris-Sud Cycle ingénieur de la filière étudiant Louis Mandel Université Paris-Sud 11 Louis.Mandel@lri.fr année 212/213 Structure physique d un disque Secteur

Plus en détail

TD 6 Introduction à l Informatique

TD 6 Introduction à l Informatique TD 6 Introduction à l Informatique Disques durs Corrigé 1. Composants du disque dur Décrire chaque composant du disque dur représenté ci-dessous. Plateau Moteur rotatif Tête de lecture Bras électromagnétique

Plus en détail

Module BDR Master d Informatique (SAR) Cours 5- bases de données parallèles Anne Doucet Anne.Doucet@lip6.fr

Module BDR Master d Informatique (SAR) Cours 5- bases de données parallèles Anne Doucet Anne.Doucet@lip6.fr Module BDR Master d Informatique (SAR) Cours 5- bases de données parallèles Anne Doucet Anne.Doucet@lip6.fr 1 Plan Introduction Architectures Placement des données Parallélisme dans les requêtes Optimisation

Plus en détail

LinkStation LS-WX2 OTL/R1

LinkStation LS-WX2 OTL/R1 LinkStation LS-WX2 OTL/R1 Fabien REBOISSON 1 1. Qu est ce que ce produit? Le BUFFALO LinkStation LS-WX2 OTL/R1 est un équipement réseau de type NAS c'est-à-dire un serveur de stockage de données. Il peut

Plus en détail

Les mémoires. Eric Cariou. Département Informatique Université de Pau et des Pays de l'adour. Eric.Cariou@univ-pau.fr

Les mémoires. Eric Cariou. Département Informatique Université de Pau et des Pays de l'adour. Eric.Cariou@univ-pau.fr Les mémoires Eric Cariou Département Informatique Université de Pau et des Pays de l'adour Eric.Cariou@univ-pau.fr 1 Mémoire Mémoire Dispositif capable d'enregistrer, de conserver et de restituer des informations

Plus en détail

1 Architecture du cœur ARM Cortex M3. Le cœur ARM Cortex M3 sera présenté en classe à partir des éléments suivants :

1 Architecture du cœur ARM Cortex M3. Le cœur ARM Cortex M3 sera présenté en classe à partir des éléments suivants : GIF-3002 SMI et Architecture du microprocesseur Ce cours discute de l impact du design du microprocesseur sur le système entier. Il présente d abord l architecture du cœur ARM Cortex M3. Ensuite, le cours

Plus en détail

Introduction aux SGBDR

Introduction aux SGBDR 1 Introduction aux SGBDR Pour optimiser une base Oracle, il est important d avoir une idée de la manière dont elle fonctionne. La connaissance des éléments sous-jacents à son fonctionnement permet de mieux

Plus en détail

L approche Bases de données

L approche Bases de données L approche Bases de données Cours: BD. Avancées Année: 2005/2006 Par: Dr B. Belattar (Univ. Batna Algérie) I- : Mise à niveau 1 Cours: BDD. Année: 2013/2014 Ens. S. MEDILEH (Univ. El-Oued) L approche Base

Plus en détail

1 Exercice 1 Question de cours (4 points)

1 Exercice 1 Question de cours (4 points) Info32B Systèmes d'exploitation année 2013-2014 Examen (1ère session) 16 décembre 2014 N. Sabouret L'épreuve dure 2h30. Tous les documents sont autorisés. Les exercices sont indépendants. 1 Exercice 1

Plus en détail

Comme chaque ligne de cache a 1024 bits. Le nombre de lignes de cache contenu dans chaque ensemble est:

Comme chaque ligne de cache a 1024 bits. Le nombre de lignes de cache contenu dans chaque ensemble est: Travaux Pratiques 3. IFT 1002/IFT 1005. Structure Interne des Ordinateurs. Département d'informatique et de génie logiciel. Université Laval. Hiver 2012. Prof : Bui Minh Duc. Tous les exercices sont indépendants.

Plus en détail

Algorithmique et Analyse d Algorithmes

Algorithmique et Analyse d Algorithmes Algorithmique et Analyse d Algorithmes L3 Info Cours 11 : Arbre couvrant Prétraitement Benjamin Wack 2015-2016 1 / 32 La dernière fois Rappels sur les graphes Problèmes classiques Algorithmes d optimisation

Plus en détail

Micro ordinateur & Périphériques Mémoire de masse Disque dur (SOLUTION)

Micro ordinateur & Périphériques Mémoire de masse Disque dur (SOLUTION) Ressources : www.sen-bretagne.net, rubrique VANNES/Télécom&Réseaux/CI4 Traitement num./ Table des matières 1.Introduction...1 2.Constitution...1 3.Lecture et enregistrement...2 3.1.Principe du stockage

Plus en détail

SURETE DE FONCTIONNEMENT ET REPRISE APRES PANNE

SURETE DE FONCTIONNEMENT ET REPRISE APRES PANNE Université des sciences et de la Technologie Houari Boumediene USTHB Alger Département d Informatique ARCHITECTURE ET ADMINISTRATION DES BASES DE DONNÉES 2013-2014 RESPONSABLES M. KAMEL BOUKHALFA (SII)

Plus en détail

Une ergonomie intuitive

Une ergonomie intuitive Une ergonomie intuitive Les solutions de la ligne PME offrent une interface de travail proche des usages quotidiens en informatique. Leur ergonomie intuitive facilite la prise en main du logiciel. Une

Plus en détail

4D v11 SQL Release 5 (11.5) ADDENDUM

4D v11 SQL Release 5 (11.5) ADDENDUM ADDENDUM Bienvenue dans la release 5 de 4D v11 SQL. Ce document présente les nouveautés et modifications apportées à cette nouvelle version du programme. Prise en charge de nouvelles plates-formes La release

Plus en détail

Plan de cette partie. Implantation des SGBD relationnels. Définition et fonctionnalités. Index. Coûts pour retrouver des données

Plan de cette partie. Implantation des SGBD relationnels. Définition et fonctionnalités. Index. Coûts pour retrouver des données Implantation des SGBD relationnels Université de Nice Sophia-Antipolis Version 3.4 25//06 Richard Grin Plan de cette partie Nous allons étudier (très rapidement!) quelques éléments de solutions utilisés

Plus en détail

CREER ET FORMATER UNE PARTITION DE DISQUE DUR 1 QUE SONT LES PARTITIONS ET LES LECTEURS LOGIQUES? 6

CREER ET FORMATER UNE PARTITION DE DISQUE DUR 1 QUE SONT LES PARTITIONS ET LES LECTEURS LOGIQUES? 6 Table des matières. CREER ET FORMATER UNE PARTITION DE DISQUE DUR 1 QUE SONT LES PARTITIONS ET LES LECTEURS LOGIQUES? 6 QUE SONT LES DISQUES DE BASE ET LES DISQUES DYNAMIQUES? 6 FORMATAGE DES DISQUES ET

Plus en détail

Gestion du système de fichiers. Côté utilisateur Description du système Côté concepteur

Gestion du système de fichiers. Côté utilisateur Description du système Côté concepteur Gestion du système de fichiers Côté utilisateur Description du système Côté concepteur Création d un fichier : par un processus qui lui affecte un nom qui sera ensuite connu de tous Introduction Fichier

Plus en détail

CAPTURES INSTANTANÉES FLASHRECOVER. Captures instantanées, illimitées, repensées pour le stockage 100 % flash

CAPTURES INSTANTANÉES FLASHRECOVER. Captures instantanées, illimitées, repensées pour le stockage 100 % flash CAPTURES INSTANTANÉES FLASHRECOVER Captures instantanées, illimitées, repensées pour le stockage 100 % flash LES CAPTURES INSTANTANÉES FLASHRECOVER OFFRENT DES CAPTURES PEU VOLUMINEUSES, ÉVOLUTIVES ET

Plus en détail

Projet d informatique M1BI : Compression et décompression de texte. 1 Généralités sur la compression/décompression de texte

Projet d informatique M1BI : Compression et décompression de texte. 1 Généralités sur la compression/décompression de texte Projet d informatique M1BI : Compression et décompression de texte Le but de ce projet est de coder un programme réalisant de la compression et décompression de texte. On se proposera de coder deux algorithmes

Plus en détail

EX4C Systèmes d exploitation. Séance 14 Structure des stockages de masse

EX4C Systèmes d exploitation. Séance 14 Structure des stockages de masse EX4C Systèmes d exploitation Séance 14 Structure des stockages de masse Sébastien Combéfis mardi 3 mars 2015 Ce(tte) œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution

Plus en détail

Institut Supérieur des Etudes Technologiques de Médenine, Département TI L1 TI-Année 2014-2015 Système d exploitation Gestion de disques dans Windows

Institut Supérieur des Etudes Technologiques de Médenine, Département TI L1 TI-Année 2014-2015 Système d exploitation Gestion de disques dans Windows Objectifs Savoir partitionner un disque Formater, défragmenter, nettoyer une partition Créer une image système de windows 1. Les disques durs Un disque dur est une mémoire de masse (de grande capacité,

Plus en détail

Maintenir vos bases de données SQL Server défragmentées avec Diskeeper

Maintenir vos bases de données SQL Server défragmentées avec Diskeeper Maintenir vos bases de données SQL Server défragmentées avec Diskeeper Toutes les bases de données SQL Server présentent, au fil du temps, une fragmentation «interne» de leurs données. Elle se produit

Plus en détail

Fiche produit. Septembre 2010. Kiwi Pro en quelques mots

Fiche produit. Septembre 2010. Kiwi Pro en quelques mots Septembre 2010 Fiche produit La solution Kiwi Pro a été spécialement conçue pour répondre aux besoins les plus exigeants en terme de fiabilité et de performance, avec une capacité de traitement optimale

Plus en détail

1. Introduction... 2. 2. Avantages, fonctionnalités, limitations et configuration requise... 2. Avantages... 2

1. Introduction... 2. 2. Avantages, fonctionnalités, limitations et configuration requise... 2. Avantages... 2 Guide de démarrage rapide : moteur Zip Sommaire 1. Introduction... 2 2. Avantages, fonctionnalités, limitations et configuration requise... 2 Avantages... 2 Fonctionnalités spécifiques au moteur Zip de

Plus en détail

La stratégie de stockage au Centre de Calcul du CNES

La stratégie de stockage au Centre de Calcul du CNES Réunion du groupe PIN (Pérennisation des Informations Numériques) La stratégie de stockage au Centre de Calcul du CNES Anne Jean Antoine 17 janvier 2002 Le stockage est crucial... Á Les entreprises ont

Plus en détail

Moteur de réplication de fichiers BackupAssist

Moteur de réplication de fichiers BackupAssist Moteur de réplication de fichiers BackupAssist Cortex I.T. Labs 2001-2010 Sommaire Introduction... 2 Single Instance Store... 2 Avantages par rapport aux méthodes de copie traditionnelles... 2 Modes de

Plus en détail

Gestion de mémoire secondaire

Gestion de mémoire secondaire Gestion de mémoire secondaire F. Boyer, Laboratoire Lig Fabienne.Boyer@imag.fr 1- Structure d un disque 2- Ordonnancement des requêtes 3- Gestion du disque - formatage - bloc d amorçage - récupération

Plus en détail