Plan du cours - Introduction - Emergence et évolution des systèmes d exploitation - Système de fichiers : FAT - NTFS - Ordonnancement Systèmes d exploitation 1ère année p. 1
NTFS NTFS : New Technology File System inspiré de HPFS (High Performance FS - OS2) système de fichiers natif de Windows NT rupture de la compatibilité ascendante (DOS) : créé pour satisfaire des critères de - taille des volumes et fichiers - sécurité un enjeu : la performance Systèmes d exploitation 1ère année p. 2
NTFS sources d information Quelques articles techniques (Mark Russinovitch) SourceForge.net : site de développement Open Source (informations reconstituées par "reverse engineering)" Systèmes d exploitation 1ère année p. 3
NTFS allocation de l espace disque NTFS utilise la technique d allocation d espace disque par blocs nommés (Clusters) - clusters numérotés à partir de 0 - cluster 0 commence au secteur 0 - tailles = 512b, 1kb, 2kb, 4kb, 8kb,...64kb Systèmes d exploitation 1ère année p. 4
NTFS terminologie LCN (Logical Cluster Number) : numéro d ordre dans la partition 0,1,... - codé sur 8 bytes (64 bits) - Le LCN N démarre au secteur (N*NbSectPerCluster) VCN (Virtual Cluster Number) : numéro d ordre d un cluster dans le fichier : tout fichier commence par le VCN 0 Systèmes d exploitation 1ère année p. 5
NTFS quelques valeurs par défaut taille partition Taille Cluster secteurs <= 512 Mb 512b 1 > 512 Mb à 1 Gb 1 Kb 2 > 1Gb à 2 Gb 2 Kb 4 > 2Gb 4 Kb 8 NB. La compression de fichiers ne supporte pas des tailles de clusters supérieures à 4Kb Systèmes d exploitation 1ère année p. 6
NTFS en NTFS tout est fichier... - métadonnées du système - métadonnées des fichiers/répertoires - fichiers/répertoires Systèmes d exploitation 1ère année p. 7
NTFS exemples : - fichier $MFT -> localisation détaillée de tous les fichiers - fichier $Boot -> tailles, localisation de la MFT,... -... Systèmes d exploitation 1ère année p. 8
NTFS le fichier Boot seul à emplacement fixe : démarre au secteur 0 (chargement) - saut au chargeur de boot (JMP) (3b) - taille secteur (2b) - nb secteurs (8b) - nb secteurs par cluster (1b) (2exp n - n=1à7) - nb clusters par enregistrement MFT (1b) - LCN du premier cluster des MFT et MFTMirr (8b) -... - programme d amorce Systèmes d exploitation 1ère année p. 9
NTFS la MFT - permet de localiser tous les autres fichiers - 1 entrée par fichier/répertoire - structure plate (n est pas un répertoire) - métadonnées du fichier/répertoire - entièrement localisée par elle-même Systèmes d exploitation 1ère année p. 10
NTFS la $MFT est un fichier d enregistrements : entrée >= enregistrement - création d un fichier => ajout d entrée - suppression d un fichier => marquage (uniquement) -> la $Mft : ne fait que grandir Systèmes d exploitation 1ère année p. 11
NTFS La MFT : données vitales du système de fichiers NTFS - accès fréquents -> éviter la fragmention - évolue tant que possible dans une zone dédiée Systèmes d exploitation 1ère année p. 12
NTFS - MFT zone la MFT et sa zone réservée zone réservée et MFT - but : maintenir la $MFT, qui ne fait qu augmenter de taille, non fragmentée - taille zone par défaut : 12,5% de la partition - le fichier $MFT grandit dans sa zone au début, puis au delà (il se fragmente) -> une MFT fragmentée ralentit le système Systèmes d exploitation 1ère année p. 13
NTFS - MFT zone la taille de la zone peut être configurée avant le formatage NtfsMftZoneReservation : valeurs de 1 à 4 permet de lui réserver : 1 -> 1/8 = 12,5% de l espace (valeur par défaut) 2 -> 2/8 = 25% de l espace 3 -> 3/8 = 37,5% de l espace 4 -> 4/8 = 50% de l espace -> fsutil behavior mftzone Systèmes d exploitation 1ère année p. 14
NTFS - MFT zone la valeur 4 (50%) protège mieux la MFT de la fragmentation à long terme plus de place pour de nouveaux fichiers? - si possible la zonemft est réduite de (50%) - l action est répétée si nécessaire, elle est irréversible Les outils de défragmentation intégrés ne défragmentent pas la MFT Systèmes d exploitation 1ère année p. 15
NTFS - MFT zone zone MFT : quelle taille choisir au moment du formatage? plutôt des petits fichiers -> grande zone MFT (moins d espace pour les blocs) plutôt des grands fichiers -> petite zone MFT (plus d espace pour les blocs) Systèmes d exploitation 1ère année p. 16
NTFS - métadonnées du système les 16 premières entrées de la MFT pourquoi une entrée (de la MFT) décrit la MFT? Systèmes d exploitation 1ère année p. 17
NTFS - métadonnées du système le fichier MFTMirr situé au milieu de la partition copie de sécurité des 4 premières entrées de la MFT : - $MFT - $MFTMirr - $LogFile - $Volume dirty bit,... Systèmes d exploitation 1ère année p. 18
NTFS - structure structure d une partition NTFS structure d une partition NTFS Systèmes d exploitation 1ère année p. 19
NTFS - structure Dans une partition NTFS on distingue 4(+1?) zones : 1. le $Boot, position fixe 2. une zone "réservée" : buffer MFT, pour maintenir le fichier $MFT non fragmenté 3. les espaces fichiers et répertoires : pour les données hors MFT 4. le fichier $MFTMirr (début MFT) 5. la copie du secteur 0 (selon sourceforge) sauvegardée à la fin de la partition (non décrit comme fichier) Systèmes d exploitation 1ère année p. 20
NTFS - structure la zone fichiers utilisateur et système contient les données de fichiers volumineux à différence des petits fichiers contenus dans la MFT! Systèmes d exploitation 1ère année p. 21
NTFS - structure Copie du Boot Il existerait une copie de sauvegarde du secteur 0 Le fichier $Boot (secteur 0) : position fixe et informations vitales Systèmes d exploitation 1ère année p. 22
NTFS - MFT structure des entrées MFT L entrée de la MFT pour un fichier contient un ensemble d attributs : - les métadonnées du fichier (sous forme d attributs) - les données : attribut $DATA (petits fichiers ) - la localisation sur le disque (LCN s : attribut $DATA non résident - grands fichiers ) et les répertoires? En NTFS ils renseignent l entrée MFT des fichiers Systèmes d exploitation 1ère année p. 23
NTFS - MFT - une entrée MFT a une longueur variable (nombre d attributs, taille de chaque attribut,...) - inspirée des bases de données relatonnelles - longueur variable -> un entête précise la taille - entrées de taille variable et enregistrements de taille fixe entête de l enregistrement attr1 attr2 attr3 attr4 espace inutilisé enregistrement de la MFT Systèmes d exploitation 1ère année p. 24
NTFS - MFT voici une entrée MFT pour un fichier : Entete StandardInformation FileName Data ffffffffh 3 attributs et une marque de fin entête de l enregistrement : - longueurs de l info (allouée et réelle)... - flags (répertoire,...) - compteur de liens Hardware -... Systèmes d exploitation 1ère année p. 25
NTFS - MFT un fichier peut avoir plus d un attribut $FILE_NAME - noms DOS - liens hardware et plus d un attribut $DATA - ADS - Alternate Data Stream (images MAC, explorateurs internet) Systèmes d exploitation 1ère année p. 26
NTFS - MFT les attributs chaque attribut a une longueur variable, il annonce son type et sa longueur par un entête Systèmes d exploitation 1ère année p. 27
NTFS - MFT attribut : "résident - non résident" un attribut peut être résident ou non : description entièrement contenue dans l enregistrement MFT ou non - attribut $FILE_NAME (résident) - attribut $DATA (résident pour un "petit fichier", non résident pour un "grand fichier") petit fichier => données contenues dans l enregistrement de la MFT Systèmes d exploitation 1ère année p. 28
NTFS - MFT attribut résident, non nommé (entête et corps) décalage taille valeur description 00h 4 Type de l attribut (10h -> 60h) 04h 4 Longueur Avec Entête 08h 1 00h Flag "non résident" 09h 1 00h - 0Ah 2 00h - 0Ch 2 00h - 0Eh 2 Id de l attribut 10h 4 L Longueur de l attribut 14h 2 18h Début de l attribut 16h 1 Flag indexé 01h 1 00h Remplissage (frontière de 4 bytes) 18h L Attribut Systèmes d exploitation 1ère année p. 29
NTFS - MFT l attribut STANDARD INFORMATION (résident) - dates : création, modification, accès (!) (8 bytes) - permissions DOS,...(4 bytes) - id propriétaire (4 bytes) - id Sécurité (référence une description de droits- 4 bytes) -... -> fsutil behavior set disablelastaccess 1 0 Systèmes d exploitation 1ère année p. 30
NTFS - MFT l attribut FILE NAME (résident) attribut résident, max 255 char unicode - référence au répertoire parent (liens Hard)(8 bytes) - longueur du nom en caractères unicode (1 byte -> 255 caractères) -... - nom Systèmes d exploitation 1ère année p. 31
NTFS - MFT plusieurs attributs NOM possibles : nom DOS, lien hardware,... suppression d un lien Hard -> suppression du nom suppression du dernier lien -> suppression réelle du fichier -> le répertoire parent peut différer pour un lien hardware Systèmes d exploitation 1ère année p. 32
NTFS - petits fichiers l attribut DATA (résident) entrée de la MFT pour un petit fichier Systèmes d exploitation 1ère année p. 33
NTFS - grands fichiers l attribut DATA non résident (grands fichiers ) "grands fichiers" -> chainage de blocs chainage entièrement décrit dans l entête de l attribut $DATA - champ $DATA_RUN présent pour un attribut "non résident" dans ce cas, l attribut DATA est limité à son entête Systèmes d exploitation 1ère année p. 34
NTFS - grands fichiers entête d un attribut non résident, non nommé ($DATA) décalage taille valeur description 00h 4 Type de l attribut (10h -> 60h) 04h 4 Longueur Avec Entête 08h 1 01h Flag "non résident" 09h...... 20h 2 40h Décalage vers DATA RUNS 22h 2 0/x unité de Compression (2expx) 28h 8 Taille allouée de l attribut 30h 8 Taille réelle de l attribut 38h 8 Taille initialisée de l attribut 40h... DATA RUNS Systèmes d exploitation 1ère année p. 35
NTFS - grands fichiers DATA-RUN : liste de RUNs idée : un descripteur par groupe de clusters (RUN) Systèmes d exploitation 1ère année p. 36
NTFS - grands fichiers Un RUN est identifié par : - son premier cluster - le nombre de clusters consécutifs chaque RUN est décrit par un couple d informations chacune de ces informations a une longueur variable -> NTFS représente ces deux valeurs précédées par une information de longueur Systèmes d exploitation 1ère année p. 37
NTFS - grands fichiers chaque RUN est décrit complètement par 2 informations : - 1 - longueur - 2 - décalage chacune, de longueur variable, est précédée par une information de longueur (4 bits) décalage :. absolu pour le premier RUN. relatif au début du précédent, pour les suivants Systèmes d exploitation 1ère année p. 38
NTFS - exemple1 Chainage par DATA RUN : fichier non fragmenté 12 07 56 34 00 1-2 - 07-56 34-00 - 1h - 1 byte pour la longueur - 2h - 2 bytes pour le décalage - 07h - longueur - 5634h - décalage - 00h : fin des RUN (plusieurs descriptions peuvent suivre) ==> données : 7 clusters consécutifs à partir du LCN 5634h Systèmes d exploitation 1ère année p. 39
NTFS - exemple1 un grand fichier sur 7 clusters contigus Systèmes d exploitation 1ère année p. 40
NTFS - exercice soit le champ DATA_RUN 13 18 56 34 11 00 1-3 - 18-563411 : 4 informations - 1h (4 bits) : la longueur est codée sur 1 byte - 3h (4 bits) : le décalage est codé sur 3 bytes - 18h (1 byte) : la longueur vaut 18h (nb de clusters) - 563411h (3bytes) : le décalage vaut 563411h où se trouve le VCN 3h? Systèmes d exploitation 1ère année p. 41
NTFS - exemple2 Chainage par DATA RUN : exemple de fichier fragmenté 13 38 34 25 73 23 01 14 02 11 E5 00 RUN1 13 : 1 byte pour la longueur 3 bytes pour le décalage longueur = 38h décalage = 342573h RUN2 23 : 2 bytes pour la longueur 3 bytes pour le décalage longueur = 0114h décalage = 0211E5h 00 : fin des RUN 1) 38H (56) clusters depuis le LCN 342573h 2) 114h (276) clusters depuis le LCN 342573h+0211E5h Systèmes d exploitation 1ère année p. 42
NTFS - grands fichiers DATA RUN très souple dans le stockage de grands fichiers - taille variable -> pas de compromis place/vitesse - couverture de très grandes partitions et clusters 4K Systèmes d exploitation 1ère année p. 43
NTFS - Exercices en combien de morceaux sont fragmentés les fichiers décrits dans chacun des DATA_RUN suivants? 1. 14 0A 11 00 00 22 00 2. 12 0F 12 A3 13 12 A0 12 00 00 3. 12 05 20 00 11 1F A2 11 30 20 00 4. 13 0D 20 A4 02 11 07 0A 11 02 02 00 Quels sont les LCN correspondant aux 1. VCN 4h du premier fichier? 2. VCN 20h et 30h du deuxième fichier? 3. VCN 2Dh du fichier 3? dessinez l occupation disque des RUNs en 4), qu a-t-elle de particulier? Systèmes d exploitation 1ère année p. 44
NTFS - Questions - la MFT ne fait que grandir [V-F] - la zone MFT ne fait que grandir[v-f] - NTFS n est pas sujet à la fragmentation de fichiers[v-f] - les fichiers système en NTFS ont un emplacement fixe[v-f] - donnez la définition d un "petit fichier" en NTFS - un fichier en NTFS peut avoir plus d un flux de données[v-f] Systèmes d exploitation 1ère année p. 45
NTFS - fichiers creux fichiers creux - sparse file fichier à trous : données non entièrement initalisées Comment en crée-t-on? exemples : - table de Hashing - $BadClus taille = partition - données : clusters défectueux - trous : bons clusters NTFS n utilise pas d espace disque pour les trous Systèmes d exploitation 1ère année p. 46
NTFS - fichiers creux VCN (Virtual Cluster Number) : numéro d ordre du cluster dans le fichier n aura pas toujours un correspondant sur le disque VCN <> LCN Systèmes d exploitation 1ère année p. 47
NTFS - fichiers creux exemple de fichier creux LCN s et VCN s Systèmes d exploitation 1ère année p. 48
NTFS - fichiers creux DataRun du fichier creux 11 30 20 10 60 11 10 30 00 RUN1 11 : 1 byte pour la longueur 1 byte pour le décalage longueur = 30h décalage = 20h RUN2 10 : 1 bytes pour la longueur 0 pour le décalage longueur = 60h décalage de longueur 0 -> TROU RUN3 11 : 1 byte pour la longueur 1 byte pour le décalage longueur = 10h décalage = 30h 00 : fin des RUN Systèmes d exploitation 1ère année p. 49
NTFS - fichier BadClus La représentation de fichiers creux sert notamment à la liste des clusters défectueux : du fichier $BadClus à ne pas lire! ce fichier a la taille virtuelle de la partition au départ, un grand trou! NTFS remplace le bloc défectueux d un fichier par un nouveau cluster et "marque" le défectueux. Systèmes d exploitation 1ère année p. 50
NTFS - fichier BadClus entrée de la MFT : un fichier avec un bloc défectueux Systèmes d exploitation 1ère année p. 51
NTFS - fichier BadClus chainage du bloc défectueux dans BadClus Systèmes d exploitation 1ère année p. 52
NTFS - fichier BadClus remplacement du bloc défectueux avec un nouveau bloc Systèmes d exploitation 1ère année p. 53
NTFS - Exercice 23 01 01 A0 10 01 20 11 07 14 09 34 9A 33 01 00 où se trouve le VCN (11Ah)? Systèmes d exploitation 1ère année p. 54
NTFS - fichiers comprimés les fichiers comprimés pour accélérer l accés aux fichiers comprimés : RUNS de taille fixe : 16 clusters Chaque RUN comprimé/décomprimé indépendamment par cluster compression < 1 cluster > Données stockées telles quelles (sans compression) Systèmes d exploitation 1ère année p. 55
NTFS - fichiers comprimés un RUN des 4 RUNs est non comprimé (taille 16) Systèmes d exploitation 1ère année p. 56
NTFS - fichiers comprimés décrit par le DataRUN : Systèmes d exploitation 1ère année p. 57
NTFS - fichiers comprimés exemple de fichier comprimé comment sait-on qu il est comprimé? Systèmes d exploitation 1ère année p. 58
NTFS - fichiers comprimés dans un fichier peuvent coéxister parties comprimées et non comprimées au sein de chaque RUN chaque Cluster est comprimé indépendamment des autres les données sont comprimées par 4096 bytes (1 cluster) : données sur disque, précédées par une information de longueur (sur 2 bytes) Systèmes d exploitation 1ère année p. 59
NTFS - répertoires répertoires un répertoire NTFS a également un descripteur dans la MTF un répertoire est un index de noms de fichiers : c est un fichier à structure arborecente établir la correspondance : nom de fichier < > numéro d entrée MFT les entrées d un répertoire sont triées sur le nom Systèmes d exploitation 1ère année p. 60
NTFS - répertoires attributs d une entrée de type répertoire : Un Répertoire est décrit dans la MFT : - entièrement : petit répertoire - partiellement : grand répertoire Systèmes d exploitation 1ère année p. 61
NTFS - petits répertoires petits répertoires le répertoire est décrit entièrement dans un attribut résident : $INDEX_ROOT entrée MFT pour un petit répertoire : STANDARD_INFORMATION $FILE_NAME $INDEX_ROOT Systèmes d exploitation 1ère année p. 62
NTFS - petits répertoires un "Index Entry" par nom de fichier du répertoire avec : - le nom du fichier - son n d entrée MFT Systèmes d exploitation 1ère année p. 63
NTFS - petits répertoires un petit répertoire contenant 3 fichiers Systèmes d exploitation 1ère année p. 64
NTFS - grands répertoires grands répertoires décrit dans la MFT en partie dans l $INDEX_ROOT et en partie par un champ DATA_RUN semblable à celui des fichiers Systèmes d exploitation 1ère année p. 65
NTFS - grands répertoires Voyons cela sur un exemple La traduction VCN -> LCN se fait grâce au DATA_RUN dans l attribut INDEX_ALLOCATION Systèmes d exploitation 1ère année p. 66
NTFS - grands répertoires fichiers triès sur le nom -> un atout caractèristique particulière de NTFS : indexer les fichiers triés sur base du nom Une recherche dans un ensemble trié est de loin plus performante : Pour un ensemble non trié de taille N (comme un répertoire en FAT) - recherche d un élément existant : N/2 essais - recherche d un élément absent : N essais Systèmes d exploitation 1ère année p. 67
NTFS - grands répertoires pour un ensemble trié, le nombre d essais est de l ordre de log 2 N (cf recherche dichotomique) exemple : pour un répertoire non trié de 10000 fichiers : N = 10000 - recherche d un élément existant : 5000 essais - recherche d un élément absent : 10000 essais répertoire trié -> moins de 14 essais ==> pour des grands répertoires, NTFS est performant prix à payer : le maintient de la structure triée Systèmes d exploitation 1ère année p. 68
fichiers - permissions ACL : Access Control List permissions par fichier pour chaque domaine à chaque fichier est associé une liste de couples <domaine :droits> Systèmes d exploitation 1ère année p. 69
NTFS - permissions permissions NTFS NTFS utilise la technique des ACL pour protéger ses fichiers les autorisations NTFS définissent : - qui peut accéder à un fichier/répertoire - quelles opérations lui sont permises les autorisations s expriment en - permissions - interdictions Systèmes d exploitation 1ère année p. 70
NTFS - permissions Les permissions s appliquent : - par fichier/répertoire - pour des opérations spécifiques (parcourir, lire, écrire, lire et exécuter, modifier, contrôle total) - à des utilisateurs ou groupes d utilisateurs Systèmes d exploitation 1ère année p. 71
NTFS - permissions Les utilisateurs NTFS peuvent apartenir à plusieurs groupes une ambigüité à lever : Un Utilisateur u1 est membre des groupes g1 et g2 u1 est autorisé à Lire X g1 est autorisé à Lire X g2 est interdit de lecture de X : Quel droits a finalement l utilisateur u1 sur X? Systèmes d exploitation 1ère année p. 72
NTFS - fichier Secure fichier des descripteurs de sécurité les ACL sont stockées dans le fichier système $Secure contient tous les descripteurs de sécurité connus par le système (liste de combinaisons domaine-permissions) ce fichier ne fait que augmenter au fur et à mesure qu on introduit des nouvelles configurations de droits! Systèmes d exploitation 1ère année p. 73
NTFS - fichier Secure pour accélérer l accès aux descripteurs de sécurité : deux approches : - accès direct par hashing sur base du descripteur de sécurité (existe-t-il déjà?) (création, modification de droits) - accès indexé par la valeur du "Security Id" (Standard_information ) (vérification des droits lors du open) Systèmes d exploitation 1ère année p. 74
NTFS - permissions le système devra mettre à disposition des appels système qui permettent de modifier les descripteurs de sécurité les autorisations de sécurité interviennent à chaque ouverture de fichier : => un des rôles de l appel système open : vérifier les droits du processus appelant Systèmes d exploitation 1ère année p. 75
NTFS - permissions permet une grande finesse dans l utilisation des droits la définition des droits demande une certaine expérience exemple de règles : - le refus l emporte sur les autres autorisations - les autorisations sont cumulatives (pour un utilisateur membre de différents groupes) - les autorisations sont héritées du répertoire parent (comportement par défaut), mais les autorisations explicites priment sur ces dernières comparativement unix utilise par défaut un système d ACL plus simple : ACL s de taille fixe - droits pour 3 domaines : user, group, others Systèmes d exploitation 1ère année p. 76
NTFS - fiabilité fiabilité deux aspects : - journal des transactions - rémappage de clusters défectueux Systèmes d exploitation 1ère année p. 77
NTFS - fiabilité transactions et fichier LogFile - le système des transactions est inspiré des Bases de données relationnelles - le fichier $LogFile permet de reconstituer les transactions "committed" en cache - en cas de "crash" les transactions "non committed" sont supprimées du fichier Systèmes d exploitation 1ère année p. 78
NTFS - fiabilité remappage de clusters - à l écriture, un nouveau cluster est attribué au fichier (pas de perte de données) - à la lecture d un cluster défectueux une erreur est retournée, les données sont perdues les clusters défectueux sont chaînés dans BadClus Systèmes d exploitation 1ère année p. 79
NTFS - Conclusions Le "pour" NTFS par rapport à FAT32 - évolution vers grands volumesa avec clusters de 4Kb - sécurité (permissions) - performance (grands répertoires) - rapidité au démarrage (comparé à FAT) - fiabilité (redondance, emplacement fichiers système, journalisation (logfile)) Systèmes d exploitation 1ère année p. 80
NTFS - Conclusions Le "contre" - sujet à fragmentation interne - sujet à la fragmentation des fichiers - sujet à dégradation des performances si MFT fragmentée (partition système) Systèmes d exploitation 1ère année p. 81