Architecture de systèmes de stockage

Transcription

1 Architecture de systèmes de stockage par Jacques PEPING Stratégie et architecture des solutions de stockage, Groupe Bull. 1. Évolution des systèmes de stockage... H Les grandes tendances d évolution du stockage de données Évolution des architectures de stockage Modèle centralisé Modèle distribué Modèle structuré : serveur de stockage Architecture des systèmes à réseau de disques RAID Data striping Redondance dans les disk array Systèmes disques bicontrôleurs Systèmes disques multicontrôleurs Adaptateurs systèmes Chaîne de performances Copie à distance Architecture des systèmes de stockage de masse Librairies de disques optiques Librairies de bandes magnétiques Système de stockage de masse virtuel Attachement des systèmes de stockage Attachements du monde «ouvert» SCSI Fibre Channel SSA (Serial Storage Architecture ) Attachements du monde mainframe : FIPS et ESCON Évolution des attachements Management des données Sauvegarde, archivage et restauration HSM (Hierarchical Storage Management ) Modèle OSSI Coût d une solution de stockage Pour en savoir plus... Doc. H D es trois actions de base du processus informatique «communiquer, calculer, stocker», le stockage de données est longtemps resté au second plan. Il est vrai que le premier ordinateur était d abord une machine capable d effectuer rapidement des calculs répétitifs sans besoin réel de stockage. Cependant, même si les progrès des technologies de stockage sont quasiment passés inaperçus, le stockage a été une condition nécessaire au développement de l industrie des ordinateurs. Sans stockage de données, cette industrie n aurait jamais pu se déployer dans des domaines aussi variés que la réservation de places d avion, la distribution de billets, la messagerie électronique ou la téléphonie à longue distance. Techniques de l Ingénieur, traité Informatique H

2 ARCHITECTURE DE SYSTÈMES DE STOCKAGE À l aube du troisième millénaire, nous entrons dans l âge de l information et c est là que le stockage de données prend toute sa raison d être. Ces données qui se multiplient de façon exponentielle, qui envahissent notre vie de tous les jours, cette information dont l exploitation intelligente s avère être un facteur décisif de compétitivité des entreprises, cet immense disque virtuel à l échelle du monde que devient Internet, bref cette énorme explosion en chaîne, il va falloir la domestiquer, la stocker dans des containers d acier et apprendre à s en servir vite et efficacement. Aujourd hui, le stockage de données s affirme enfin comme une technologie clé de l âge de l information. (0) Principaux sigles AFRC Automatic File Redundancy Checking IPI Intelligent Peripherical Interface ATM Asynchronous Transfer Mode LAN Local Area Network CKD Count-Key-Data LUN Logic Unic Number DVD Digital Video Disk LVD Low Voltage Driver EISA Extended Industry Standard Architecture MVS Multiple Virtual Storage ESCON Enterprise Systems Connection Architecture NFS Network File System FBA Fixed Block Architecture OSSI Open Storage System Interconnection FC Fibre Channel PCI Peripheral Common Interface FCA Fibre Channel Architecture RAB Raid Advisory Board FC-AL Fibre Channel-Arbitred Loop RAID Redundant Array of Inexpensive Disks FCS Fibre Channel System RISC Reduced Instruction Set Computer FIPS Federal National Standard Institute RNIS Réseau Numérique à Intégration de Services GCOS General Comprehensive Operating System SBCCS Single Byte Command Code Set HBA Host Bus Adapter SCSI Small Computer System Interface HIPPI High Performance Parallel Interface SSA Serial Storage Architecture HSM Hierarchical Storage Management WAN Wide Area Network 1. Évolution des systèmes de stockage 1.1 Les grandes tendances d évolution du stockage de données Le stockage de données est devenu un marché en soi Le revenu global, toutes activités confondues, des 100 premières compagnies informatiques dans le monde représente environ milliards de francs. La composante «stockage» est la plus importante avec un poids de 200 milliards de francs. La plupart des grands constructeurs de systèmes informatiques (IBM, HP, DEC, Bull...) ont créé une activité dédiée au stockage, au service de leurs propres systèmes mais aussi destinée à apporter des solutions de stockage pour l entreprise. Chez les constructeurs spécialisés en systèmes de stockage, on notera l ascension de la compagnie américaine EMC qui en quelques années a acquis plus de 40 % du marché des systèmes de disques à caractéristiques mainframe. Sur le marché des disques magnétiques, on assiste à un regroupement des constructeurs pour atteindre la masse critique, témoin le rapprochement récent des sociétés Seagate et Conner dont le chiffre d affaire devrait dépasser 35 milliards de francs en De nouvelles références économiques Les messages qui ressortent de la figure 1 sont très significatifs. On assiste à un véritable repositionnement des références économiques du stockage de données. Le graphe de la figure 1a montre la croissance exponentielle des capacités mondiales de stockage sur disques magnétiques. La valeur de 500 pentaoctets (10 15 octets!) devrait être atteinte en La courbe des unités de disques vendus est linéaire, ce qui traduit les fortes poussées technologiques en matière de densité d enregistrement magnétique. En 1996, un portable PC stocke plus d un gigaoctet sur un seul disque et en 1998 un disque magnétique pour gros systèmes sera capable d accueillir plusieurs dizaines de gigaoctets. Parallèlement les revenus des fabricants de disques plafonnent à environ 150 milliards de francs, ce qui traduit la chute permanente des prix qui caractérise le marché du stockage. Le graphe de la figure 1b met en évidence la problématique des prix particulièrement ressentie dans le monde des gros systèmes. Le «barycentre» des données d entreprise se déplace On assiste à une croissance fantastique de la demande en capacité, notamment dans le domaine ouvert où l expansion est en moyenne de 60 % par an. Dans le monde mainframe, la croissance reste soutenue à 25 % par an. Cette explosion des données s explique par les progrès en connectivité des réseaux et par la prolifération de nouvelles applications qui manipulent des quantités énormes d information dont elles exploitent de plus en plus les détails, entraînant ainsi une accélération de la demande en capacité. À ces nouvelles applications correspondent de nouveaux types de données multimédia dont les metadata (c est-à-dire les données complémentaires qui servent à décrire les données utiles et à rendre l information plus conviviale) amplifient considérablement le volume utile. Les applications data wharehousing sont notamment un facteur d inflation de la demande en capacité. Et cela ne peut que s amplifier, quand on sait qu à peine 4 à 5 % de l information est matérialisé sous forme numérique. Selon H Techniques de l Ingénieur, traité Informatique

3 ARCHITECTURE DE SYSTÈMES DE STOCKAGE est en train de changer. Les nouvelles technologies demi-pouce (exemple : enregistrement hélicoïdal) vont permettre de stocker des dizaines de gigaoctets sur une seule cartouche, abaissant considérablement le coût par gigaoctet. Les techniques logicielles de gestion de volumes virtuels vont permettre d archiver et de récupérer des dizaines de volumes sur une même cartouche. Ces deux critères (densité des cartouches et gestion multivolumes) associés à l automation constituent le tiercé gagnant pour l avenir des solutions de stockage à base de librairies à cartouches magnétiques. Enfin, un autre facteur va amplifier la demande en capacité de stockage (plus 25 % selon les analystes), c est la tendance des entreprises à archiver et à exploiter l information détaillée (plutôt que l information résumée). Par exemple un supermarché exploite aujourd hui la synthèse des données journalières saisies au scanner des caisses pour mieux planifier la gestion de ses stocks ; demain ces immenses volumes de données détaillées seront conservés afin de mieux connaître les profils et les besoins des clients et de construire les actions marketing appropriées. 1.2 Évolution des architectures de stockage On distingue trois modèles fondamentaux d architecture de stockage dont le choix est primordial pour les systèmes d information de l entreprise et qui souvent reflètent son organisation Modèle centralisé Figure 1 Vision économique du marché du stockage sur disques une analyse de Microsoft (VLDB 95, à Zurich), stocker feuilles de texte sur disque magnétique coûterait soixante fois moins cher que l équivalent papier. L avantage est encore de trois pour les images. Les analystes président qu à la fin du siècle, près de 90 % du stockage se retrouvera dans les réseaux locaux. Il est essentiel de noter que l environnement «distribué» n apportant pas les services de sécurité et d administration propres aux mainframes, cette polifération du stockage échappe au contrôle de l entreprise. Un autre phénomène, non moins important est que des données sensibles pour l entreprise ont tendance à s implanter hors des mainframes (l essentiel des données stockées sur mainframe restant bien sûr critiques pour l entreprise, à 90 %). Vers deux classes de stockage Ces dernières années, on observait trois classes de stockage en termes de fonctionnalité et coûts : les mainframes, le moyen de gamme type UNIX et les PC. Les prix des mainframes tendent de plus en plus vers le marché de type UNIX et l on s oriente vers deux grandes classes : le stockage dit partagé, commun aux mainframes et aux serveurs du monde ouvert (UNIX, NT, Netware) et le stockage personnel lié au monde des PC. Les analystes prévoient qu à la fin du siècle plus de 75 % du stockage de la classe «partagé», sera matérialisé par d immenses fermes de disques et librairies, physiquement centralisées. Un bel avenir pour les bandes magnétiques Les bandes magnétiques sont un peu considérées comme les parents pauvres du stockage. On leur reproche leur manque de fiabilité (durée dans le temps) et leurs faibles performances. Cela Le plus ancien est le modèle centralisé, matérialisé par les mainframes. Une plate-forme système tourne des applications multiples, essentiellement du type transactionnel et les utilisateurs sont directement connectés par l intermédiaire de terminaux ou de microordinateurs émulant la fonction «terminal». Le stockage est alors complètement géré et administré par le mainframe. Les bases de données de production résident sur des disques performants et sécurisés, les données critiques utilisent le mode miroir ou le mode RAID 5 (voir 2.1.2). Des moyens de sauvegarde et d archivage, éventuellement robotisés sont systématiquement mis en œuvre. Très souvent, un site distant privilégié est désigné comme site de secours en cas de panne du site primaire. Des processus de recopie à distance et de restauration en cas de sinistre, de tout ou partie des données critiques sont alors mis en œuvre. Les systèmes de stockage associés à ce modèle, doivent garantir l intégrité et la disponibilité des données critiques de l entreprise. Ils sont caractérisés par leur aptitude à supporter un très grand nombre d entrées-sorties de profil transactionnel (le niveau de performance se chiffre en milliers d entrées-sorties par seconde de petits blocs de 8 ko) et à répondre très vite aux sollicitations des utilisateurs. Un point critique, que cherchent à résoudre les constructeurs de systèmes de stockage, est la durée des opérations de batch. L opération de batch consiste, dans un souci de sécurité, à transférer, la nuit, les travaux de la journée, des disques magnétiques vers les bandes magnétiques. L activité des entreprises et le volume de données manipulées augmentant, la fenêtre nocturne se rétrécit impliquant des vitesses de transfert disque à bande de plus en plus grandes. La figure 2 illustre l architecture type du modèle centralisé avec des exemples de volumétrie Modèle distribué Avec l avènement des techniques client-serveur, s est développé le modèle distribué. Le système d information de l entreprise est composé de plusieurs serveurs interconnectés sur les réseaux. Les Techniques de l Ingénieur, traité Informatique H

4 ARCHITECTURE DE SYSTÈMES DE STOCKAGE serveurs sont plutôt du type monoapplication, les clients de ces serveurs sont des stations de travail ou d autres serveurs. Chaque serveur dispose de ses propres ressources de stockage qui sont configurées en accord avec le type d application. La richesse croissante d applications qui se sont développées dans le contexte des architectures distribuées, a entraîné une explosion des données qui a échappé au contrôle de l entreprise. Ce phénomène est d autant plus préoccupant qu une grande partie de ces données s avèrent vitales pour la productivité de l entreprise. Le grand défi d une architecture de stockage, dans ce contexte distribué, est la mise en œuvre des solutions de sauvegarderestauration automatisées qui puissent redonner à l entreprise le contrôle de son information. La figure 3 reflète une architecture type distribué d un niveau départemental d entreprise. Un serveur base de données est au service de postes de travail du domaine gestion ou commercial de l entreprise. La base de données réside sur un ensemble de disques. Le domaine scientifique utilise un serveur de fichiers NFS (Network File System est le système de fichiers distribué, développé à l origine par la société Sun et aujourd hui le standard de facto de l industrie). Un troisième serveur de sauvegarde a pour mission de sauvegarder les données des deux premiers serveurs. Pour ce faire, la partie serveur est implantée sur la machine de sauvegarde et les clients s exécutent au niveau des serveurs de base de données et NFS (les composantes client-serveur sont indiquées sur la figure 3. plates-formes) et l intérêt économique (francs par gigaoctet). En revanche, ce modèle souffre d un manque d administration contrôlée. L information étant générée et exploitée dans chacun des deux modèles, une troisième voie fédératrice se développe dans l industrie. Dans cet article, nous l avons appelée modèle structuré, elle introduit la notion de serveur de stockage d entreprise Modèle structuré : serveur de stockage En fait les deux types de modèles centralisé et distribué coexistent dans une entreprise, chacun exploitant les avantages des platesformes utilisées. Pour le modèle centralisé des mainframes, on parlera plus de performance (nombre d opérations d entrée-sortie par seconde), de connectivité (parallélisation des canaux d attachement), de sécurité, d administration bien maîtrisée et de capacité d évolution. Pour le modèle distribué, les avantages sont l ouverture (support d interfaces standards, support de l hétérogénéité des Figure 2 Modèle centralisé Figure 3 Modèle distribué H Techniques de l Ingénieur, traité Informatique

5 ARCHITECTURE DE SYSTÈMES DE STOCKAGE Un serveur de stockage est défini à partir de la politique de traitement de l information de l entreprise, il contient des ressources physiques de type disques magnétiques et librairies de média amovibles. Il est au service des plates-formes centralisées multiapplications et des multiples plates-formes hétérogènes, distribuées,monoapplications. Il apporte tous les moyens pour configurer, administrer, optimiser et sécuriser le stockage des données. La figure 4 illustre un tel serveur. Le modèle «structuré» est en mesure d apporter des réponses aux nouveaux besoins de l entreprise. Le partage des ressources de stockage Le serveur de stockage, étant capable de supporter différents types d attachement (voir 4), permet de partager les ressources de stockage entre des plates-formes de systèmes d exploitation différents (exemple : MVS, GCOS, UNIX, NT). Il s agit bien de partage d espace physique alloué par les fonctions d administration. Cela permet de mieux optimiser les ressources en fonction des demandes des applications. La vision logique indépendante du type de technologie Chaque client du serveur de stockage a une vision logique des volumes, ce qui lui masque complètement l implémentation physique et les technologies utilisées. Cette fonctionnalité est importante car elle tend à isoler le domaine «stockage» du domaine calcul. La technologie du serveur de stockage devient indépendante des plates-formes qu elle sert. L échange de données entre serveurs d application à travers l espace disques Une direction d évolution qui se dessine dans le monde informatique est l échange de données à travers l espace de stockage. De plus en plus, les entreprises ont besoin de prendre rapidement des décisions à partir de toute l information qu elles possèdent. En particulier les solutions data warehousing demandent la mise à jour fréquente des bases de données décisionnelles à partir des bases de données de production. Ces mouvements de données utilisent actuellement les réseaux de communication à des vitesses de transfert de l ordre de 1 Go/h. Les volumes prévisibles de données à échanger sont en pleine croissance et les temps de transfert vont vite devenir prohibitifs. En échangeant les données à travers l espace disque, on pourra soutenir des vitesses de plusieurs gigaoctets à l heure. Par exemple sur la figure 4, l ensemble des disques pourrait être partagé entre le mainframe et l infocentre UNIX et l échange de données entre le mainframe et l infocentre UNIX ne se ferait plus par le lien de communications mais à travers l espace disques. L administration et la sécurisation centralisées des données Le serveur de stockage prend à sa charge l administration des ressources partagées. Les technologies client-serveur permettent également de sauvegarder les données sur les ressources privées des différents serveurs d applications (voir 5), la gestion restant centralisée au niveau du serveur de stockage. De même, le serveur de stockage offre des services de prévention contre les sinistres en gérant les recopies à distance des données. Vers le stockage en réseau Un serveur de stockage regroupe physiquement des ressources de stockage. Dans une entreprise, pour des contraintes géographiques, il peut exister plusieurs serveurs de stockage (éventuellement répartis sur plusieurs sites), de même qu il existe d autres points de stockage locaux associés à des serveurs d application. Dans les années à venir, l architecture de stockage d entreprise donnera aux différents serveurs d application, une vision globale de tout l espace de stockage quelle que soit l implantation des ressources. Cela implique l utilisation de réseaux de stockage très rapides type Fibre Channel (voir 4). Des agents implantés au niveau de chaque serveur d application examineront les requêtes d entréesortie, les feront exécuter localement si elles sont destinées à une ressource locale ou les aiguilleront vers des ressources distantes. Les références au modèle OSSI (voir 5), devraient grandement faciliter cette évolution. Figure 4 Modèle structuré : serveur de stockage Techniques de l Ingénieur, traité Informatique H

6 ARCHITECTURE DE SYSTÈMES DE STOCKAGE 2. Architecture des systèmes à réseau de disques Il existe aujourd hui sur le marché trois classes de systèmes de stockage sur réseaux de disques (disk array ), qui se différencient par les critères de coût, performance, capacité, et disponibilité des données. Les systèmes multicontrôleurs En haut de l échelle, on trouve des architectures qui sont nées dans le monde des mainframes pour lesquels performance, capacité et robustesse sont les attributs essentiels. Ces architectures haut de gamme s apparentent aux structures classiques des calculateurs, matérialisées par un bus à grande bande passante sur lequel viennent se connecter des cartes mémoire, des cartes de liaison avec les systèmes hôtes et les cartes contrôleurs de disques. Ces systèmes, très performants, offrent d énormes mémoires caches chiffrées en gigaoctets, une forte connectivité au-delà de 10 attachements indépendants à des systèmes hôtes et de fortes capacités de disques de plusieurs centaines de gigaoctets. Ce type de systèmes est bien adapté à la réalisation de centres de stockage sur disques partageables par les différents plates-formes et environnements que l on rencontre dans l entreprise. La référence pour ce type de système est la famille Symmetrix développée par la société EMC qui possède plus de 40 % de parts de marché dans le stockage mainframe. Les systèmes bicontrôleurs Ils viennent essentiellement du monde UNIX. Ils sont organisés autour de deux contrôleurs se partageant des réseaux de disques. Chaque contrôleur, avec ses fonctions de connexion hôte et gestion des disques, est intégré sur une seule carte. On comprend que la compacité de la fonction contrôle se traduise par des niveaux de prix plus attractifs et que la duplication des contrôleurs offre cependant une bonne protection des données. Bien que les mémoires caches soient plus modestes (100 à 200 Mo), ces systèmes offrent un bon niveau de performance. En revanche, la connectivité est plus réduite puisqu un contrôleur supporte au plus deux attachements hôtes. La référence sur le marché est la série Clariion de la société Data General. Les adaptateurs systèmes Dans les deux classes d architecture précédentes, la fonction contrôle est intégrée avec les réseaux de disques dans le système de stockage. Ce dernier se comporte comme un ensemble autonome au service d un ou plusieurs systèmes hôtes. Avec la multiplication des serveurs de micro-ordinateurs, s est développée une architecture de stockage sur disques plus économique, pour laquelle la fonction contrôle est matérialisée sur une carte d adaptation appelée HBA (Host Bus Adapter ) installée sur le bus d entrée-sortie du système hôte. Pratiquement intégrés au système hôte, ces systèmes de stockage ne se retrouvent que dans des environnements homogènes monosystèmes et se développent particulièrement sur les serveurs de PC. Avant de détailler ces différents types d architecture, il est nécessaire d analyser la technologie RAID. Aujourd hui la technologie 3 pouces 1/2 domine le marché. Ces «petits» disques sont produits en masse et ont permis d abaisser considérablement le coût par mégaoctet. Dans les gros systèmes, on a donc remplacé les gros disques par un ensemble de petits disques. De plus on a cherché à répartir l information sur plusieurs disques (data striping ) afin d exploiter les transferts simultanés. C est ainsi qu on arrive à la notion d ensemble de disques, disk array que l on peut définir ainsi : un disk array est un ensemble de disques, contrôlé par un logiciel array management qui les présente comme un ou plusieurs disques virtuels au système d exploitation Data striping L objectif premier du data striping est de réduire le temps de transfert en utilisant plusieurs disques en parallèle, synchronisés. Le concept est illustré sur la figure 5. Le disque virtuel, entité vue par le système d exploitation est composé de chunks. Un chunk est constitué de données contigües sur le disque virtuel et est appliqué de façon contigüe sur le disque physique. L ensemble des chunks de même position sur les disques physiques constitue un stripe. Pour les applications dites transfert-intensif telles que l imagerie, l analyse décisionnelle, l analyse scientifique, mettant en œuvre de larges blocs de données, le chunk et le stripe seront dimensionnés de telle sorte que le bloc moyen transféré corresponde à la longueur du stripe. On bénéficiera ainsi des transferts parallèles sur les disques physiques. On notera qu une opération de transfert met alors en jeu l ensemble des disques physiques. Pour les applications dites entrée-sortie-intensif telles que les opérations transactionnelles, on aura intérêt à ce que le bloc moyen transféré tombe à l intérieur du chunk. Il est à noter qu une opération d entrée-sortie ne met alors en jeu qu un seul disque physique. En activité intense d entrées-sorties (multi-tâches, queues d entréessorties dans les contrôleurs), on bénéficiera statistiquement des accès parallèles sur l ensemble des disques physiques. 2.1 RAID Nota : dans ce paragraphe, la terminologie utilisée, d origine américaine, est celle officialisée par le RAB (Raid Advisory Board ) [1]. Cette association de constructeurs et d utilisateurs, mondialement reconnue a pour mission de promouvoir les technologies RAID et d en faciliter la normalisation. Dans les années 80, notamment avec l émergence des ordinateurs personnels, les disques magnétiques ont bénéficié d une avancée technologique sur le plan de la miniaturisation. C est ainsi que sont apparus des disques au facteur de forme 8 pouces, puis 5 pouces 1/4. Figure 5 Raid : data striping H Techniques de l Ingénieur, traité Informatique

7 ARCHITECTURE DE SYSTÈMES DE STOCKAGE Redondance dans les disk array Si les petits disques sont moins chers, ils sont aussi d une technologie plus délicate et moins fiable que les gros disques. Ce problème de fiabilité est accentué par le fait qu une certaine capacité de stockage est réalisée par un grand nombre de petits disques plutôt que par un petit nombre de gros disques. Pour garantir l intégrité des données stockées dans un disk array en cas de panne d un disque physique, une solution consiste à introduire une forme de redondance dans le réseau de disques. C est ainsi qu est né le concept de RAID (Redundant Array of Inexpensive Disks ), en 1988, à l Université américaine de Berkeley [2]. Dans cette étude, cinq niveaux de RAID étaient identifiés (de RAID 0 à RAID 5). On notera que le terme RAID 0 a été attribué au simple data striping tel que décrit précédemment, et que ne possédant pas la redondance symbolisée par la lettre «R» du mot RAID, il est en quelque sorte l intrus de la famille. La notion de RAID est ainsi définie : Un RAID est un ensemble de disques, dans lequel une partie de la capacité utile a été prélevée pour stocker de l information redondante, permettant la régénération des données des utilisateurs dans le cas où l un des disques du réseau viendrait à défaillir. Les deux solutions de base pour introduire de la redondance dans un disk array sont le mode miroir (disk mirroring ) et la redondance par parité. Redondance par disque miroir C est le mode RAID 1, défini par Berkeley. Il consiste à maintenir une copie de chaque disque physique. Les données sont implantées sur les disques physiques de manière traditionnelle. En mode lecture, les performances peuvent être supérieures à celles observées sur un disque traditionnel, puisqu on a la possibilité de choisir parmi les deux disques miroirs, celui qui offrira le meilleur temps d accès en fonction du positionnement des têtes de lecture. En revanche, en mode écriture, il faut systématiquement mettre à jour le disque miroir associé, ce qui se traduit par des pénalités de performance. Grâce à la duplication systématique des données, le RAID 1 est très bien positionné face aux critères d intégrité des données. On notera l intérêt d une technique dérivée «RAID 0&1», combinant les performances du data striping RAID 0 et la fiabilité de données du RAID 1. Cette technique peut s implémenter comme un RAID 0 de disques miroirs ou comme un miroir de RAID 0. Redondance par parité Le principe (figure 6) est de garantir l intégrité des données stockées sur les disques physiques, en introduisant dans le stripe un chunk parité (chunk P), situé sur un autre disque physique que ceux comportant les données. Le chunk parité est le OU EXCLUSIF ou disjonction bit à bit (on rappelle que le résultat d une opération de OU EXCLUSIF sur deux bits est 1 si les deux bits sont différents et 0 s ils sont identiques), de l ensemble des chunks dans le même stripe : chunk P = chunk 1 + chunk 2 + chunk 3 La propriété de la disjonction fait que l on a aussi la relation, par exemple : chunk 2 = chunk P + chunk 1 + chunk 3 En cas de perte du disque 2, on comprend que l on puisse ainsi reconstituer son contenu à partir des autres disques données et parité. Un tel système tolère la perte d un disque physique mais reste sensible à la panne de deux disques. Il est possible de renforcer la tolérance aux pannes en multipliant les disques de parité. En lecture, les performances ne sont pas affectées par l adjonction d une zone de parité, puisque seuls sont concernés les disques «données». En revanche, en écriture, dans le cas de modification partielle du stripe, on comprend que les performances puissent être dégradées, puisqu il faut mettre à jour le disque de parité en combinant les anciennes et les nouvelles données. Le principe de l opération est le suivant. Supposons qu une opération d écriture vise à remplacer chunk 1 par chunk 1, les opérations sont alors les suivantes : algorithme 1 état initial : chunk P = chunk 1 + chunk 2 + chunk 3 (1) le contrôleur de l ensemble de disques lit le chunk 1 sur le disque physique 1 (2) le contrôleur lit le chunk de parité sur le disque 4 affecté à la parité (3) le contrôleur, qui possède le chunk 1, calcule la nouvelle parité : chunk P = chunk 1 + chunk P + chunk 1 (4) le contrôleur écrit le nouveau chunk 1 sur le disque 1 (5) le contrôleur met à jour la nouvelle parité (chunk P ) sur le disque 4 affecté à la parité état final : chunk P = chunk 1 + chunk 2 + chunk 3 Figure 6 Raid : redondance par parité Techniques de l Ingénieur, traité Informatique H

8 ARCHITECTURE DE SYSTÈMES DE STOCKAGE On voit donc qu il a fallu manipuler quatre fois (étapes 1, 2, 4, 5) les disques pour en modifier un seul! C est sur ce dernier point, l aptitude à gérer de façon performante les écritures sur des réseaux de disques redondants, que les architectures développées par les constructeurs se différencient. Nous allons continuer à explorer les modèles de base proposés par Berkeley avant de décrire les nouvelles idées qui sont en train de s imposer dans l industrie. Mode RAID 3 Le modèle est conforme à la figure 6. Le mode RAID 3 est caractérisé par le fait que la taille du chunk est suffisamment petite devant la taille des blocs de données manipulés par l utilisateur, de telle sorte qu une opération d entrée-sortie mette en œuvre l ensemble des disques constituant le disk array. Il en résulte que le modèle RAID 3 est très bien adapté aux transferts de grosses quantités de données, puisqu il exploite à fond le parallélisme d accès sur l ensemble des disques. En écriture, le mode RAID 3 n est pas pénalisé par la régénération des chunks de parité, tels que décrits précédemment, puisqu une opération d écriture entraîne le remplacement de tout le stripe (chunks 1 à 3 et chunk P). Pour exploiter au mieux le parallélisme d accès sur les disques, il est nécessaire que les rotations de tous les disques soient synchronisés, cela est possible avec les disques modernes qui supportent les commandes de synchronisation du protocole SCSI. Modes RAID 4 et RAID 5 Les modes RAID 4 et RAID 5 cherchent à répondre aux mêmes besoins, satisfaire de forts taux d opérations d entrée-sortie, mettant en jeu des blocs de données de petite taille, contrairement à la raison d être du RAID 3. La figure 6 s applique aussi au RAID 4. L intérêt de ce dernier est dans la dimension du chunk. Il doit être en effet suffisamment grand pour qu une opération d entrée-sortie mette en jeu un transfert de blocs de données de taille inférieure à celle du chunk. Si l on fait abstraction des cas de chevauchement sur deux chunks, théoriquement une opération d entrée-sortie ne manipule donc qu un seul disque et l on retombe dans la problématique de régénération de parité exposée plus haut. La pénalité en performance devient dramatique dans les périodes d écriture intensives, puisque le disque de parité, sollicité à chaque opération devient vite un goulot d étranglement. C est là qu intervient le concept de RAID 5, qui consiste à répartir les chunks de parité sur l ensemble des disques de façon à mieux diluer les charges de régénération de parité en mode d entréessorties intensives. Toutefois le problème de la multiplication des écritures reste posé. Mode RAID 2 C est en fait l idée des mémoires RAM dynamiques à code correcteur détecteur d erreurs appliquée aux disques. Un disk array est constitué d un nombre d de disques données et d un nombre h de disques de redondance constituant le code de Hamming, avec une relation d à h imposée par le principe même du code de Hamming (Par exemple : si d = 10, h = 4). Ce modèle n est utilisable que pour des applications de transferts intensifs de gros volumes de données, c est certes le nec plus ultra en matière de protection de données, mais sa mise en œuvre est coûteuse et il n est pratiquement pas utilisé dans l industrie. Au-delà des modes classiques En fait du groupe des 5 de Berkeley, seuls les modes RAID 1, RAID 3 et RAID 5 se sont imposés dans l industrie. D autres architectures se sont développées, cherchant à accroître les performances en écriture ou la disponibilité des données. Pour ce dernier point, on citera le mode RAID 6, qui est en fait un mode RAID 5 complété par un second mécanisme de parité. La figure 7 résume le principe des modes de base : RAID 0, RAID 1, RAID 3, RAID 5 et RAID 6. Figure 7 RAID : modes de base Dans le modèle RAID 53, le disque virtuel (au sens de la figure 6) vu par l utilisateur est d abord réparti sur plusieurs disques virtuels selon la technique de data striping RAID 0, chaque disque virtuel se déployant ensuite sur des disques physiques organisés en RAID 3. Ce modèle est caractérisé par de hautes performances pour des opérations d entrée-sortie mettant en jeu de petites quantités de données. En effet, en fonctionnement intensif, les opérations d entrée-sortie se répartissent équitablement sur l ensemble des disques virtuels, chaque opération profitant de l effet parallèle du RAID 3. Pour pallier les problèmes de performance en écriture du RAID 5, on a cherché à mettre à contribution la puissance de traitement et la mémoire embarquées dans le disque lui-même en lui confiant le soin de calculer la nouvelle parité. L algorithme décrit plus haut prend la forme suivante : algorithme 2 état initial : chunk P = chunk 1 + chunk 2 + chunk 3 (1) le contrôleur de l ensemble de disques écrit temporairement le chunk 1 dans la mémoire électronique du disque 1 (2) le disque 1 qui possède l ancienne valeur chunk 1 calcule dans sa mémoire : chunk 1 + chunk 1 puis enregistre chunk 1 (3) le contrôleur lit «chunk 1 + chunk 1» dans la mémoire du disque 1 (4) le contrôleur écrit «chunk 1 + chunk 1» dans la mémoire du disque de parité 4 (5) le disque de parité, qui possède l ancienne parité, calcule dans sa mémoire : chunk P = chunk 1 + chunk 1 + chunk P puis enregistre chunk P état final : chunk P = chunk 1 + chunk 2 + chunk 3 Cette technique connue sous le nom de disk X-oring réduit de quatre à deux les transferts mettant en jeu des mouvements mécaniques sur disques (étapes 2 et 5), les étapes (1, 3, 4) n effectuant que des mouvements de mémoire à mémoire. Elle nécessite une collaboration étroite entre le constructeur de disques qui doit développer un micrologiciel spécialisé et le constructeur du système complet. Cette technique qui donne de bons résultats est aujourd hui assez répandue sur le marché. H Techniques de l Ingénieur, traité Informatique

9 ARCHITECTURE DE SYSTÈMES DE STOCKAGE D autres technologies, telles que le RAID 7, ont cherché à rendre complètement asynchrone la fonction RAID. Les données à échanger entre les systèmes hôtes et les disques transitent dans des mémoires intermédiaires, qui assurent un découplage dans le temps et dans l espace. Les systèmes hôtes font des opérations d entrée-sortie dans la mémoire. Les disques échangent avec la mémoire de façon asynchrone (toutes les têtes de lecture-écriture fonctionnent indépendamment les unes des autres). En théorie, le RAID 7 autorise une grande souplesse, dans l affectation des chunks de parité (par exemple : un ou plusieurs chunks de parité pour 3, 5, ou n chunks de données), dans l optimisation des opérations d écriture-lecture (plus de contrainte de blocage de plusieurs disques en parallèle) et dans l affectation des disques de secours. 2.2 Systèmes disques bicontrôleurs La figure 8 présente l architecture d un système bicontrôleur. Le système est organisé autour de deux contrôleurs (CTL-A et CTL-B) se partageant des disques. Chaque contrôleur dialogue avec le système hôte par l intermédiaire d un canal SCSI. Le système hôte voit le contrôleur à travers son numéro d identification sur le bus SCSI (SCSI-ID) et des disques virtuels associés à des numéros d unité logique (SCSI-LUN logical unit number ). Par exemple, sur la figure 8 un groupe de 5 disques physiques organisés en RAID 5 est vu par le système hôte comme un seul disque logique d adresse LUN 1. Dans la plupart des systèmes, en fonction de la spécificité des données (besoins d intégrité, besoins de performance) il est possible de regrouper des disques physiques selon différents niveaux de RAID (par exemple RAID 0, RAID 1, RAID 5), chaque regroupement étant affecté d un numéro de LUN. Typiquement, une carte contrôleur est pilotée par un microprocesseur de type RISC qui assure en amont le dialogue avec le système hôte, la gestion des demandes d entrée-sortie et le pilotage des réseaux de disques. Chaque contrôleur gère 5 bus SCSI sur lesquels sont connectés les disques physiques. Lors du regroupement des disques en LUN, on s arrange pour que les disques du groupe soient répartis sur des bus SCSI différents, afin que la défaillance d un bus SCSI permette cependant de continuer à fonctionner (un mode RAID tolère la perte d un disque). La mémoire cache de l ordre de 100 Mo joue un rôle important pour les performances (voir 2.5). Dans certains systèmes, le deuxième contrôleur est inactif (cold standby ). Il sera utilisé seulement en cas de panne du contrôleur actif. Dans les systèmes avancés, les deux contrôleurs participent (dual active ) au rendement du système. Chaque contrôleur possède alors ses propres LUN et, en cas de défaillance d un des contrôleurs, le second contrôleur est capable de prendre à sa charge (failover ) l ensemble des opérations sur l ensemble des LUN. Les constructeurs de systèmes RAID se différencient par les services offerts lors de la commutation d un contrôleur à l autre. C est ainsi que l on trouve les implémentations suivantes : pour les systèmes hôtes qui utilisent la version standard du protocole SCSI et qui n ont donc pas la possibilité de renouveler une opération d entrée-sortie par un chemin de données (c est-à-dire SCSI-ID plus LUN) différent, il faudra souvent procéder à une réinitialisation du système d exploitation et à une mise hors tension du contrôleur défaillant ; certaines implémentations permettent d assurer la commutation instantanée d une façon transparente aux applications ; cela nécessite cependant une modification des pilotes standards SCSI, par l adjonction d une commande spécifique qui permet au pilote SCSI de forcer l affectation à un contrôleur d un LUN appartenant à l autre contrôleur. Cette fonctionnalité est également utilisée par le système hôte pour assurer un équilibrage dynamique des opérations d entrée-sortie sur les deux contrôleurs. Afin de s affranchir de cette contrainte de particularisation du système hôte, certains constructeurs ont mis en œuvre un processus, qui permet pour toute demande d opération à un contrôleur portant sur un LUN affecté à l autre contrôleur, l affectation systématique de ce LUN au contrôleur sollicité. On comprend que la commutation puisse se faire de façon totalement transparente au système hôte doté de pilotes SCSI standards. La contrepartie est que le processus implique un dialogue entre les deux contrôleurs pouvant durer quelques secondes et n est évidemment pas adaptée à l équilibrage dynamique des entréessorties. La haute disponibilité Le système décrit sur la figure 8 est à haute disponibilité du point de vue du système de stockage. Il est insensible à une panne unique de ses composants. En effet : il tolère la perte d un disque si on utilise tout mode RAID à redondance ; on a vu précédemment comment un contrôleur peut venir au secours d un contrôleur défaillant ; même la perte d un bus SCSI côté disques n entraîne pas l indisponibilité du système ; le système d alimentation est basé sur la technique n + 1. La machine possède trois alimentations, mais deux suffisent à assurer son fonctionnement à pleine charge. La remarque s étend au module de ventilation qui supporte la perte d un ventilateur ; le contenu des mémoires caches est garanti par une batterie de secours, elle-même redondante. Cette fonctionnalité est nécessaire pour obtenir de bons temps de réponse en écriture. Pour ce faire, l opération d écriture demandée par le système hôte est acquittée dès que les blocs à écrire ont été placés dans le cache (et dupliqués sur le cache de l autre contrôleur en prévision de la défaillance de l une des mémoires caches), l enregistrement effectif sur le disque, impliquant des mouvements mécaniques, étant effectué plus tard. On comprend donc l intérêt d avoir une source d énergie qui puisse pallier les coupures de secteur pendant la phase de transit des données dans la mémoire à semi-conducteurs. Mais rendre le système de stockage très disponible ne suffit pas, il faut que l architecture à haute disponibilité s étende au système hôte. La figure 9 décrit la configuration qui apporte le niveau maximal de disponibilité. Chaque système hôte peut accéder à n importe quel LUN (par exemple accéder au LUN 1, à travers le contrôleur A). Les conflits d intégrité de données et les verrouillages d accès sont alors de la responsabilité du logiciel d application haute disponibilité tournant sur les systèmes hôtes. De même, en cas de défaillance d un chemin de données (par exemple : adaptateur système hôte, bus SCSI ou contrôleur), ce même logiciel doit permettre aux deux hôtes de se replier sur des chemins d accès opérationnels. Il supporte également les mécanismes de reprise en cas de défaillance d un des systèmes hôtes. Le principe décrit figure 9 peut être étendu à plusieurs systèmes hôtes. 2.3 Systèmes disques multicontrôleurs Contrairement au type d architecture précédent où les fonctions de contrôle sont implémentées sur une seule carte, l architecture visualisée figure 10 est beaucoup plus complexe, s inspirant du monde des mainframes. Tout s articule autour d un bus doublé à forte bande passante (de l ordre de deux fois 150 Mo/s) sur lequel sont connectés un grand nombre de contrôleurs et la mémoire cache : les contrôleurs canal, dont le nombre peut dépasser la dizaine, assurent la connexion avec les systèmes hôtes. Leur intelligence matérialisée par un processeur RISC permet de gérer des interfaces hôtes aussi diverses que SCSI, FIPS, ESCON ou FCS (voir 4) ; les contrôleurs supportant les réseaux de disques sont installés par paire afin d assurer la continuité de service en cas de défaillance de l un d eux ; Techniques de l Ingénieur, traité Informatique H

10 ARCHITECTURE DE SYSTÈMES DE STOCKAGE Figure 8 Système disques bicontrôleurs Figure 9 Configuration à très haute disponibilité Figure 10 Système disques multicontrôleurs H Techniques de l Ingénieur, traité Informatique

11 ARCHITECTURE DE SYSTÈMES DE STOCKAGE les modules de mémoire cache sont le point de passage obligatoire des données entre les contrôleurs canal et les contrôleurs disques. Leur capacité peut atteindre plusieurs gigaoctets ; les systèmes d alimentation et de ventilation sont redondants. Des batteries de secours permettent de faire vivre l ensemble du système pendant quelques minutes en cas de défaillance du secteur. Alors que les architectures bicontrôleurs peuvent soutenir de à opérations d entrée-sortie par seconde, les implémentations multicontrôleurs combinés à d énormes caches, sont dimensionnées pour des débits de opérations par secondes. Mais au-delà des performances, ce qui caractérise le plus ce genre de machines, c est leur aptitude à garantir l intégrité des données et l accès continu à l information. C est ainsi qu en plus de la redondance systématique des composants de l architecture, les fonctionnalités suivantes sont souvent offertes : tâches de fond (scrubbing ) permettant de contrôler l état de santé des disques et mémoires caches en opérant des lectures systématiques et des corrections éventuelles grâce au pouvoir des codes détecteurs correcteurs d erreurs ; adjonction d information supplémentaire dans le secteur de données enregistrées sur disque afin de s assurer que les données ont bien été enregistrées au bon endroit. Sans ce dispositif, il pourrait arriver que l entreprise exploite des données, structurellement correctes mais dont le contenu informationnel est erroné. Les conséquences en sont imprévisibles ; retrait préventif d un disque jugé «malade» au profit d un disque de secours ; mise à jour du micrologiciel sans interruption de service. 2.4 Adaptateurs systèmes Les adaptateurs systèmes (Host Bus Adapter : HBA) font le lien entre le bus d entrée-sortie du système hôte et les disques. Les bus d entrée-sortie les plus courants dans l industrie sont PC/AT (le bus des premiers micro-ordinateurs), EISA, Micro Channel, VESA et PCI (le plus récent et aussi le plus performant). Les interfaces côté éléments de stockage sont essentiellement SCSI, SSA et FC-AL (voir 4). La fonction RAID est mise en œuvre de deux façons : un module logiciel, tournant dans la machine hôte, gère les différents modes de RAID, le rôle de l adaptateur système étant limité à la gestion du protocole d interface avec les disques (exemple : SCSI). Cette solution est souple et économique mais pénalise de 20 à 30 % l activité du système hôte ; la fonction RAID est gérée par le microprocesseur (souvent de technologie RISC) de l adaptateur système, aidé éventuellement par des opérateurs matériels. Cette solution est un peu plus chère, mais globalement plus performante. L architecture interne des adaptateurs modernes utilise des composants intégrés de l architecture de bus PCI, autorisant des vitesses sur le chemin de données de 133 Mo/s. Une mémoire cache modulaire (quelquefois secourue par batterie embarquée) jusqu à 128 Mo assure un bon niveau de performance. Dans un environnement homogène, ce type d architecture peut s étendre à des systèmes multiprocesseurs ou clusters, constitués de plusieurs unités de traitement. Les grappes de disques, réunis autour de boucles série (SSA ou FC-AL), sont partagées par les unités de traitement du cluster par le truchement d adaptateurs RAID, implantés dans chaque unité de traitement. Cela permet à chaque membre du cluster d accéder à tout l espace disque, cela permet aussi de construire des architectures tolérantes aux fautes. La figure 11 visualise une architecture de stockage pour un cluster de six unités de traitement. Les liens série (par exemple de technologie SSA) sont utilisés pour regrouper les disques et assurer les communications entre adaptateurs (HBA). C est ainsi que si l adaptateur 1, auquel sont attachés logiquement les disques «grisés» devient indisponible, il est possible grâce à la boucle externe de confier la gestion de ces disques à l adaptateur 4. Figure 11 Disques partagés sur un cluster 2.5 Chaîne de performances La performance s apprécie au niveau de l utilisateur. Elle reflète un certain confort de réponse à une sollicitation. Pour les entréessorties, la performance est liée à tous les maillons de la chaîne, y compris bien sûr la durée de traitement dans le système hôte. Il est vain d avoir un système de stockage rapide si les adaptateurs, le bus d entrée-sortie et le logiciel côté hôte s avèrent être des goulots d étranglement. De même, la meilleure architecture de mémoire cache ne saurait pallier un mauvais écoulement des entrées-sorties dans l ensemble des disques au fur et à mesure que l activité d entrées-sorties augmente. Les types d applications et les profils de données associés sont aussi des facteurs déterminants pour l évaluation des performances. Un système de stockage optimisé pour satisfaire des opérations transactionnelles, pourra mal se comporter en environnement décisionnel. Les performances sont un domaine très complexe. L objet de ce paragraphe est de faire ressortir les éléments essentiels qui influencent les performances d une chaîne d entrées-sorties. À cet effet, la figure 12 visualise les obstacles rencontrés par une opération d entrée-sortie, depuis sa génération au niveau du système hôte jusqu à l enregistrement sur les disques. Le canal d entrée-sortie Trois paramètres interviennent : la latence ou la durée d appropriation du canal d entrée-sortie (typiquement 1 ms pour un bus SCSI) : ce paramètre est sensible aux environnements multihôtes, multitâches sur un même canal ; la vitesse de transfert (typiquement 20 Mo/s pour un bus SCSI wide) ; le protocole : son effet se traduit au niveau de la durée d exécution dans le microprocesseur de l élément connecté (de l ordre de la centaine de microsecondes) et du mode de transfert. Par exemple, le mode synchrone du protocole SCSI qui autorise la réception de plusieurs blocs avant de les acquitter est beaucoup plus rapide (20 Mo/s) que le mode asynchrone (5 Mo/s) pour lequel tout bloc transmis doit être systématiquement acquitté. La traversée du contrôleur du système disques L architecture est un facteur important de performance, cela recouvre le choix du microprocesseur, la séparation des chemins de commandes et de données (un chemin commun est souvent facteur de ralentissement), les circuits d accès direct mémoire et les aideopérateurs matériels (exemple : calcul logique de la parité RAID). Techniques de l Ingénieur, traité Informatique H

12 ARCHITECTURE DE SYSTÈMES DE STOCKAGE Figure 12 Chaîne de performances d une opération d E/S La mémoire cache, sa taille et ses algorithmes de gestion sont déterminants pour le temps de réponse (temps écoulé entre le moment où le système de stockage reçoit une commande d entréesortie et le moment où il acquitte cette commande). L efficacité du cache est liée à la localité des données échangées (c est-à-dire à la probabilité d effectuer des opérations d entrée-sortie sur des données déjà mémorisées dans le cache, ce qui permet de bénéficier des vitesses électroniques bien supérieures aux vitesses mécaniques des disques). En mode lecture, les algorithmes de cache permettent notamment d anticiper en un seul accès disque le transfert dans le cache des blocs situés aux adresses consécutives au bloc sollicité (on espère que les prochaines opérations de lecture impliqueront les blocs anticipés). En écriture, la mémoire cache permet de constituer un stripe de RAID 5, au fur et à mesure des arrivées des commandes de modification des chunks de données. Afin d optimiser le temps de réponse, le contrôleur envoie un avis d acquittement au système hôte dès qu une opération d écriture a été validée dans le cache. Une fois le stripe complètement renouvelé dans la mémoire cache et le chunk de parité calculé par le contrôleur, il sera enregistré en un seul transfert sur les disques. Cette technique améliore sensiblement les performances du RAID 5 en écriture, puisqu elle évite les multiples manipulations des disques de parité. En contrepartie, l architecture doit garantir l intégrité des données en attente de transfert sur les disques. Pour ce faire, la mémoire cache devra être secourue sur batterie en cas de coupure d alimentation. Certaines architectures permettent de reconstituer une image des données de la mémoire cache sur une autre mémoire cache (avant d envoyer l acquittement), afin de s affranchir de la panne d une carte mémoire. En cas de hit (la donnée est disponible dans la mémoire cache), le temps de réponse peut être amélioré dans un rapport quatre si l activité d entrée-sortie est relativement faible. Le bénéfice du cache s amenuise au fur et à mesure que l activité augmente, l écoulement des opérations d entrée-sortie sur les disques devenant alors prépondérant. Les modes de RAID affectés à l espace disques influent sur les performances. La plupart des systèmes permettent le fonctionnement en multimodes. C est ainsi que les données système pourront être configurées en mode RAID1 (haute disponibilité et performance en lecture), d autres données plus volumineuses, jugées sensibles mais ne nécessitant pas de très hautes performances seront mieux adaptées au mode RAID 5. La figure 13 présente les performances relatives des différents modes RAID pour des petites opérations d écriture et lecture à accès aléatoire. Figure 13 Performances des RAID (petites entrées-sorties aléatoires, en lecture et écriture) Les canaux d entrée-sortie entre le contrôleur et l ensemble de disques La performance d échange entre le contrôleur et l ensemble des disques dépend des caractéristiques du canal d entrée-sortie (essentiellement latence, vitesse de transfert et protocole) et du degré de parallélisation des canaux d entrée-sortie. Les technologies série, plus rapides, devraient minimiser la contrainte économique de la parallélisation. La conception des disques À l extrémité de la chaîne, la technologie des disques est essentielle (l aspect performance des disques est détaillé dans l article Périphériques de stockage magnétique et optique [H 1 258]). Elle reflète les performances mécaniques et électroniques : sur le plan mécanique, les disques 3 pouces 1/2, tournant à tr/min présentent des temps d accès moyen (le temps d accès est défini comme le temps moyen pour positionner la tête de lectureécriture sur un secteur donné) de 8 ms et des vitesses de transferts internes (directement fonction de la densité linéaire et de la vitesse H Techniques de l Ingénieur, traité Informatique

13 ARCHITECTURE DE SYSTÈMES DE STOCKAGE linéaire de passage sous la tête) de 100 Mbit/s. De 1990 à 1997, le temps d accès s est amélioré dans un rapport 2 et le débit interne dans un rapport 5. Globalement les progrès en performance mécanique des disques n ont pas suivi ceux des puissances de calcul. Cette différence est en partie palliée par la sophistication des contrôleurs intégrés aux disques ; l électronique embarquée se caractérise par un microprocesseur capable d exécuter le protocole canal en quelques dizaines de microsecondes, par une mémoire cache de 2 Mo soutenue par des algorithmes sophistiqués : gestion de files d attente (l ordre d exécution des commandes est décidé à partir de la position courante des têtes, dans le but de minimiser les mouvements de tête), stratégies de cache en lecture (le contrôleur anticipe les commandes de lecture suivantes en continuant à remplir sa mémoire cache), Fast Write (cette technique consiste à accuser réception d une commande d écriture dès que les données à écrire sont installées dans la mémoire cache, permettant ainsi un temps de réponse allégé des contraintes mécaniques du disque dur. 2.6 Copie à distance L information est la richesse de l entreprise et toute interruption du traitement de cette information se traduit par des pertes de productivité. Les centres de données, quelles que soient leurs implantations sont vulnérables aux forces de la nature telles que les tremblement de terre ou les inondations. Ils ne sont pas non plus à l abri des erreurs humaines ou des attentats. Une étude, menée par l université du Minnesota (États-Unis), montre qu en moyenne l immobilisation d un centre de données pendant plus de quatre jours, se traduit pour l entreprise par une chute d activité de plus de 50 %. Conscientes de ce risque, les entreprises américaines consacrent environ 2 % de leur budget informatique pour mettre en place un plan de prévention contre les sinistres. En Europe, la prise de conscience met plus de temps à s affirmer. Il existe plusieurs solutions pour répondre à ce besoin de protection des données en cas de sinistre. La plus courante est la recopie des données d un site dans un librairie de bandes magnétiques implantée dans un site éloigné. Cette exportation des données se fait généralement sous contrôle de l application, en utilisant des protocoles de communication. On comprend qu une telle solution ne réponde pas toujours aux objectifs de performance (durée de transfert à travers des réseaux de communication) et de synchronisation des données (avoir à chaque instant, deux images identiques des données sur les deux sites éloignés). La copie instantanée de volumes logiques sur deux systèmes de stockage de disques éloignés, se présente comme une solution d avenir, pour les raisons suivantes : la baisse continue du prix des disques rend la duplication sur disques (mode miroir ou RAID 1) de plus en plus économique ; le développement des technologies sérielles telles que Fibre Channel, va permettre de transporter, en toute sécurité, sur des dizaines de kilomètres, les données à recopier aussi rapidement qu une simple opération «miroir» à l intérieur d un même système de disques. Les objectifs de performance (le temps de réponse n est pas dégradé par rapport à une duplication locale) et de synchronisation des données seront ainsi atteints ; l opération étant du type RAID 1, elle est indépendante du serveur applicatif attaché au sous-système de stockage. Outre la réponse au besoin de protection contre les sinistres, ce type de recopie à distance apporte d autres avantages : elle permet l optimisation des opérations de sauvegarde des données créées journellement. En effet, les applications, en pleine croissance, manipulent de plus en plus de données et les opérations de sauvegarde sur bande magnétique, généralement effectuées en tâche de fond la nuit (backup window ) débordent de plus en plus Figure 14 Recopie instantanée à distance sur la période opérationnelle du jour. Puisque la duplication des données est réalisée en temps réel, il est possible de confier à tout moment l opération de sauvegarde au site éloigné alors que les opérations normales continuent sur le site local qui n est plus pénalisé par des charges de sauvegarde ; sur le même principe, on conçoit que l on puisse intervenir sur l un des sites (maintenance programmée, évolution de la configuration) l autre site restant opérationnel. Pendant l arrêt de l un des sites, l intégrité des données est en danger. Il existe des procédures pour réintégrer le site immobilisé dans un contexte opérationnel ou pour reconstituer les données en cas de panne du site opérationnel. La figure 14 visualise le principe de fonctionnement de la duplication instantanée à distance. Il s agit ici du mode dit synchrone, où l image est effectivement générée instantanément. Cette architecture s applique sur des étendues de quelques dizaines de kilomètres pour lesquelles les liaisons série de type canal sont bien adaptées. Pour des recopies sur sites plus éloignés (échelle d un pays ou du monde), il est nécessaire de faire appel à des techniques de communication type RNIS ou ATM, on travaille alors en mode semi-synchrone, dans lequel l opération d écriture engendrée par l application locale est immédiatement acquittée, alors que la recopie à distance met plus de temps à s exécuter. Le principe est que toute nouvelle opération d écriture sur le même volume du site local sera systématiquement refusée, tant que la recopie à distance précédente n aura pas été exécutée. On peut dire que la synchronisation des données est réalisée à une opération d écriture près par volume logique. La société américaine EMC a été une des premières à introduire ce concept sous le nom de SRDF (Symmetrix Remote Data Facility ). 3. Architecture des systèmes de stockage de masse Ce paragraphe s intéresse à l architecture des librairies de disques optiques et de bandes magnétiques. Les périphériques disques et bandes sont détaillés dans l article relatif à la technologie des périphériques de stockage. Techniques de l Ingénieur, traité Informatique H

14 ARCHITECTURE DE SYSTÈMES DE STOCKAGE Du point de vue des volumes d information, les systèmes de stockage de masse comblent le fossé entre les disques magnétiques à accès rapide et le stockage non directement accessible par les calculateurs tels que les microfiches ou le papier. Ce créneau intermédiaire est en pleine expansion, accéléré par les énormes demandes en capacité des nouvelles applications et par les progrès technologiques en termes de performance et de densité de stockage. Les systèmes de stockage de masse reposent sur deux technologies, celle des disques optiques et celle des bandes magnétiques. Les disques magnétiques, de moins en moins chers et de plus en plus denses continuent d empiéter sur le domaine des disques optiques. De plus, ces derniers se trouvent limités par l expansion des technologies de bandes magnétiques fortement capacitives et confinés aujourd hui à des applications sectorielles. Il est probable que la technologie optique retrouvera une position de choix dans la hiérarchie de stockage avec le déploiement de la technologie DVD (Digital Video Disk ), dont la normalisation a été approuvée à la fois par la communauté des constructeurs et par la communauté des utilisateurs. La figure 15 positionne les différents systèmes de stockage en fonction des critères de capacité et de performance. Une librairie de bandes magnétiques peut échanger 50 à 300 fichiers à l heure alors que les opérations se chiffrent par milliers pour les systèmes de disques magnétiques. L autoloader, encore appelé autochanger est un système qui permet d alimenter séquentiellement ou aléatoirement un lecteur de cartouches optiques ou magnétiques à partir d un magasin d une dizaine de cartouches. Lorsque le magasin se déplace à la bonne position pour charger le lecteur, l autoloader est alors appelé stacker ou stacker/loader. Ce type de technologie se retrouve dans les architectures de librairies d entrée de gamme. 3.1 Librairies de disques optiques Une librairie de disques optiques se compose des éléments suivants : un mécanisme robotisé (autochanger ) dont le rôle est d échanger des cartouches de disques magnétiques entre les alvéoles de stockage (storage slot ) de la librairie, un emplacement intermédiaire appelé mailslot et les lecteurs de disques. C est par la mailslot que l on introduit les disques dans la librairie ou qu on les extrait. Dans certaines architectures, le mailslot est doté d un mécanisme qui permet de retourner le disque. Ce retournement est nécessaire parce que le mécanisme de lecture-écriture du périphérique n agit que sur un seul côté alors que le disque lui-même est double face ; un ou plusieurs lecteurs de disques ; un magasin d un certain nombre d alvéoles de stockage. La gestion de la librairie se fait à partir de plusieurs unités de contrôle : l unité de contrôle de l autochanger basée sur une machine d états reçoit des signaux d état de différentes cellules de détection et pilote le mécanisme en conséquence. Cette même unité de contrôle reçoit les commandes de manipulation des disques, issues des applications tournant dans le serveur hôte auquel est attachée la librairie ; l unité de contrôle du lecteur de disques gère l échange de données avec le serveur hôte et procède à la lecture ou à l enregistrement des données sur le disque optique. Une importante fonction de cette unité est la gestion des secteurs ou des pistes défectueuses du disque optique. Les librairies de disques optiques utilisent des canaux d entrée-sortie de type SCSI (voir 4) pour dialoguer avec le serveur hôte. Il y a un port SCSI dédié aux commandes de la librairie et un port SCSI par lecteur de disques. Les performances La performance globale de la librairie (ou temps de service) s exprime par la durée d échange d une certaine quantité de données. Elle est fonction du temps d accès à la librairie et de la durée du transfert des données : le temps d accès à la librairie est la combinaison de temps d exécution élémentaires essentiellement de type mécanique ; ce sont (on donne ci-dessous des temps d exécution typiques) : le temps de passage du transporteur d un lecteur à l autre : 0,8 s, le temps d arrêt du lecteur (spin down ) : 2,8 s, le temps d éjection d une cartouche disque : 0,8 s, le temps mis par le transporteur pour changer la cartouche : 7 s, le temps d insertion d une cartouche : 1 s, le temps de démarrage du lecteur (spin up ) : 4,5 s, le temps d accès à une librairie optique est de l ordre de la dizaine de secondes ; la durée de transfert des données une fois le disque installé dans le lecteur est fonction du temps d accès des données sur le disque optique (quelques dizaines de millisecondes), de la vitesse de transfert des données sur le disque optique (1 Mo/s) et de la vitesse de transfert sur le canal SCSI (10 Mo/s). De plus, le sens du transfert est important puisque l écriture sur un disque magnétooptique nécessite deux, voire trois rotations de disque. Des éléments précédents, on déduit que, plus les données à transférer seront volumineuses, plus l impact des mouvements mécaniques sera masqué. Pour des applications du type sauvegarde-restauration (voir 5), où il est demandé d échanger de gros volumes séquentiels (> 10 Mo), le service global de la librairie sera alors uniquement fonction des performances intrinsèques des lecteurs optiques et du nombre de lecteurs supportés en parallèle par la librairie. Pour des applications impliquant des accès aléatoires de taille plus modeste (< 10 Mo), telles que la gestion hiérarchique du stockage : HSM (voir 5), l influence des temps mécaniques est prépondérante. Les performances des librairies optiques seront améliorées par : les progrès technologiques des disques (densité, vitesse de rotation...). La capacité d écrire sans efficacement préalable (direct overwrite ) est un accélérateur essentiel des opérations d enregistrement ; les performances intrinsèques des lecteurs (temps d accès, temps d accélération...) ; des interfaces plus rapides (SCSI série...) ; l harmonisation de l usage de plusieurs lecteurs de disques avec la mise en œuvre de plusieurs mécanismes de transport de disques. Le tableau 1 résume les caractéristiques des librairies optiques en fonction des classes de technologie de disques. (0) Tableau 1 Classification des librairies optiques CD-ROM 5"1/4 > 5"1/4 Capacité média... (Go) 0,18 à 0,68 0,3 à 1 4 à 8 Nombre de disques à à à Vitesse de transfert en lecture... (Mo/s) 0,15 à 0,9 0,6 à 3 1 à 3 Temps d échange des cartouches de disques... (s) 4 à 12 4 à 15 5 à 16 H Techniques de l Ingénieur, traité Informatique

15 ARCHITECTURE DE SYSTÈMES DE STOCKAGE Figure 15 Positionnement des technologies de stockage 3.2 Librairies de bandes magnétiques Un monde en pleine évolution Le monde des bandes magnétiques est en pleine effervescence. C est le support le moins cher des technologies de stockage, mais c est aussi le domaine où il y a pléthore de technologies, manque de standardisation et souvent un décalage entre les avancées technologiques et les logiciels capables de les exploiter au mieux. Cependant c est une composante du paysage du stockage promis au meilleur avenir, poussé par les demandes applicatives et soutenu par les progrès de la technologie. Les classes d applications sont la sauvegarde des données, le management de la hiérarchie de stockage dont les librairies de bandes magnétiques sont un élément clé, l archivage, le stockage d énormes collections de données (exemple : télécommunications, énergie, ressources naturelles, scientifique), le stockage secondaire en ligne (near-on-line ) pour lequel les bandes magnétiques s avèrent être le complément naturel aux disques magnétiques, tout le stockage d images et la distribution de logiciel. Un exemple caractéristique de l accélération technologique se trouve dans le domaine des librairies de technologie demi-pouce. Il y a seulement quelques années, une cartouche accueillait 200 Mo, aujourd hui la technologie d enregistrement hélicoïdal permet de mémoriser 50 Go sur la même cartouche. Là où il fallait plus de mille cartouches pour sauvegarder 150 volumes (unité de volume disque utilisé dans le monde mainframe), une dizaine suffit aujourd hui. Il en résulte qu une grande librairie qui hier stockait 1 To (10 12 ) peut aujourd hui stocker 300 To. En parallèle les vitesses de transfert ont décuplé avec l apparition des interfaces série (ESCON, Fibre Channel, voir 4), la densité des bandes et l amélioration des durées de rembobinage. L adéquation des technologies de base avec les applications et les caractéristiques des librairies en fonction de ces technologies sont respectivement illustrées par les tableaux 2 et 3. Architecture d une librairie de bandes magnétiques Une librairie de bandes magnétiques (voir figure 16) est un système robotisé qui alimente un dérouleur de bandes magnétiques à partir d un module de stockage comprenant des alvéoles de stockage de cartouches. Le système hôte auquel est connecté la librairie, envoie des commandes de mouvements de cartouches à l unité de commande de la librairie, laquelle se sert de l unité de contrôle du robot pour faire exécuter la commande. Le robot se déplace alors vers l alvéole désignée et transporte la cartouche dans le dérouleur de bandes magnétiques. L échange de données entre le système hôte et la librairie est assuré par l unité de contrôle d échange des dérouleurs. Il y a bien deux chemins d accès séparés, l un pour les commandes de mouvements, l autre pour transférer les données. On retrouve ces fonctions dans toutes les librairies, quel que soit leur niveau de complexité. Les très grandes librairies démultiplient ces fonctions. C est ainsi qu il peut y avoir un module de stockage de base (exemple : cartouches), appelé silo, avec la possibilité d ajouter d autres modules de stockage avec leur propre unité de contrôle de robot. Plusieurs dérouleurs de bandes magnétiques (exemple : 4 à 8) peuvent être regroupés dans une même unité de dérouleurs, qui elle-même est multipliable. Certaines librairies offrent des guichets d accès de quelques dizaines de cartouches qui permettent d alimenter la librairie en cartouches. Une grande librairie pour des raisons économiques est souvent partagée entre plusieurs systèmes hôtes, l utilisation d un serveur de librairie est alors nécessaire pour gérer l exploitation de la librairie entre les différents systèmes hôtes. Les performances La performance globale des librairies de bandes magnétiques s exprime en nombre d opérations par heure (ou par la durée de service d une opération). Un critère significatif de qualification de performance est le temps de résidence, c est-à-dire le temps pendant lequel une cartouche reste montée dans un dérouleur, empêchant ainsi toute opération sur ce même dérouleur. Comme pour les librairies optiques, les opérations d échange de petits blocs de données sont principalement influencées par la performance intrinsèque du robot alors que les opérations mettant en jeu de larges transferts de données se trouvent limitées par l aptitude de la librairie à écouler les flux de données à partir des cartouches résidant dans les dérouleurs ; phénomène amplifié par le caractère «séquentiel» des bandes magnétiques qui accroît le temps d accès (fonction mécanique de rembobinage) par rapport aux disques. (0) La problématique des grands fichiers (0) Pour résoudre ces problèmes d écoulement des grands fichiers, les architectures ont évolué vers le parallélisme. Les étapes de parallélisme pour répondre à des besoins croissants en performance sont les suivantes. Une unité de dérouleurs se compose d une unité de contrôle d échange et de un ou plusieurs dérouleurs de cartouche. Le temps de résidence d une cartouche dans le dérouleur est la somme des temps de chargement/déchargement, de rembobinage pour accéder aux données et du temps de transfert. Ce dernier temps est largement prédominant pour les longs fichiers. Si l on dispose d un seul dérouleur, le nombre d échanges par heure est fonction du temps de résidence de la cartouche dans le dérouleur. L adjonction d un second dérouleur permet à l unité de contrôle d échange, d effectuer des transferts sur ce second dérouleur pendant les périodes de rembobinage du premier dérouleur, exploitant ainsi à plein son potentiel de transfert. L utilisation d un troisième dérouleur n apporte plus de Techniques de l Ingénieur, traité Informatique H

16 ARCHITECTURE DE SYSTÈMES DE STOCKAGE Tableau 2 Adéquation technologies-applications 1/2" DAT (Digital Audio Tape) 8 mm DLT (Digital Linear Technology) Sauvegarde... X X X X X X HSM... X X X X Archivage... X X X X X Stockage massif... X X X X X Near-on-line... X X X X X X Image... X X X Distribution logiciels... X X X VHS 19 mm Tableau 3 Classification des librairies de bandes magnétiques d après Freeman Reports 1995 Nombre de lecteurs Capacité Nombre Capacité Vitesse cartouche de cartouches totale transfert (Go) (Go) (Mo/s) Demi-pouce moyenne gamme ,2-0, haute gamme ,2-0, DAT ,18-0,5 8 mm , ,2-0,5 DLT ,2-1,5 VHS , mm K dizaines de gigaoctets (augmentant ainsi les temps de présence), des architectures du type «1 pour 1» ont fait leur apparition. Avec ce type d architecture, une unité de contrôle d échange est associée à un seul dérouleur de cartouche. Pour accélérer les débits, certains constructeurs ont introduit le concept de tape array. L idée est d étendre le mode RAID 0 aux bandes magnétiques. Comme sur les disques, les fichiers sont répartis sur plusieurs cartouches de bandes magnétiques et bénéficient ainsi de l accélération de transfert parallèle à travers plusieurs lecteurs-enregistreurs. 3.3 Système de stockage de masse virtuel Figure 16 Architecture d une librairie de bandes magnétiques gain substantiel (l intérêt d avoir plusieurs dérouleurs (ex : 4 ou 8) sous le contrôle d une seule unité d échange, reste vrai pour les opérations mettant en jeu des petits fichiers). L étape suivante est donc la duplication des unités de cartouches. C est ainsi que les librairies «haut de gamme» offrent plusieurs unités de dérouleurs de cartouches, chacune contrôlant plusieurs dérouleurs. Avec l apparition conjuguée d interfaces rapides tels que Fibre Channel et les cartouches à haute densité capables de stocker des Cartouche virtuelle Historiquement, la gestion des bandes magnétiques s est résumé à «un fichier = un volume». Il en résultait que la plupart des cartouches, contenant en moyenne 200 Mo, se trouvaient sousutilisées. Avec les nouvelles technologies à très haute capacité, le problème de l optimisation de l espace utile des cartouches devient critique. Le concept de «cartouche virtuelle» est illustré sur la figure 17. Il consiste à empiler plusieurs volumes virtuels sur une même cartouche physique. La plupart des constructeurs de librairies de bandes magnétiques développent des solutions dans ce sens, mais de nombreux problèmes restent à résoudre. Comment ouvrir deux ou plusieurs volumes au même moment? Comment identifier sur quelle cartouche physique réside tel volume? Comment résoudre le management d espace alors que contrairement aux disques les technologies de bandes empêchent la mise à jour en place? Vers le système virtuel De nouvelles architectures sont en gestation. Le système de bandes virtuelles intercale entre les bandes magnétiques et les systèmes hôtes un stockage intermédiaire sur disques RAID, qui émule les bandes magnétiques et contient les informations pour le montage et le démontage des volumes. Un catalogue gère les H Techniques de l Ingénieur, traité Informatique

17 ARCHITECTURE DE SYSTÈMES DE STOCKAGE 4.1 Attachements du monde «ouvert» SCSI Figure 17 Cartouche virtuelle Figure 18 Système de stockage de masse virtuel relations entre les volumes logiques et les bandes magnétiques physiques. En donnant une vision de volumes logiques de type «disque», un tel système permet de s affranchir des problèmes évoqués plus haut, il permet en outre de masquer aux systèmes hôtes les technologies de bandes utilisées, ce qui est un avantage considérable aux yeux des utilisateurs qui souhaitent des solutions pérennes et évolutives. Ce concept est extensible aux technologies optiques. La figure 18 illustre cette généralisation. 4. Attachement des systèmes de stockage Ce paragraphe traite de l attachement des systèmes de stockage aux serveurs hôtes. Les interfaces propres aux appareils de stockage seront décrites dans le traité sur la technologie des périphériques de stockage. On distingue les attachements «ouverts» qui s appuient sur des standards de l industrie et se retrouvent dans des environnements systèmes de type UNIX, NT... et les attachements aux mainframes qui découlent de développements propriétaires, principalement d origine IBM. On montrera comment ces deux domaines devraient converger à terme dans la mouvance Fibre Channel. À l origine en 1980, SCSI (Small Computer System Interface ) a été développé dans le but de rendre transparent au système hôte les périphériques d une même classe (ex : disques) qui lui étaient connectés. SCSI comportait alors une dizaine de commandes et aujourd hui il faut un manuel de 600 pages pour le décrire. Le décollage de SCSI s est produit en 1985 avec la constitution d un groupe de travail chargé de définir un ensemble de commandes performantes (CCS Common Command Set ), ciblé sur les disques et capable d assurer la compatibilité entre les différents constructeurs de disques. Le standard s élargissait alors à 7 classes d appareils dont les disques, les appareils à accès séquentiel, les imprimantes et même les communications. Au-delà de sa spécificité d interface de périphérique, SCSI est aujourd hui le standard de connexion entre le système de stockage et le système hôte le plus répandu dans l industrie. La norme couvre le niveau physique (mécanique et électrique) et le niveau logique (commandes et messages). SCSI se matérialise sur un bus parallèle, composé d un chemin de données (initialement de largeur 8 bits) qui véhicule les données utiles et également des octets de commande et d un bus «contrôle» qui permet d identifier et de rythmer les différentes phases d un échange. Pendant la phase d initialisation, l initiateur (typiquement le système hôte) sélectionne la cible (ex : un système de stockage) en activant l un des fils du bus de données. La priorité des différentes cibles est liée à leur adresse sur le bus de données (SCSI-ID). Il apparaît donc que, sur un SCSI 8 bits, le nombre d agents connectés est limité à 8. Des versions 16 bits du SCSI permettent de doubler la connectivité. Afin de s affranchir de cette barrière d adressage physique, la notion de LUN (Logical Unit Number ) a été introduite dans les octets de commande du protocole. Elle permet d amplifier le champ d adressage en associant à une adresse physique une extension d adressage logique (jusqu à 256). Un des intérêts de SCSI est la faculté donnée à la cible de libérer le bus dès qu elle exécute la commande (ex : écriture sur disque), autorisant ainsi les autres agents à exécuter d autres opérations d entrée-sortie. Le rythme des transferts est régi par deux modes. Le mode «asynchrone» où un signal d acquittement de tout mot transmis est nécessaire avant l envoi du suivant et le mode «synchrone» où il est possible de grouper l envoi de blocs de mots avant de signifier l acquittement (la règle est négociée lors de la phase de connexion). Au niveau logique, SCSI présente une structure canal digne des gros ordinateurs. La norme SCSI était à peine finalisée, que SCSI-2 apparaissait avec de nouvelles fonctionnalités telles que la gestion d un cache, la prise en compte de piles de commandes et le doublement à 16 bits du chemin de données. Il en résulte que la famille SCSI s est agrandie et qu il est souvent difficile d en caractériser ses membres tant les variantes physiques sont nombreuses : largeur du bus : 8, 16, 32 bits ; technologie du bus : simple terminaison, différentielle ou LVD (Low Voltage Driver ) ; fréquence de l horloge. Le tableau 4 résume les différentes versions de SCSI, selon SCSI Trade Association organisme dont la mission est de promouvoir le SCSI parallèle et en particulier Ultra SCSI. (0) Quand SCSI se «sérialise» Le modèle d architecture SCSI 3 rassemble plusieurs normes qui ont été définies par différents groupes de normalisation. Il définit un ensemble commun de commandes s appliquant aussi bien sur des architectures parallèles que sur des architectures série. On assiste donc au déploiement de SCSI dans deux directions : (1) la sérialisation de SCSI sur les architectures IEEE P1394, SSA (Serial Storage Architecture ) ou FCA (Fibre Channel Architecture ) qui apportent vitesse et distance ; Techniques de l Ingénieur, traité Informatique H

18 ARCHITECTURE DE SYSTÈMES DE STOCKAGE Tableau 4 Classification SCSI parallèle Nom (2) le renforcement des solutions parallèles, en réaction au «série» avec Ultra SCSI. P1394, développé à l origine par Apple computer, est un bus à arbitrage qui garantit le temps de réponse nécessaire pour des applications son et vidéo. Sa vitesse de base est de 12 Mo/s. Les deux autres architectures SSA et Fibre Channel ont cherché à répondre aux insuffisances de SCSI. Ce standard se matérialise en effet sur un connecteur de 50 à 68 broches et l on se heurte à des difficultés de câblage quand le nombre de clients sur le bus augmente. Les systèmes de disques débitant de plus en plus vite (un seul disque est capable de débiter des données à 12 Mo/s) entraînent le besoin d augmenter la fréquence d horloge du SCSI, réduisant par la même les distances de connexion (moins de 3 m). Pour soutenir les charges croissantes d entrées-sorties, on est alors amené à multiplier les contrôleurs des systèmes de stockage. C est là qu interviennent les technologies série Fibre Channel Largeur bus (bits) Vitesse (Mo/s) Nombre maximal d appareils SCSI Fast SCSI Fast wide SCSI Ultra SCSI (Fast-20) Wide Ultra SCSI Ultra 2 SCSI Wide Ultra 2 SCSI L objectif initial de l architecture Fibre Channel, développée dès 1988 par le comité technique de l ANSI : X3T11 était de permettre à l entreprise de véhiculer aussi bien des protocoles logiques de type canal d entrée-sortie que de type réseau sur un même support physique à haute vitesse. L architecture Fibre Channel se décline en 5 niveaux : FC-0 définit la partie physique, spécifiant les types de support, les connecteurs et les caractéristiques optiques de connexion aux agents (nodes) ; FC-1 définit le protocole de transmission, incluant l encodage 8B/10B (décrit plus bas dans la section SSA) et les procédures de détection d erreur ; FC-2 développe le protocole de signalisation, la structuration des trames et les règles d utilisation. FC-0 à FC-2 sont couverts par les normes FC-PH ; FC-3 qui définit des services communs entre agents n est pas normalisé actuellement ; FC-4 définit la relation entre les couches basses de Fibre Channel et les protocoles transportés par Fibre Channel. Ces protocoles sont du type réseau : IP/IEEE 802 et ATM et du type canal orienté stockage : HIPPI, IPI-3, SBCCS, SCSI. HIPPI (High Performance Parallel Interface ) est un protocole bidirectionnel sans jeu de commande, sur liaison parallèle à 100 Mo/s. L objectif initial de Fibre Channel était la sérialisation de HIPPI. IPI-3 (Intelligent Peripheral Interface ) est un ensemble de commandes, souvent utilisées avec HIPPI. SBCCS (Single Byte Command Code Set ), comme son nom l indique, transfère des commandes avec un seul octet d information. Il trouve son origine dans ESCON ( 4.2). Enfin SCSI largement décrit dans le paragraphe La figure 19 illustre l intérêt du support multiprotocole de Fibre Channel : l attachement (a) d un système de stockage au mainframe, sous protocole SBCCS (ESCON) ; la connexion (b) d une librairie de bandes magnétiques à un serveur d application, utilisant le protocole SCSI pour les données et TCP-IP pour les commandes d administration de la robotique ; l attachement (c) sous protocole SCSI d un serveur d application à un système de disques, le système de stockage utilisant la technologie de boucle FC-AL pour gérer ses disques internes. Un lien Fibre Channel est spécifié pour des débits de 12,5 à 100 Mo/s, sur des distances de 10 m à 10 km, dépendant du type d implémentation sur liaison cuivre ou optique. Des futures versions prévoient de doubler et même quadrupler la vitesse de transfert. Une «node» Fibre channel a au moins un port utilisant une paire de liens (cuivre ou optique), un lien apportant l information dans le port, un autre véhiculant l information hors du port. Une trame Fibre Channel se compose : d une en-tête identifiant notamment l émetteur, le destinataire, le protocole et le type d information : données ou commandes ; du champ de données utiles et d un champ de détection et correction d erreurs. La longueur d une trame peut varier entre 36 et octets. On peut par exemple transporter sur une seule trame une commande SCSI incluant le descripteur de blocs, les données et la partie message. De même, on peut encapsuler les octets d une trame Éthernet. Fibre Channel supporte 4 classes de service : la classe 1 Connection Oriented similaire à une conversation téléphonique ; la classe 2 Connectionless utilisée pour envoyer rapidement des trames à plusieurs destinataires ; la classe 3 Connectionless Services ou datagram implique un mode d échange pour lequel la livraison des messages n est pas garantie ; la classe 4 qui permet de fractionner la bande passante en utilisant des principes de connexion virtuelle. Fibre Channel s appuie sur trois types de topologie : point à point, fabric et FC-AL. Les trois types de topologies pouvant cohabiter. La fabric est un commutateur complexe capable d orchestrer théoriquement jusqu à 16 millions de connexions alors que FC-AL (Fibre Channel Arbitrated Loop ) est destiné à l attachement des périphériques de stockage. Figure 19 Architecture multiprotocole de Fibre Channel H Techniques de l Ingénieur, traité Informatique

19 ARCHITECTURE DE SYSTÈMES DE STOCKAGE FC-AL se présente comme une topologie capable de supporter sur une seule boucle jusqu à 127 nodes alors que SCSI est limité à 16. Seule une paire de nodes peut communiquer à un instant donné (comme un anneau à jetons). Quand l échange est achevé, alors une autre paire de nodes peut entrer en communication. Chaque node voit passer tous les messages, se les approprie s ils la concernent ou les laisse passer. Si le trafic augmente, les durées d arbitrage peuvent provoquer des goulots d étranglement. C est pourquoi FC-AL est intrinsèquement mieux adapté à la manipulation de blocs longs qu aux blocs courts. Pour remédier à cet inconvénient, on peut construire des architectures à double boucle SSA (Serial Storage Architecture ) SSA, développé par IBM, s appuie sur une couche physique similaire à Fibre Channel. Comme FC-AL, c est une architecture de type «boucle», mais la différence majeure est que chaque agent SSA possède deux ports unidirectionnels indépendants, lui permettant ainsi d émettre et de recevoir simultanément de l information. Comme Fibre Channel, SSA utilise la technique de self-clocking, où l horloge de données est reconstituée à partir des signaux de données, plutôt que d être transmis comme un signal séparé. Pour garantir que l horloge est toujours reconstituée et assure le synchronisme avec les bits transmis, le codage 8B/10B est utilisé (Fibre Channel utilise également ce type d encodage). Il consiste à encoder les octets en blocs de 10 bits, de telle façon que l ensemble des bits transmis ne comporte jamais plus de 5 bits consécutifs de la même valeur et que la variation maximale de la somme numérique transmise soit de 6 (+ 3 à 3), ce qui annule la composante continue et évite aux systèmes de détection d horloge de «décrocher». Un lien SSA (c est-à-dire port à port) est capable d échanger des données à 20 Mo/s. Dans un proche futur, cette vitesse pourrait être doublée. Contrairement à FC-AL qui est du type bus, l architecture SSA étant du type point à point, deux couples d agents implantés à des endroits différents sur la boucle, peuvent communiquer en parallèle (spatial reuse ) accroissant ainsi la performance moyenne de l activité sur la boucle. La figure 20 illustre l aspect bidirectionnel de SSA ainsi que la fonctionnalité de spatial reuse. L unité de transmission (frame ) se compose d un octet de contrôle spécifiant le type de trame, 1 à 6 octets déterminant l adresse de destination sur la boucle, un champ de données utiles de 0 à 128 octets et enfin un champ de 4 octets de détection et correction d erreur. Ainsi pour un champ de données de 128 octets, la surcharge minimale par trame est de 6 %. Le protocole supporté est SCSI-2 et l évolution vers SCSI-3. La spécification détaillée est disponible dans la norme ANSI X3T Attachements du monde mainframe : FIPS et ESCON Depuis plus de 25 ans, l interface parallèle privilégié des mainframes est un standard promu par IBM, connu sous les noms de FIPS (Federal National Standard Institute ) ou OEMI [3]. Il utilise une topologie dite Bus and Tag. Les données et les instructions sont transportées sur le câble Bus et les informations indiquant la nature des transferts sur le câble Tag. Les données sont échangées en parallèle octet par octet. Chaque fil du câble correspond à un bit de l octet. Un neuvième fil véhicule le bit de parité. Plusieurs unités de contrôles peuvent être connectées en série (daisy chain ) sur un même bus. Les transferts peuvent être exécutés en continu ou entrelacés. La vitesse de transfert est de l ordre de 5 Mo/s. Une synchronisation précise des signaux de rythme et de données est nécessaire, ce qui limite la distance maximale à 130 mètres. IBM a développé ESCON (Entreprise Systems Connection Architecture ) pour lever les contraintes de distance et de vitesse de FIPS. ESCON est une technologie série sur fibre optique, capable de vitesse de 17 Mo/s sur des distances point à point de 3 km. Des répéteurs permettent d étendre la distance jusqu à 60 km. ESCON est en fait une véritable infrastructure d interconnexion d entreprise avec des unités de commutation (ESCON Director ) qui permettent à toute unité rattachée au director de communiquer avec toute autre, en parallèle avec d autres connexions. De CKD à FBA FIPS comme ESCON servent encore de support au premier format d enregistrement sur disques, inventé par IBM. Ce format connu sous le nom de CKD : (Count-Key-Data ) met en œuvre des secteurs de longueurs variables sur une piste logique qui est le plus petit espace adressable sur le disque. La piste logique correspond à une piste entière du disque (360 o ) ou à une fraction de piste physique. La structure CKD comprend : un index qui marque le point de départ de la piste logique ; l adresse de la piste (home address ). Ensuite vient une zone d enregistrement comportant : un champ (Count area ) qui indique la longueur du champ de données qui suit ; un champ (Key area ) optionnel, qui précise le type d information du champ de données ; un champ (Data area ) qui contient les données. Plusieurs zones d enregistrement CKD peuvent se succéder sur la piste logique. Cette architecture, dont on comprend les contraintes lorsqu il s agit de remplacer des données existantes par de nouvelles données plus volumineuses, a longtemps dominé le monde des gros systèmes. Depuis l apparition des petits disques nés dans le monde des PC et avec l exemple de SCSI qui travaille sur des secteurs fixes, l architecture FBA (Fixed-Block Architecture ) tend à remplacer CKD. Sa structure est simple et beaucoup plus souple : un champ d adresse (ID area ) du bloc de données ; le bloc de données (Data area ) de longueur fixe. 4.3 Évolution des attachements Figure 20 Architecture SSA La figure 21 positionne les divers interfaces sur un site de stockage en fonction des critères de vitesse et de distance. L échange de masse de données entre deux sites distants se fera avec le concours de protocole ATM. La figure 22 montre l évolution des attachements dans les prochaines années telle que la prévoient les analystes. Il apparaît que SCSI, sous sa forme parallèle, renforcé par les évolutions Ultra est actuellement l interface la plus utilisée et devrait résister encore quelques années. Dans le monde ouvert, la version série de SCSI se matérialise d abord sur SSA avant de s épanouir sur Fibre Techniques de l Ingénieur, traité Informatique H

20 ARCHITECTURE DE SYSTÈMES DE STOCKAGE Figure 21 Positionnement des technologies d attachement mainframes. Cette architecture repose sur le concept de clientserveur tel qu illustré figure 23. La partie serveur composée principalement du manager de sauvegarde, du manager de migration, du gestionnaire de librairie et des différents pilotes de périphériques est implantée sur une plate-forme ouverte du type UNIX ou NT. Les contreparties clients agissent au niveau des différents serveurs d application (et des mainframes) qui possèdent les données à sauvegarder. 5.1 Sauvegarde, archivage et restauration Figure 22 Évolution des technologies d attachement Channel. ESCON solidement supporté par IBM continue à s imposer dans le monde mainframe avant de se fondre dans Fibre Channel. Fibre Channel avec ses atouts techniques et sa position de norme apparaît comme le futur fédérateur des différentes technologies d attachement. 5. Management des données La fonction de base d une solution de management de données est d assurer la sécurité et la disponibilité des données de l entreprise. Cela passe par la mise en œuvre d une politique de sauvegarde, de restauration et d archivage. L analyse des coûts du stockage, exposée au paragraphe 6, met en évidence l intérêt d une bonne architecture de management de données. Les architectures de management de données dans l entreprise se déploient à partir de deux origines : la première d essence mainframe, repose sur un logiciel tournant sur le système d exploitation du mainframe (ex : MVS, GCOS...) et tend à absorber les serveurs d application du monde ouvert en implantant des agents au niveau des différents serveurs ; la seconde a pris naissance au niveau du petit réseau de postes de travail et s est étendu aux serveurs départementaux et même aux L opération de sauvegarde (backup ) se traduit par le stockage de fichiers redondants, dans le but de les réutiliser dans le cas où les fichiers originaux viendraient à être endommagés ou effacés accidentellement. Une bonne solution de sauvegarde comporte les fonctionnalités suivantes : la planification et l optimisation des opérations de sauvegarde ; la charge des sauvegardes de l ensemble des clients est régulée pour une utilisation optimale des réseaux et des accès à la périphérie de stockage ; la constitution d une base de données gardant l historique des sauvegardes et des médias utilisés pour aider lors de la restauration ; la vérification de l opération de sauvegarde ; la reprise automatique des opérations de sauvegarde en cas d interruptions ; une interface graphique conviviale à la disposition de l utilisateur ; la notification des opérations terminées et les situations d erreur ; le support d une large famille de systèmes périphériques de stockage : des librairies à cartouches de type 4 mm, 8 mm et demipouce ainsi que des juke-boxes optiques doivent être supportés afin de répondre au mieux aux contraintes technico-économiques de l entreprise. La restauration peut être totale, différentielle ou incrémentale : l opération de sauvegarde différentielle recopie toujours les données qui ont été modifiées depuis la dernière opération de sauvegarde totale ; l opération de sauvegarde incrémentale duplique toutes les données qui ont été modifiées depuis une certaine date. C est généralement la date de la dernière opération de restauration totale ou incrémentale. H Techniques de l Ingénieur, traité Informatique