LIVRE BLANC : ÉVOLUTION DE LA DÉDUPLICATION DES DONNÉES Déduplication des données : un élément essentiel de votre stratégie de protection des données JUILLET 2010 Andy Brewerton CA TECHNOLOGIES RECOVERY MANAGEMENT AND DATA MODELLING
Sommaire DÉDUPLICATION DES DONNÉES : LE CONTEXTE... 2 La sauvegarde sur disque permet-elle de maîtriser la prolifération des données?... 2 LA RÉVOLUTION DE LA DÉDUPLICATION DES DONNÉES... 3 Comment fonctionne la déduplication?... 3 Quand la déduplication s'effectue-t-elle?... 3 Où la déduplication s'effectue-t-elle?... 4 Qu'attendre de la déduplication?... 4 CONCLUSION... 5 CA ARCSERVE BACKUP - DÉDUPLICATION INTÉGRÉE... 6 Copyright 2010 CA TECHNOLOGIES. Tous droits réservés. Toutes les marques commerciales, tous les noms de marque, marques de service et logos figurant dans le présent document sont la propriété de leurs détenteurs respectifs. Ce document est fourni à titre d information uniquement. CA TECHNOLOGIES rejette toute responsabilité quant à la précision ou l'exhaustivité desdites informations. Dans la mesure permise par la loi en vigueur, CA TECHNOLOGIES fournit ce document "en l état", sans aucune garantie, expresse ou tacite, notamment concernant la qualité marchande, l'adéquation à un besoin particulier ou l'absence de contrefaçon. CA TECHNOLOGIES ne pourra en aucun cas être tenue responsable d une perte ou d un dommage résultant, directement ou indirectement, de l utilisation de ce document, y compris, sans s y limiter, les pertes de profits, les interruptions de l activité professionnelle, la perte de notoriété/clientèle ou de données, et ce même si TECHNOLOGIES a été expressément informée de la possibilité de tels dommages. PAGE 1
DÉDUPLICATION DES DONNÉES : LE CONTEXTE La sauvegarde sur disque permet-elle de maîtriser la prolifération des données? Dans le domaine de la gestion et de la protection des données, les entreprises sont confrontées à de nombreuses problématiques. Selon divers experts du secteur, un certain nombre de changements dans leur environnement les amèneront à revoir leur stratégie de déploiement des solutions de protection des données et de continuité de service. La virtualisation des serveurs reste en haut de la liste des priorités de nombreuses entreprises. Un nombre croissant d'entre elles cherchent à améliorer leur efficacité en déployant de nouvelles applications sur des plates-formes virtuelles et commencent à transférer leurs applications jusqu'ici hébergées sur des serveurs physiques. La virtualisation promet de simplifier l'infrastructure, mais de nombreuses entreprises constatent qu'elle augmente la complexité des fonctions de gestion, en particulier en ce qui concerne la protection des données. La conjoncture économique a contraint bon nombre d'entreprises à réduire leurs coûts, ce qui implique de gérer des données sans cesse croissantes avec un budget réduit. Ces réductions budgétaires ont diverses implications, allant de la réduction des effectifs, se traduisant par la perte de compétences, à la baisse des dépenses d'investissement. Cela signifie qu'au mieux, les environnements peuvent être améliorés au lieu d'être remplacés. Face à cette situation, de nombreuses entreprises adoptent de nouvelles solutions efficaces et rentables pour protéger et gérer leur infrastructure. Autre défi auquel sont confrontées bon nombre d'entreprises : l'impact des fusions et acquisitions. Que celles-ci aboutissent à la répartition des effectifs ou à un exercice de consolidation, les équipes informatiques doivent gérer un plus grand nombre d'utilisateurs et de données, répartis sur un plus grand nombre de sites. À ces problématiques s'ajoute celle de l'accélération de l'acquisition et de la production de données. Au mieux, celle-ci complique les autres problèmes à résoudre et, au pire, met en danger la rentabilité et la survie de l'entreprise. Si l'on observe la situation du point de vue de la protection des données, force est de constater qu'il s'agit tout simplement de : - traiter le problème de la prolifération des données générées par un plus grand nombre d'utilisateurs sur plus de sites ; - pérenniser l'activité en assurant la haute disponibilité des applications essentielles ; - faire face à l'évolution constante de l'environnement : virtualisation de serveurs, mise à niveau du matériel, mise à jour de logiciels clés, etc. Face à la nécessité de protéger ces volumes de données sans cesse croissants, de nombreuses entreprises adoptent des méthodes de sauvegarde et de restauration de disque à disque. Le disque est une destination très performante pour les données protégées, qui permet de restaurer rapidement une application en cas de catastrophe. Cela dit, le stockage sur disque de grandes quantités de données de sauvegarde à long terme devenant de plus en plus difficile, des entreprises ont remis en question la rentabilité de l'envoi de toutes les sauvegardes sur des disques par rapport à l'utilisation du disque comme solution de stockage intermédiaire à court terme. Cette deuxième option réduit les avantages liés aux solutions de disque à disque en impliquant la restauration de données anciennes à partir de bandes. En réponse à ce problème, des technologies de réduction des données sont déployées dans le cadre de la stratégie de protection des données, afin de permettre le stockage de plus grandes quantités de données sur les disques et de mieux faire face à la croissance des données. Au cours des dernières années, les technologies de réduction des données utilisées pour résoudre ce problème ont évolué : Algorithmes de compression des données : la plupart des produits de protection des données comprennent des algorithmes de compression depuis de nombreuses années. Intégrés au produit de base ou disponibles en option, ces algorithmes de compression sont utilisés pour réduire la consommation de ressources, telles que les supports de sauvegarde ou la bande passante du réseau. Les données sont souvent compressées à la source avant leur transfert sur le support de destination, ce qui engendre des coûts de traitement et risque de ralentir les applications protégées. Les algorithmes et techniques utilisés lors de la conception de ces fonctions de compression des données sont variés et impliquent souvent des compromis entre le taux de compression et les ressources de traitement requises pour compresser et décompresser les données. Stockage d'instance unique (SIS) : le "Single Instance Storage" (SIS), qui serait peut-être mieux décrit par "File Level Deduplication" (déduplication au niveau des fichiers), consiste à conserver une seule copie du contenu partagé par plusieurs utilisateurs ou ordinateurs. Cette technique permet d'éliminer les données redondantes et d'accroître l'efficacité des systèmes de stockage. Le SIS se trouve souvent dans les systèmes de fichiers, serveurs de messagerie, logiciels de sauvegarde et autres solutions de stockage. PAGE 2
L'une des implémentations les plus courantes du stockage d'instance unique se trouve dans les serveurs de messagerie. Il est utilisé pour conserver une seule copie d'un message dans la base de données, même s'il a été envoyé à plusieurs utilisateurs. Intégré aux produits de messagerie électronique pour leur permettre de gérer l'augmentation considérable du courrier électronique, le SIS a résolu les problèmes associés aux contraintes architecturales limitant la taille de la base de données, ainsi qu'à l'impact de l'envoi de messages à plusieurs destinataires sur la vitesse de l'application. Placer des pointeurs prend beaucoup moins de temps que d'écrire de nombreuses copies sur un disque. Utilisé dans une solution de sauvegarde, le stockage d'instance unique permet de réduire le nombre de supports de stockage nécessaire car il évite le stockage de plusieurs copies d'un même fichier. Lors de la protection de plusieurs serveurs ou environnements avec un grand nombre d'utilisateurs de données non structurées, les fichiers identiques sont très fréquents. Par exemple, si une entreprise n'a pas déployé un outil de collaboration tel que Microsoft SharePoint, de nombreux utilisateurs enregistrent le même document dans leur répertoire personnel. Il en résulte de nombreux doublons qui consomment de l'espace sur le support de sauvegarde et augmentent la durée des processus de sauvegarde. Déduplication des données : la déduplication est une technique de réduction des données qui consiste à découper des flux de données en multiples tronçons, tels que des blocs ou des octets. Ensuite, seule la première instance de l'élément est stockée sur le support de destination, toutes les autres occurrences étant ajoutées à un index. L'approche de la déduplication étant beaucoup plus fine que celle du stockage d'instance unique, les gains d'espace sont beaucoup plus élevés. Il en résulte des solutions plus rentables. Ces gains d'espace réduisent les coûts d'acquisition, d'exploitation et de gestion de l'information. Du fait de cette évolution des technologies de réduction des données, le disque reste considéré comme la meilleure destination pour la majeure partie des opérations de sauvegarde et de restauration. Il offre en effet la vitesse et la flexibilité que les entreprises attendent d'une solution performante et rentable. LA RÉVOLUTION DE LA DÉDUPLICATION DES DONNÉES Les technologies de déduplication des données sont déployées de nombreuses façons et dans de nombreux endroits au sein de l'infrastructure de sauvegarde et de restauration. La déduplication a évolué, passant de la fonctionnalité post-traitement offerte sur un disque de stockage à une technologie distribuée, intégrée au logiciel de sauvegarde et de restauration. Entre-temps, certains fournisseurs de solutions ont identifié les points positifs et négatifs de chaque évolution et développé des technologies qui sont aujourd'hui performantes et efficaces. Comment fonctionne la déduplication? Comme c'est souvent le cas dans le monde des technologies de l'information, de nombreuses techniques sont utilisées pour la déduplication des données. Certaines sont propriétaires, les fournisseurs protégeant leur technologie avec des brevets et droits d'auteur, d'autres sont plus ouvertes. Cela dit, elles ont toutes le même objectif : identifier le plus grand nombre possible de données redondantes en consommant le moins de ressources possible. La technique la plus utilisée est celle du "tronçonnage" des données. La déduplication s'effectue en découpant le flux de données en "tronçons", puis en les comparant. Selon les implémentations, la taille de ces tronçons est fixe ou variable. Le tronçon de taille variable tend à offrir un taux de réussite supérieur en ce qui concerne l'identification des données redondantes car il est capable de s'adapter à différents types de données et environnements. Plus la taille des tronçons est petite, plus le nombre de doublons trouvés est élevé. Toutefois, la vitesse de la sauvegarde et, surtout, de la restauration en souffre. C'est la raison pour laquelle des fournisseurs consacrent beaucoup de temps à la recherche de la taille optimale pour différents types de données et environnements. De plus, l'utilisation de tronçons de taille variable permet souvent un réglage, parfois automatique. Lors de la déduplication, chaque élément de données est traité avec un algorithme de hachage et identifié par un numéro unique. Celui-ci est ensuite comparé à un index. Si ce numéro de hachage figure déjà dans l'index, l'élément de données est considéré comme un doublon et n'a pas besoin d'être stocké à nouveau. Par conséquent, il est remplacé par un lien qui renvoie à l'élément de données original. Sinon, le nouveau numéro de hachage est ajouté à l'index et les nouvelles données sont stockées sur le disque. Lorsque les données sont lues, si un lien est trouvé, le système le remplace simplement l'élément de données référencé. Le processus de déduplication est censé être transparent pour les utilisateurs et les applications. Quand la déduplication s'effectue-t-elle? La déduplication peut être effectuée à l'un des trois endroits suivants : à la source, où résident les données source, en ligne, sur le chemin parcouru par les données jusqu'à leur destination, ou à destination, une fois les données écrites (ce qui est souvent désigné par "post- PAGE 3
traitement"). Ces trois endroits présentent des avantages et des inconvénients. Une ou plusieurs de ces techniques sont d'ailleurs utilisées dans les solutions de déduplication actuellement disponibles sur le marché. Le choix du type de déduplication déployé dans une entreprise dépend de son infrastructure, de son budget et, surtout, de ses processus métier. Déduplication post-traitement Cette méthode de déduplication consiste à capturer et stocker toutes les données, puis à les traiter pour identifier les éléments de données redondants. Elle nécessite plus d'espace disque au départ que les solutions en ligne. Par contre, étant donné que le traitement des données redondantes a lieu une fois la sauvegarde terminée, il n'a pas d'impact notable sur la vitesse du processus de protection des données. De plus, les ressources requises côté processeur et mémoire pour le processus de déduplication sont consommées à destination, loin de l'application d'origine. Le traitement n'interfère donc pas avec les activités professionnelles. Le périphérique cible pouvant être la destination de données provenant de nombreux serveurs de fichiers et d'applications, la déduplication post-traitement permet également de comparer les données de toutes les sources. Cette déduplication globale augmente encore les gains d'espace de stockage. Déduplication en ligne L'analyse des données, le calcul de la valeur de hachage et la comparaison avec l'index ont lieu pendant le transfert des données entre la source et la cible. L'avantage de cette méthode de déduplication est qu'elle nécessite moins de capacité de stockage car les données sont d'abord placées sur le disque de destination. Son inconvénient est que l'intensité du traitement nécessaire peut ralentir la transmission des données. En réalité, l'efficacité du traitement en ligne s'est améliorée au point que son impact sur la vitesse de la sauvegarde est aujourd'hui mineur. Auparavant, le principal inconvénient de la déduplication en ligne était qu'elle était souvent centrée exclusivement sur le flux de données en cours de transmission et ne prenait pas toujours en compte les données provenant d'autres sources. Cela pouvait se traduire par une déduplication moins "globale" que prévu et, par conséquent, l'utilisation de plus d'espace disque que nécessaire. Déduplication à la source La déduplication à la source, ou "côté client", a lieu là où les données résident. Les calculs de hachage sont lancés sur les ordinateurs clients (source). Les fichiers qui ont la même empreinte numérique que celle de fichiers déjà écrits sur le périphérique cible ne sont pas envoyés. Le périphérique cible crée simplement des liens internes appropriés pour référencer les données redondantes, ce qui réduit la quantité de données envoyées à la cible. Cette efficacité a toutefois un coût. Les ressources nécessaires côté processeur et mémoire pour l'analyse des données le sont également pour l'application protégée. L'application risque donc de ralentir pendant le processus de sauvegarde. Où la déduplication s'effectue-t-elle? Au fil de leur évolution, les solutions de déduplication des données ont été intégrées à divers produits. Le premier déploiement important de la technologie de déduplication est apparu dans des sous-systèmes de disques, constitués d'un processeur pour le traitement de la déduplication, de disques pour le stockage des données et d'un certain nombre de connexions pour la transmission des données source. Différentes techniques ont été utilisées. Certains fournisseurs ont proposé une déduplication post-traitement, d'autres une déduplication en ligne. Certains ont articulé leur offre dans le but de stocker des données génériques, tandis que d'autres y ont intégré l'intelligence requise pour reconnaître des types de données spécifiques afin d'accroître l'efficacité de la déduplication. La plupart des fournisseurs ont proposé des connexions aux serveurs sur des interfaces Fibre Channel et iscsi, tandis que d'autres ont prévu des options NAS (Network Attached Storage). Ces offres se présentaient sous la forme de disques classiques ou de bandothèques émulées. Ces dernières pouvaient être intégrées en toute transparence aux solutions de sauvegarde et de restauration présentes sur le site d'un client. La technologie de déduplication a ensuite dépassé le cadre du sous-système de disques. Elle est aujourd'hui intégrée à un certain nombre de solutions de sauvegarde et de restauration. L'intégration de la déduplication à une application de sauvegarde présente de nombreux avantages, liés notamment aux gains de performance qui en découlent souvent. De plus, elle évite le recours à des disques spéciaux, ce qui se traduit souvent par une solution plus rentable. Ces solutions logicielles sont "autonomes" ou entièrement intégrées au produit de sauvegarde. PAGE 4
Qu'attendre de la déduplication? La façon de déployer la déduplication des données au sein d'une entreprise dépend d'un certain nombre de facteurs, dont bon nombre sont spécifiques à l'environnement. Lors de l'élaboration d'une stratégie de déploiement de la déduplication, une attention particulière doit être accordée aux aspects suivants : Types et emplacement des données : selon la technologie utilisée, différents types de données auront une incidence sur l'efficacité du processus de déduplication. Par exemple, la sauvegarde d'images de plusieurs machines virtuelles aboutit souvent à des gains d'espace disque élevés, en raison de la forte redondance des données du système d'exploitation dans chacune des images. Par contre, avec des données fortement compressées ou chiffrées, les gains seront probablement inférieurs en raison de la nature plus spécifique du contenu. L'utilisation d'éléments de données de différentes tailles lors de la phase de déduplication peut atténuer certains de ces problèmes. La déduplication de données source fortement distribuées peut également s'avérer difficile si la technologie utilisée n'offre pas une vision "globale". Impact sur la vitesse de la sauvegarde : les différentes technologies disponibles pour la déduplication ont chacune un impact différent sur la vitesse de la sauvegarde. Les techniques de déduplication post-traitement semblent avoir le moins d'impact. Cependant, étant donné la nécessité de disposer de plus d'espace libre sur le disque cible et le nombre supérieur d'e/s requises pour les comparaisons, l'incidence sur l'ensemble du processus peut s'avérer très importante. Le traitement en ligne, même s'il est effectué dans le cadre de l'opération de sauvegarde, s'avère de plus en plus efficace en raison de l'amélioration des technologies de déduplication, notamment des algorithmes et des techniques de consultation des index. Vitesse de restauration : souvent négligé dans le processus décisionnel, cet aspect est pourtant le plus important. En effet, la vitesse de restauration des données dédupliquées a un impact direct sur la disponibilité des applications de l'entreprise. Ratios de déduplication : cet aspect est mis en avant dans de nombreuses campagnes marketing car il a un lien direct avec les gains d'espace que l'entreprise va réaliser. La réalité est que le ratio de déduplication dépend de plusieurs facteurs : les données, la fréquence des modifications (peu de modifications signifient plus de données à dédupliquer), l'emplacement des données, le plan d'exécution des sauvegardes (plus le nombre de sauvegardes complètes est élevé, plus l'impact de la compression est important) et, peut-être dans une moindre mesure, l'algorithme de déduplication. Des gains d'espace disque de 95 % sont réalisables. Cela dit, à partir de 50 %, ils restent appréciables car ces gains représentent une baisse substantielle des dépenses d'investissement et opérationnelles. Capacité et évolutivité : même après avoir mis en place une technologie de déduplication très efficace, une entreprise peut se trouver à court de capacité. Par conséquent, avant de choisir une technologie, il faut évaluer les implications d'un manque de capacité. Sera-t-il possible de conserver les nombreux "silos de stockage" ou faudra-t-il procéder à une refonte complète du système? Serez-vous lié à un fournisseur de matériel spécifique ou pourrez-vous augmenter votre capacité en fonction de vos besoins? CONCLUSION Les problématiques liées à la prolifération des données, auxquelles toutes les entreprises sont confrontées, impliquent la mise en œuvre de nouvelles technologies de sauvegarde et de restauration pour faciliter le respect des accords de niveaux de service relatifs à la disponibilité et aux performances. Or, la contraction des budgets oriente les organisations informatiques dans la direction opposée. La déduplication des données est une technologie qui aide à trouver le juste milieu entre ces forces contradictoires. La sauvegarde sur disque peut être mise en œuvre pour accélérer les opérations de sauvegarde et de restauration, et la déduplication pour rentabiliser au maximum l'investissement dans les disques de sauvegarde. Les entreprises ont tout intérêt à passer en revue les différentes technologies de déduplication disponibles sur le marché et à choisir une solution pouvant être intégrée à leur environnement de sauvegarde en toute simplicité et à moindres coûts, en veillant à ce que leur investissement ne les lie pas à une solution matérielle difficile à développer au fil de l'augmentation des données. PAGE 5
CA ARCSERVE BACKUP - DÉDUPLICATION INTÉGRÉE CA ARCserve Backup intègre une technologie de déduplication des données qui vous permet de : réduire vos besoins de stockage ; analyser les données par bloc pour accélérer le processus ; accélérer les opérations de restauration grâce à l'utilisation de fichiers d'index qui permettent d'identifier les données nécessaires pour remonter les éléments de données originaux. Données avant la déduplication Données après la déduplication Agent client CA ARCserve Backup CA ARCserve Backup intègre une technologie de déduplication des données de nouvelle génération (brevet en cours). Ses algorithmes de déduplication très efficaces éliminent les données redondantes pour prolonger l'utilisation des supports de stockage existants ou réduire la capacité de stockage supplémentaire requise. La technologie de déduplication des données de CA ARCserve Backup utilise un processus en ligne qui s'exécute à la cible et compare les sauvegardes avec les blocs de données préalablement stockés. Il en résulte une réduction considérable des données (jusqu'à 95 %, voire plus). Très efficace, cette technologie réduit l'impact de la déduplication des données sur le processeur pendant le processus de sauvegarde et n'affecte pas les serveurs de production en cours de sauvegarde. Le processus de déduplication ne se déroule pas au niveau des fichiers, mais des blocs de données. Il en résulte des gains d'efficacité lors de l'identification des données pour la déduplication et des gains supérieurs d'espace disque. La première fois qu'un bloc de données est sauvegardé, il est copié sur le support de sauvegarde et référencé dans un index. Lors des opérations de sauvegarde ultérieures, pour tous les fichiers contenant le même bloc de données, le bloc lui-même n'est pas copié sur le support de sauvegarde, mais une référence au bloc de données original est ajoutée à l'index des fichiers. CA ARCserve Backup peut ainsi restituer rapidement le fichier au cours des opérations de restauration. Dans CA ARCserve Backup, le processus de déduplication des données se déroule en une seule session sur le serveur de sauvegarde. Il s'agit en fait d'une implémentation de la déduplication globale, qui vous permet d'identifier les redondances entre les opérations de sauvegarde sur différents ordinateurs afin d'optimiser les gains d'espace disque. CA ARCserve Backup est très efficace. Par exemple, il compare des données Microsoft Exchange (par job de sauvegarde), au lieu de comparer les données Exchange/Microsoft SQL, ce qui augmente les chances de trouver des données redondantes. La session de déduplication élimine également toutes les données qui n'ont pas été modifiées depuis la dernière sauvegarde, ce qui améliore encore l'efficacité du processus. La déduplication des données est incluse dans CA ARCserve Backup sans frais supplémentaires. CA Technologies est un éditeur de solutions de gestion des systèmes d information dont l expertise couvre tous les environnements informatiques, du mainframe au Cloud et des systèmes distribués aux infrastructures virtuelles. CA Technologies gère et sécurise les systèmes d information, et permet à ses clients de fournir des services informatiques plus flexibles. Grâce aux produits et aux services innovants de CA Technologies, les organisations informatiques disposent de la connaissance et des contrôles nécessaires pour renforcer l agilité de l entreprise. La majorité des sociétés du Fortune 500 s appuient sur CA Technologies pour gérer leurs écosystèmes informatiques en constante évolution. Pour en savoir plus, rendez-vous sur le site Web de CA Technologies : www.arcserve.com/fr. PAGE 6