Livre. blanc. Solution Hadoop d entreprise d EMC. Stockage NAS scale-out Isilon et Greenplum HD. Février 2012

Transcription

1 Livre blanc Solution Hadoop d entreprise d EMC Stockage NAS scale-out Isilon et Greenplum HD Par Julie Lockner et Terri McClure, Analystes seniors Février 2012 Ce livre blanc d ESG, qui a été commandé par EMC Corporation, est distribué sous licence ESG.

2 Sommaire Livre blanc : Solution Hadoop d entreprise d EMC : NAS scale-out Isilon et Greenplum HD 2 Introduction... 3 Besoins en analyse Big Data : tendances du marché... 3 Utilisation optimale de Hadoop dans le cadre de l analyse Big Data... 4 Utilisation du NAS scale-out pour l analyse Big Data... 5 Package complet : plate-forme consolidée EMC Isilon et Greenplum HD... 7 The Bigger Truth (Enfin, toute la vérité)... 9 Toutes les marques commerciales citées sont la propriété de leurs détenteurs respectifs. Les informations figurant dans cette publication proviennent de sources qu ESG (Enterprise Strategy Group) considère comme fiables, mais ESG n offre aucune garantie quant à leur exactitude. Cette publication peut comporter des informations relatant les opinions propres à ESG et susceptibles de changer occasionnellement. The Enterprise Strategy Group, Inc. détient les droits de cette publication. Toute reproduction ou diffusion intégrale ou partielle sur copie papier ou au format électronique ou autre, destinée à une personne non autorisée à la recevoir, sans accord exprès de The Enterprise Strategy Group, Inc., est une violation de la loi américaine relative au copyright, qui est passible de poursuites pouvant entraîner des dommages-intérêts, et une condamnation pénale le cas échéant. Si vous avez des questions, veuillez contacter le service de relations clients ESG au

3 Introduction Livre blanc : Solution Hadoop d entreprise d EMC : NAS scale-out Isilon et Greenplum HD 3 Alors que les entreprises souhaitent tirer pleinement profit de leurs informations, elles constatent que la collecte de ces données se révèle être une arme à double tranchant. Face au défi posé par la gestion de données toujours plus nombreuses (à lui seul, Facebook collecte désormais plus de 100 To de données par jour), la gestion de la croissance des données, le provisionnement du stockage et la réalisation d analyses «Big Data» rapides et fiables constituent, pour la plupart des entreprises, des priorités. ESG définit l analyse Big Data comme l examen simultané de datasets complets, quelle que soit la structure des données, par le biais d une technologie dédiée, laquelle permet d exécuter des tâches, simples et complexes, d analyse des données, de manière rapide et rentable. Selon une étude récente d ESG menée auprès de plus de 100 entreprises, la gestion et le stockage des données constituent, pour ces mêmes entreprises (dans leur course effrénée pour faire face à la croissance des données), les principaux obstacles et défis en matière de développement, en interne, de capacités d analyse détaillée des données. Toutes les entreprises conviennent que si le Big Data améliore naturellement leurs connaissances, il soumet également leurs environnements informatiques à des contraintes extrêmes. Ainsi, bon nombre d entreprises cherchent par tous les moyens à développer une infrastructure évolutive au sein de leurs datacenters. Par conséquent, que recherchent précisément ces mêmes entreprises? Compte tenu de la très faible capacité de leurs plates-formes à prendre en charge les analyses Big Data, de plus en plus d entreprises cherchent de nouvelles solutions pour relever ces défis. Il s avère dès lors qu une plate-forme consolidée, évolutive, compatible avec les applications Big Data et offrant un service de niveau avancé est la solution la plus adaptée. La plate-forme émergente MapReduce, basée sur un système de fichiers DFS (Hadoop et HDFS), est l une des solutions récemment adoptées par les entreprises afin de répondre à leurs besoins d analyse Big Data. Conçue pour offrir une évolutivité optimale, cette solution permet aux entreprises de bénéficier d un niveau de performances prévisible, à mesure que le volume de datasets à traiter/analyser s accroît. Besoins en analyse Big Data : tendances du marché Selon la dernière étude d ESG relative à la gestion des données, plus de la moitié (55 %) des entreprises interrogées ont indiqué que le principal avantage qu elles attendent d une nouvelle solution d analyse des données (Figure 1) était une meilleure réactivité, 1 suivie de près par des possibilités d analyses plus rapides. En désignant la vitesse et la réactivité comme facteurs prioritaires, les entreprises recherchent les outils et la technologie capables de s adapter à leur croissance et de gérer des flux considérables d informations : c est dans ces domaines que les plates-formes analytiques basées sur MapReduce et Apache Hadoop semblent se distinguer. En effet, Apache Hadoop est rapidement devenue la solution n 1 de l analyse Big Data pour les données non structurées. De plus, le traitement massif et par lot Hadoop de données structurées et non structurées a bouleversé l approche des entreprises en matière d analyse Big Data. 1 Source : rapport ESG Research, The Impact of Big Data on Data Analytics, septembre 2011.

4 Livre blanc : Solution Hadoop d entreprise d EMC : NAS scale-out Isilon et Greenplum HD 4 Figure 1. Principaux avantages attendus du déploiement d une nouvelle plate-forme d analyse prédictive Source : Enterprise Strategy Group, Utilisation optimale de Hadoop dans le cadre de l analyse Big Data Pourquoi tant d entreprises intègrent-elles Hadoop dans leurs processus d analyse prédictive? Tout d abord, Hadoop permet aux organisations de stocker et d analyser de grands volumes de données, que ces dernières soient structurées ou non, relationnelles ou non. Ensuite, Hadoop vient compléter les plates-formes traditionnelles d analyse des données, telles que les bases de données relationnelles. Hadoop améliore les performances de ces mêmes plates-formes en matière d analyse SQL interactive des sources de données dont l accès et le traitement étaient difficiles, voire impossibles en raison des contraintes causées par les données sur les plates-formes actuelles. Hadoop associe un framework MapReduce au système de fichiers DFS Hadoop (HDFS) et prend en charge les tâches de traitement et d analyse prédictive, adaptées aux données structurées relationnelles et non relationnelles (par ex. : données texte, fichiers logs, données générées par des machines ou informations sur le trafic Web). Comme pour toute technologie émergente, Hadoop présente encore quelques défauts intrinsèques qui doivent être corrigés. Exemples : La distribution Hadoop «Open Source» Apache offre un point unique de défaillance avec le serveur NameNode, qui gère les métadonnées de fichiers stockés dans HDFS. Le serveur NameNode est l élément central de tout système de fichiers HDFS : il conserve l arborescence de répertoires de tous les fichiers dans le système de fichiers et fait office de dispositif de suivi indiquant l emplacement des données sur le cluster. Lorsque les applications clientes souhaitent localiser, ajouter, copier, déplacer ou supprimer un fichier, elles utilisent le serveur NameNode, lequel répond aux requêtes en affichant la liste des serveurs sur lesquels se trouvent les données. Cette approche présente cependant un risque réel : lorsque le serveur NameNode tombe en panne, le système de fichiers passe hors ligne. Ce problème, que la communauté Open Source de Hadoop essaie actuellement de résoudre, touche bon nombre d entreprises à la recherche d un composant haute disponibilité pour leurs plates-formes d analyse Big Data.

5 Livre blanc : Solution Hadoop d entreprise d EMC : NAS scale-out Isilon et Greenplum HD 5 Hadoop manque actuellement de fonctionnalités avancées de protection des données. Ainsi, dans le cadre de la protection des données, les développeurs, au lieu d utiliser RAID, doivent définir manuellement le paramètre de réplication des données pour HDFS (valeur par défaut : 3) afin d identifier le nombre de copies que HDFS doit créer pour chaque fichier. Si l entreprise doit faire appel à des développeurs pour cette tâche, l efficacité du stockage peut en être fortement limitée. Hadoop exige un investissement supplémentaire dans des individus possédant des connaissances et des compétences Hadoop. En outre, les déploiements traditionnels de Hadoop sont parfois difficiles à intégrer avec les applications d entreprise existantes. Les données sont accessibles via des protocoles Hadoop et HDFS ou via une interface SQL, ce qui implique le développement d interfaces de programmation. Hadoop exige la construction de clusters de calcul dédiés, avec souvent pour conséquence la mise en place de ressources de stockage/calcul isolées et un faible taux d utilisation des ressources de stockage/cpu, selon la ressource dont vous avez besoin. Dans une architecture de référence Hadoop conventionnelle, le cluster de calcul utilise le stockage en attachement direct (DAS), difficilement partageable avec d autres applications. Par conséquent, les entreprises doivent déployer le cluster de calcul Hadoop lorsque les besoins en calcul et/ou en capacité de stockage sont importants, au cours du déploiement initial. En réalité, dans un modèle de stockage DAS classique, le rapport calcul-stockage est difficilement modifiable une fois le cluster déployé. Les entreprises qui souhaitent utiliser Hadoop pour différents types de charge de travail doivent déployer plusieurs clusters Hadoop afin de répondre à leurs besoins. Si les entreprises souhaitent bénéficier d un stockage hiérarchisé pour réduire le coût des données situées dans un cluster Hadoop, les administrateurs doivent configurer manuellement les clusters et les dossiers HDFS afin que ceux-ci soient alignés sur les niveaux, et les développeurs Hadoop doivent créer des programmes pour la migration des données entre les différents niveaux. Lorsque les entreprises exigent une stratégie de protection des données intégrant un plan de reprise après sinistre, les développeurs doivent s associer aux administrateurs afin d intégrer des processus de sauvegarde dans la couche HDFS. Dans le cadre de la reprise après sinistre, les développeurs écrivent généralement des datasets dans deux clusters Hadoop colocalisés et séparés. Ces aspects peuvent poser problème aux entreprises qui souhaitent intégrer leurs règles de protection des données et de reprise après sinistre existantes avec les données situées dans un cluster Hadoop. En définitive, les déploiements Hadoop, bien que très performants sur de nombreux points, peuvent présenter de sérieuses difficultés aux équipes informatiques déjà surchargées de travail. Utilisation du NAS scale-out pour l analyse Big Data Entrez dans l univers du stockage rattaché au réseau (NAS) scale-out. Faciles à installer et à déployer, les systèmes NAS sont également abordables, fiables et offrent des temps de maintenance réduits au minimum. Le NAS scale-out convient parfaitement aux environnements d analyse Big Data. ESG définit généralement le «Big Data» comme l utilisation de datasets dépassant les limites et les tailles définies par les capacités de traitement normales, ce qui oblige à adopter une approche «non conventionnelle». Ainsi, le NAS scale-out constitue, d un point de vue externe en matière de stockage en réseau, cette approche non conventionnelle. Le NAS scale-out est conçu pour dépasser les limites des systèmes scale-up conventionnels, tout en offrant des performances et une disponibilité égales à mesure que le volume de datasets s accroît (ce que ne vous offrent pas les systèmes de stockage traditionnels). En réalité, l utilisation d un système de stockage en réseau partagé pour la prise en charge de l analyse Big Data exige la mise en place d une architecture scale-out.

6 Livre blanc : Solution Hadoop d entreprise d EMC : NAS scale-out Isilon et Greenplum HD 6 Le NAS scale-out offre une grande facilité d extension de la capacité et d administration. Selon une récente enquête d ESG, 86 % des entreprises de taille intermédiaire et 84 % des grandes entreprises utilisent le NAS à un niveau quelconque du stockage. 2 Comme le montre la Figure 2, la capacité du stockage NAS (45 % de la capacité totale de stockage sur disque des sondés) est supérieure à celle du réseau de stockage (SAN) (36 %) et à celle du stockage en attachement direct (DAS) (31 %). 3 Là où les systèmes SAN transfèrent les données sur le réseau sous forme de blocs de disque, les systèmes NAS transfèrent des données de fichier. De même, les systèmes SAN et NAS sont tous deux en réseau, alors que le DAS est dédié au serveur auquel il est attaché. Figure 2. Capacité du stockage d entreprise (par type de stockage) Source : Enterprise Strategy Group, Les systèmes NAS scale-out peuvent évoluer horizontalement sur les noeuds et en puissance de traitement frontend. En outre, ils offrent une capacité back-end grâce à un nouveau processeur ou à des noeuds de capacité. Afin d augmenter les performances, la capacité ou le débit des plates-formes de stockage, il est possible d ajouter des ressources (par ex. : processeurs, mémoire, interfaces hôtes) sous forme de systèmes, associés de manière souple, composés de noeuds fonctionnant côte à côte, en parallèle. Sur les systèmes NAS scale-out, performances et capacité s échelonnent de manière indépendante. Ainsi, les performances sont préservées dans les environnements de fichiers qui connaissent une croissance rapide des données et qui exigent une capacité de traitement de fichiers très volumineux, sans aucune restriction de performances ou de gestion inhérente aux systèmes de stockage scale-up. Les utilisateurs bénéficient de meilleures performances, d une plus grande disponibilité, d un taux d utilisation du stockage optimisé et d une gestion globale facilitée, et le nombre d administrateurs nécessaires est réduit (Figure 3). Les points communs entre Hadoop et le NAS scale-out favorisent indéniablement la mise en place d une solution convergente, permettant aux entreprises de : Tirer profit des fonctionnalités de protection des données d entreprise, comme les snapshots, la réplication et la sauvegarde à l aide du modèle de stockage partagé appliqué au traitement d analyse Hadoop Obtenir un meilleur taux utilisation des ressources de stockage et informatiques Exploiter les ressources de stockage Hadoop pour des applications supplémentaires et des opérations de datacenter 2 Source : rapport ESG Research, Scale-out Storage Market Trends, décembre Ibidem

7 Livre blanc : Solution Hadoop d entreprise d EMC : NAS scale-out Isilon et Greenplum HD 7 Figure 3. Avantages liés au déploiement du stockage scale-out Source : Enterprise Strategy Group, Package complet : plate-forme consolidée EMC Isilon et Greenplum HD Face au succès croissant de Hadoop, EMC a souhaité répondre à un besoin du marché en proposant une plateforme Hadoop qui offre, sur une infrastructure dédiée, des fonctionnalités de protection et de gestion des données d entreprise. Le protocole HDFS est pris en charge sur la plate-forme de stockage NAS scale-out Isilon. En outre, la solution EMC inclut des fonctionnalités de test et de certification grâce à la distribution Apache Hadoop de Greenplum, et offre ainsi des fonctions de calcul pour les données stockées dans Isilon. EMC propose un modèle unique de prise en charge des fournisseurs pour Hadoop via l infrastructure de stockage NAS scale-out d Isilon, les fonctions d analyse de Greenplum HD (par ex. : accès aux données en parallèle à Greenplum Base de données) et les services EMC de consulting, de configuration, de formation et de prise en charge. La plate-forme consolidée associe la prise en charge native du stockage EMC Isilon du protocole HDFS au framework de traitement et d analyse des données Greenplum HD. Ainsi, les entreprises profitent des nombreux avantages des déploiements de Hadoop basés sur l architecture de référence du stockage en attachement direct. Une haute disponibilité adaptée à de nombreux exemples d utilisation : le système d exploitation OneFS haute disponibilité d Isilon élimine essentiellement le NameNode en tant que point unique de défaillance, au niveau de la couche de stockage HDFS de Hadoop. La distribution des métadonnées sur le cluster Isilon permet à chaque noeud d agir comme un NameNode. L analyse Big Data Hadoop correspond ainsi à davantage d exemples d utilisation. Elle prend aussi en charge les applications métiers et critiques qui exigent une disponibilité supérieure par rapport à une configuration Hadoop standard via le DAS. Un chargement et un accès aux données améliorés : Isilon OneFS prend en charge le protocole HDFS ainsi que plusieurs protocoles standard du marché, notamment NFS et le système CIFS. Ainsi, les

8 Livre blanc : Solution Hadoop d entreprise d EMC : NAS scale-out Isilon et Greenplum HD 8 processus (difficiles et gourmands en ressources) de reclassement et de chargement des données liés aux déploiements Apache Hadoop traditionnels utilisant uniquement HDFS sont améliorés. De même, les besoins de copies supplémentaires de fichier sont éliminés. Bien que le Big Data de l entreprise soit chargé sur la couche de stockage OneFS d Isilon via des protocoles standard du marché (par ex. : NFS, système CIFS, HTTP ou FTP), les applications Hadoop peuvent accéder directement aux données via HDFS sans avoir à copier ou à déplacer la source d origine des données vers un système de fichiers différent. De plus, OneFS gère la protection des informations : il est inutile de faire appel à des développeurs et à des administrateurs pour la configuration des paramètres de performances et de protection. Une utilisation et un déploiement facilités : en proposant une plate-forme Hadoop intégrée sur une infrastructure dédiée, la solution Greenplum HD et Isilon se déploie plus facilement et plus rapidement que la configuration matérielle et logicielle (que vous devez réaliser vous-même et qui peut s avérer gourmande en temps et en ressources) exigée par un déploiement Hadoop traditionnel. Une évolutivité et une efficacité optimales : la solution segmentée de stockage et informatique Hadoop d EMC offre une meilleure capacité de stockage et des taux d utilisation du CPU optimisés par rapport à des déploiements DAS traditionnels de Hadoop. À partir d un système unique, les clients peuvent échelonner indépendamment les performances et la capacité selon leurs besoins et créer des pools de stockage séparés, adaptés aux différents besoins en performances. Que les tâches d analyse du client exigent un accroissement de la capacité de calcul et/ou de la capacité, l implémentation combinée de Greenplum HD et d Isilon OneFS répond à tous les besoins. En outre, l utilisation d Isilon et de sa technologie de hiérarchisation automatisée basée sur des règles SmartPool permet d étendre encore davantage l efficacité du stockage. L ajustement des besoins des données en termes de valeur et de performances selon le niveau de performances approprié du stockage (au lieu d un stockage de la totalité des données sur un système de stockage primaire relativement coûteux, dans un modèle DAS traditionnel) permet de réduire les dépenses. Hadoop bénéficie de la simplicité de déploiement du NAS scale-out : il n est plus nécessaire de développer des applications via la programmation d interfaces d E/S de fichier à des fins de stockage et d analyse de grands volumes de données. Ainsi, les organisations peuvent déployer une plate-forme de stockage NAS d entreprise, qui évolue en fonction des volumes et répond aux besoins d un usage général, avec un stockage des données en une seule fois et la prise en charge des autres utilisateurs et des charges de travail de l entreprise.

9 Livre blanc : Solution Hadoop d entreprise d EMC : NAS scale-out Isilon et Greenplum HD 9 The Bigger Truth (Enfin, toute la vérité) Alors que Hadoop ne cesse d évoluer, les entreprises découvrent rapidement que l utilisation des fonctions de ce framework en matière d accès et d exploration du précieux Big Data permet de créer un important avantage concurrentiel. Outre sa puissance et ses grandes capacités, Hadoop présente cependant certains défauts, souvent présents dans les nouvelles technologies en constante évolution. C est pourquoi les entreprises recherchent une plate-forme consolidée et évolutive, compatible avec les applications Big Data dotées d attributs de services avancés. Avec la plate-forme de stockage NAS scale-out d EMC, compatible avec le protocole HDFS, les entreprises disposent désormais d une solution qui résout les problèmes inhérents à Hadoop et exploite parfaitement les avantages de ce framework. Et ce n est qu un début : la deuxième étape consistera à tirer le meilleur parti de la prise en charge HDFS afin d offrir une solution entièrement intégrée et testée. La solution Isilon et GreenPlum HD d EMC se base sur les avantages de Hadoop pour offrir des fonctions de chargement et d accès simplifiés aux données, via une interface NFS native, une gérabilité de bout en bout (notamment un déploiement simplifié des clusters, une détection et une notification automatiques des défaillances, une gestion multisite et des mises à niveau sans interruption de service). Enfin, EMC offre, conformément à son engagement en matière de support de toute la pile de disques, un modèle de prise en charge unique des fournisseurs pour chaque composant, aussi bien matériel (stockage, traitement des données et réseau) que logiciel, Greenplum HD et Greenplum Base de données, pour une analyse des données particulièrement complète. La solution Isilon et GreenPlum HD d EMC constitue une solution viable pour les déploiements Hadoop avancés et pour toutes les entreprises qui utilisent le Big Data et souhaitent déployer des applications d analyse Big Data, afin de prendre en charge davantage de processus métiers critiques.

10 20 Asylum Street Milford, MA Tél. : Fax :