SR04 ETUDE : Les réseaux dans le big data

Transcription

1 UNIVERSITÉ DE TECHNOLOGIE DE COMPIÈGNE SR04 ETUDE : Les réseaux dans le big data Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE 17 décembre 2015 Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 1

2 Table des matières 1 Naissance et évolution du Big Data Naissance du Big Data Les technologies liées au Big Data Les avantages du Big Data Business Intelligence et Business Analytics Business Intelligence jusqu à aujourd hui Business Intelligence de demain Batch Vs Real-time SPARK Spark Streaming et enjeux What is Spark? Spark Architecture Les réseaux pour le Big Data : besoins et limitations Solutions et techniques avancées IBM et le Big Data Analysez des volumes massifs de données Utilisation des compétences et solutions SQL existantes Switched Fabric les solutions reseau du point de vue de Juniper Networks Cloud Computing Big Data Scalability (HDFS) Écriture d un fichier Lecture d un fichier Big Data requests (Map/Reduce) DataWarehouse d aujourd hui Base de données non relationnelles Pourquoi le NoSQL? Les familles de NoSQL Solutions à la problématique Big Data Solutions à la problématique Big Data : Cassandra Le modèle de données Réseaux SDN Comment fait-on? NAS FCoE SAN iscsi leaf-spine (leaf-spine architecture) Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 2

3 Introduction Aujourd hui nous parlons de volumes de données en exaoctets, ce qui représente indubitablement une très haute volumétrie de «data». Les prévisions annoncent qu à l horizon 2020 nous parlerons de zétaoctets : nous assistons à une vraie explosion. L évolution rapide du volume des données provient de la multiplicité des objets connectés, en constante croissance, allant de pair avec l accès de plus en plus massif à l information et des échanges de toutes ces données. Le terme de Big Data a été évoqué par le cabinet d études Gartner en 2008 mais des traces de la genèse de ce terme remontent à 2001 et ont été évoquées par le cabinet Meta Group. Dans un premier temps, nous allons étudier la naissance et l évoluton du Big Data, les besoins auxquels il répond et dans quel cadre il est utilisé. Par la suite, nous allons évoquer les besoins materiels et les limitations intrinsèques aux réseaux dans le cadre du Big Data. Enfin, nous allons nous intéresser aux éventuelles solutions et techniques avancées. Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 3

4 1 Naissance et évolution du Big Data 1.1 Naissance du Big Data La multiplication des objets connectés générant des données massives, ainsi que la démocratisation indubitable des outils d analyse de données font du Big Data une véritable révolution dans de nombreux domaines tels que l analyse des comportements et des prévisions que ce soient pour des applications grand public ou industrielles.voici des chiffres représentatifs du volume des données : - En 2011 : 1,2 trillion GB de données. Ce chiffre va être multiplié par 50 à l horizon de Chaque minute Google reçoit plus de de requêtes - 72 heures de vidéos sont mises sur Youtube chaque minute. - Il y a 217 nouveaux utilisateurs de l Internet Mobile chaque minute. - Les utilisateurs de Twitter envoient plus de Tweets chaque minute. Ce qui représente plus de 140 millions par jour. - Les entreprises et organisations reçoivent en moyenne plus de «Likes» chaque minute sur les réseaux sociaux. Les entreprises ont accès à de vastes «pools» de données, collectées, notamment dans le cas des opérateurs téléphoniques, depuis les terminaux de leurs abonnés. Les entreprises ont ainsi accès à des bases de données gigantesques historiques très peu exploitées, organisées en silo. Le Big Data intervient comme une solution miracle pour exploiter le potentiel enfoui. Avec les données inutilisées, peuvent se dégager des lignes de revenus sur un marché en constante évolution et de plus en plus sous pression et concurrence. Concrètement, le Big Data met en exergue la collection et l analyse de grands ensembles de données qui peuvent potentiellement contenir de l intelligence (user data, sensor data, machine data). Le Big Data va donc apporter des avantages compétitifs certains, suggérer de nouvelles perspectives en terme de business et permettre d explorer de nouveaux marchés. Le Big Data découle directement du très grand volume de données, en croissance exponentielle, structurées ou non, inondant les entreprises quotidiennement. Ce ne sont pas les données intrinsèquement qui posent la problématique du Big Data mais l utilisation des ces données massives et la nécessité de croiser de l information. En effet, il est important de comprendre les 3V du Big Data Volume, Vitesse et Variété pour se rendre compte de l importance et du poids de ce paradigme. Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 4

5 Volume Le volume est relatif à la très grande quantité de données générées par des entreprises ou des personnes. Le Big Data est généralement associé à la volumétrie des données. Les entreprises, tous secteurs d activité confondus, manifestent de plus en plus le besoin de trouver des moyens pour de la gestion de volumes de données quotidiennement en constante augmentation. Il n est pas sans être très fréquent d avoir des entreprises dotées de catalogues de plus de 15 millions de produits et d un volume de données relatives à des clients pouvant aisément dépasser le téraoctet de données. Vitesse La vitesse est relative à la fréquence à laquelle les données sont générées, capturées et partagées. Les évolutions technologiques récentes mettent en exergue que les consommateurs mais aussi les entreprises génèrent de plus en plus de données dans des temps bien plus courts. À ces vitesses, les entreprises ne peuvent pas capitaliser sur ces données, à moins qu elles soient collectées et partagées en Real-Time. C est exactement à ce stade que de nombreux systèmes d analyse, de CRM, de personnalisation, de point de vente ou autres, échouent malheureusement. Ils ne peuvent traiter les données que par lots, à des intervalles de quelques heures, dans le meilleur des cas de figure. Or, ces données n ont alors déjà plus de valeur puisque le cycle de génération de nouvelles données a dors et déjà commencé. Variété La prolifération de types de données provenant de différentes sources comme les social networks, les terminaux mobiles, les différents objets connectés et autres, crée une très grande diversité au-delà des données transactionnelles traditionnelles. Les nouveaux types de données incluent contenus, données géo spatiales, points de données matériels, données de géolocalisation, données de connexion, données générées par des machines, données de mesures, données mobiles, points de données physiques, processus, données RFID, données issues de recherches, données de confiance, données de flux, données issues des médias sociaux, données texte, données issues du Web et d autres... Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 5

6 FIGURE 1.1 Les 3V du Big Data Aujourd hui nous éprouvons le besoin de structurer les données et de les rendre facilement accessible. Le big Data introduit la notion de valeur de la donnée (certains parlent de 4eme V pour Valeur). En effet, l hétérogénéité des données sous entend qu il faut être capable d adresser de nouvelles sources, d exploiter les logs de sites web, de déterminer des centres d intérêts d utilisateurs et bien d autres choses. Toutefois, il faut garder a l esprit que les données ont une qualité et que toutes ne sont pas porteuses d informations utiles. Les données sont incertaines, il faut s assurer de la cohérence, de la fiabilité, de la qualité et de la prédictibilité des données. International Data Corporation (IDC) prévoit que le marché des technologies et services du Big Data atteindra plus de $16.9 milliards en fin En effet, penser Big Data implique de reconsidérer les technologies de bases de données, la mise en place de systèmes tels qu Hadoop ou MapReduce, la prise en compte des capacités des serveurs, et des mémoires à disposition et de reconsidérer également l infrastructure des réseaux Des cas d utilisation du Big Data : Les entreprises du domaine de la finance utilisent le Big Data pour améliorer leur capacité à analyser leurs clients dans le but de déterminer l éligibilité pour un crédit par exemple. Les entreprises de transports utilisent le Big Data dans le but d avoir un tracking de la consommation du fuel, en fonction des «traffic patterns», en real time pour améliorer l utilisation des véhicules dans le but de réduire les coûts autant que faire se peut. Dans le monde médical, le Big Data permet d évaluer précisément l efficacité des médicaments. Les entreprises utilisent de plus en plus le Big Data pour une meilleure compétitivité face à la concurrence, pour prédire la production et la croissance d un produit donné ou encore pour satisfaire au mieux les clients. Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 6

7 1.2 Les technologies liées au Big Data L infrastructure accompagnant le Big Data propose une autre conception de la façon avec laquelle les systèmes, le stockage mémoire et l infrastructure logicielle sont connectés et mis en place. Contrairement aux solutions qui existaient, en terme de Business Analytics, les solutions qui accompagnent le Big Data permettent d exploiter des données très volumineuses en Real-Time. Ceci constitue indubitablement un avantage de taille pour les entreprises. En effet, la manière et la vitesse de prise de décisions decision making au sein des entreprises changent considérablement avec le Big Data. Dans le but d analyser les hautes volumétries de données hétérogenes, les technologies sont de trois type : une accélération matérielle à l aide de mémoires dynamiques DRAM ou Flash, le recours à des bases de données massivement parallèles (Massively Parallel Processing) ou encore des solutions utilisant des formats de bases de données non relationnelles basées sur NoSQL. Toutefois, pour reussir le challenge du Big Data, il y a deux axes a joindre : Axe Technologique : Mise en place d infrastructures massivement paralleles, de grandes capacités de mémoire/ de stockage, un empilement de serveurs... A cela s ajoute une capacité des data warehouses (entrepots de données) a absorber les redondances d informations (interdite dans les bases de données usuelles) Axe Métier : Bien organiser les données de maniere sémantique. En effet, les designers chez Renault par exemple, parlent de toits de voiture sachant que les ingénieurs mécaniciens parlent de pavillons. Un des apports du big data est de justement chercher ces croisements afin de traiter la donnée «toit» et «pavillon» de la meme maniere. Le role de l ingénieur Data est primordial pour que les technologies soient utilisées efficacement. Il choisit la bonne solution au bon moment : Picking the right tool for the right usecase. Nous parlons alors de Polyglot Persistence. Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 7

8 1.3 Les avantages du Big Data Le Big Data est désormais perçu comme étant une révolution Data-Centric du mode organisationnel des entreprises. En effet, le partage croissant d informations liées aux habitudes, aux préférences ou aux attentes des consommateurs a donné naissance au Big Data. Cette masse de données peut être mise à profit par les entreprises pour mieux répondre à leurs clients. Elle peut présenter un important avantage concurrentiel entres autres. Enormément utilisé par les professionnels du marketing, le Big Data à un pouvoir d attraction de plus en plus important sur les entreprises. Elles l intègrent peu à peu dans leurs stratégies BtoC ou BtoB. La demande d information est telle que les entreprises doivent pouvoir accéder rapidement aux données et mener en temps réel les analyses qui leur offriront une meilleure chance de réagir à l évolution des tendances. 1.4 Business Intelligence et Business Analytics Business Intelligence jusqu à aujourd hui La Business Intelligence (l informatique décisionnelle) est une méthode, très utilisée en entreprise, qui aide à la prise de décision. Traditionnellement centrée sur les questions comptables, (consolidation et planification budgétaire), le champ de la BI s est petit à petit étendu à l ensemble des grands domaines de l entreprise, de la gestion de la relation client à la gestion de la chaîne logistique en passant par les ressources humaines. En effet, toutes les données structurées provenant du système transactionnel sont collectées, nettoyées et stockées dans des bases de données multidimensionnels (datawarehouse), par le biais d outil ETL (Extract, Transform, Load), qui assurent la centralisation des données en provenance des différentes sources de l entreprise. Ces informations sont ensuite structurées, historiées et organisées. Elles sont éventuellement rangées au sein de datamarts, c est-à-dire de sous-référentiels de données ou vues par métier de l entreprise (service client, etc.). Ces divers traitements permettent aux outils d analyse d accéder ensuite au datawarehouse plus facilement. De là découle l analyse des données qui va permettre de comprendre le passé et analyser le présent dans le but de devenir plus compétitif et d avoir une valeur ajoutée supérieur que précédemment. Pour se faire, les données sont analysées selon différents moyens : reporting : présentation périodique de rapports et bilans analytiques sur les activités et résultats d une entreprise, cube : une vue restreinte (du point de vue des dimensions) mais intelligente des données de l entreprise, donnant toutes les combinaisons possibles pour les dimensions concernées. data-mining : méthodes d analyses permettant de mettre en exergue les corrélations possibles et d en expliquer la raison Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 8

9 L expertise métier chargée d analyser ces données est communement appelée Business Analytics. Cette discipline consiste à utiliser les données de l entreprise pour informer les prises de décisions stratégiques et optimiser les processus de l entreprise en produisant des indicateurs de performance et de compréhension. FIGURE 1.2 Processus global de traitement des données d un système décisionnel Business Intelligence de demain Avec l arrivée imminente du Big Data, cette version de la Business Intelligence tend a être révolue et à devoir s adapter. En effet, cette version n inclue pas les données semistructurées ou non-structurées fournis par le Big Data, dans la mesure où l on pensait que les données structurées suffisaient dans la prise de décision. Ces données non-structurées ou semi-structurées ont une importance majeure de nos jours. Ils peuvent correspondre au fichiers de Logs, au Blogs, au réseaux sociaux, aux articles de presses,... Tant d éléments primordiaux à prendre en compte, et qui ne le sont pas avec la Business Intelligence d aujourd hui. Par conséquent, le volume de données à analyser en entreprise est en croissance exponentielle et on ne peut plus se contenter de les stocker dans un entrepôt de données. On a alors vu apparaître de nouvelles technologies telles que Hadoop, qui permet le traitement d un très grand nombre de données sur un cluster, composé de beaucoup de machines. HDFS (Hadoop Distributed File System) est un système de fichiers Java utilisé pour stocker des données structurées ou non sur un ensemble de serveurs distribués. Les fichiers vont être au préalable diviser par paquets avec d être stockés. On peut également citer MapReduce qui est un framework permettant l exécution d un calcul (requête) distribuée. Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 9

10 De nouveaux entrepôts de données ont vus le jour comme Apache Hive, qui permet d interroger et d analyser des ensembles de données volumineux stockés dans des fichiers Hadoop ; ainsi que des bases de données NoSQL c est à dire non relationnelle tel que Hbase(coeur d Hadoop), MongoDB Une nouvelle structure de la Business Intelligence adaptée au Big Data est alors mise en place. FIGURE 1.3 Business Intelligence traditionnelle et adaptée au Big Data Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 10

11 1.5 Batch Vs Real-time Dans le domaine du big data, nous différencions deux types de traitements. Les traitements dits en batch et ceux en real-time. Les traitements en real-time comme le nom l indique sont des traitements que des données qui arrivent en temps réelles. En ce qui concerne les traitements en batch, ce sont ceux réalisés sur des données statiques, accumulées dans le temps. 1.6 SPARK Spark Streaming et enjeux La plupart des systèmes à l échelle de l Internet ont des exigences de données en temps réel autant que des exigences en traitement de données batch. Spark streaming est conçu dans le but de fournir des traitement en temps réel avec environ une seconde de latence. Parmi les applications les plus couramment utilisées avec de telles exigences nous pouvons citer les statistiques de sites Web / analyse, les systèmes de détection d intrusion, et filtres anti-spam What is Spark? Afin de comprendre Spark Streaming, il est important d avoir une bonne compréhension sur Spark lui-même Spark Architecture Spark est un système informatique de cluster open source développé dans l UC Berkeley Lab AMP. Le système vise à fournir des calculs rapides, écritures rapides, et des requêtes hautement interactives. Spark surpasse considérablement Hadoop MapReduce pour certaines classes de problèmes et fournit une interface interpréteur Ruby simple. Voir la figure ci dessous. Spark bat Hadoop en fournissant des primitives pour faire des calculs en mémoire ; évitant ainsi le goulot d étranglement d Entrée/sortie entre les jobs individuels d un flux de travail de MapReduce itératif, qui effectue plusieurs reprises des calculs sur le même jeu de données. Spark nous met à disposition une API en langage Scala, qui permet de manipuler des jeux de données distribuée comme s ils étaient des collections locales et assure le Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 11

12 développement rapide et des tests à travers son interpréteur interactif (similaire à Python ou Ruby). Spark a également été élaboré pour soutenir l exploration de données de manière interactive, (en plus de l utilité évidente pour les algorithmes itératifs). Au-delà de ces spécificités Spark est bien adapté pour la plupart des opérations et des calculs de transformation sur des données. En outre, Spark est conçu pour tourner sur le dessus du gestionnaire de cluster Mesos Apache. Cela permet à Spark de fonctionner sur un cluster côte-à-côte avec d autres applications telles que Hadoop, Message Passing Interface (MPI), Hypertable, et bien d autres. Cela permet aux entreprises de développer des workflows hybrides qui peuvent bénéficier de deux modèles de flux de données, avec les coûts, la gestion, et les problèmes d interopérabilité qui seraient aussi important que si on utilisait des clusters indépendants. Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 12

13 1.7 Les réseaux pour le Big Data : besoins et limitations Tout au long des 20 dernières années, l infrastructure des data centers a était conçue tel qu il y ait un accès aux données sécurisé et de très haute performance. L existence de tels silos de données et l infrastructure réseau associée, ont permis d avoir un bon acheminement du volume de données tout au long du «north-south traffic», ce qui correspond à un traffic full stack : de l utilisateur final, via son application, au système de stockage des données. Il s agit de ce que l on appelle l architecture trois-tiers. Ces dernières années, on parle de machine-to-machine network ou encore d «east-west traffic» dans le cadre du Big Data. En effet, on considère la distribution des données comme étant «horizontale» entre les nœuds du réseau. FIGURE 1.4 Traditional Data VS Big Data Contrairement aux grands ensembles de données qui étaient stockés et analysés, souvent dans des data warehouses, Big Data met en scène des données qui s ajoutent et se modifient en temps réel. Le fonctionnement des OLTP, online transaction processing, ou les outils d analyses SQL traditionnels n est pas adéquat dans le cadre du Big Data. En effet, le Big Data nécessite ce qu on appelle la Scalability, ou la Scalabilité. Cette notion désigne la capacité à s adapter au changement d ordre de grandeur tout en maintenant ses fonctionnalités et ses performances. Le Big data va de pair avec le facteur d échelle et l évolutivité. Hadoop va répondre, entre autres, à ce besoin de Scalability. La problématique du Big Data est la circulation et la collection de gros volumes de données, mais aussi son usage et l efficacité de son usage. Le Big Data répond à un besoin hypothétique : le besoin n est pas encore nécessairement présent, mais on espère pouvoir utiliser les données pour répondre à des besoins futurs. Un problème majeur du Big Data est donc d être capable de collecter ce grand volume de données, mais aussi dêtre capable de réstituer une information pertinente et répondant au problème futur de manière efficace, dans un temps raisonnable. Dû à la variété et la nature hétérogène des données collectées, avoir des automates et algorithmes capables d évoluer avec la nature des données est un des défis posés par le Big Data. Compte tenu du fait que les technologies de base ne suffisent pas, de grandes entreprises telles qu IBM, CISCO ou JUNIPER developpent continuellement des solutions technologiques avancées pour repondre aux besoins que souleve le Big Data. Nous allons donc voir les solutions et les techniques avancées dans le cadre du Big Data. Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 13

14 2 Solutions et techniques avancées 2.1 IBM et le Big Data Analysez des volumes massifs de données IBM InfoSphere BigInsights offre un ensemble riche de fonctions d analyse avancées qui permettent aux entreprises d analyser à moindre coût des volumes massifs de données structurées et non structurées dans leur format natif. Le logiciel combine la solution open source Apache Hadoop avec des produits innovants d IBM, tels que l analyse de texte sophistiquée, IBM BigSheets pour l exploration des données et toute une gamme de fonctions de gestion de la performance, de la sécurité et d administration. Le résultat est une solution économique et conviviale pour l analyse complexe de volumes massifs de données Utilisation des compétences et solutions SQL existantes Les applications existantes dépendent de SQL pour l accès aux données stockées, et SQL constitue de facto le langage utilisé pour la recherche de données structurées ; par conséquent, les entreprises possèdent pour la plupart de solides compétences SQL. Les clients IBM souhaitent pouvoir utiliser leurs compétences SQL avec Hadoop afin de faciliter la mise en œuvre de leur projet, ainsi que l interopérabilité avec les outils et applications orientés SQL dont ils disposent. IBM permet donc d atteindre cet objectif grâce à IBM Big SQL, un système d entreposage de données pour Hadoop utilisé pour la synthèse, l interrogation et l analyse de données stockées dans InfoSphere BigInsights 2.1. Big SQL utilise les pilotes JDBC ou ODBC pour l accès aux données stockées dans InfoSphere BigInsights, de la même façon que les utilisateurs accèdent aux bases de données à partir de leurs applications d entreprise. Il est alors possible d utiliser le serveur Big SQL pour exécuter les requêtes SQL standard, et pour exécuter plusieurs requêtes simultanément Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 14

15 Big SQL permet une prise en charge des requêtes ad hoc volumineuses, grâce à l utilisation du parallélisme MapReduce et des requêtes de point (qui renvoient rapidement les informations demandées grâce à leur faible latence, ce qui diminue le temps de réponse et offre un accès optimisé aux données). Le serveur Big SQL est multithread. Par conséquent, l évolutivité est uniquement limitée par les performances et le nombre d UC que compte l ordinateur exécutant le serveur. Si l on souhaite exécuter des requêtes plus volumineuses, nous pouvons augmenter les performances matérielles de l ordinateur (serveur) sur lequel fonctionne Big SQL, ou constituer une chaîne de serveurs Big SQL afin d augmenter les résultats obtenus. Big SQL permet à toute personne possédant des compétences SQL de devenir immédiatement opérationnelle, ce qui minimise les délais des projets et diminue l investissement financier associé. Grâce à Big SQL, toutes les données sont accessibles, ce qui permet de choisir le format de stockage le plus adapté à une application donnée. 2.2 Switched Fabric Switched Fabric fait référence à une topologie réseau dans laquelle les nœuds sont raccordés via des switchs ou commutateurs. L intérêt principal est que les switchs fabrics offrent souvent un débit global supérieur à ceux des réseaux traditionnels. Le terme «Fabric» est très récurrent dans le domaine des télécommunications et à plus forte raison dans le domaine des réseaux de stockage SAN en protocole Fibre Channel, ainsi que dans les réseaux haut-débit dont Infiniband. Le principe de Switched Fabric vient en fait en opposition à celui de l Ethernet et son principe historique de broadcasting. Il se définit également en opposition aux réseaux en anneaux. Une des forces de Fabric est en fait que le traffic est étendu sur de multiples liens physiques. Une des plus grande évolution dans l industrie du Networking est l introduction de réseaux Fabric point à point. Tout d abord, l architecture Fabric met en place une connexion point à point entre des nœuds à travers une logique de «single hop», ce qui réduit clairement la latence inter-nœuds. Par ailleurs, pour pouvoir obtenir de grandes performances avec un management du switching relativement facile, la virtualisation du Fabric est essentielle dans le sens où elle permet à plusieurs composants du réseau de se comporter comme un seul et unique composant. Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 15

16 FIGURE 2.1 Switched Fabric 2.3 les solutions reseau du point de vue de Juniper Networks Relever les défis du Big Data imposent aux technologies et aux réseaux de prêter attentions aux paramètres suivant : Elasticité : il faut être capable de gérer des croissances très fortes en termes d utilisateurs et de données avec parfois une faible prédictibilité sans surinvestir dans de nouvelles infrastructures. Vitesse : il faut créer et mettre à jour des applications et des services en quelques jours ou semaines et non plus en mois ou années sans pour autant augmenter proportionnellement le personnel. Périmètre : il faut coordonner de nombreuses applications et sources de données provenant d environnements divers (environnements informatiques traditionnels, cloud privé hébergé ou non) parfois dans différentes régions sans sacrifier performance et intégrité des données. Le réseau doit s adapter pour offrir plus de performance comme il a pu le faire dans le passé mais il doit lui aussi opérer sa révolution. Il doit être de plus en plus programmable et automatisé afin de s aligner sur les cycles d innovation et de développement des applications. Il doit également progresser en qualité de service pour garantir le bon niveau d exécution à des applications métier. Enfin il faut que les solutions technologiques utilisent au mieux les infrastructures existantes et tirent ainsi parti des investissements passés. Dans une première phase, les fournisseurs se sont concentrés sur la virtualisation des serveurs tout en répondant à la croissance exponentielle des données stockées avec souvent pour conséquence une prolifération d environnements de stockage hétérogènes. Les premières initiatives de virtualisation du stockage ont été principalement dictées par une réduction des coûts d infrastructure et une augmentation des taux d utilisation. Actuellement sous l effet de la généralisation de la virtualisation des serveurs et des initiatives Cloud, l accent est porté sur l optimisation des infrastructures : les fournisseurs de Cloud les plus avancés (très fort taux de virtualisation des serveurs et forte croissance des Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 16

17 volumes de données) prévoient que le taux de virtualisation du stockage dépassera 65% en Sous l effet de l évolution des métiers et de l augmentation des données stockées, les surfaces dédiées aux datacenters évolueront profondément avec des incidences très fortes sur les infrastructures réseaux intra-datacenter et inter-datacenters. Ainsi 62% des fournisseurs de Cloud (principalement les fournisseurs ayant plus de 100 serveurs physiques) ont des projets d augmentation de la surface dédiée à leurs datacenters. L initiative la plus plébiscitée est le recours à des offres de colocation qui offre des bénéfices certains en terme de flexibilité pour des investissements moindres comparés à la construction de datacenters en propre. Néanmoins, des projets lourds de construction de nouvelles infrastructures en région ou de consolidation ne sont pas mineurs. Une évolution nécessaire du réseau des datacenters Progresser en fiabilité : La fiabilité et la qualité au service des directions métiers et des clients est un critère essentiel de différentiation par rapport à la concurrence. Or la gestion de réseau en environnement cloud avec des taux très élevés de virtualisation est devenue extrêmement difficile : les trafics inter-serveurs deviennent très importants et peuvent générer des temps de latence pénalisants pour des applications critiques. De plus la sécurité en environnement cloud devient plus complexe et nécessite une attention toute particulière contre les dénis de services, la compromission de systèmes et les attaques contre les couches d abstraction. Améliorer le Time to Market et contribuer à l innovation : actuellement le provisionning de ressources informatiques (CPU, stockage, machines virtuelles..) peut s effectuer en quelques minutes alors que les délais pour la partie réseau peuvent se compter en semaines. Or le développement de solutions cloud, d applications mobiles et le lancement de projets Big Data utilisant souvent des méthodes agiles requièrent une meilleure réactivité de la part du réseau. Rendre la gestion opérationnelle du réseau plus efficace et plus simple : La gestion du réseau selon des méthodes traditionnelles se révèle trop statique et nécessite des procédures manuelles souvent complexes et longues. Qui plus est, les fournisseurs de Cloud ont souvent accumulé des couches de logiciels de gestion en fonction des cycles d investissements pour leurs datacenters et des équipements réseaux hétérogènes. Optimiser les investissements : Afin de répondre à des besoins en perpétuelle croissance et souvent difficiles à anticiper en environnement virtualisé, les responsables d infrastructures ont tendance à sur-dimensionner les ressources réseau. Une meilleure allocation permettrait d effectuer de meilleurs arbitrages financiers et de dégager des moyens pour d autres projets et usages. Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 17

18 2.4 Cloud Computing Avec l émergence du Big Data de nos jours, on a tendance à lié cet notion avec la notion de Cloud Computing. Cependant, elle ne sont pas directement lié et l absence de l in n empêche pas l utilisation de l autre. Le Cloud Computing est une solution en vogue, de stockage massive de données sur internet, avec l abstraction de savoir où le traitement est effectué ou de se préoccuper des capacités de traitement. Ceci est géré le service proposant le Cloud et l utilisateur bénéficie des même espace de visualisation des données que s il s agissait d un disque dur interne. Les données sont simplement stockés au travers de l Internet sur des serveurs distants, permettant aux entreprises de faire abstraction des Datas Centers et ainsi dépenser moins d argent. En contre-partie, le Cloud ne permet pas de faire du Big Data, c est à dire d analyser un volume massive de données présent sur celui-ci. Les temps de calculs et d analyse seront trop élevés et il sera impossible d en tirer une satisfaction. Il faut donc prévoir un système de stockage qui permet de stocker les données ingénieusement dans le but d obtenir des traitements d analyse très rapide, actuellement impossible avec le Cloud.On peut parler de HDFS (Hadoop Distributed File System), explicité ci-dessous, comme moyen de réaliser ceci. Le Cloud serait par conséquent une source pour HDFS qui va utiliser les fichiers présents pour les partitionner sur plusieurs machine (cluster). Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 18

19 2.5 Big Data Scalability (HDFS) Comme évoqué dans la partie 1, Business Intelligence, HDFS (Hadoop Distributed File System) est un système de fichiers Java utilisé pour stocker des données structurées ou non sur un ensemble de serveurs distribués. En d autres thermes, lorsque HDFS recueille une donnée ou un fichier, il la fragmente en plusieurs paquets, de taille imposé par Hadoop, et est distribué sur plusieurs nœuds du cluter(ensemble de machine). Chaque fragment est par conséquent copier sur un nœud du cluster, mais également sur d autres. Ainsi une copie est toujours a disposition dans l éventualité d une panne d un nœud. HDFS est développé pour supporter les applications avec de grands volumes de données, comme les fichiers individuels dont la quantité peut se compter en teraoctets. Il s adosse à une architecture maître / esclave, chaque cluster comprenant un NameNode unique sur le cluster. Il Stocke les informations relative aux noms de fichiers et à leurs caractéristiques de manière centralisée. Le NameNode supporte également les DataNodes qui stocke le contenu des fichiers fragmentés en blocs (64KB par défaut) Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 19

20 Chaque DataNode sert de bloc de données sur le réseau en utilisant un protocole spécifique au HDFS. Le système de fichiers utilise la couche TCP/IP pour la communication. Les clients utilisent le Remote Procedure Call pour communiquer entre eux. FIGURE 2.2 Méthodologie HDFS HDFS permet ainsi le traitement en parallèle, c est à dire que lors de l exécution d une requête par exemple, chaque nœud va l exécuter avec ses données à disposition. Il permet notamment, la gestion des données Big Data, plus précisément le stockage d un grand nombres de données, en les répartissant par fragments, au sein d un cluster de plusieurs machines, en supportant les applications analytiques. Il permet l abstraction de l architecture physique de stockage, afin de manipuler un système de fichiers distribué comme s il s agissait d un disque dur unique. HDFS est, comme dit précédemment, insensible aux pannes de noeuds, car les framents de données sont copier sur plusieurs noeuds du cluster. Par défaut Hadoop impose que la données soit présent sur troix nœuds du cluster, donc met à disposition trois copies Écriture d un fichier Comme évoqué précédemment, lorsque le client souhaite créer un fichier sur HDFS, il doit contacter le NameNode, qui s occupe de la répartition et connait tous les fichiers présents sur le cluster, en lui indiquant la taille et le nom du fichier à écrire. Le NameNode confirme la demande et indique au client de fragmenter le fichier en blocs, et d envoyer tel ou tel bloc à tel ou tel DataNode. Le client envoie les fragments aux Data- Node. Les DataNodes assurent ensuite la réplication des blocs. Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 20

21 FIGURE 2.3 Principe d écriture d un fichier dans HDFS Lecture d un fichier Pour la lecture d un fichier, le client contacte le NameNode du cluster, en indiquant le fichier qu il souhaite obtenir. Le NameNode lui indique la taille en blocs du fichier, et pour chaque bloc une liste de DataNodes susceptibles de lui fournir. Le client contacte ensuite les DataNodes en question pour obtenir les blocs, qu il reconstitue sous la forme du fichier.en cas de DataNode inaccessible/autre erreur pour un bloc, le client contacte un DataNode alternatif de la liste pour l obtenir. FIGURE 2.4 Principe de lecture d un fichier dans HDFS Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 21

22 2.6 Big Data requests (Map/Reduce) MApReduce est un framework permettant de lire, écrire et traiter un grand volume de données stockés, par exemple, selon HDFS expliqué précédemment. Dans HDFS, nous avons vu que les données étaient distribuées sur plusieurs nœuds, avec trois copies disponible sur trois nœuds différents. MapReduce utilise se principe. La requête, ou tâche map/reduce, demandée est initialisée dans le nœud maître défini par HDFS, appelé NameNode dans ce-dernier et JobTracker dans MapReduce. Le JobTracker reçoit les tâches map/reduce à exécuter (sous la forme d une archive Java.jar) et organise leur exécution sur le cluster en envoyant la tâche demandée ou job aux noeuds TaskTracker. Il est en communication permanente avec HDFS, sait où sont les données d entrée du programme map/reduce et où doivent être stockées les données de sortie. Il peut ainsi optimiser la distribution des tâches selon les données associées. Les TaskTracker vont chacun exécuté le travail map/reduce sur les données dont ils disposent. On obtiendra ainsi un ensemble de résultat, qui est le principe de la fonction Map. Ensuite les différents résultats seront ensuite agrégés au niveau de chaque nœuds, on parle alors de reducer. Chaque reducer va ensuite envoyé son résultat au noeud maître, qui va se charger de les agréger et de donner en sortie le résultat de la requête. C est la fonction reduce. Le résultat est écris dans un fichier au sein d HDFS. FIGURE 2.5 Méthodologie MapReduce Dans un traitement Map/Reduce, il y a quatres étapes distinctes. Découper (split) les données d entrée en plusieurs fragments Mapper chacun de ces fragments pour obtenir des couples (clef ; valeur) Grouper (shuffle) ces couples (clef ; valeur) par clef Réduire (reduce) les groupes indexés par clef en une forme finale, avec une valeur pour chacune des clefs distinctes Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 22

23 Prenons l exemple de recherche du nombre d itération de mots contenu dans un texte. Ce texte est fragmenter sur plusieurs noeuds par bloc, mais le principe Map/Reduce est le même sur tous les noeuds. Premièrement, une méthode de découpe consisterait à découper les données d entrées, présent dans le bloc, ligne par ligne. Vient ensuite la fonction Map qui parcoure le fragment d entrée et, pour chacun des mots, génère un couple clef/valeur (Mot ; 1). L opération de groupement est ensuite effectué qui groupe tous les couples par clef commune ((Mot1 ; 1))((Mot2 ; 1)(Mot2 ; 1)). Puis la fonction reduce qui additionne toutes les valeurs liées à la clef spécifiée. (Mot1 : 1)(Mot2 : 2). Ces valeurs sont ensuite retournées au nœud maître, le JobTracker, qui va additionner toutes les valeurs retournées par tous les nœuds et écrire un résultat dans HDFS. 2.7 DataWarehouse d aujourd hui Comme evoqué précédemment, Hadoop HDFS permet le stockage massive de données sur un cluster de machines. Map/Reduce permet d effectuer des requêtes très dynamiques sur les fichiers présent dans HDFS et permet un gain de rapidité et d efficacité grâce à son architecture. Cependant, Map/Reduce nécessite des développement bas niveau qui sont difficiles à maintenir et à réutiliser. C est la raison pour laquelle Apache a créé un outil Hive qui permet de palier à cette problématique. Hive est un entrepôt de donnée (DataWarehouse) qui propose un langage de haut niveau, le HSQL pour interagir avec un cluster Hadoop, ou des données provenant de bases de données externes, dans le but réaliser des analyses sur une masse importante de données. L utilisateur peut ainsi utiliser un langage proche du SQL pour effectuer des requêtes Map/Reduce, des opérations de sélections de jointure,... Hive permet ainsi de construire un DataWarehouse provenant d un nombre élevé de donnée contenu dans HDFS ou autre, et permet également de réaliser des opérations analytiques telles que le Reporting, le Data Mining la détection de Spam ou encore faire de l optimisation. Une alternative à Hive est Pig, un DataWarehouse également, se rapprochant plus d un ETL où l on part d un ou plusieurs flux de données que l on transforme étape par étape jusqu à atteindre le résultat souhaité. Les différentes étapes de la transformation sont exprimés dans un langage procédural (Pig Latin). Il est plus adapté à l univers de l informatique décisionnelle où dominent les représentations orientées flux de données couplées à un processus d élaboration par étape. 2.8 Base de données non relationnelles Une émergence des bases de données non relationnelles (NoSQL), tels que MongoDb ou Hbase, est au cœur de la thématique du Big Data. Les bases nosql permettent l abstraction du modèle relationnel et la rende plus performante. Nous avons vus que Hive est un DataWarehouse permettant le traitement et l analyse de Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 23

24 données dans un cluster HDFS ou dans des bases de données (relationnelles ou non). Les bases NoSQL servent ici, à la construction de Datamarts à partir de Hive ou HDFS directement lorsque l on n utilise pas Hive, mais également la possibilité de faire des cubes. Ce sont des outils d analyses très performants qui seront pré-visualiser des indicateurs de conclusion ou de prévision sur des données Big Data Pourquoi le NoSQL? Le NoSQL est apparu afin de contrer la dominance des bases de données relationnelles dans le domaine de l internet. En effet, un des problème récurrent des bases de données relationnelles est la perte de performance lorsque l on doit traiter un très gros volume de données. De plus, la multiplication des architectures distribués a apporté le besoin de disposer de solution s adaptant nativement aux mécanismes de réplication des données et de gestion de la charge Les familles de NoSQL Le NoSQL regroupe 4 grandes familles de base de données qui permettent d offrir une représentation différentes des données, chacune dispose d avantages et d inconvénients en fonction du contexte dans lequel on souhaite l utiliser. Parmi celle-ci on trouve les bases de données clé-valeur. La représentation en clé-valeur est la plus simple et est très adaptée aux caches ou aux accès rapides aux informations. Cette représentation permet en général d atteindre des performances bien supérieures dans la mesure où les lectures et écritures sont réduites à un accès disque simple. On trouve 3 différentes implémentations : Riak, Redis et Voldemort. Il existe ensuite les bases de données orientées colonnes. Le réprésentation orientée colonnes est celle qui se rapproche le plus des tables dans une base de données relationnelles. Elles permettent d être beaucoup plus évolutive et flexible puisqu on peut disposer de colonnes différentes pour chaque ligne. On trouve 2 types d implémentations : HBase et Cassandra. Il y a ensuite les bases de données orientées document. Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 24

25 La représentation orientée document est plus adaptée au monde de l internet. Cette représentation est très proche de la représentation clé-valeur à l exception faite que la valeur est représentée sous la forme d un document. On peut retrouver dans ce document les données organisées de manière hiérarchique comme ce que l on trouve dans un fichier XML ou JSON. On trouve 2 types d implémentations : CouchDB et MongoDB. Pour finir il existe les bases de donées orientées graphe. La représentation orientées graphe est pour palier à des problèmes impossibles à résoudre avec des BDD relationnelles. Le cas d utilisation typique est bien sur les réseaux sociaux où l aspect graphe prend tout son sens, mais aussi où des relations complexes entre les acteurs ont besoin d être décrits. On trouve 3 implémentations différentes : Neo4j, HypergraphDB et FlockDB. 2.9 Solutions à la problématique Big Data Nous avons vus précédemment plusieurs solutions qui permettent traiter la problématique Big Data. Nous avons d abord HDFS, qui permet le stockage distribué de données sur un cluster. Des fonctions Map/Reduce vont permettrent d analyser le grand volume de données contenus dans HDFS ou dans des bases de données extérieurs. Cependant Map/Reduce est un langage assez compliquer à mettre en oeuvre, c est pourquoi on à la création de Hive ou Pig, des DataWarehouse permettant d écrire des fonctions Map/Reduce en langage de haut niveau, de faire des opérations de sélection, jointure,..., et de stocker ces informations dans un DataWarehouse. Des bases de données non-relationnelles permettant une analyse de données très performante sur des données présentent dans Hive ou directement dans HDFS. Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 25

26 FIGURE 2.6 Schéma de solution Big Data 2.10 Solutions à la problématique Big Data : Cassandra Cassandra est une base de données NoSQL appartenant à la famille des bases de données orientées colonnes. Cassandra est un projet lancé par Facebook en 2007 qui avait atteint les limites des bases de données relationnalles, c est pour cela qu ils ont décidé de créer leur propre base de données répondant à leurs besoins. Après 2 ans de développement, ils ont décidé de l offrir au monde du libre c est donc devenu un projet open source appartenent à la fondation Apache en Cassandra reprend les conceptes de 2 bases de données existantes. La première BigTable, créé par Google, pour son modèle de données orienté colonne et son mécanisme de persistance sur disque, et la seconde Dynamo, créé par Amazon, pour son achitecture distribuée sans noeud maître. Plusieurs grandes sociétés utilisent Cassandra pour leur application grand public. C est le cas de Facebook, Twitter, Digg, Cisco WebEx, IBM, etc. Cassandra est très rapide pour manipuler un volume important de données. Elle permet d avoir des schémas de données flexible grâce à sa représentation en colonnes. De plus son achitecture lui permet d évoluer sans problème dans un environnement distribué, elle intégre des mécanismes de réplication de données et la possibilité de mettre en cluster plusieurs serveurs Cassandra. Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 26

27 Pour ses accès disque, Cassandra privilégie toujours les accès séquentiels aux accès aléatoires, ce qui permet d éviter une partie des latences importantes dues aux mécaniques des disques durs. Ainsi, lors d une écriture, les données ne sont pas écrites directement sur disque mais stockées dans une table en mémoire ; un ajout dans un commitlog se comportant en append-only (et donc de manière séquentielle) permet d assurer la durabilité de l écriture. Lorsque la table en mémoire est pleine, elle est écrite sur le disque. La principale limitation concernant les tailles des colonnes et des super-colonnes, toutes les données pour une valeur de clé, doivent tenir sur le disque d une seule machine. Parce que la valeur des clés seules détermine les noeuds responsable de la réplication des données, la quantité de données associées à une clé a cette limitation Le modèle de données Présentation Pour bien comprendre le modèle de données utilisé par Cassandra il est important de définir un certain nombre de termes utilisés par la suite. Tout d abord lekeyspace s apparente à un namespace c est en général le nom donné à votre application. Ensuite, les Column Familly est ce que ressemble le plus aux tables en SQL. Une Key est une clé qui va représenter une ligne. Les Column représente une valeur, elles disposent de 3 champs : son nom, sa valeur et un timestamp représentant la date à laquelle a été inséré cette valeur. Et pour finir, les Super Column qui contiennent une liste de colonnes. Afin de comprendre au mieux la représentation j utiliserai dans la suite des illustrations avec des exemples concrèts d insertion d information en base. Pour cela je me baserai sur une implémentation en JAVA non complète mais qui permet d avoir une bonne vision du modèle de représentation. Les colonnes Les données sont représentées en colonne comme le montre l image ci-dessous. Dans une colonne on trouve 3 champs, son nom, sa valeur associée et un entier représenter la date à laquelle la donnée a été inséré dans la colonne. Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE - A15 27