Rapport d étude sur le Big Data

Transcription

1 Rapport d étude sur le Big Data SRS Day 2012 Ce document a été réalisé dans le cadre de la SRS Day La SRS Day est un événement annuel organisé par les étudiants de la majeure SRS, de l EPITA. Il s agit d un travail de réflexions sur des sujets émergents ou d actualité, réalisé par les étudiants et suivi par une entreprise. Coach Ali FAWAZ Etienne CAPGRAS Auteurs Mickaël CORINUS Thomas DEREY Jérémie MARGUERIE William TÉCHER Nicolas VIC 05 octobre 2012

2 Remerciements Nous tenons à remercier dans un premier temps notre coach, Ali FAWAZ, pour sa disponibilité, son coaching et ses conseils avisés. Nous remercions aussi Etienne CAPGRAS, notre second coach qui aura pris efficacement le relai durant le mois de septembre. Nous remercions également Luc MANIGOT, Directeur des opérations chez Sinequa, pour l'aide et les réponses qu'il aura su nous apporter lors de notre entretien. Nous souhaitons remercier tout particulièrement Microstrategy et l'équipe avec laquelle nous avons été mis en relation ; nous remercions Idris BOUCHEHAIT, Marketing Manager, Laurent LEE A SIOE, Manager Avant-Vente, et Henri-François CHADEISSON, Ingénieur Avant-Vente, qui auront pris le temps de nous éclairer longuement et avec pertinence sur l'univers du Big Data et les risques qui l'entourent. Enfin, nous voulons remercier Gérôme BILLOIS, Sébastien BOMBAL, Solucom et EPITA pour nous avoir permis de réaliser cette étude sur ce sujet émergent qu'est le Big Data. Page II

3 Sommaire Remerciements... II 1 Executive Summary Présentation du Big Data Big Data, qu est-ce que c est? Volume Vitesse Variété L analyse : le point clé du Big Data De nouveaux enjeux, mais aussi des risques État des lieux Panorama des cas d usage Quels secteurs d activités s intéressent au Big Data? De nombreux exemples de cas d usage Un secteur qui intéresse du monde et des premiers déploiements Les solutions et technologies existantes Hadoop : une histoire vieille de dix ans NoSQL ou les bases de données non relationnelles De nombreuses technologies émergentes Les systèmes distribués et leurs problématiques Comment approcher le Big Data côté métier Analyse de risques Méthodologie Légende Analyse différentielle Risques de non-conformité Risques de non disponibilité Risques de perte de confidentialité Risque de perte d intégrité Risques opérationnels Page III

4 4.3.6 Risques liés aux modes d intégration Proposition d un plan d action global Obligations légales Sécurité des données Problèmes opérationnels Synthèse de l analyse de risques Bibliographie Glossaire Annexes Solucom Epita Page IV

5 1 Executive Summary Big Data est un terme que l on entend partout depuis quelques années, derrière ce terme marketing se cache en réalité une myriade de technologies (certaines vieilles de plus de dix ans) et dont le but est la manipulation de gros volumes de données. La raison pour laquelle le Big Data est aujourd hui à la mode est l augmentation drastique de la quantité de données, due entre autres à l augmentation des sources de données (blogs, médias sociaux, recherches sur internet, réseaux de capteurs, etc.), qui permet de nouvelles utilisation des données. En effet, lorsque l on parle de manipulation de gros volume de données, on pense traditionnellement à des problématiques sur le volume des données et sur la rapidité de traitement de ces données. Mais aujourd hui, il est aussi question de manipuler des données venants de sources diverses ; des données qui n ont pas forcément beaucoup de valeur en elles-mêmes, mais qui, croisées les unes avec les autres, offrent une mine d informations clés pour l entreprise (marketing personnalisé, moteurs de recherches, surveillance, etc.). Les grandes caractéristiques qui englobent les problématiques auxquelles le Big Data répond sont le Volume des données, la Vitesse d'acquisition et de traitement des données et la Variété des types de données : plus simplement, on parle des trois «V» du Big Data. Les premiers secteurs intéressés par le Big Data l ont été pour tenter de résoudre leurs problématiques de Volume et de Vitesse, des secteurs comme les banques, le milieu des télécommunications ou les marchés financiers. D autres s y sont ensuite intéressés pour la capacité à donner de la valeur à des données variées, comme les services publics, le marketing ou la santé. Le fait est que le Big Data représente aujourd hui un 05 octobre 2012

6 marché important, de plusieurs centaines de millions d euros, où de nombreux fournisseurs de solutions Big Data existent. Le Big Data intéresse déjà beaucoup de secteurs, mais comment une entreprise (de ces secteurs ou non) peut-elle savoir si le Big Data est fait pour elle? D un point de vue métier, il y a quatre questions à se poser : De quelles informations avons-nous besoin pour innover et être compétitif? Quelles sont les données sous- et inexploitées à notre disposition? Sommes-nous prêts à «extraire» l information utile de nos données? Sommes-nous capable de gérer les nouveaux risques de sécurité? Les trois premières questions sont introspectives et les réponses varieront d une entreprise à une autre. Mais pour la question de la sécurité, une analyse de risque sur le Big Data est nécessaire et nous nous sommes intéressés tout particulièrement à cette question. D après notre analyse, la plupart des risques du Big Data sont de même type que ceux issus des solutions dites «classiques» de base de données. Toutefois, certains de ces risques auront des impacts différents, qu ils soient amoindris ou exacerbés. Pourtant, il existe de nouveaux risques propres au Big Data, mais pour ceux-ci, des contre-mesures efficaces existent, les risques sont donc faibles. Enfin, l externalisation partielle ou entière de la solution Big Data et sa mauvaise utilisation sont, en fait, les plus gros risques que l on peut lier au Big Data, car celui-ci nécessite des compétences particulières pour arriver à donner de la valeur aux données traitées et le meilleur moyen de contrôler la confidentialité et la sécurité de ses données est encore de les posséder entièrement. Page 2

7 2 Présentation du Big Data 2.1 Big Data, qu est-ce que c est? Le Big Data est avant tout un terme marketing. À dire vrai, il recouvre un ensemble de concepts et d'idées pas clairement définis. En se tenant à l'étymologie du terme, Big Data voudrait dire «grosses données». Or, la problématique des «grosses données», ou données ayant un volume important, n'est pas nouvelle. Depuis plus de 30 ans, nous sommes confrontés à des volumes importants de données. Bien sûr, cela est difficilement comparable à la déferlante dont nous sommes témoins aujourd'hui. Néanmoins, à y regarder de plus près, les capacités de stockage de l'époque étaient bien différentes et une base de données de plusieurs dizaines de giga-octets pouvait paraître énorme. À court terme, nous nous dirigeons vers des bases de stockage de plusieurs péta-octets de données. Le gros problème réside plutôt dans la gestion de la donnée et une fois encore, ce n'est pas nouveau. En fait, cela fait presque dix ans que la problématique de gestion des gros volumes de données se pose dans les métiers de la finance, de l indexation web et de la recherche scientifique. Pour y répondre, l approche historique a été celle des offres de Data Warehouse (TeraData, Oracle, IBM, EMC ou HP). Ces dernières ont évoluées pour supporter de plus grandes quantités de données et faire porter par le «stockage» une capacité de traitement étendue. En somme, le Big Data, ce serait plutôt des besoins et des envies nouvelles émanant de l'idée de mieux utiliser ces données qui commencent à s'entasser dans nos Data Warehouse. Et là, les réseaux sociaux et les moteurs de recherches sont parmi les nombreux facteurs qui ont mis à jour ces besoins. La quantité d'information que l'on peut obtenir directement grâce aux utilisateurs, que ce soit par des statistiques Page 3

8 d'utilisation ou de recherches ou encore par des données mises directement à disposition des entreprises est phénoménale. Fondamentalement, le Big Data s'approche beaucoup du Data Mining dans sa transformation de l'information stockée en information clé pour une utilisation future. Là où le Big Data marque une grosse différence, c'est dans le besoin émanant de ces données clés. Souvent, les entreprises ont une idée de ce qu'elles peuvent tirer de leurs informations, mais ne savent pas les rendre utile. Dans d'autres cas, la question est de savoir si on ne révèle pas de nouvelles informations en établissant des corrélations entre ces ensembles de données. Le concept de Big Data se caractérise par bien des aspects. De nombreux responsables informatiques et autorités du secteur tendent à définir le Big Data selon trois grandes caractéristiques : Volume, Vitesse et Variété, soit les trois «V» Volume Le Big Data est associé à un volume de données vertigineux, se situant actuellement entre quelques dizaines de téraoctets et plusieurs péta-octets en un seul jeu de données. Les entreprises, tous secteurs d activité confondus, devront trouver des moyens pour gérer le volume de données en constante augmentation qui est créé quotidiennement. Les catalogues de plus de 10 millions de produits sont devenus la règle plutôt que l exception Vitesse La vitesse décrit la fréquence à laquelle les données sont générées, capturées et partagées. Les entreprises doivent appréhender la vitesse non seulement en termes de création de données, mais aussi sur le plan de leur traitement, de leur analyse et de leur restitution à l'utilisateur en respectant les exigences des applications en temps réel. Page 4

9 2.1.3 Variété La croissance de la variété des données est très largement la conséquence des nouvelles données multi structurelles et de l'expansion des types de données. Aujourd hui, on trouve des capteurs d'informations aussi bien dans les trains, les automobiles ou les avions, ajoutant à cette variété. Ces trois caractéristiques, ces trois «V», sont les piliers définissant le Big Data. Avant tout, il s'agit d'un changement d'orientation sur l'utilisation de la donnée. En somme, le point clé du Big Data est de donner un sens à ces grosses données et pour cela, il faut les analyser. 2.2 L analyse : le point clé du Big Data Le Big Data répond à de nombreux objectifs précis parmi lesquels on trouve l extraction d informations utiles des données stockées, l analyse de ces données, la restitution efficace des résultats d analyse ou encore, l accroissement de l interactivité entre utilisateurs et données. La combinaison de ce déluge d'informations et d'algorithmes logiciels intelligents ouvre la voie à de nouvelles opportunités de business. Prenons, par exemple, Google et Facebook qui sont des «entreprises Big Data», mais aussi Sinequa, IBM ou JDA Software. Après analyse des trois caractéristiques du Big Data et de l'utilisation qu en font les acteurs du marché, ce qui en ressort et qui semble avoir le plus d'importance dans le Big Data est ce qui se fait de l'information. L'analyse est le point clé de l utilisation du Big Data. Elle permet de mieux connaître sa clientèle, d'optimiser son marketing, de détecter et prévenir des fraudes, d'analyser son Page 5

10 image sur les réseaux sociaux et la valoriser, ou encore, d optimiser ses processus métiers. Toutefois, il ne suffit pas de prolonger ce que nous faisons avec les données aujourd'hui pour anticiper ce que sera l'exploitation des données dans un futur plus ou moins proche. Déjà, de nouvelles manières d utiliser le Big Data apparaissent, des utilisations qui peuvent être clés pour les entreprises. 2.3 De nouveaux enjeux, mais aussi des risques Pour beaucoup d entreprises, le Big Data représente de nouveaux enjeux qu il faut envisager, mais il faut aussi étudier les risques induits. Avec le Big Data, il est possible de traiter de gros volumes en temps réel, ce qui permet aussi bien de surveiller le trafic réseau d une entreprise que d analyser la qualité de service. Anticiper des changements peut être une des clés du futur, que ce soit aux travers de multiples capteurs sur un système pour détecter une défaillance ou en étudiant les attentes des consommateurs. De manière plus générale, le Big Data permet de donner de la valeur aux données qui, jusque-là, ne pouvaient pas être utilisées telles quelles, en faisant des statistiques sur des périodes prolongées ou en les croisant entre elles. Ne pas s intéresser au Big Data aujourd hui, c est peut-être risquer demain de perdre en compétitivité et d être en retard sur son marché mais se précipiter sur le Big Data porte aussi son lot de risques, les technologies sont nouvelles et pas forcément maîtrisées, pas forcément fiables. Sur un marché qui a émergé il y a peu de temps, les fournisseurs de solutions aujourd hui auront peut-être disparus demain, à qui faire Page 6

11 confiance? Le Big Data soulève des problèmes éthiques, une réglementation particulière sera probablement définie pour limiter les abus. Les technologies qui servent au Big Data sont classiques (serveurs, stockage, communications réseau), et portent donc les mêmes risques, mais l impact de ces risques est peut-être plus important, et doit être surveillé. Le premier risque lié au Big Data est sûrement de mal l utiliser, il faut savoir quoi en faire et s assurer d en avoir les compétences nécessaires, cela nécessite un travail de fond sur le sujet, et probablement le recrutement de personnel qualifié, dans les domaines des statistiques ou de la «data analyse». Page 7

12 3 État des lieux Le Big Data est plus qu un simple terme aujourd hui, c est une réalité. Nous allons maintenant nous attacher à voir où l on trouve du Big Data, et mieux prendre conscience du phénomène Big Data. 3.1 Panorama des cas d usage Quels secteurs d activités s intéressent au Big Data? Le Big Data, bien que récent, a rapidement attiré l attention de nombreuses personnes et représente déjà un marché important, cette évolution rapide a été poussée par certains secteurs d activité qui attendent beaucoup du Big Data. Ces secteurs d activité, qui ont été les premiers à s intéresser au Big Data, peuvent être séparés en deux groupes : ceux pour qui le Big Data répond à des besoins historiques de leur activité, et ceux pour qui il ouvre de nouvelles opportunités. Dans la première catégorie, on retrouve des secteurs qui manipulent quotidiennement des volumes de données très important, avec des problématiques de vitesse associées. On y trouve : Les Banques : la sanctuarisation de données anciennes due à des contraintes réglementaires ; La Télécommunication : l analyse de l état du réseau en temps réel ; Les Médias Numériques : le ciblage publicitaire et l analyse de sites web ; Les Marchés Financier : l analyse des transactions pour la gestion des risques et la gestion des fraudes, ainsi que pour l analyse des clients. Page 8

13 La deuxième catégorie de secteur est plus hétérogène, les besoins, mais aussi l utilisation qui est faite du Big Data, peuvent être très différents. On y trouve : Les Services Publics : l analyse des compteurs (gaz, électricité, etc.) et la gestion des équipements ; Le Marketing : le ciblage publicitaire et l'analyse de tendance ; La Santé : l analyse des dossiers médicaux et l analyse génomique. Le Big Data est déjà amplement utilisé par certains secteurs d activité, mais d autres commencent à s y intéresser, notamment la Recherche, la Police ou encore les Transports. Cette liste d utilisateurs risque de s agrandir fortement dans les années qui viennent De nombreux exemples de cas d usage Les possibles utilisations du Big Data sont nombreuses, pour vous donner une idée de ce qu il est possible de faire, nous présentons ici plusieurs exemples de cas d usage. Bien que le Big Data soit récent, de nombreuses entreprises l utilisent déjà à des fins diverses et variées. Voici quelques exemples de sociétés ayant mis en place ou proposant des solutions de Big Data : La police de New York utilise le Big Data afin de rassembler et d analyser rapidement toutes les données dont elle dispose. En effet, l outil développé conjointement avec Microsoft permet d utiliser diverses sources et bases de données, telles que les caméras de vidéosurveillance de la ville ou les lecteurs de plaques minéralogiques ; Page 9

14 Microstrategy propose via son application «Wisdom» la possibilité de regrouper les utilisateurs Facebook ayant acceptés d installer cette application. Ces regroupements permettent de personnaliser des offres de fidélisation, des campagnes de marketing ou des opérations de réduction en fonction des affinités des utilisateurs. En pratique, cette application permet de naviguer au travers de ces utilisateurs et de les filtrer selon divers critères tels que leurs caractéristiques, région, genre, niveau d étude, situation maritale, participation à un évènement. Principal intérêt : la connaissance de leur goût (culturel ou sectoriel) et de leur attirance pour d autres marques ; À nouveau dans le marketing, Pega propose un moteur prédictif en temps réel. Ce moteur permet d aligner les pratiques de vente sur le profil et le comportement unitaire de chaque client. Pour bâtir ses modèles, le système analytique croise un maximum d évènements liés au client : sa description objective (âge, localisation, etc.), l historique de ses transactions et de ses interactions avec les forces de vente. Outre le marketing, ce principe de recommandation automatisé pourra servir à la gestion de processus de Pegasystems, mais aussi dans la détection de fraude, le support client ou la détection d incidents ; Avec d autres objectifs, Tibco propose une solution pour effectuer des analyses de logs. Cette solution structure les logs, les agrège et en tire des corrélations afin, par exemple, de mesurer le taux de consultation d'une fiche produit. Elle permet également de faciliter l identification de menaces ou d anomalies et ainsi de lutter contre la fraude ; Picviz Labs a développé un outil nommé «Picviz Inspector». Cet outil permet d identifier des anomalies aussi bien que d analyser des données critiques à partir de logs. Ces logs, générés automatiquement, peuvent aussi bien provenir d applications, que de serveurs, de réseaux ou encore de divers appareils. Page 10

15 Ce ne sont que de brefs exemples d utilisation du Big Data, mais ceux-ci mettent en exergue la variété d utilisation qui en découle. De nouveaux outils exploitant les technologies du Big Data sont apparus et démontrent bien les nouveaux usages qui apparaissent, ainsi que les nouveaux concepts qui en émergent. 3.2 Un secteur qui intéresse du monde et des premiers déploiements Comme présenté précédemment, le Big Data est une technologie qui intéresse de nombreux secteurs d activité. Cependant, certaines entreprises comme Yahoo! et Google ont besoin, pour leur métier, de solutions très particulières afin de répondre à leurs besoins précis. Pour cette raison, ces entreprises ont développées leurs solutions de Big Data. Ces entreprises sont donc fournisseurs de solutions et simultanément utilisateurs de ces solutions. Elles sont des cas particuliers de sociétés à la fois utilisateur et fournisseur de Big Data. Le Big Data se retrouve dans beaucoup de secteurs, et nombreux sont les géants de l informatique à investir dans le phénomène. Les principaux utilisateurs, Google et Yahoo!, sont aussi ceux à l origine des technologies du Big Data et qui investissent dans son évolution. Afin de répondre à cette demande, de nombreux fournisseurs de technologie de Big Data sont apparus. Ces entreprises proposant des offres peuvent être divisées en deux groupes : Les grandes entreprises d informatique comme Microsoft ou IBM qui s ouvrent à ce nouveau marché afin de diversifier les secteurs dans l informatique qu ils couvrent ; Page 11

16 En plus de ces entreprises, d autre sociétés sont spécialisées dans ce domaine du Big Data et en ont fait leur métier tel que Microstrategy, Hurence ou TeraData. Mais de nombreuses autres entreprises utilisent des solutions de Big Data proposées par d autres sociétés. Parmi elles, on retrouve différents secteurs d activité tels que : les télécoms : SFR ; les réseaux sociaux : Facebook ; des sociétés de services : Amazon Web Services ; des sociétés d analyses : HPCC Systems, 1010 Data, Quantivo, Opera solutions Page 12

17 3.3 Les solutions et technologies existantes Arrêtons-nous un instant et revenons aux origines des technologies emblématiques du Big Data aujourd hui. Hadoop et NoSQL sont des technologies phares de l univers Big Data et, actuellement, il est impossible de passer à côté d eux lorsque l on sillonne les myriades de solutions et technologies mises à notre disposition Hadoop : une histoire vieille de dix ans Depuis un an, l engouement du marché pour le Big Data se manifeste principalement sur une de ses composantes : l analyse de données. Le phénomène résulte clairement de la montée en puissance d Hadoop, un Framework open source réputé pour sa puissance d indexation, de transformation, de recherche ou d élaboration de modèles sur de très gros volumes de données. Une des raisons pour lesquelles Hadoop concentre tant l attention de l industrie tient à la légitimité qu il a acquise tout au long de cette décennie. Le succès de Google lui est en partie imputable. En 2001, alors qu il n'en est encore qu'à ses balbutiements sur le marché des moteurs de recherche, le futur géant développe ce qui inspira les composants phares d'hadoop : MapReduce, Google BigTable et Google BigFiles (futur Google File System). En 2004, le fondateur du moteur de recherche open source Lucene, Doug Cutting, qui travaille sur une méthode relativement économique pour indexer en masse des pages web, s empare des publications de Google et créé le premier prototype d Hadoop. En 2006, Yahoo!, l'autre géant du web, embauche Doug Cutting et se lance dans la promotion active de la technologie et de son écosystème. Page 13

18 En 2011, Yahoo! crée Hortonworks, sa filiale dédiée à Hadoop. L'entreprise se concentre sur le développement et le support d'apache Hadoop. De la même manière, Cloudera, créé au début de l'année 2009, se place comme l'un des plus gros contributeurs au projet Hadoop, au côté de MapR (2009) et Hortonworks. Hadoop consiste en deux points : Hadoop MapReduce et Hadoop Distributed File System. Ces deux points forment l écosystème Hadoop, écosystème fortement convoité et qui se trouve au centre de l univers du Big Data. Initialement pensé comme un clone du MapReduce de Google, Hadoop est : évolutif, car pensé pour utiliser plus de ressources physiques, selon les besoins, et de manière transparente ; rentable, car il optimise les coûts via une meilleure utilisation des ressources présentes ; souple, car il répond à la caractéristique de variété des données en étant capable de traiter différents types de données ; et enfin, résilient, car pensé pour ne pas perdre d'information et être capable de poursuivre le traitement si un nœud du système tombe en panne. Nous allons détailler le fonctionnement des deux technologies phares de Hadoop : HDFS et Map/Reduce car les technologies sont très liées aux concepts développés dans ces deux produits. Page 14

19 Hadoop Distributed File System (HDFS) HDFS permet de distribuer le stockage des données et de faire des analyses très performantes sur ces données grâce au modèle MapReduce permettant de distribuer une opération sur plusieurs nœuds dans le but de paralléliser leur exécution. HDFS est un système de fichiers virtuel qui se décompose en un namenode, le maître, et plusieurs datanodes, les nœuds de données. Les nœuds de données regroupent les blocs de données en les répliquant : ci-dessous, les blocs sont tous répliqués trois fois. Le maître, quant à lui, va orchestrer les données, et contient les informations concernant l'emplacement des différentes répliques. Le secondary namenode sert à effectuer des checkpoints réguliers du namenode, afin de les réutiliser en cas de problème. Ci-dessous, un schéma expliquant les différents nœuds du HDFS : Page 15

20 C est un système de fichiers distribué où les blocs d information sont répartis et répliqués sur les différents nœuds du cluster (regroupement de plusieurs serveurs indépendants). L'algorithme de Map/Reduce Le MapReduce est une technique qui décompose le traitement d'une opération (appelée «job» chez Hadoop) en plusieurs étapes, dont deux élémentaires, afin de faciliter la parallélisation des traitements sur les données. Le «Mapping» Cette étape accomplit une opération spécifique sur chaque élément de la liste en entrée ; à partir d'une liste sous la forme <clé, valeur>, il génère une liste en sortie sous la même forme : Le «Reducing» L'opération qui se situe entre le Mapping et le Reducing est appelée le Shuffling, et réarrange les éléments de la liste afin de préparer le Reducing. Le traitement voulu est alors effectué, donnant la sortie finale suivante : Page 16

21 3.3.2 NoSQL ou les bases de données non relationnelles Le terme NoSQL désigne une catégorie de systèmes de gestion de base de données destinés à manipuler des bases de données volumineuses pour des sites de grande audience. Apparu pour la première fois en 1998, NoSQL (Not Only SQL) est un terme générique pour désigner les bases de données ne suivant pas les principes classiques des SGBD relationnels. L idée sous-jacente du mouvement NoSQL est d avoir des bases plus adaptées au besoin réel de l application plutôt que d utiliser systématiquement une base relationnelle. L'offre se développe de façon exponentielle au printemps 2009 avec le Cloud Computing et le Web 2.0, mais pas seulement. Le meetup NoSQL de San Francisco, le 11 juin 2009, a été particulièrement important pour le développement de cette tendance. Pas moins de 100 développeurs de logiciels ont assisté à des présentations de solutions telles que : Project Voldemort (LinkedIn) ; Cassandra Project (Facebook) ; HBase (Facebook) ; Page 17

22 Dynomite (basé sur Dynamo d'amazon) ; CouchDB (Ubuntu One) ; ou encore, MongoDB (SourceForge.net). Très souvent, les bases de données NoSQL sont catégorisées selon la manière dont elles stockent les données. On retrouve ainsi des catégories comme les bases orientées clévaleur, colonne, document ou encore les bases structurant les données en s appuyant sur la théorie des graphes. D autres catégories existent et beaucoup de sous-catégories peuvent être répertoriées ou citées ici et là, mais intéressons-nous aussi à la taille que prennent les données dans ces bases et à la complexité de mise en place et d exploitation de celles-ci. Emil Eifrem, PDG de Neo Technology, société qui développe la solution Java, Neo4j (the graph database), classe ces catégories selon ces deux critères : Page 18

23 Il y a peu encore, les développeurs web ont commencé à utiliser le système de cache mémoire pour stocker de manière temporaire des données en RAM, pour que les données fréquemment utilisées soient plus rapide à ressortir. Cette méthode nécessitait d'écrire tous les accès à la base de donnée en usant du paradigme Clé-Valeur. Avec le temps et l'expérience, les développeurs ont commencé à s'essayer à des bases de données utilisant cette méthode de stockage en mémoire et en dur. Il s'agit d'un des exemples rares de suppression d'une couche d'abstraction, l'interface clé-valeur étant moins expressive et plus bas niveau que les requêtes SQL. De tels systèmes requièrent plus de travail pour le développeur pour plus de flexibilité et de contrôle sur l'utilisation de la base de données. Les bases de données «graphes» ont été pensées selon une approche complètement différente. Elles répondent à un problème de modélisation des données selon les méthodes classiques de bases de données relationnelles. De manière assez ironique, ces dernières éprouvent de grandes difficultés à traiter les relations entre nœuds (création de table jointe à foison, requête obscure et complexe, etc.). Là où une base de données «graphe» est pensée pour représenter ce type d'information et les traiter. Hadoop et NoSQL ont été précurseur dans les concepts qui forment le Big Data, mais beaucoup d autres technologies ont vu le jour par la suite. Ces technologies exploitent de nouvelles idées ou explorent plus encore, des concepts déjà connus. Elles sont le signe d un nouveau marché qui s est ouvert et continu à s ouvrir. Page 19

24 3.3.3 De nombreuses technologies émergentes Il y a eu une quantité phénoménale d innovations dans les outils de traitements de la donnée au cours des dernières années, notamment grâce à certaines tendances clés : apprendre à partir du monde web, étendre les recherches en informatique à d autres problèmes et évidemment, les avancées technologiques qui rendent le matériel meilleur marché. Ces tendances ont mené à une explosion des nouveaux outils. Nous sommes donc aujourd hui confrontés à de très nombreuses technologies émergentes qui définissent «l univers Big Data». Ces innovations ont aidé à concevoir des outils basés : Sur les bases de données NoSQL, avec des solutions qui gagnent chaque jour en fonctionnalités et en performance sur des points critiques. On peut citer MongoDB (document), CouchDB (document), Cassandra (clévaleur), Redis (structure de données complexe), BigTable (structure particulière), HBase (structure proche de BigTable), Hypertable (structure proche de BigTable), Voldemort (clé-valeur), Riak (clé-valeur) et ZooKeeper (clé-valeur). Sur l'approche MapReduce, avec des solutions comme Hadoop et de nombreuses autres qui tendent à s'y greffer et à l'améliorer. On peut citer Hive, Pig, Cascading, Cascalog, mrjob, Caffeine, S4, MapR, Acunu, Flume, Kafka, Azkaban, Oozie et Greenplum. Sur les processus de stockage, avec des solutions prenant en compte les différences dues aux traitements des données à grande échelle, traitements que les systèmes de fichiers traditionnels ne peuvent gérer. On peut citer S3 d'amazon, mais aussi et surtout, HDFS. Sur les ressources de calcul, avec des solutions Cloud (SaaS) innovantes et flexibles dans leur utilisation et leur exploitation. Page 20

25 On peut citer EC2, Google App Engine, Elastic Beanstalk et Heroku. Sur la restitution visuelle de l'information, avec des solutions visant à fournir de la meilleure manière possible, les résultats de traitement. Cette approche visuelle permet de discerner des informations parfois bien plus simplement et de manière plus utile que de simples valeurs brutes. On peut citer Gephi, GraphViz, Processing, Protovis, Fusion Tables et Tableau. Sur l'acquisition de données, avec des solutions visant à pallier au manque de structure, au bruit et à la complexité initialement présente à la récupération des données. On peut citer Google Refine, Needlebase et ScraperWiki. Sur la sérialisation des données, afin d'acheminer la donnée d'un point de traitement à un autre tout en restant capable de la conserver. On peut citer JSON, BSON, Thrift, Avro et Protocol Buffers Les systèmes distribués et leurs problématiques Les systèmes distribués étaient bien connus avant l apparition du Big Data et leurs problématiques sont aujourd hui bien maitrisées. Parmi les problèmes à résoudre, on peut citer la gestion d un grand parc de machines et les problèmes d intégrité des données lorsque l on utilise ce parc pour du stockage. L intégrité des données est nécessaire aux entreprises stockant des données importantes sur un cluster de sauvegarde, par exemple sur HDFS. Il est alors primordial de pouvoir assurer l intégrité des données à travers des dizaines, centaines, voire milliers de machines différentes, stockant plusieurs copies d une même donnée. Page 21

26 Les systèmes de gestion d intégrité des solutions semblent assez matures et des exemples basés sur HDFS nous ont poussé à ne pas développer ce risque dans l analyse de risques (partie 4), car l intégrité y est préservée activement avec des vérifications de somme de contrôle bien plus fréquentes que sur du stockage sur disques durs. On trouve ainsi des infrastructures avec % 1 d intégrité conservée, comptabilisant environ pétaoctets. Le risque de perte d intégrité avec ce niveau d intégrité est alors extrêmement faible. 3.4 Comment approcher le Big Data côté métier Nous avons défini ce qui se cache derrière le terme Big Data, vu ce que l on pouvait en faire et vu les technologies sur lesquels il est construit. Maintenant, nous allons prendre un point de vue plus métier du Big Data, comment il faut l aborder avant même d envisager de l intégrer à l activité de l entreprise. Pour les métiers (directions opérationnelles), le Big Data répond à des enjeux majeurs : accroître la capacité à supporter sa propre activité, gagner en productivité, mais surtout innover par rapport à la concurrence. Tout cela en s appuyant sur l ensemble des données brutes utiles, de l entreprise ou publiques, et en exploitant pleinement celles-ci. Avant de songer au Big Data, les métiers doivent se poser les bonnes questions afin de déterminer si le Big Data représente une opportunité et s ils ont les moyens de la saisir : De quelles informations avons-nous besoin pour innover et être compétitif? 1 19 blocs de 64 Mo en erreurs sur 329 millions (Source : ) Page 22

27 o Multiplier les sources des informations n est plus un problème, mais il faut identifier les opportunités business que cela peut ouvrir. o Ne pas hésiter à s inspirer des initiatives innovantes du marché. Quels sont les données sous- et inexploitées à notre disposition? o Il est important de connaître les sources de données de l entreprises, ces sources ont potentiellement de la valeur. Il faut se concentrer sur les données pertinentes au risque de devoir sur-dimensionner son infrastructure (voir analyse de risque : ). o Il faut savoir interpréter les données brutes. Sommes-nous prêts à «extraire» l information utile de nos données? o Analyser les données requiert des compétences rares, il peut être nécessaire de recruter des Data Analyst. o Cadrer les transformations organisationnelles, éthiques et légales associées. Sommes-nous capable de gérer les nouveaux risques de sécurité? o Les impacts autour de la donnée augmentent, la sécurité autour peut avoir besoin d être augmenté. o L utilisation de Cloud peut être une solution autant qu un problème à la sécurité. Le premier risque du Big Data est sûrement de ne pas bien l utiliser, si les opportunités business que le Big Data peut apporter ne sont pas claires ou si les compétences nécessaires pour les atteindre ne sont pas acquises alors il ne vaut mieux pas se lancer dans un projet Big Data. Ces questions permettent à l entreprise de déterminer si elle est prête à tirer des avantages business du Big Data. Mais ces avantages doivent être relativisés avec les risques que le Big Data apporte, pour le RSSI une analyse de risque s impose. Page 23

28 4 Analyse de risques 4.1 Méthodologie Avec le Big Data et ses nouvelles technologies, ses nouveaux concepts, ses nouvelles idées et envies, de nombreuses problématiques sont soulevées au niveau de la sécurité des infrastructures à mettre en place et des processus organisationnels qui les entourent. Notre démarche d analyse des risques apportés par le Big Data passe par une analyse différentielle entre le Big Data et les technologies dites classiques de collecte et d analyse de données. Nous allons alors explorer les risques apportés en termes de nonconformité légale, de perte de disponibilité, de non confidentialité, de perte d intégrité, des risques opérationnels et les risques liés aux différents modes d intégration. Nous n aborderons pas les risques présents dans les solutions classiques et qui ne sont pas exacerbés ou changés par l utilisation du Big Data. Qui accède à mes données? Qu en est-il de sa disponibilité? Quels risques portent sur l intégrité de mes données dans les systèmes distribués? Comment contrôler ces données pour rester maître de son SI? Sommes-nous prêt à accueillir le Big Data sans danger? Nous allons étudier toutes ces questions à travers l analyse de risques qui suit, en partant de l analyse de la chaîne de traitement des données et en dégageant les risques associés : Page 24

29 4.2 Légende Complexité Réduction de risques Faible Moyenne Forte Page 25