Rapport d étude sur le Big Data

Dimension: px
Commencer à balayer dès la page:

Download "Rapport d étude sur le Big Data"

Transcription

1 Rapport d étude sur le Big Data SRS Day 2012 Ce document a été réalisé dans le cadre de la SRS Day La SRS Day est un événement annuel organisé par les étudiants de la majeure SRS, de l EPITA. Il s agit d un travail de réflexions sur des sujets émergents ou d actualité, réalisé par les étudiants et suivi par une entreprise. Coach Ali FAWAZ Etienne CAPGRAS Auteurs Mickaël CORINUS Thomas DEREY Jérémie MARGUERIE William TÉCHER Nicolas VIC 05 octobre 2012

2 Remerciements Nous tenons à remercier dans un premier temps notre coach, Ali FAWAZ, pour sa disponibilité, son coaching et ses conseils avisés. Nous remercions aussi Etienne CAPGRAS, notre second coach qui aura pris efficacement le relai durant le mois de septembre. Nous remercions également Luc MANIGOT, Directeur des opérations chez Sinequa, pour l'aide et les réponses qu'il aura su nous apporter lors de notre entretien. Nous souhaitons remercier tout particulièrement Microstrategy et l'équipe avec laquelle nous avons été mis en relation ; nous remercions Idris BOUCHEHAIT, Marketing Manager, Laurent LEE A SIOE, Manager Avant-Vente, et Henri-François CHADEISSON, Ingénieur Avant-Vente, qui auront pris le temps de nous éclairer longuement et avec pertinence sur l'univers du Big Data et les risques qui l'entourent. Enfin, nous voulons remercier Gérôme BILLOIS, Sébastien BOMBAL, Solucom et EPITA pour nous avoir permis de réaliser cette étude sur ce sujet émergent qu'est le Big Data. Page II

3 Sommaire Remerciements... II 1 Executive Summary Présentation du Big Data Big Data, qu est-ce que c est? Volume Vitesse Variété L analyse : le point clé du Big Data De nouveaux enjeux, mais aussi des risques État des lieux Panorama des cas d usage Quels secteurs d activités s intéressent au Big Data? De nombreux exemples de cas d usage Un secteur qui intéresse du monde et des premiers déploiements Les solutions et technologies existantes Hadoop : une histoire vieille de dix ans NoSQL ou les bases de données non relationnelles De nombreuses technologies émergentes Les systèmes distribués et leurs problématiques Comment approcher le Big Data côté métier Analyse de risques Méthodologie Légende Analyse différentielle Risques de non-conformité Risques de non disponibilité Risques de perte de confidentialité Risque de perte d intégrité Risques opérationnels Page III

4 4.3.6 Risques liés aux modes d intégration Proposition d un plan d action global Obligations légales Sécurité des données Problèmes opérationnels Synthèse de l analyse de risques Bibliographie Glossaire Annexes Solucom Epita Page IV

5 1 Executive Summary Big Data est un terme que l on entend partout depuis quelques années, derrière ce terme marketing se cache en réalité une myriade de technologies (certaines vieilles de plus de dix ans) et dont le but est la manipulation de gros volumes de données. La raison pour laquelle le Big Data est aujourd hui à la mode est l augmentation drastique de la quantité de données, due entre autres à l augmentation des sources de données (blogs, médias sociaux, recherches sur internet, réseaux de capteurs, etc.), qui permet de nouvelles utilisation des données. En effet, lorsque l on parle de manipulation de gros volume de données, on pense traditionnellement à des problématiques sur le volume des données et sur la rapidité de traitement de ces données. Mais aujourd hui, il est aussi question de manipuler des données venants de sources diverses ; des données qui n ont pas forcément beaucoup de valeur en elles-mêmes, mais qui, croisées les unes avec les autres, offrent une mine d informations clés pour l entreprise (marketing personnalisé, moteurs de recherches, surveillance, etc.). Les grandes caractéristiques qui englobent les problématiques auxquelles le Big Data répond sont le Volume des données, la Vitesse d'acquisition et de traitement des données et la Variété des types de données : plus simplement, on parle des trois «V» du Big Data. Les premiers secteurs intéressés par le Big Data l ont été pour tenter de résoudre leurs problématiques de Volume et de Vitesse, des secteurs comme les banques, le milieu des télécommunications ou les marchés financiers. D autres s y sont ensuite intéressés pour la capacité à donner de la valeur à des données variées, comme les services publics, le marketing ou la santé. Le fait est que le Big Data représente aujourd hui un 05 octobre 2012

6 marché important, de plusieurs centaines de millions d euros, où de nombreux fournisseurs de solutions Big Data existent. Le Big Data intéresse déjà beaucoup de secteurs, mais comment une entreprise (de ces secteurs ou non) peut-elle savoir si le Big Data est fait pour elle? D un point de vue métier, il y a quatre questions à se poser : De quelles informations avons-nous besoin pour innover et être compétitif? Quelles sont les données sous- et inexploitées à notre disposition? Sommes-nous prêts à «extraire» l information utile de nos données? Sommes-nous capable de gérer les nouveaux risques de sécurité? Les trois premières questions sont introspectives et les réponses varieront d une entreprise à une autre. Mais pour la question de la sécurité, une analyse de risque sur le Big Data est nécessaire et nous nous sommes intéressés tout particulièrement à cette question. D après notre analyse, la plupart des risques du Big Data sont de même type que ceux issus des solutions dites «classiques» de base de données. Toutefois, certains de ces risques auront des impacts différents, qu ils soient amoindris ou exacerbés. Pourtant, il existe de nouveaux risques propres au Big Data, mais pour ceux-ci, des contre-mesures efficaces existent, les risques sont donc faibles. Enfin, l externalisation partielle ou entière de la solution Big Data et sa mauvaise utilisation sont, en fait, les plus gros risques que l on peut lier au Big Data, car celui-ci nécessite des compétences particulières pour arriver à donner de la valeur aux données traitées et le meilleur moyen de contrôler la confidentialité et la sécurité de ses données est encore de les posséder entièrement. Page 2

7 2 Présentation du Big Data 2.1 Big Data, qu est-ce que c est? Le Big Data est avant tout un terme marketing. À dire vrai, il recouvre un ensemble de concepts et d'idées pas clairement définis. En se tenant à l'étymologie du terme, Big Data voudrait dire «grosses données». Or, la problématique des «grosses données», ou données ayant un volume important, n'est pas nouvelle. Depuis plus de 30 ans, nous sommes confrontés à des volumes importants de données. Bien sûr, cela est difficilement comparable à la déferlante dont nous sommes témoins aujourd'hui. Néanmoins, à y regarder de plus près, les capacités de stockage de l'époque étaient bien différentes et une base de données de plusieurs dizaines de giga-octets pouvait paraître énorme. À court terme, nous nous dirigeons vers des bases de stockage de plusieurs péta-octets de données. Le gros problème réside plutôt dans la gestion de la donnée et une fois encore, ce n'est pas nouveau. En fait, cela fait presque dix ans que la problématique de gestion des gros volumes de données se pose dans les métiers de la finance, de l indexation web et de la recherche scientifique. Pour y répondre, l approche historique a été celle des offres de Data Warehouse (TeraData, Oracle, IBM, EMC ou HP). Ces dernières ont évoluées pour supporter de plus grandes quantités de données et faire porter par le «stockage» une capacité de traitement étendue. En somme, le Big Data, ce serait plutôt des besoins et des envies nouvelles émanant de l'idée de mieux utiliser ces données qui commencent à s'entasser dans nos Data Warehouse. Et là, les réseaux sociaux et les moteurs de recherches sont parmi les nombreux facteurs qui ont mis à jour ces besoins. La quantité d'information que l'on peut obtenir directement grâce aux utilisateurs, que ce soit par des statistiques Page 3

8 d'utilisation ou de recherches ou encore par des données mises directement à disposition des entreprises est phénoménale. Fondamentalement, le Big Data s'approche beaucoup du Data Mining dans sa transformation de l'information stockée en information clé pour une utilisation future. Là où le Big Data marque une grosse différence, c'est dans le besoin émanant de ces données clés. Souvent, les entreprises ont une idée de ce qu'elles peuvent tirer de leurs informations, mais ne savent pas les rendre utile. Dans d'autres cas, la question est de savoir si on ne révèle pas de nouvelles informations en établissant des corrélations entre ces ensembles de données. Le concept de Big Data se caractérise par bien des aspects. De nombreux responsables informatiques et autorités du secteur tendent à définir le Big Data selon trois grandes caractéristiques : Volume, Vitesse et Variété, soit les trois «V» Volume Le Big Data est associé à un volume de données vertigineux, se situant actuellement entre quelques dizaines de téraoctets et plusieurs péta-octets en un seul jeu de données. Les entreprises, tous secteurs d activité confondus, devront trouver des moyens pour gérer le volume de données en constante augmentation qui est créé quotidiennement. Les catalogues de plus de 10 millions de produits sont devenus la règle plutôt que l exception Vitesse La vitesse décrit la fréquence à laquelle les données sont générées, capturées et partagées. Les entreprises doivent appréhender la vitesse non seulement en termes de création de données, mais aussi sur le plan de leur traitement, de leur analyse et de leur restitution à l'utilisateur en respectant les exigences des applications en temps réel. Page 4

9 2.1.3 Variété La croissance de la variété des données est très largement la conséquence des nouvelles données multi structurelles et de l'expansion des types de données. Aujourd hui, on trouve des capteurs d'informations aussi bien dans les trains, les automobiles ou les avions, ajoutant à cette variété. Ces trois caractéristiques, ces trois «V», sont les piliers définissant le Big Data. Avant tout, il s'agit d'un changement d'orientation sur l'utilisation de la donnée. En somme, le point clé du Big Data est de donner un sens à ces grosses données et pour cela, il faut les analyser. 2.2 L analyse : le point clé du Big Data Le Big Data répond à de nombreux objectifs précis parmi lesquels on trouve l extraction d informations utiles des données stockées, l analyse de ces données, la restitution efficace des résultats d analyse ou encore, l accroissement de l interactivité entre utilisateurs et données. La combinaison de ce déluge d'informations et d'algorithmes logiciels intelligents ouvre la voie à de nouvelles opportunités de business. Prenons, par exemple, Google et Facebook qui sont des «entreprises Big Data», mais aussi Sinequa, IBM ou JDA Software. Après analyse des trois caractéristiques du Big Data et de l'utilisation qu en font les acteurs du marché, ce qui en ressort et qui semble avoir le plus d'importance dans le Big Data est ce qui se fait de l'information. L'analyse est le point clé de l utilisation du Big Data. Elle permet de mieux connaître sa clientèle, d'optimiser son marketing, de détecter et prévenir des fraudes, d'analyser son Page 5

10 image sur les réseaux sociaux et la valoriser, ou encore, d optimiser ses processus métiers. Toutefois, il ne suffit pas de prolonger ce que nous faisons avec les données aujourd'hui pour anticiper ce que sera l'exploitation des données dans un futur plus ou moins proche. Déjà, de nouvelles manières d utiliser le Big Data apparaissent, des utilisations qui peuvent être clés pour les entreprises. 2.3 De nouveaux enjeux, mais aussi des risques Pour beaucoup d entreprises, le Big Data représente de nouveaux enjeux qu il faut envisager, mais il faut aussi étudier les risques induits. Avec le Big Data, il est possible de traiter de gros volumes en temps réel, ce qui permet aussi bien de surveiller le trafic réseau d une entreprise que d analyser la qualité de service. Anticiper des changements peut être une des clés du futur, que ce soit aux travers de multiples capteurs sur un système pour détecter une défaillance ou en étudiant les attentes des consommateurs. De manière plus générale, le Big Data permet de donner de la valeur aux données qui, jusque-là, ne pouvaient pas être utilisées telles quelles, en faisant des statistiques sur des périodes prolongées ou en les croisant entre elles. Ne pas s intéresser au Big Data aujourd hui, c est peut-être risquer demain de perdre en compétitivité et d être en retard sur son marché mais se précipiter sur le Big Data porte aussi son lot de risques, les technologies sont nouvelles et pas forcément maîtrisées, pas forcément fiables. Sur un marché qui a émergé il y a peu de temps, les fournisseurs de solutions aujourd hui auront peut-être disparus demain, à qui faire Page 6

11 confiance? Le Big Data soulève des problèmes éthiques, une réglementation particulière sera probablement définie pour limiter les abus. Les technologies qui servent au Big Data sont classiques (serveurs, stockage, communications réseau), et portent donc les mêmes risques, mais l impact de ces risques est peut-être plus important, et doit être surveillé. Le premier risque lié au Big Data est sûrement de mal l utiliser, il faut savoir quoi en faire et s assurer d en avoir les compétences nécessaires, cela nécessite un travail de fond sur le sujet, et probablement le recrutement de personnel qualifié, dans les domaines des statistiques ou de la «data analyse». Page 7

12 3 État des lieux Le Big Data est plus qu un simple terme aujourd hui, c est une réalité. Nous allons maintenant nous attacher à voir où l on trouve du Big Data, et mieux prendre conscience du phénomène Big Data. 3.1 Panorama des cas d usage Quels secteurs d activités s intéressent au Big Data? Le Big Data, bien que récent, a rapidement attiré l attention de nombreuses personnes et représente déjà un marché important, cette évolution rapide a été poussée par certains secteurs d activité qui attendent beaucoup du Big Data. Ces secteurs d activité, qui ont été les premiers à s intéresser au Big Data, peuvent être séparés en deux groupes : ceux pour qui le Big Data répond à des besoins historiques de leur activité, et ceux pour qui il ouvre de nouvelles opportunités. Dans la première catégorie, on retrouve des secteurs qui manipulent quotidiennement des volumes de données très important, avec des problématiques de vitesse associées. On y trouve : Les Banques : la sanctuarisation de données anciennes due à des contraintes réglementaires ; La Télécommunication : l analyse de l état du réseau en temps réel ; Les Médias Numériques : le ciblage publicitaire et l analyse de sites web ; Les Marchés Financier : l analyse des transactions pour la gestion des risques et la gestion des fraudes, ainsi que pour l analyse des clients. Page 8

13 La deuxième catégorie de secteur est plus hétérogène, les besoins, mais aussi l utilisation qui est faite du Big Data, peuvent être très différents. On y trouve : Les Services Publics : l analyse des compteurs (gaz, électricité, etc.) et la gestion des équipements ; Le Marketing : le ciblage publicitaire et l'analyse de tendance ; La Santé : l analyse des dossiers médicaux et l analyse génomique. Le Big Data est déjà amplement utilisé par certains secteurs d activité, mais d autres commencent à s y intéresser, notamment la Recherche, la Police ou encore les Transports. Cette liste d utilisateurs risque de s agrandir fortement dans les années qui viennent De nombreux exemples de cas d usage Les possibles utilisations du Big Data sont nombreuses, pour vous donner une idée de ce qu il est possible de faire, nous présentons ici plusieurs exemples de cas d usage. Bien que le Big Data soit récent, de nombreuses entreprises l utilisent déjà à des fins diverses et variées. Voici quelques exemples de sociétés ayant mis en place ou proposant des solutions de Big Data : La police de New York utilise le Big Data afin de rassembler et d analyser rapidement toutes les données dont elle dispose. En effet, l outil développé conjointement avec Microsoft permet d utiliser diverses sources et bases de données, telles que les caméras de vidéosurveillance de la ville ou les lecteurs de plaques minéralogiques ; Page 9

14 Microstrategy propose via son application «Wisdom» la possibilité de regrouper les utilisateurs Facebook ayant acceptés d installer cette application. Ces regroupements permettent de personnaliser des offres de fidélisation, des campagnes de marketing ou des opérations de réduction en fonction des affinités des utilisateurs. En pratique, cette application permet de naviguer au travers de ces utilisateurs et de les filtrer selon divers critères tels que leurs caractéristiques, région, genre, niveau d étude, situation maritale, participation à un évènement. Principal intérêt : la connaissance de leur goût (culturel ou sectoriel) et de leur attirance pour d autres marques ; À nouveau dans le marketing, Pega propose un moteur prédictif en temps réel. Ce moteur permet d aligner les pratiques de vente sur le profil et le comportement unitaire de chaque client. Pour bâtir ses modèles, le système analytique croise un maximum d évènements liés au client : sa description objective (âge, localisation, etc.), l historique de ses transactions et de ses interactions avec les forces de vente. Outre le marketing, ce principe de recommandation automatisé pourra servir à la gestion de processus de Pegasystems, mais aussi dans la détection de fraude, le support client ou la détection d incidents ; Avec d autres objectifs, Tibco propose une solution pour effectuer des analyses de logs. Cette solution structure les logs, les agrège et en tire des corrélations afin, par exemple, de mesurer le taux de consultation d'une fiche produit. Elle permet également de faciliter l identification de menaces ou d anomalies et ainsi de lutter contre la fraude ; Picviz Labs a développé un outil nommé «Picviz Inspector». Cet outil permet d identifier des anomalies aussi bien que d analyser des données critiques à partir de logs. Ces logs, générés automatiquement, peuvent aussi bien provenir d applications, que de serveurs, de réseaux ou encore de divers appareils. Page 10

15 Ce ne sont que de brefs exemples d utilisation du Big Data, mais ceux-ci mettent en exergue la variété d utilisation qui en découle. De nouveaux outils exploitant les technologies du Big Data sont apparus et démontrent bien les nouveaux usages qui apparaissent, ainsi que les nouveaux concepts qui en émergent. 3.2 Un secteur qui intéresse du monde et des premiers déploiements Comme présenté précédemment, le Big Data est une technologie qui intéresse de nombreux secteurs d activité. Cependant, certaines entreprises comme Yahoo! et Google ont besoin, pour leur métier, de solutions très particulières afin de répondre à leurs besoins précis. Pour cette raison, ces entreprises ont développées leurs solutions de Big Data. Ces entreprises sont donc fournisseurs de solutions et simultanément utilisateurs de ces solutions. Elles sont des cas particuliers de sociétés à la fois utilisateur et fournisseur de Big Data. Le Big Data se retrouve dans beaucoup de secteurs, et nombreux sont les géants de l informatique à investir dans le phénomène. Les principaux utilisateurs, Google et Yahoo!, sont aussi ceux à l origine des technologies du Big Data et qui investissent dans son évolution. Afin de répondre à cette demande, de nombreux fournisseurs de technologie de Big Data sont apparus. Ces entreprises proposant des offres peuvent être divisées en deux groupes : Les grandes entreprises d informatique comme Microsoft ou IBM qui s ouvrent à ce nouveau marché afin de diversifier les secteurs dans l informatique qu ils couvrent ; Page 11

16 En plus de ces entreprises, d autre sociétés sont spécialisées dans ce domaine du Big Data et en ont fait leur métier tel que Microstrategy, Hurence ou TeraData. Mais de nombreuses autres entreprises utilisent des solutions de Big Data proposées par d autres sociétés. Parmi elles, on retrouve différents secteurs d activité tels que : les télécoms : SFR ; les réseaux sociaux : Facebook ; des sociétés de services : Amazon Web Services ; des sociétés d analyses : HPCC Systems, 1010 Data, Quantivo, Opera solutions Page 12

17 3.3 Les solutions et technologies existantes Arrêtons-nous un instant et revenons aux origines des technologies emblématiques du Big Data aujourd hui. Hadoop et NoSQL sont des technologies phares de l univers Big Data et, actuellement, il est impossible de passer à côté d eux lorsque l on sillonne les myriades de solutions et technologies mises à notre disposition Hadoop : une histoire vieille de dix ans Depuis un an, l engouement du marché pour le Big Data se manifeste principalement sur une de ses composantes : l analyse de données. Le phénomène résulte clairement de la montée en puissance d Hadoop, un Framework open source réputé pour sa puissance d indexation, de transformation, de recherche ou d élaboration de modèles sur de très gros volumes de données. Une des raisons pour lesquelles Hadoop concentre tant l attention de l industrie tient à la légitimité qu il a acquise tout au long de cette décennie. Le succès de Google lui est en partie imputable. En 2001, alors qu il n'en est encore qu'à ses balbutiements sur le marché des moteurs de recherche, le futur géant développe ce qui inspira les composants phares d'hadoop : MapReduce, Google BigTable et Google BigFiles (futur Google File System). En 2004, le fondateur du moteur de recherche open source Lucene, Doug Cutting, qui travaille sur une méthode relativement économique pour indexer en masse des pages web, s empare des publications de Google et créé le premier prototype d Hadoop. En 2006, Yahoo!, l'autre géant du web, embauche Doug Cutting et se lance dans la promotion active de la technologie et de son écosystème. Page 13

18 En 2011, Yahoo! crée Hortonworks, sa filiale dédiée à Hadoop. L'entreprise se concentre sur le développement et le support d'apache Hadoop. De la même manière, Cloudera, créé au début de l'année 2009, se place comme l'un des plus gros contributeurs au projet Hadoop, au côté de MapR (2009) et Hortonworks. Hadoop consiste en deux points : Hadoop MapReduce et Hadoop Distributed File System. Ces deux points forment l écosystème Hadoop, écosystème fortement convoité et qui se trouve au centre de l univers du Big Data. Initialement pensé comme un clone du MapReduce de Google, Hadoop est : évolutif, car pensé pour utiliser plus de ressources physiques, selon les besoins, et de manière transparente ; rentable, car il optimise les coûts via une meilleure utilisation des ressources présentes ; souple, car il répond à la caractéristique de variété des données en étant capable de traiter différents types de données ; et enfin, résilient, car pensé pour ne pas perdre d'information et être capable de poursuivre le traitement si un nœud du système tombe en panne. Nous allons détailler le fonctionnement des deux technologies phares de Hadoop : HDFS et Map/Reduce car les technologies sont très liées aux concepts développés dans ces deux produits. Page 14

19 Hadoop Distributed File System (HDFS) HDFS permet de distribuer le stockage des données et de faire des analyses très performantes sur ces données grâce au modèle MapReduce permettant de distribuer une opération sur plusieurs nœuds dans le but de paralléliser leur exécution. HDFS est un système de fichiers virtuel qui se décompose en un namenode, le maître, et plusieurs datanodes, les nœuds de données. Les nœuds de données regroupent les blocs de données en les répliquant : ci-dessous, les blocs sont tous répliqués trois fois. Le maître, quant à lui, va orchestrer les données, et contient les informations concernant l'emplacement des différentes répliques. Le secondary namenode sert à effectuer des checkpoints réguliers du namenode, afin de les réutiliser en cas de problème. Ci-dessous, un schéma expliquant les différents nœuds du HDFS : Page 15

20 C est un système de fichiers distribué où les blocs d information sont répartis et répliqués sur les différents nœuds du cluster (regroupement de plusieurs serveurs indépendants). L'algorithme de Map/Reduce Le MapReduce est une technique qui décompose le traitement d'une opération (appelée «job» chez Hadoop) en plusieurs étapes, dont deux élémentaires, afin de faciliter la parallélisation des traitements sur les données. Le «Mapping» Cette étape accomplit une opération spécifique sur chaque élément de la liste en entrée ; à partir d'une liste sous la forme <clé, valeur>, il génère une liste en sortie sous la même forme : Le «Reducing» L'opération qui se situe entre le Mapping et le Reducing est appelée le Shuffling, et réarrange les éléments de la liste afin de préparer le Reducing. Le traitement voulu est alors effectué, donnant la sortie finale suivante : Page 16

21 3.3.2 NoSQL ou les bases de données non relationnelles Le terme NoSQL désigne une catégorie de systèmes de gestion de base de données destinés à manipuler des bases de données volumineuses pour des sites de grande audience. Apparu pour la première fois en 1998, NoSQL (Not Only SQL) est un terme générique pour désigner les bases de données ne suivant pas les principes classiques des SGBD relationnels. L idée sous-jacente du mouvement NoSQL est d avoir des bases plus adaptées au besoin réel de l application plutôt que d utiliser systématiquement une base relationnelle. L'offre se développe de façon exponentielle au printemps 2009 avec le Cloud Computing et le Web 2.0, mais pas seulement. Le meetup NoSQL de San Francisco, le 11 juin 2009, a été particulièrement important pour le développement de cette tendance. Pas moins de 100 développeurs de logiciels ont assisté à des présentations de solutions telles que : Project Voldemort (LinkedIn) ; Cassandra Project (Facebook) ; HBase (Facebook) ; Page 17

22 Dynomite (basé sur Dynamo d'amazon) ; CouchDB (Ubuntu One) ; ou encore, MongoDB (SourceForge.net). Très souvent, les bases de données NoSQL sont catégorisées selon la manière dont elles stockent les données. On retrouve ainsi des catégories comme les bases orientées clévaleur, colonne, document ou encore les bases structurant les données en s appuyant sur la théorie des graphes. D autres catégories existent et beaucoup de sous-catégories peuvent être répertoriées ou citées ici et là, mais intéressons-nous aussi à la taille que prennent les données dans ces bases et à la complexité de mise en place et d exploitation de celles-ci. Emil Eifrem, PDG de Neo Technology, société qui développe la solution Java, Neo4j (the graph database), classe ces catégories selon ces deux critères : Page 18

23 Il y a peu encore, les développeurs web ont commencé à utiliser le système de cache mémoire pour stocker de manière temporaire des données en RAM, pour que les données fréquemment utilisées soient plus rapide à ressortir. Cette méthode nécessitait d'écrire tous les accès à la base de donnée en usant du paradigme Clé-Valeur. Avec le temps et l'expérience, les développeurs ont commencé à s'essayer à des bases de données utilisant cette méthode de stockage en mémoire et en dur. Il s'agit d'un des exemples rares de suppression d'une couche d'abstraction, l'interface clé-valeur étant moins expressive et plus bas niveau que les requêtes SQL. De tels systèmes requièrent plus de travail pour le développeur pour plus de flexibilité et de contrôle sur l'utilisation de la base de données. Les bases de données «graphes» ont été pensées selon une approche complètement différente. Elles répondent à un problème de modélisation des données selon les méthodes classiques de bases de données relationnelles. De manière assez ironique, ces dernières éprouvent de grandes difficultés à traiter les relations entre nœuds (création de table jointe à foison, requête obscure et complexe, etc.). Là où une base de données «graphe» est pensée pour représenter ce type d'information et les traiter. Hadoop et NoSQL ont été précurseur dans les concepts qui forment le Big Data, mais beaucoup d autres technologies ont vu le jour par la suite. Ces technologies exploitent de nouvelles idées ou explorent plus encore, des concepts déjà connus. Elles sont le signe d un nouveau marché qui s est ouvert et continu à s ouvrir. Page 19

24 3.3.3 De nombreuses technologies émergentes Il y a eu une quantité phénoménale d innovations dans les outils de traitements de la donnée au cours des dernières années, notamment grâce à certaines tendances clés : apprendre à partir du monde web, étendre les recherches en informatique à d autres problèmes et évidemment, les avancées technologiques qui rendent le matériel meilleur marché. Ces tendances ont mené à une explosion des nouveaux outils. Nous sommes donc aujourd hui confrontés à de très nombreuses technologies émergentes qui définissent «l univers Big Data». Ces innovations ont aidé à concevoir des outils basés : Sur les bases de données NoSQL, avec des solutions qui gagnent chaque jour en fonctionnalités et en performance sur des points critiques. On peut citer MongoDB (document), CouchDB (document), Cassandra (clévaleur), Redis (structure de données complexe), BigTable (structure particulière), HBase (structure proche de BigTable), Hypertable (structure proche de BigTable), Voldemort (clé-valeur), Riak (clé-valeur) et ZooKeeper (clé-valeur). Sur l'approche MapReduce, avec des solutions comme Hadoop et de nombreuses autres qui tendent à s'y greffer et à l'améliorer. On peut citer Hive, Pig, Cascading, Cascalog, mrjob, Caffeine, S4, MapR, Acunu, Flume, Kafka, Azkaban, Oozie et Greenplum. Sur les processus de stockage, avec des solutions prenant en compte les différences dues aux traitements des données à grande échelle, traitements que les systèmes de fichiers traditionnels ne peuvent gérer. On peut citer S3 d'amazon, mais aussi et surtout, HDFS. Sur les ressources de calcul, avec des solutions Cloud (SaaS) innovantes et flexibles dans leur utilisation et leur exploitation. Page 20

25 On peut citer EC2, Google App Engine, Elastic Beanstalk et Heroku. Sur la restitution visuelle de l'information, avec des solutions visant à fournir de la meilleure manière possible, les résultats de traitement. Cette approche visuelle permet de discerner des informations parfois bien plus simplement et de manière plus utile que de simples valeurs brutes. On peut citer Gephi, GraphViz, Processing, Protovis, Fusion Tables et Tableau. Sur l'acquisition de données, avec des solutions visant à pallier au manque de structure, au bruit et à la complexité initialement présente à la récupération des données. On peut citer Google Refine, Needlebase et ScraperWiki. Sur la sérialisation des données, afin d'acheminer la donnée d'un point de traitement à un autre tout en restant capable de la conserver. On peut citer JSON, BSON, Thrift, Avro et Protocol Buffers Les systèmes distribués et leurs problématiques Les systèmes distribués étaient bien connus avant l apparition du Big Data et leurs problématiques sont aujourd hui bien maitrisées. Parmi les problèmes à résoudre, on peut citer la gestion d un grand parc de machines et les problèmes d intégrité des données lorsque l on utilise ce parc pour du stockage. L intégrité des données est nécessaire aux entreprises stockant des données importantes sur un cluster de sauvegarde, par exemple sur HDFS. Il est alors primordial de pouvoir assurer l intégrité des données à travers des dizaines, centaines, voire milliers de machines différentes, stockant plusieurs copies d une même donnée. Page 21

26 Les systèmes de gestion d intégrité des solutions semblent assez matures et des exemples basés sur HDFS nous ont poussé à ne pas développer ce risque dans l analyse de risques (partie 4), car l intégrité y est préservée activement avec des vérifications de somme de contrôle bien plus fréquentes que sur du stockage sur disques durs. On trouve ainsi des infrastructures avec % 1 d intégrité conservée, comptabilisant environ pétaoctets. Le risque de perte d intégrité avec ce niveau d intégrité est alors extrêmement faible. 3.4 Comment approcher le Big Data côté métier Nous avons défini ce qui se cache derrière le terme Big Data, vu ce que l on pouvait en faire et vu les technologies sur lesquels il est construit. Maintenant, nous allons prendre un point de vue plus métier du Big Data, comment il faut l aborder avant même d envisager de l intégrer à l activité de l entreprise. Pour les métiers (directions opérationnelles), le Big Data répond à des enjeux majeurs : accroître la capacité à supporter sa propre activité, gagner en productivité, mais surtout innover par rapport à la concurrence. Tout cela en s appuyant sur l ensemble des données brutes utiles, de l entreprise ou publiques, et en exploitant pleinement celles-ci. Avant de songer au Big Data, les métiers doivent se poser les bonnes questions afin de déterminer si le Big Data représente une opportunité et s ils ont les moyens de la saisir : De quelles informations avons-nous besoin pour innover et être compétitif? 1 19 blocs de 64 Mo en erreurs sur 329 millions (Source : ) Page 22

27 o Multiplier les sources des informations n est plus un problème, mais il faut identifier les opportunités business que cela peut ouvrir. o Ne pas hésiter à s inspirer des initiatives innovantes du marché. Quels sont les données sous- et inexploitées à notre disposition? o Il est important de connaître les sources de données de l entreprises, ces sources ont potentiellement de la valeur. Il faut se concentrer sur les données pertinentes au risque de devoir sur-dimensionner son infrastructure (voir analyse de risque : ). o Il faut savoir interpréter les données brutes. Sommes-nous prêts à «extraire» l information utile de nos données? o Analyser les données requiert des compétences rares, il peut être nécessaire de recruter des Data Analyst. o Cadrer les transformations organisationnelles, éthiques et légales associées. Sommes-nous capable de gérer les nouveaux risques de sécurité? o Les impacts autour de la donnée augmentent, la sécurité autour peut avoir besoin d être augmenté. o L utilisation de Cloud peut être une solution autant qu un problème à la sécurité. Le premier risque du Big Data est sûrement de ne pas bien l utiliser, si les opportunités business que le Big Data peut apporter ne sont pas claires ou si les compétences nécessaires pour les atteindre ne sont pas acquises alors il ne vaut mieux pas se lancer dans un projet Big Data. Ces questions permettent à l entreprise de déterminer si elle est prête à tirer des avantages business du Big Data. Mais ces avantages doivent être relativisés avec les risques que le Big Data apporte, pour le RSSI une analyse de risque s impose. Page 23

28 4 Analyse de risques 4.1 Méthodologie Avec le Big Data et ses nouvelles technologies, ses nouveaux concepts, ses nouvelles idées et envies, de nombreuses problématiques sont soulevées au niveau de la sécurité des infrastructures à mettre en place et des processus organisationnels qui les entourent. Notre démarche d analyse des risques apportés par le Big Data passe par une analyse différentielle entre le Big Data et les technologies dites classiques de collecte et d analyse de données. Nous allons alors explorer les risques apportés en termes de nonconformité légale, de perte de disponibilité, de non confidentialité, de perte d intégrité, des risques opérationnels et les risques liés aux différents modes d intégration. Nous n aborderons pas les risques présents dans les solutions classiques et qui ne sont pas exacerbés ou changés par l utilisation du Big Data. Qui accède à mes données? Qu en est-il de sa disponibilité? Quels risques portent sur l intégrité de mes données dans les systèmes distribués? Comment contrôler ces données pour rester maître de son SI? Sommes-nous prêt à accueillir le Big Data sans danger? Nous allons étudier toutes ces questions à travers l analyse de risques qui suit, en partant de l analyse de la chaîne de traitement des données et en dégageant les risques associés : Page 24

29 4.2 Légende Complexité Réduction de risques Faible Moyenne Forte Page 25

Big Data. SRS Day 2012. Ali FAWAZ Etienne CAPGRAS. Membres du groupe : Coaché par :

Big Data. SRS Day 2012. Ali FAWAZ Etienne CAPGRAS. Membres du groupe : Coaché par : Big Data SRS Day 2012 Membres du groupe : Mickaël CORINUS Thomas DEREY Jérémie MARGUERIE William TÉCHER Nicolas VIC Coaché par : Ali FAWAZ Etienne CAPGRAS 1 Sommaire 1 2 Présentation du Big Data État des

Plus en détail

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data.

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data. Big Data De la stratégie à la mise en oeuvre Description : La formation a pour objet de brosser sans concession le tableau du Big Data. Les participants repartiront de cette formation en ayant une vision

Plus en détail

Introduction Big Data

Introduction Big Data Introduction Big Data SOMMAIRE Rédacteurs : Réf.: SH. Lazare / F. Barthélemy AXIO_BD_V1 QU'EST-CE QUE LE BIG DATA? ENJEUX TECHNOLOGIQUES ENJEUX STRATÉGIQUES BIG DATA ET RH ANNEXE Ce document constitue

Plus en détail

Programmation parallèle et distribuée (Master 1 Info 2015-2016)

Programmation parallèle et distribuée (Master 1 Info 2015-2016) Programmation parallèle et distribuée (Master 1 Info 2015-2016) Hadoop MapReduce et HDFS Note bibliographique : ce cours est largement inspiré par le cours de Benjamin Renaut (Tokidev SAS) Introduction

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Cloud et scalabilité Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire

Plus en détail

avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data

avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data Historique de Big data Jusqu à l avènement d Internet et surtout du Web 2.0 il n y avait pas tant de données

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution

Plus en détail

Cartographie des solutions BigData

Cartographie des solutions BigData Cartographie des solutions BigData Panorama du marché et prospective 1 1 Solutions BigData Défi(s) pour les fournisseurs Quel marché Architectures Acteurs commerciaux Solutions alternatives 2 2 Quels Défis?

Plus en détail

BIG DATA. Veille technologique. Malek Hamouda Nina Lachia Léo Valette. Commanditaire : Thomas Milon. Encadré: Philippe Vismara

BIG DATA. Veille technologique. Malek Hamouda Nina Lachia Léo Valette. Commanditaire : Thomas Milon. Encadré: Philippe Vismara BIG DATA Veille technologique Malek Hamouda Nina Lachia Léo Valette Commanditaire : Thomas Milon Encadré: Philippe Vismara 1 2 Introduction Historique des bases de données : méthodes de stockage et d analyse

Plus en détail

Fouillez facilement dans votre système Big Data. Olivier TAVARD

Fouillez facilement dans votre système Big Data. Olivier TAVARD Fouillez facilement dans votre système Big Data Olivier TAVARD A propos de moi : Cofondateur de la société France Labs Développeur (principalement Java) Formateur en technologies de moteurs de recherche

Plus en détail

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages 1 Mehdi LOUIZI Plan Pourquoi Hadoop? Présentation et Architecture Démo Usages 2 Pourquoi Hadoop? Limites du Big Data Les entreprises n analysent que 12% des données qu elles possèdent (Enquête Forrester

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2014) Marc Parizeau, Département de génie électrique et de génie informatique Plan Mégadonnées («big data») Architecture Hadoop distribution

Plus en détail

Ecole des Hautes Etudes Commerciales HEC Alger. par Amina GACEM. Module Informatique 1ière Année Master Sciences Commerciales

Ecole des Hautes Etudes Commerciales HEC Alger. par Amina GACEM. Module Informatique 1ière Année Master Sciences Commerciales Ecole des Hautes Etudes Commerciales HEC Alger Évolution des SGBDs par Amina GACEM Module Informatique 1ière Année Master Sciences Commerciales Evolution des SGBDs Pour toute remarque, question, commentaire

Plus en détail

Groupe de Discussion Big Data Aperçu des technologies et applications. Stéphane MOUTON stephane.mouton@cetic.be

Groupe de Discussion Big Data Aperçu des technologies et applications. Stéphane MOUTON stephane.mouton@cetic.be Groupe de Discussion Big Data Aperçu des technologies et applications Stéphane MOUTON stephane.mouton@cetic.be Recherche appliquée et transfert technologique q Agréé «Centre Collectif de Recherche» par

Plus en détail

Quels choix de base de données pour vos projets Big Data?

Quels choix de base de données pour vos projets Big Data? Quels choix de base de données pour vos projets Big Data? Big Data? Le terme "big data" est très à la mode et naturellement un terme si générique est galvaudé. Beaucoup de promesses sont faites, et l'enthousiasme

Plus en détail

Nos Solutions PME VIPDev sont les Atouts Business de votre entreprise.

Nos Solutions PME VIPDev sont les Atouts Business de votre entreprise. Solutions PME VIPDev Nos Solutions PME VIPDev sont les Atouts Business de votre entreprise. Cette offre est basée sur la mise à disposition de l ensemble de nos compétences techniques et créatives au service

Plus en détail

Généralités sur les bases de données

Généralités sur les bases de données Généralités sur les bases de données Qu est-ce donc qu une base de données? Que peut-on attendre d un système de gestion de bases de données? Que peut-on faire avec une base de données? 1 Des données?

Plus en détail

Livre. blanc. Solution Hadoop d entreprise d EMC. Stockage NAS scale-out Isilon et Greenplum HD. Février 2012

Livre. blanc. Solution Hadoop d entreprise d EMC. Stockage NAS scale-out Isilon et Greenplum HD. Février 2012 Livre blanc Solution Hadoop d entreprise d EMC Stockage NAS scale-out Isilon et Greenplum HD Par Julie Lockner et Terri McClure, Analystes seniors Février 2012 Ce livre blanc d ESG, qui a été commandé

Plus en détail

NoSQL : en Quête de Performances Extrêmes

NoSQL : en Quête de Performances Extrêmes NoSQL : en Quête de Performances Extrêmes Alors que l audience du web croît sans cesse, les applications Internet à succès ont été confrontées aux mêmes problèmes de base de données : si les serveurs web

Plus en détail

AXIAD Conseil pour décider en toute intelligence

AXIAD Conseil pour décider en toute intelligence AXIAD Conseil pour décider en toute intelligence Gestion de la Performance, Business Intelligence, Big Data Domaine d expertise «Business Intelligence» Un accompagnement adapté à votre métier dans toutes

Plus en détail

Logiciel d analyse du monde des objets connectés intelligents

Logiciel d analyse du monde des objets connectés intelligents Logiciel d analyse du monde des objets connectés intelligents Le défi : Transformer les données en intelligence décisionnelle Le logiciel SkySpark analyse automatiquement les données issues des équipements

Plus en détail

Repenser le SI à l'ère du numérique : apports des solutions de big data, cloud computing et confiance numérique

Repenser le SI à l'ère du numérique : apports des solutions de big data, cloud computing et confiance numérique Repenser le SI à l'ère du numérique : apports des solutions de big data, cloud computing et confiance numérique Extraits d analyses publiées par MARKESS International Emmanuelle Olivié-Paul epaul@markess.com

Plus en détail

Les activités de recherche sont associées à des voies technologiques et à des opportunités concrètes sur le court, moyen et long terme.

Les activités de recherche sont associées à des voies technologiques et à des opportunités concrètes sur le court, moyen et long terme. Mémoires 2010-2011 www.euranova.eu EURANOVA R&D Euranova est une société Belge constituée depuis le 1er Septembre 2008. Sa vision est simple : «Être un incubateur technologique focalisé sur l utilisation

Plus en détail

Vision prospective et obstacles à surmonter pour les assureurs

Vision prospective et obstacles à surmonter pour les assureurs smart solutions for smart leaders Le «Big Data» assurément Rédigé par Pascal STERN Architecte d Entreprise Vision prospective et obstacles à surmonter pour les assureurs Un avis rendu par la cour de justice

Plus en détail

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL AVRIL 2014 Panorama des solutions NoSQL QUI SOMMES NOUS? Avril 2014 2 SMILE, EN QUELQUES CHIFFRES 1er INTÉGRATEUR EUROPÉEN DE SOLUTIONS OPEN SOURCE 3 4 NOS EXPERTISES ET NOS CONVICTIONS DANS NOS LIVRES

Plus en détail

Big Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1

Big Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1 Big Data Cyril Amsellem Consultant avant-vente 16 juin 2011 Talend 2010 1 Big Data Architecture globale Hadoop Les projets Hadoop (partie 1) Hadoop-Core : projet principal. HDFS : système de fichiers distribués

Plus en détail

INTERSYSTEMS CACHÉ COMME ALTERNATIVE AUX BASES DE DONNÉES RÉSIDENTES EN MÉMOIRE

INTERSYSTEMS CACHÉ COMME ALTERNATIVE AUX BASES DE DONNÉES RÉSIDENTES EN MÉMOIRE I N T E RS Y S T E M S INTERSYSTEMS CACHÉ COMME ALTERNATIVE AUX BASES DE DONNÉES RÉSIDENTES EN MÉMOIRE David Kaaret InterSystems Corporation INTERSySTEMS CAChé CoMME ALTERNATIvE AUx BASES de données RéSIdENTES

Plus en détail

Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web

Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web Responsable du stage : Nabil Belcaid Le Guyader Chef de projet : Ali Belcaid Déroulement du stage

Plus en détail

Guide pratique des solutions d automatisation des processus métier Avril 2014

Guide pratique des solutions d automatisation des processus métier Avril 2014 Guide pratique des solutions d automatisation des processus métier Avril 2014 Kemsley Design Limited Kemsley Design Limited www.kemsleydesign.com www.column2.com www.kemsleydesign.com www.column2.com Présentation

Plus en détail

Article 2 : Conseils et meilleures pratiques pour gérer un cloud privé

Article 2 : Conseils et meilleures pratiques pour gérer un cloud privé Article 2 : Conseils et meilleures pratiques pour gérer un cloud privé Sponsored by Mentions relatives aux droits d'auteur 2011 Realtime Publishers. Tous droits réservés. Ce site contient des supports

Plus en détail

La télésauvegarde est-elle la solution pour réduire les risques quotidiens de la sauvegarde?

La télésauvegarde est-elle la solution pour réduire les risques quotidiens de la sauvegarde? La télésauvegarde est-elle la solution pour réduire les risques quotidiens de la sauvegarde? SOMMAIRE Introduction I. Les risques encourus avec un système de sauvegarde traditionnelle II. Les attentes

Plus en détail

NoSQL. Introduction 1/23. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur)

NoSQL. Introduction 1/23. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur) 1/23 2/23 Anne-Cécile Caron Master MIAGE - BDA 1er trimestre 2013-2014 I : Not Only SQL, ce n est pas du relationnel, et le contexte d utilisation n est donc pas celui des SGBDR. I Origine : recherche

Plus en détail

PANORAMA DES MENACES ET RISQUES POUR LE SI

PANORAMA DES MENACES ET RISQUES POUR LE SI PANORAMA DES MENACES ET RISQUES POUR LE SI LEXSI > CNIS EVENT CNIS EVENT 05/11/2013 SOMMAIRE Big Data Cloud Computing Virtualisation 2 BIG DATA Définition Chaque jour, 2,5 trillions d octets de données

Plus en détail

CONNECTIVITÉ. Options de connectivité de Microsoft Dynamics AX. Microsoft Dynamics AX. Livre blanc

CONNECTIVITÉ. Options de connectivité de Microsoft Dynamics AX. Microsoft Dynamics AX. Livre blanc CONNECTIVITÉ Microsoft Dynamics AX Options de connectivité de Microsoft Dynamics AX Livre blanc Ce document décrit les possibilités offertes par Microsoft Dynamics AX en terme de connectivité et de montée

Plus en détail

Big Data. Concept et perspectives : la réalité derrière le "buzz"

Big Data. Concept et perspectives : la réalité derrière le buzz Big Data Concept et perspectives : la réalité derrière le "buzz" 2012 Agenda Concept & Perspectives Technologies & Acteurs 2 Pierre Audoin Consultants (PAC) Pierre Audoin Consultants (PAC) est une société

Plus en détail

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -"Big Data par l'exemple" -Julien DULOUT

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -Big Data par l'exemple -Julien DULOUT 20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013 20 ans du SIAD -"BigData par l'exemple" -Julien DULOUT Qui a déjà entendu parler du phénomène BigData? Qui a déjà

Plus en détail

PLATEFORME MÉTIER DÉDIÉE À LA PERFORMANCE DES INSTALLATIONS DE PRODUCTION

PLATEFORME MÉTIER DÉDIÉE À LA PERFORMANCE DES INSTALLATIONS DE PRODUCTION PLATEFORME MÉTIER DÉDIÉE À LA PERFORMANCE DES INSTALLATIONS DE PRODUCTION KEOPS Automation Espace Performance 2B, rue du Professeur Jean Rouxel BP 30747 44481 CARQUEFOU Cedex Tel. +33 (0)2 28 232 555 -

Plus en détail

5 novembre 2013. Cloud, Big Data et sécurité Conseils et solutions

5 novembre 2013. Cloud, Big Data et sécurité Conseils et solutions 5 novembre 2013 Cloud, Big Data et sécurité Conseils et solutions Agenda 1. Enjeux sécurité du Cloud et du Big Data 2. Accompagner les projets 3. Quelques solutions innovantes 4. Quelle posture pour les

Plus en détail

Tableau Online Sécurité dans le cloud

Tableau Online Sécurité dans le cloud Tableau Online Sécurité dans le cloud Auteur : Ellie Fields Ellie Fields, directrice principale du marketing produits, Tableau Software Juin 2013 p.2 Tableau est conscient que les données font partie des

Plus en détail

Big Data Concepts et mise en oeuvre de Hadoop

Big Data Concepts et mise en oeuvre de Hadoop Introduction 1. Objectif du chapitre 9 2. Le Big Data 10 2.1 Introduction 10 2.2 Informatique connectée, objets "intelligents" et données collectées 11 2.3 Les unités de mesure dans le monde Big Data 12

Plus en détail

Introduction aux bases de données NoSQL

Introduction aux bases de données NoSQL Introduction aux bases de données NoSQL Khaled Tannir ets@khaledtannir.net Montréal - 23 Juillet 2015 Qui suis-je? Khaled TANNIR Big Data Architect Lead 20 ans d expérience ets@khaledtannir.net @khaled_tannir

Plus en détail

IBM Tivoli Storage Manager

IBM Tivoli Storage Manager Maintenir la continuité des affaires grâce à une gestion efficace et performante du stockage IBM Tivoli Storage Manager POINTS FORTS Accroît la continuité des affaires en réduisant les temps de sauvegarde

Plus en détail

Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr

Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr Déploiement d une architecture Hadoop pour analyse de flux françois-xavier.andreu@renater.fr 1 plan Introduction Hadoop Présentation Architecture d un cluster HDFS & MapReduce L architecture déployée Les

Plus en détail

Découverte et investigation des menaces avancées PRÉSENTATION

Découverte et investigation des menaces avancées PRÉSENTATION Découverte et investigation des menaces avancées PRÉSENTATION AVANTAGES CLÉS RSA Security Analytics offre les avantages suivants : Surveillance de la sécurité Investigation des incidents Reporting sur

Plus en détail

ELASTICSEARCH MAINTENANT EN VERSION 1.4

ELASTICSEARCH MAINTENANT EN VERSION 1.4 ELASTICSEARCH MAINTENANT EN VERSION 1.4 firm1 29 octobre 2015 Table des matières 1 Introduction 5 2 Les principaux atouts 7 2.1 Moteur de recherche vs Moteur d indexation.................... 7 2.2 Du

Plus en détail

L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13

L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13 L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com HUG France 250 membres sur la mailing liste 30 présentations 9 meetups organisés, de 20 à 100 invités Présence de Cloudera, MapR, Hortonworks,

Plus en détail

Pentaho Business Analytics Intégrer > Explorer > Prévoir

Pentaho Business Analytics Intégrer > Explorer > Prévoir Pentaho Business Analytics Intégrer > Explorer > Prévoir Pentaho lie étroitement intégration de données et analytique. En effet, les services informatiques et les utilisateurs métiers peuvent accéder aux

Plus en détail

Atteindre la flexibilité métier grâce au data center agile

Atteindre la flexibilité métier grâce au data center agile Atteindre la flexibilité métier grâce au data center agile Aperçu : Permettre l agilité du data-center La flexibilité métier est votre objectif primordial Dans le monde d aujourd hui, les clients attendent

Plus en détail

Nos offres de stages pour 2013

Nos offres de stages pour 2013 Nos offres de stages pour 2013 Les sujets de stage que nous vous proposons sont des projets à très forte valeur ajoutée, mêlant recherche amont, algorithmique et implémentation. Ils touchent à des domaines

Plus en détail

FAITES DE LA DONNÉE LE MOTEUR DE VOTRE BUSINESS. Alexandre Vasseur Responsable Avant-Vente Europe du Sud Pivotal, EMC

FAITES DE LA DONNÉE LE MOTEUR DE VOTRE BUSINESS. Alexandre Vasseur Responsable Avant-Vente Europe du Sud Pivotal, EMC FAITES DE LA DONNÉE LE MOTEUR DE VOTRE BUSINESS Alexandre Vasseur Responsable Avant-Vente Europe du Sud Pivotal, EMC 1 Big Data = Volume, Variété, Vélocité et Valorisation Internet des objets Informations

Plus en détail

DÉPLOIEMENT DE QLIKVIEW POUR DES ANALYSES BIG DATA CHEZ KING.COM

DÉPLOIEMENT DE QLIKVIEW POUR DES ANALYSES BIG DATA CHEZ KING.COM DÉPLOIEMENT DE QLIKVIEW POUR DES ANALYSES BIG DATA CHEZ KING.COM Étude de cas technique QlikView : Big Data Juin 2012 qlikview.com Introduction La présente étude de cas technique QlikView se consacre au

Plus en détail

IBM Software Big Data. Plateforme IBM Big Data

IBM Software Big Data. Plateforme IBM Big Data IBM Software Big Data 2 Points clés Aide les utilisateurs à explorer de grands volumes de données complexes Permet de rationaliser le processus de développement d'applications impliquant de grands volumes

Plus en détail

Présentation du module Base de données spatio-temporelles

Présentation du module Base de données spatio-temporelles Présentation du module Base de données spatio-temporelles S. Lèbre slebre@unistra.fr Université de Strasbourg, département d informatique. Partie 1 : Notion de bases de données (12,5h ) Enjeux et principes

Plus en détail

FICHE CONCEPT 01 ETL (EXTRACT TRANSFORM & LOAD)

FICHE CONCEPT 01 ETL (EXTRACT TRANSFORM & LOAD) FICHE CONCEPT 01 ETL (EXTRACT TRANSFORM & LOAD) BIEN GERER SES REFERENTIELS DE DONNEES : UN ENJEU POUR MIEUX PILOTER LA PERFORMANCE DE SON ETABLISSEMENT octobre 2008 GMSIH 44, Rue de Cambronne 75015 Paris.

Plus en détail

10 conseils infaillibles pour garantir la sécurité de votre activité. your

10 conseils infaillibles pour garantir la sécurité de votre activité. your 10 conseils infaillibles pour garantir la sécurité de votre activité on en keep top your 10 conseils infaillibles pour garantir la sécurité de votre activité Avec l évolution et le développement constant

Plus en détail

La dernière base de données de Teradata franchit le cap du big data grâce à sa technologie avancée

La dernière base de données de Teradata franchit le cap du big data grâce à sa technologie avancée Communiqué de presse Charles-Yves Baudet Twitter: Les clients de Teradata Teradata Corporation peuvent dan.conway@teradata.com tirer parti de plusieurs + 33 1 64 86 76 14 + 33 (0) 1 55 21 01 48/49 systèmes,

Plus en détail

Solutions de surveillance OMICRON

Solutions de surveillance OMICRON Solutions de surveillance OMICRON Surveillance des décharges partielles sur les équipements haute tension M/G Allongement de la durée de vie des équipements haute tension Pourquoi assurer une surveillance?

Plus en détail

TOP. année promet d être BIG (Business Intelligence Growth) PRINCIPALES TENDANCES EN MATIÈRE DE SOLUTIONS DÉCISIONNELLES POUR 2013

TOP. année promet d être BIG (Business Intelligence Growth) PRINCIPALES TENDANCES EN MATIÈRE DE SOLUTIONS DÉCISIONNELLES POUR 2013 0 Cette TOP 10 PRINCIPALES TENDANCES EN MATIÈRE DE SOLUTIONS DÉCISIONNELLES POUR 2013 année promet d être BIG (Business Intelligence Growth) Quel est le bilan de l année 2012 en matière de solutions décisionnelles?

Plus en détail

www.netexplorer.fr contact@netexplorer.fr

www.netexplorer.fr contact@netexplorer.fr www.netexplorer.fr 05 61 61 20 10 contact@netexplorer.fr Sommaire Sécurité applicative... 3 Authentification... 3 Chiffrement... 4 Traçabilité... 4 Audits... 5 Sécurité infrastructure... 6 Datacenters...

Plus en détail

NoSQL Faut-il franchir le pas?

NoSQL Faut-il franchir le pas? NoSQL Faut-il franchir le pas? Guillaume HARRY Journées rbdd Octobre 2015 Sommaire 1. Evolution des bases de données 2. Le mouvement NoSQL 3. Les grandes familles du NoSQL 4. Aller ou non vers le NoSQL?

Plus en détail

Nacira Salvan. Responsable Pôle Architecture Sécurité Direction Infrastructure IT SAFRAN. CRiP Thématique Sécurité de l informatique de demain

Nacira Salvan. Responsable Pôle Architecture Sécurité Direction Infrastructure IT SAFRAN. CRiP Thématique Sécurité de l informatique de demain Nacira Salvan Responsable Pôle Architecture Sécurité Direction Infrastructure IT SAFRAN Nacira.salvan@safran.fr CRiP Thématique Sécurité de l informatique de demain 03/12/14 Agenda Quelques définitions

Plus en détail

Partie I Organisations, management et systèmes d information... 1

Partie I Organisations, management et systèmes d information... 1 Liste des cas d entreprise............................................................ Liste des figures..................................................................... Liste des tableaux...................................................................

Plus en détail

La société. Service professionnel, flexible et sécurisé. Notre positionnement : une sécurité assurée et une offre sur-mesure

La société. Service professionnel, flexible et sécurisé. Notre positionnement : une sécurité assurée et une offre sur-mesure La société Service professionnel, flexible et sécurisé NetExplorer accompagne de nombreux clients au travers d une solution SaaS clé en main développée en interne depuis 2007. NetExplorer est devenu le

Plus en détail

Big Data : une complexité réduite pour un retour sur investissement plus rapide

Big Data : une complexité réduite pour un retour sur investissement plus rapide Big Data : une complexité réduite pour un retour sur investissement plus rapide Copyright 2013 Pentaho Corporation. Redistribution autorisée. Toutes les marques commerciales sont déposées par leur propriétaire

Plus en détail

Pour les entreprises de taille moyenne. Descriptif Produit Oracle Oracle Business Intelligence Standard Edition One

Pour les entreprises de taille moyenne. Descriptif Produit Oracle Oracle Business Intelligence Standard Edition One Pour les entreprises de taille moyenne Descriptif Produit Oracle Edition One POURQUOI VOTRE ENTREPRISE A BESOIN D UNE SOLUTION DE BUSINESS INTELLIGENCE (BI) Des quantités toujours plus importantes de données

Plus en détail

CP - NBS System. La sécurité informatique : focus sur les menaces les plus communes et leurs solutions

CP - NBS System. La sécurité informatique : focus sur les menaces les plus communes et leurs solutions La sécurité informatique : focus sur les menaces les plus communes et leurs solutions Nous avons publié en février un article résumant les principaux risques liés au manque de sécurité des sites internet.

Plus en détail

La sécurité intelligente intégrée pour protéger vos données critiques

La sécurité intelligente intégrée pour protéger vos données critiques IBM Software Livre blanc sur le leadership éclairé Avril 2013 La sécurité intelligente intégrée pour protéger vos données critiques Exploitez des informations décisionnelles afin de réduire les risques

Plus en détail

Stratégies gagnantes pour les prestataires de services : le cloud computing vu par les dirigeants Dossier à l attention des dirigeants

Stratégies gagnantes pour les prestataires de services : le cloud computing vu par les dirigeants Dossier à l attention des dirigeants Dossier à l attention des dirigeants Centres d évaluation de la technologie inc. Le cloud computing : vue d ensemble Les sociétés de services du monde entier travaillent dans un environnement en pleine

Plus en détail

Introduction data science

Introduction data science Introduction data science Data science Master 2 ISIDIS Sébastien Verel verel@lisic.univ-littoral.fr http://www-lisic.univ-littoral.fr/~verel Université du Littoral Côte d Opale Laboratoire LISIC Equipe

Plus en détail

Surmonter les 5 défis opérationnels du Big Data

Surmonter les 5 défis opérationnels du Big Data Surmonter les 5 défis opérationnels du Big Data Jean-Michel Franco Talend Connect 9 octobre 2014 Talend 2014 1 Agenda Agenda Le Big Data depuis la découverte jusqu au temps réel en passant par les applications

Plus en détail

#BigData Dossier de presse Mai 2014

#BigData Dossier de presse Mai 2014 #BigData Dossier de presse Mai 2014 La valeur du Big Data pour l entreprise Comment permettre l avènement d une culture de la donnée pour tous? Dans un monde porté par la mobilité et le Cloud, non seulement

Plus en détail

Tirez plus vite profit du cloud computing avec IBM

Tirez plus vite profit du cloud computing avec IBM Tirez plus vite profit du cloud computing avec IBM Trouvez des solutions de type cloud éprouvées qui répondent à vos priorités principales Points clés Découvrez les avantages de quatre déploiements en

Plus en détail

Big Data par l exemple

Big Data par l exemple #PARTAGE Big Data par l exemple Alexandre Chauvin Hameau Directeur de la production Malakoff Médéric @achauvin CT BIG DATA 10/12/2015 Soyons pragmatiques BIG DATA beaucoup de bruit pour des choses finalement

Plus en détail

La gestion des risques en entreprise de nouvelles dimensions

La gestion des risques en entreprise de nouvelles dimensions La gestion des risques en entreprise de nouvelles dimensions Octobre 2006 La pratique de la gestion des risques en entreprise devient plus cruciale et plus complexe de jour en jour. Les entreprises doivent

Plus en détail

10 bonnes pratiques de sécurité dans Microsoft SharePoint

10 bonnes pratiques de sécurité dans Microsoft SharePoint 10 bonnes pratiques de sécurité dans Microsoft SharePoint SharePoint constitue certes un outil collaboratif précieux. Mais gare aux risques pour votre entreprise. 10 bonnes pratiques de sécurité dans Microsoft

Plus en détail

Business & High Technology

Business & High Technology UNIVERSITE DE TUNIS INSTITUT SUPERIEUR DE GESTION DE TUNIS Département : Informatique Business & High Technology Chapitre 8 : ID : Informatique Décisionnelle BI : Business Intelligence Sommaire Introduction...

Plus en détail

QU EST-CE QUE LE DECISIONNEL?

QU EST-CE QUE LE DECISIONNEL? La plupart des entreprises disposent d une masse considérable d informations sur leurs clients, leurs produits, leurs ventes Toutefois ces données sont cloisonnées par les applications utilisées ou parce

Plus en détail

EMC Data Domain Boost for

EMC Data Domain Boost for EMC Data Domain Boost for Symantec Backup Exec Augmentez vos performances de sauvegarde grâce à une intégration avancée dans OpenStorage Avantages clés Sauvegardes plus rapides et meilleure utilisation

Plus en détail

Acquisition des données - Big Data. Dario VEGA Senior Sales Consultant

Acquisition des données - Big Data. Dario VEGA Senior Sales Consultant Acquisition des données - Big Data Dario VEGA Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated

Plus en détail

CA ARCserve Backup r12

CA ARCserve Backup r12 DOSSIER SOLUTION : CA ARCSERVE BACKUP r12 CA ARCserve Backup r12 CA ARCSERVE BACKUP R12 ASSURE UNE PROTECTION EXCEPTIONNELLE DES DONNÉES POUR LES SERVEURS, LES BASES DE DONNÉES, LES APPLICATIONS ET LES

Plus en détail

mieux développer votre activité

mieux développer votre activité cloud computing mieux développer votre activité Les infrastructures IT et les applications d entreprise de plus en plus nombreuses sont une source croissante de contraintes. Data centers, réseau, serveurs,

Plus en détail

Traitement des Données Personnelles 2012

Traitement des Données Personnelles 2012 5 ème Conférence Annuelle Traitement des Données Personnelles 2012 Paris, le 18 janvier 2012 Les enjeux de protection des données dans le CLOUD COMPUTING Xavier AUGUSTIN RSSI Patrick CHAMBET Architecte

Plus en détail

La virtualisation par Stéphane Dutot, Chef de produit de Internet Fr

La virtualisation par Stéphane Dutot, Chef de produit de Internet Fr Communiqué de Presse Massy, le 31 Mars 2009 La virtualisation par Stéphane Dutot, Chef de produit de Internet Fr Depuis quelques années, une nouvelle technologie révolutionne l informatique : la virtualisation.

Plus en détail

La situation du Cloud Computing se clarifie.

La situation du Cloud Computing se clarifie. Résumé La situation du Cloud Computing se clarifie. Depuis peu, le Cloud Computing est devenu un sujet brûlant, et à juste titre. Il permet aux entreprises de bénéficier d avantages compétitifs qui leur

Plus en détail

Solutions aux risques juridiques et catalogue des meilleures pratiques contractuelles

Solutions aux risques juridiques et catalogue des meilleures pratiques contractuelles Mis en fo Ateliers Cloud Computing / ADIJ / [Atelier n 4 20 janvier 2011] Solutions aux risques juridiques et catalogue des meilleures pratiques contractuelles Co-animés par Helle Frank Jul-Hansen, Béatrice

Plus en détail

4. Utilisation d un SGBD : le langage SQL. 5. Normalisation

4. Utilisation d un SGBD : le langage SQL. 5. Normalisation Base de données S. Lèbre slebre@unistra.fr Université de Strasbourg, département d informatique. Présentation du module Contenu général Notion de bases de données Fondements / Conception Utilisation :

Plus en détail

Les technologies du Big Data

Les technologies du Big Data Les technologies du Big Data PRÉSENTÉ AU 40 E CONGRÈS DE L ASSOCIATION DES ÉCONOMISTES QUÉBÉCOIS PAR TOM LANDRY, CONSEILLER SENIOR LE 20 MAI 2015 WWW.CRIM.CA TECHNOLOGIES: DES DONNÉES JUSQU'À L UTILISATEUR

Plus en détail

Labs Hadoop Février 2013

Labs Hadoop Février 2013 SOA - BRMS - ESB - BPM CEP BAM - High Performance Compute & Data Grid - Cloud Computing - Big Data NoSQL - Analytics Labs Hadoop Février 2013 Mathias Kluba Managing Consultant Responsable offres NoSQL

Plus en détail

IBM Content Analytics Libérer l Information

IBM Content Analytics Libérer l Information IBM Content Analytics Libérer l Information Patrick HOFLEITNER patrick_hofleitner@fr.ibm.com Août 2011 TABLE DES MATIERES RESUME...3 INTRODUCTION...4 LA PROBLEMATIQUE...5 1 L EXPLOSION DU CONTENU NON-STRUCTURE...5

Plus en détail

VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr

VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr Avril 2014 Virtualscale 1 Sommaire Les enjeux du Big Data et d Hadoop Quels enjeux

Plus en détail

Découverte et investigation des menaces avancées INFRASTRUCTURE

Découverte et investigation des menaces avancées INFRASTRUCTURE Découverte et investigation des menaces avancées INFRASTRUCTURE AVANTAGES CLÉS Infrastructure RSA Security Analytics Collecte distribuée grâce à une architecture modulaire Solution basée sur les métadonnées

Plus en détail

Question à l étude : Les outils d aide à la décision permettent d étendre la valeur des solutions PLM

Question à l étude : Les outils d aide à la décision permettent d étendre la valeur des solutions PLM Question à l étude : Les outils d aide à la décision permettent d étendre la valeur des solutions PLM La maturité des solutions PLM mettent en évidence les données analytiques Tech-Clarity, Inc. 2009 Table

Plus en détail

Vos experts Big Data. contact@hurence.com. Le Big Data dans la pratique

Vos experts Big Data. contact@hurence.com. Le Big Data dans la pratique Vos experts Big Data contact@hurence.com Le Big Data dans la pratique Expert Expert Infrastructure Data Science Spark MLLib Big Data depuis 2011 Expert Expert Hadoop / Spark NoSQL HBase Couchbase MongoDB

Plus en détail

Table des matières. Partie I Organisations, management et systèmes d information... 1

Table des matières. Partie I Organisations, management et systèmes d information... 1 Liste des cas d entreprise...................................................... Liste des figures.................................................................. Liste des tableaux...............................................................

Plus en détail

Prendre la bonne décision, au bon moment, sur le bon sujet, sur la base des meilleures analyses, pour agir sur le bon indicateur.

Prendre la bonne décision, au bon moment, sur le bon sujet, sur la base des meilleures analyses, pour agir sur le bon indicateur. 2 Toute entreprise dispose d un capital informationnel qui, s il est efficacement géré, contribue à sa valeur et à sa performance. La société RHeport, propose une solution logicielle : RH&View, innovante,

Plus en détail

Concours interne d ingénieur des systèmes d information et de communication. «Session 2010» Meilleure copie "étude de cas architecture et systèmes"

Concours interne d ingénieur des systèmes d information et de communication. «Session 2010» Meilleure copie étude de cas architecture et systèmes Concours interne d ingénieur des systèmes d information et de communication «Session 2010» Meilleure copie "étude de cas architecture et systèmes" Note obtenue : 14,75/20 HEBERGE-TOUT Le 25 mars 2010 A

Plus en détail

Cisco Secure Access Control Server Solution Engine. Introduction. Fiche Technique

Cisco Secure Access Control Server Solution Engine. Introduction. Fiche Technique Fiche Technique Cisco Secure Access Control Server Solution Engine Cisco Secure Access Control Server (ACS) est une solution réseau d identification complète qui offre à l utilisateur une expérience sécurisée

Plus en détail

Un guide LE CLOUD COMPUTING DÉMYSTIFIÉ 5 IDÉES REÇUES QUE TOUTES LES PETITES ENTREPRISES DEVRAIENT CONNAÎTRE SUR LE CLOUD COMPUTING

Un guide LE CLOUD COMPUTING DÉMYSTIFIÉ 5 IDÉES REÇUES QUE TOUTES LES PETITES ENTREPRISES DEVRAIENT CONNAÎTRE SUR LE CLOUD COMPUTING Un guide LE CLOUD COMPUTING DÉMYSTIFIÉ 5 IDÉES REÇUES QUE TOUTES LES PETITES ENTREPRISES DEVRAIENT CONNAÎTRE SUR LE CLOUD COMPUTING Les avantages considérables promis par le cloud computing aux petites

Plus en détail

QU EST CE QUE LE CLOUD COMPUTING?

QU EST CE QUE LE CLOUD COMPUTING? En France, on parle plus volontiers d «informatique en nuage» 1 pour décrire ce concept. Apparu au début des années 2000, le cloud computing constitue une évolution majeure de l informatique d entreprise,

Plus en détail