[BIG DATA & NOSQL] Rédigé par : Belhaj Hajar & Khanoun Chaimae Encadré par : Mr Badir Hassan

Transcription

1 ECOLE SUPERIEURE DE SCIENCES TECHNIQUES ET DE MANAGMENT [BIG DATA & NOSQL] Rédigé par : Belhaj Hajar & Khanoun Chaimae Encadré par : Mr Badir Hassan

2 Abstract Big data, which refers to the data sets that are too big to be handled using the existing database management tools, are emerging in many important applications, such as Internet search, business informatics, social networks, social media, genomics, and meteorology. Big data presents a grand challenge for database and data analytics research. In this talk, I review the exciting activities in my group addressing the big data challenge. The central theme is to connect big data with people in various ways. Particularly, I will showcase our recent progress in user preference understanding, context-aware, on-demand data mining using crowd intelligence, summarization and explorative analysis of large data sets, and privacy preserving data sharing and analysis. Key-Words Big-Data : the data sets that are too big to be handled using the existing database management tools SQL is a special-purpose programming language designed for managing data in relational database management systems (RDBMS). No-SQL : not only SQL HadooP : an open-source software framework that supports dataintensive distributed applications Peta Le préfixe (P) indique la cinquième puissance à 1000 XML is a markup language that defines a set of rules for encoding documents in a format that is both human-readable and machinereadable. JSON : JavaScript Object Notation, is a text-based open standard designed for human-readable data interchange. JavaScript (JS) is an open source client-side scripting language commonly implemented as part of a web browser in order to create enhanced user interfaces Sommaire 2

3 Introduction 4 Axe 1 : Big Data Définition 5 Caractéristiques 5 Utilisations 7 Technologies 8 Axe 2 : NoSQL Définition 10 Types 11 Projets NoSQL 13 Axe 2 : Big Data & NoSQL 16 Conclusion 18 Références 19 Introduction 3

4 Chaque jour, nous générons plus que 3 trillions d octets de données. Dont 90% des données dans le monde ont été créées au cours des deux dernières années seulement. Ces données proviennent de partout : Des messages sur les sites, d'images numériques, d'enregistrements transactionnels d'achats en ligne et de signaux GPS de téléphones mobiles. Aujourd hui le stockage et interrogation de ces données deviennent très difficiles avec des outils classiques (SGBDR). Les sites tels que Facebook, Twitter et d'autres ont lutté avec ce problème pendant des années. Ils ont grandi de quelques milliers à des millions et maintenant des centaines de millions d'utilisateurs. Les phénomènes Big Data & NoSQL ne cessent de prendre de l'ampleur, et constituent probablement l'un des nouveaux enjeux majeurs de demain. 4

5 AXE 1 : BIG DATA 1- Définition Big Data est un terme populaire utilisé pour décrire la croissance exponentielle, la disponibilité et l'utilisation des informations structurées ou bien non structurées. "Big Data" est un terme appliqué à des ensembles de données dont la taille est au-delà de la capacité des outils logiciels couramment utilisés pour capturer, gérer et traiter les données dans un délai écoulé étant acceptable. La taille de Big Data est une cible mouvante, à partir de 2012 allant de quelques dizaines de téraoctets à plusieurs pétaoctets de données dans un seul ensemble de données. (Un pétaoctet (dérivé du préfixe SI peta-) est une unité d'information égale à un quadrillion (échelle courte) octets ou 1024 téraoctets. Le symbole de pétaoctet est PB. Peta Le préfixe (P) indique la cinquième puissance à 1000: ( 1 PB = B = B = 1015 B = 1 million de giga-octets = téraoctets) 2- Caractéristiques de Big Data Volume : De nombreux facteurs contribuent à l'augmentation du volume des données - basés sur les transactions de données 5

6 stockées au fil des ans, des données textuelles constamment en streaming des médias sociauxet des quantités croissantes de données du capteur sont recueillis. Dans le passé, le volume de données excessif a créé un problème de stockage. Mais avec la diminution actuelle de coûts de stockage, autres questions apparaissent, y compris la façon de déterminer la pertinence -au milieu des grands volumes de données- et la façon d extraire la valeur à partir de ces données. Variété : Les données d'aujourd'hui viennent dans tous types de formats - de bases de données traditionnelles aux magasins hiérarchiques de données créés par les utilisateurs finaux et les systèmes OLAP, aux documents texte, , vidéo, audio, stock ticker de données et aussi les transactions financières-. Selon certaines estimations, 80% des données d'une organisation ne sont pas numériques! Mais ils doivent encore être inclus dans les analyses et aussi dans la prise de décision. Selon Gartner, la vitesse signifie «à la fois la rapidité de production de données et à quelle vitesse les données peuvent être traitées pour satisfaire la demande». Les étiquettes RFID et les compteurs intelligents conduisent un besoin croissant pour faire face aux torrents de données en temps quasi-réel. Réagissant assez rapidement pour faire face à la vitesse est un défi pour la plupart des organisations. Complexité : Lorsqu on travaille avec des énormes volumes de données, on sait que ces données proviennent de multiples sources. Cependant, il est nécessaire de se connecter et de corréler les relations, les hiérarchies et les multiples liens de données sinon ces données peuvent rapidement échapper de tout contrôle. La gouvernance des données peut aider à déterminer comment disperser les données se rapportant à des définitions communes et comment intégrer systématiquement les actifs de données structurées et non structurées pour produire une information de qualité qui soit utile, appropriée et mise à jour. Vitesse : 6

7 3- Utilisations de Big Data Dans la dernière année, le Big data a émergé comme l'une des tendances les plus étroitement surveillés dans les IT. Aujourd'hui, les entreprises générant plus de données en une seule journée que l internet a générée récemment en L'explosion des Big data -une grande partie de Big data est complexe et de formats non structurées -a présenté aux entreprises une formidable opportunité de tirer parti de leurs données pour des analyses commerciales par le biais de meilleures analyses. Wal-Mart a été l'un des pionniers dans ce domaine, en utilisant l'analyse prédictive afin de mieux identifier les préférences des clients sur une base régionale et de stocker leurs succursales en conséquence. Il s'agissait d'une tactique très efficace qui a donné un fort retour sur investissement et leur a permis de se séparer du paquet de détail. D'autres industries qui ont pris connaissance de la tactique de Wal-Mart ont recueilli un grand succès lors le traitement et l analyse de leurs données et ont commencé à employer les mêmes tactiques. Alors que l'analyse de données était autrefois considérée comme un avantage concurrentiel, elle est de plus en plus considérée comme une nécessité pour les entreprises, ce qui a donné naissance à un mouvement très important des sciences de données. Les données ont un atout considérable pour les entreprises, et ces dernières commencent à les traiter en conséquence. Dans cet esprit, voici quelques cas d utilisations : Analyser des millions de références pour déterminer les prix optimaux qui maximisent les bénéfices et optimisent les stocks. Recalculer les portefeuilles de risques entiers en quelques minutes et comprendre les possibilités futures pour les risques. Les données des clients de mines pour des idées conduisant de nouvelles stratégies pour l'acquisition de clients, la fidélisation campagne d'optimisation et prochaines meilleures offres. 7

8 D'identifier rapidement les clients qui importent le plus. Générer des coupons de détail au point de vente en fonction des achats actuels et passés du client, en veillant à un meilleur taux de rachat. Envoyer des recommandations sur mesure pour les appareils mobiles au bon moment, alors que les clients sont dans le bon endroit pour profiter des offres. Analyser les données de médias sociaux pour détecter les nouvelles tendances du marché et les changements de la demande. Utiliser l analyse des parcours et l'exploration de données pour détecter les fraudes. Un certain nombre de progrès technologiques récents permettant aux entreprises de tirer la meilleure partie de l analyse des data et de big Data: -Pas cher, avec des nombreux rangements et une capacité de traitement du serveur. -Des processeurs plus rapides. -Abordables de mémoires à grandes capacités, comme Hadoop. -Les nouvelles technologies de stockage et de traitement spécialement conçu pour les gros volumes de données, y compris les données non structurées. -Le traitement en parallèle, le regroupement, le MPP, la virtualisation, les environnements de réseau de grande taille, la connectivité élevée et les débits élevés. -Cloud computing et autres formules souples de répartition des ressources. Déterminer les causes profondes des échecs, les problèmes et les défauts de sessions utilisateur d'enquête, les journaux du réseau et des capteurs de la mach 4- Technologies de Big data Les technologies de Big data non seulement soutiennent la capacité de recueillir de grandes quantités de données, mais ils offrent en même temps la possibilité de le comprendre et de tirer le maximum profit de sa valeur. Le but de toutes les organisations qui ont accès à de grandes collections de données devrait être d'exploiter les 8

9 données les plus pertinentes et les utiliser pour la prise de décision optimisée. l'analyse Hadoop, le stream computing, les entrepôts de données, ainsi que l'intégration des informations et la gouvernance. Fonctionnalités : Exemple : Plateforme Big Data IBM Avez-vous une stratégie Big Data? IBM, oui. Nous partageons notre savoir-faire avec les entreprises pour les aider à relever les défis du Big Data. Seul IBM a développé une plateforme Big qui vous permettra de relever tous les défis métier du Big Data. Cette plateforme associe technologies classiques bien adaptées aux tâches structurées et répétitives aux nouvelles technologies complémentaires tournées vers la vitesse et la flexibilité et donc idéales pour l'exploration, la reconnaissance de données ad hoc et l'analyse de données non structurées. La plateforme Big Data intégrée d'ibm est articulée autour de quatre fonctionnalités de base : L'analyse Hadoop : traite et analyse tout type de données sur différents clusters de serveurs courants. Le stream computing : permet l'analyse continue de volumes massifs de flux de données en continu avec des temps de réponse inférieurs à la milliseconde. Les entrepôts de données : fournissent des connaissances opérationnelles approfondies grâce à l'analyse intégrée à la base de données. L'intégration des informations et la gouvernance : permet de comprendre, nettoyer, régir et distribuer des informations pour vos initiatives métier critiques. Services de plateforme connexes : L investigation visuelle : aide l'utilisateur final à explorer 9

10 des ensembles de données volumineux et complexes. Le développement d applications : rationalise les processus de développement d'applications Big Data. La gestion des systèmes : surveille et gère les systèmes Big Data afin de garantir des performances sécurisées et optimisées. Les accélérateurs : augmentent la rapidité de la mise à disposition des solutions avec des modules analytiques et sectoriels AXE 2 : NoSQL. 1- Définition NoSQL signifie «Not Only SQL» ce terme désigne une catégorie de systèmes de gestion de base de donnée (SGBD) qui s opposent à la notion relationnelle qui a émergé à partir du printemps Le NoSQL regroupe de nombreuses bases de données, récentes pour la plupart, qui se différencient du modèle SQL par une logique de représentation de données non relationnelle. Leurs principaux avantages sont les performances et leur capacité a traiter de très grands volumes de données. Il se réfère au stockage non relationnel de données en vue d améliorer les bases de données dans une direction nécessitant une évolutivité horizontale. les données ne sont en général pas manipulées avec SQL car L'unité logique n'y est plus la table La performance et la disponibilité des services sont Les premiers besoin fondamentaux auquel répondent NoSQL. Il permet de répondre aux nouvelles contraintes de systèmes géants : Enorme quantité de données, structuration relationnelle faible (ou de moindre importance que la capacité à y accéder atomiquement de façon très rapide, quitte à devoir multiplier les accès). 10

11 Ils permettent de rendre le système beaucoup plus performant et résistants aux pannes. Effet NoSQL tente à proposer une alternative ou compléter les fonctionnalités des SGBDR pour donner des solutions plus intéressantes dans certains contextes. Des grands acteurs d internet comme Facebook, Twitter ou encore LinkedIn conçoivent et exploitent des bases de données de type NoSQL Cette adoption croissante des bases NoSQL conduit à une multiplication et une amélioration des offres Open Source des moteurs. Le système clé-valeur est Un modèle typique en NoSQL donc on peut dire qu avec une base de donnée pouvant se résumer typologiquement à un simple tableau associatif unidimensionnel avec des millions voire et des milliards d'entrées et Parmi les applications typiques, on retrouve des analyses temps-réel, statistiques, stockage, etc. requêtes basées sur le langage JavaScript. 2- Les types de NoSql Il existe 4 types de base de données NoSQL spécifiques à différents besoins : Les bases de données orientées colonnes : En point de vue architectural les bases de données orientées colonnes ne diffèrent pas beaucoup des bases SQL classique donc la principale différence se situe à la façon dont les données sont stockées en mémoire : Les bases de données de type NoSQL étant des technologies encore très récente, il n y a pas encore de normes qui permettent de définir une architecture type pour tel ou tel type de base de données,ni de syntaxe particulière ; bien que le mouvement tend vers une convergence pour des 11

12 les données au niveau d une base de données relationnelles sont stockées par ligne, de ce fait une requête portant sur peu de lignes mais beaucoup de colonnes alors le système n aura pas à beaucoup se déplacer en mémoire, par contre dans une base orientée colonnes les données sont stockées par colonnes, de ce fait le système sera beaucoup plus rapide pour des requêtes, donc le parcours des lignes au niveau des tables sera plus rapide. Les principales solutions : Le principe rôle de la base orientée graphe stockera les relations entres les entités sous forme des graphes et aussi de reliera les entités entre elles de manière optimisée. La performance de ce type de base de données est très difficile à évaluer car trouver les relations d une entité est très rapide, mais trouver une entité spécifique si on a aucune connaissance du système est très long, donc la notion des Bases orientées graphes permettent de résoudre ce problème et donner des résultats bien détailler. HBase. Hypertable. Cassandra. BigTable. La principale solution : Neo4J. Bases orientées graphes : Ce modèle de représentation des données se base sur la théorie des graphes. il facilite la représentation du monde réel, ce qui le rend adapté au traitement des données des réseaux sociaux il s appuie sur la notion de noeuds, de relations et de propriétés qui leur sont rattachées. Bases orientées clévaleur : Les bases de données orientées clé-valeur spécifier pour le stockage des valeurs Ces dernières peut être de tous type 12

13 (chaine de caractères, flux binaire, entier, etc.) En revanche les requêtes ne portent que sur la clef associée à cette valeur. Donc l absence de structure ou de typage ont un impact important sur le requêtage BD, C est pour cela la communication avec la BD se résumera aux opérations PUT, GET et DELETE Ce système de base de données est conçu pour être très fortement répliqué de manière à augmenter la disponibilité et les performances. La réplication est données est plus ou moins partielle pour trouver un bon compromis entre nombre de serveurs, disponibilité et espace disque. Les principales solutions Voldemort Dynomite Riak L avantage est de pouvoir récupérer, via une seule clé, un ensemble d informations structurées de manière hiérarchique. Un document peu donc posséder plusieurs niveaux de profondeur. Ce système est capable de faire des recherches sur les valeurs d un ou plusieurs documents, le système étant partiellement répliqué, la requête va être envoyée à tous les serveurs simultanément et chacun va effectuer celle-ci et rendre des résultats différents, car toutes les données ne sont pas présentes sur tous les serveurs, ces résultats vont être ré-agrégés pour former le résultat finale à la requête. les implémentations les plus populaires dans ce modèle, sont CouchDB d Apache, RavenDB et MongoDB. Bases orientées document : Les bases de données orientées document sont une extension des bases orientées clé-valeur, dans ce cas à la place de stocker une valeur, nous stockons un document de type Xml ou JSON. 3- Projets Nosql Projet : Jakaa Thème : 13

14 ( NoSQL et Clound Computing pour une plateforme de commentaires d'émissions de télé) La société Digital Live voulait lancer un site Web TV social permettant de commenter les programmes TV et d interagir pendant leur diffusion. L enjeu était de favoriser une interconnexion simple et directe afin d encourager une communication en temps réel. Objectifs : Mettre en relation des téléspectateurs pour qu ils puissent échanger leurs opinions sur un programme commun. Etre capable d absorber des pics de charge importants facilite la communication temps réel entre pages web et la diffusion de videos par webcam. Doté de cet outil, un développeur peut réaliser des sites radicalement nouveaux : conseils de shopping en ligne, accompagnement dans le remplissage de vos formulaires, création de cours en direct, ou encore partage de la navigation entre utilisateurs, etc. sans ajout de logiciel : vos visiteurs ont seulement besoin d un lecteur flash intégration facile : quelques lignes de Javascript suffisent pour mettre en œuvre Apideo sans infrastructure : plus de serveurs de streaming. Objectifs Projet : Apideo Thème : (NoSQL appliqué à la gestion des événements temps-réel) Apideo est une API qui vous permet d'intégrer des flux vidéo en direct et de gérer les événements sur votre site web. Apideo est un service web s adressant aux développeurs. Il Développer un service web, utilisable sur n importe quel site web, afin de : o o o Mettre des utilisateurs en relation par vidéo. Partager en temps réel des informations et des évènements sur une page web. Créer automatiquement des groupes de discussions 14

15 actions sur les prospects à fort potentiel. Objectifs : Projet :Butterflive Thème : ( Le NoSQL utilisé pour détecter les prospects sur votre site Internet) Suivi du trafic du site web en temps réel Mise en relation par live chat ou vidéo chat Scoring des visiteurs Partage de navigation ou cobrowsing Le monitoring des visites en temps réel sur un site internet est très coûteux en termes de transmission de données. Parmi les difficultés de ce type de projet, le recueil d informations de suivi de l internaute sans que les charges associées (bande passante, serveurs, base de données) ne soient dégradées. Seul un système de mesure de l engagement du visiteur dans le processus d achat peut permettre aux agents de focaliser leurs Le NoSQL permet de stocker les informations d'une manière qui colle mieux à leur représentation. les BDD type document s'adaptent au stockage de données non planes (type profil utilisateur). les BDD type colonne s'adaptent très bien au stockage de listes (messages, posts, commentaires, etc...). les BDD type graphe permettent de mieux gérer des relations multiples entre les objets (comme pour les relations dans les réseaux sociaux).. 15

16 AXE 3 : Big Data & NoSQL NoSQL est souvent utilisé pour stocker Big Data. Il s'agit d'un nouveau type de base de données qui devient de plus en plus populaire parmi les entreprises du web. Les partisans de solutions NoSQL état qu'ils fournissent plus simple d'évolutivité et de performance relative à l'amélioration de bases de données relationnelles traditionnelles. Ces produits se distinguent à stocker "des données non structurées. Le mouvement NoSQL est basé sur le concept disant que les bases relationnelles ne sont pas la solution parfaite pour adapter les données aux problèmes confrontés. Les bases de données relationnelles sont tellement omniprésentes dans la plupart des organisations et des sociétés alors 16

17 que beaucoup de gens ne sont même pas conscients qu'il existe d'autres types de bases de données. Les bases de données relationnelles exécutent très bien les fonctions de mise à jour ainsi que celles de transaction, tout en répondant aux difficiles questions de la cohérence au cours de mise à jour. Les bases de données relationnelles sont une force de production qui peut gérer la complexité de la validation en deux phases de capacité, où une transaction commerciale affecte plusieurs bases de données et tables, et toutes les mises à jour doivent être effectuées au même moment. Cependant, les bases de données relationnelles nécessitent beaucoup de charge pour les opérations de mise à jour complexes pour chaque activité, et ca parfois peut handicaper autres fonctions. Les bases de données relationnelle lutte affrontent l'efficacité de certaines opérations clés de la gestion des Big Data. Tout d'abord, les bases de données relationnelles ne s'adaptent pas bien aux données ayant de très grandes tailles, et bien que des solutions de réseau puissent aider avec ce problème, la création de nouvelles grappes sur la grille n'est pas dynamique et grandes solutions de données devenues très chères à l'aide de bases de données relationnelles. Deuxièmement, ils ne font pas de recherche de données non structurées très bien (recherche soit de type google) et ils ne traitent pas bien les données dans des formats inattendus. Troisièmement, il est difficile de mettre en œuvre certains types de requêtes de base en utilisant les bases de données SQL relationnelle et, comme le chemin le plus court entre deux points. Les réseaux sociaux et les grandes organisations de données tels que Facebook, Yahoo, Google et Amazon ont été parmi les premiers à décider que les bases relationnelles ne sont pas de bonnes solutions pour les volumes et les types de données qui ils avaient affaire, d'où le développement du système de fichiers Hadoop, le langage de programmation MapReduce, et bases de données associées telles que Cassandra et HBase. L'une des fonctions essentielles d'un environnement de type Hadoop est la capacité de façon dynamique, ou au moins facilement, augmenter le nombre de serveurs utilisés pour stocker des données. Le coût du stockage de grandes quantités de données dans une base de données relationnelle devient très cher, où le coût croît géométriquement avec la quantité de données à stocker, atteindre une limite de l'ordre du 17

18 pétaoctet. Le coût de stockage de données dans une solution Hadoop croît linéairement avec le volume de données et il n'y a pas de limite ultime. 18

19 Conclusion Devant le besoin grandissant en performance et en disponibilité des services/sites possédant un fort trafic, un point souvent bloquant est la base de données. Les bases de données relationnelles atteignent vite leurs limites et rajouter des serveurs n augmente plus assez les performances. Suite à ce problème, de nouvelles technologies ont émergé tels que les bases de données NoSQL, celles-ci changent radicalement l architecture des bases de données que nous avons l habitude de voir et permettent ainsi d augmenter les performances et la disponibilité des services, il y a bien évidemment des «mais», la réponse parfaite n existe pas.

20 Références Olivier Mallassi (Octo) écrivait sur le blog Octo (11 novembre 2009) highscalability.com %20et%20NoSQL.pdf Le visage humain de big data ( NewYork Times) Big Data par Nathan Marz