NoSql. Principes. Google (Map Reduce, Big Table) et Amazone (Dynamo) pour faire face à la monté en charge liée au BigData



Documents pareils
NFA 008. Introduction à NoSQL et MongoDB 25/05/2013

NoSQL. Introduction 1/23. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur)

AVRIL Au delà de Hadoop. Panorama des solutions NoSQL

Les bases de données relationnelles

NoSQL. Introduction 1/30. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur)

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04

Groupe de Discussion Big Data Aperçu des technologies et applications. Stéphane MOUTON

Cours 8 Not Only SQL

MapReduce. Malo Jaffré, Pablo Rauzy. 16 avril 2010 ENS. Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril / 15

Technologies du Web. Ludovic DENOYER - ludovic.denoyer@lip6.fr. Février 2014 UPMC

Bases de données documentaires et distribuées Cours NFE04

Cartographie des solutions BigData

Bases de Données NoSQL

NoSQL : hype ou innovation? Grégory Ogonowski / Recherches Octobre 2011

Mercredi 15 Janvier 2014

Fouillez facilement dans votre système Big Data. Olivier TAVARD

OpenPaaS Le réseau social d'entreprise

NoSQL. Etat de l art et benchmark

Bases de Données. Stella MARC-ZWECKER. Maître de conférences Dpt. Informatique - UdS

BIG DATA. Veille technologique. Malek Hamouda Nina Lachia Léo Valette. Commanditaire : Thomas Milon. Encadré: Philippe Vismara

Big Data. Cyril Amsellem Consultant avant-vente. 16 juin Talend

Cassandra chez Chronopost pour traiter en temps réel 1,5 milliard d événements par an

NoSQL : les meilleures

Technologies Web. Ludovic Denoyer Sylvain Lamprier Mohamed Amine Baazizi Gabriella Contardo Narcisse Nya. Université Pierre et Marie Curie

4. Utilisation d un SGBD : le langage SQL. 5. Normalisation

Le NoSQL - Cassandra

Les technologies du Big Data

Un peu de culture : Bases N osql L 1

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data.

COMMANDES SQL... 2 COMMANDES DE DEFINITION DE DONNEES... 2

Labs Hadoop Février 2013

Présentation du module Base de données spatio-temporelles

11/01/2014. Le Big Data Mining enjeux et approches techniques. Plan. Introduction. Introduction. Quelques exemples d applications

Quels choix de base de données pour vos projets Big Data?

L AVENIR DU NoSQL. Quel avenir pour le NoSQL?

les techniques d'extraction, les formulaires et intégration dans un site WEB

Architecture de la plateforme SBC

CNAM Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010

Introduction à ElasticSearch

Initiation aux bases de données (SGBD) Walter RUDAMETKIN

MySQL. (Administrateur) (Dernière édition) Programme de formation. France, Belgique, Suisse, Roumanie - Canada

Bases de données Cours 1 : Généralités sur les bases de données

Quelques patterns pour la persistance des objets avec DAO DAO. Principe de base. Utilité des DTOs. Le modèle de conception DTO (Data Transfer Object)

Le BigData, aussi par et pour les PMEs

Hébergement MMI SEMESTRE 4

MYSQLDUMP & ZRM COMMUNITY

Optimisations des SGBDR. Étude de cas : MySQL

Introduction Big Data

Langage SQL (1) 4 septembre IUT Orléans. Introduction Le langage SQL : données Le langage SQL : requêtes

Introduction aux bases de données

2 e édition. et le Big Data. Comprendre et mettre en oeuvre. NoSQL. Rudi Bruchez. Les bases de données

Ecole des Hautes Etudes Commerciales HEC Alger. par Amina GACEM. Module Informatique 1ière Année Master Sciences Commerciales

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop

Devenez un véritable développeur web en 3 mois!

Le langage SQL pour Oracle - partie 1 : SQL comme LDD

SGBDR. Systèmes de Gestion de Bases de Données (Relationnelles)

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars ans du SIAD -"Big Data par l'exemple" -Julien DULOUT

ISC Système d Information Architecture et Administration d un SGBD Compléments SQL

CREATION WEB DYNAMIQUE

Bases de données relationnelles

Cours: Administration d'une Base de Données

Le langage SQL (première partie) c Olivier Caron

Bases de données cours 1

Hibernate vs. le Cloud Computing

PostgreSQL, le cœur d un système critique

Faculté des sciences de gestion et sciences économiques BASE DE DONNEES

Architecture NoSQL et réponse au Théorème CAP

NFE204 Bases de données avancées

Cours Bases de données

Panorama des solutions analytiques existantes

Mysql. Les requêtes préparées Prepared statements

Synchronisation Mysql (Replication)

Programmation parallèle et distribuée

Séance 1 Introduction aux bases de données

HADOOP ET SON ÉCOSYSTÈME

Benjamin Cornu Florian Joyeux. Les choses à connaître pour (essayer) de concurrencer Facebook.

Cours Base de données relationnelles. M. Boughanem, IUP STRI

Programme ASI Développeur

Nouveautés Ignition v7.7

Document réalisé par Khadidjatou BAMBA

IBM Cloudant Data Layer Local Edition

Introduction à MapReduce/Hadoop et Spark

Information utiles. webpage : Google+ : digiusto/

Java et les bases de données

Bases de Données relationnelles et leurs systèmes de Gestion

Hadoop / Big Data. Benjamin Renaut <renaut.benjamin@tokidev.fr> MBDS

Big data et données géospatiales : Enjeux et défis pour la géomatique. Thierry Badard, PhD, ing. jr Centre de Recherche en Géomatique

Cloud Computing : Utiliser Stratos comme PaaS privé sur un cloud Eucalyptus

Formation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop

PHP 5. La base de données MySql. A. Belaïd 1

Retour d'expérience migration Oracle vers PostgreSQL. Vincent Moreau Adeo Services

PHP 4 PARTIE : BASE DE DONNEES

A5.2.4 Étude d une technologie, d'un composant, d'un outil

A QUOI SERVENT LES BASES DE DONNÉES?

4. SERVICES WEB REST 46

Master I Génie Logiciel

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop

Transcription:

NoSql Principes Google (Map Reduce, Big Table) et Amazone (Dynamo) pour faire face à la monté en charge liée au BigData Les SGBD NoSql partagés ne peuvent satisfaire que 2 critères au plus

NoSql Les transactions

NoSql Les transactions

NoSql Familles Riak, Redis, Voldemort. HBase Et Cassandra CouchDB Et MongoDB. Neo4j, HypergraphDB, FlockDB ElasticSearch Solr Indexe Iversé (Lucene)

NoSql Warning 1/ Il ne s agit pas d une technologie de remplacement des SGBDR. Les NoSQL apportent simplement des options alternatives quant au mode de représentation de données utilisé pour un projet. 2/ Les NoSQL sont des projets encore récents, l outillage est donc réduit et les communautés ne sont pas comparables à celles des SGDBR courants, ce qui limitera les possibilités de réponses aux problèmes rencontrés. Ces produits sont encore très loin de la maturité de MySQL ou PostgreSQL. 3/ L intérêt d une base de données NoSQL pour un projet ne dépend pas du volume de données qu elle aura à manipuler. Le choix de son utilisation doit être basé sur la préférence d un mode de représentation. 4/ Il ne s agit pas d une solution miracle pour tout type de stockage de données. La tentative de reproduire dans une base de données NoSQL une représentation ou un comportement habituellement offert par un SGBDR aboutira probablement à une solution peu efficace.

NoSql - Orienté document CAP - Open source ( licence Agpl ) - Librairies / API : Java, Php, C#, C, Javascript - Langage de requête : JavaScript - Pensé pour supporter de gros volumes de données, il implémente donc une logique de scalabilité horizontale avec du sharding*. MongoDB permet aussi d implémenter MapReduce* - Le plus populaire et accessible en passant du relationnel au NoSql avec de très bonnes performances sur les grosses bases. - l'un des rares SGBD NoSql qui soit codé avec un langage de performance : le C++ (les autres sont plus souvent codés en Java ou Erlang - Permet de faire de la recherche avancée comme de la recherche géospatiale ou sur du texte en définissant la langue, pour ignorer les «stop words» («et», «ou», «le», en français par exemple) ou pour faire du stemming (remonter un document contenant «vaccination», quand on fait une recherche sur «vaccin»). - un document n'est pas a prendre dans le sens bureautique ou binaire (image, fichier son..) : c'est une représentation structurée compréhensible par, c'est le format BSON (qui permet un gain d espace disque et de performance) dont la structure visible par l'utilisateur est le JSON

Vocabulaire

Format BSON JSON Validation Json : https://jsonformatter.curiousconcept.com/ BSON http://bsonspec.org/

Conception

Conception structurée Collection participant Collection reservation Collection institut Collection sexe Collection hotel Collection departement Collection unité

Conception déstructurée - Déstructuration du schéma SQL - Redondance - Pas de jointure Collection réservation {id : 0155fd51sdfçsdf545sdf, participants : [{ mail : vincent.negre@sgr.fr, nom : negre, prenom : vincent, sexe : m, date_naissance : 1978/02/04, unité : [{ nom : LEPSE code : 0759 Département : EA }], }], réservation : [{ repas: negre, prenom : vincent, sexe : m, date_naissance : 1978/02/04 repas: [{ repas_midi1 : 0, repas_midi2 : 0, repas_soir : 0, aucun_repas : N }], hotel: [{ nom : Apartcity, code_postale: 11100 ville : narbonne }], }] }

Architecture : Réplicat Set - Les serveurs sont séparés physiquement - Le serveur arbitre n'est pas un réplicat - N'empêche pas un dump de la base - Basse volumetrie

Architecture : Sharding - Les serveurs sont séparés physiquement - Les routeurs ne sont pas des réplicats - Haute volumetrie (>200Go) - Forte connaissance en administration

Format BSON Type Number* Double 1 String 2 Object 3 Array 4 Binary data 5 Undefined 6 Object id 7 Boolean 8 Date 9 Null 1 0 Regular Expression 11 JavaScript 13 Symbol 14 JavaScript (with scope) 15 32-bit integer 16 Timestamp 17 64-bit integer 18 Notes Deprecated. * : Each data type has a corresponding number that can be used with the $type operator to query documents by BSON type.

Premiers pas - installation : http://docs.mongodb.org/manual/tutorial/install-mongodb-on-ubuntu/ - lancer le moteur de base de données : > sudo service mongod start > waiting for connections on port 27017 - lancer l'intrepréteur de commandes : > mongo - créer / utiliser une base de données : > use pancakedb

CRUD : «select»

CRUD : «insert»

CRUD : «update»

CRUD : «delete»

Les opérateurs

Les opérateurs

Les opérateurs

Requête

Insertion des données - En ligne de commande avec l'interpreteur Mongo avec la commande insert : > db.acteurs.insert({nom:"johansson", prenom:"scarlett"}) - En ligne de commande avec l'interpreteur Mongo avec JS : > - En ligne de commande Shell avec fichier CSV : > mongoimport --db mabd --collection macollection --type csv --file monfichier --headerline

Client Mongo

NoSql Bibliographie

NoSql Bibliographie

Démo!