Les bases de données à l ère du Big Data

Dimension: px

Commencer à balayer dès la page:

Download "Les bases de données à l ère du Big Data"

Jonathan Audy
il y a 6 ans
Total affichages :

1 Les bases de données à l ère du Big Data Les architectures Big Data (partie 3) Laurent Brisson & Philippe Tanguy Mineure Informatique - INF 206

2 Plan Passage à l échelle Architectures distribuées Cohérence des données 2/1 Laurent Brisson & Philippe Tanguy Les architectures Big Data

3 Passage à l échelle - Problématique Définition : Passage à l échelle (scalability) Capacité d un dispositif informatique à s adapter au rythme de la demande. La capacité d un matériel est fixe : limite dans le nombre de demandes qui peuvent être traitées dans un temps donné Au-dessus de cette limite : apparition de goulots d étranglements qui provoquent des délais d attentes supplémentaires L évolutivité est une caractéristique cruciale pour éviter des coûts de maintenance élevés 3/1 Laurent Brisson & Philippe Tanguy Les architectures Big Data

4 Passage à l échelle vertical L augmentation des performances (espace disque, mémoire, capacités de calculs, etc.) est mise en œuvre par le remplacement d un serveur avec de plus grandes capacités Dans le domaine des SGBD relationnels, la mise à l échelle verticale est la première réponse apportée Un seul serveur doit accueillir l ensemble de la base de données pour assurer la fiabilité et la disponibilité continue des données 4/1 Laurent Brisson & Philippe Tanguy Les architectures Big Data

5 Passage à l échelle horizontal... Solution initiale Solution intermédiaire Solution actuelle L augmentation des performances est mise en oeuvre par l ajout de nouveaux serveurs Solution possible avec les SGDB relationnels mais difficile et coûteuse à mettre en oeuvre Différentes approches sont utilisés dans le monde NoSQL : ˆ avec ou sans maître pour gérer le système ˆ en mode réplication ou distribution (sharding) 5/1 Laurent Brisson & Philippe Tanguy Les architectures Big Data

6 Réplication maître-esclave application serveur secondaire serveur primaire serveur secondaire Protection contre la perte des données en les copiant sur les serveurs secondaires Permet de répondre à une exigence transactionnelle forte (quand il est difficile d écrire sur plusieurs serveurs) Répartition de la charge en lisant sur les serveurs secondaires La lecture sur un serveur secondaire peut renvoyer une donnée obsolète 6/1 Laurent Brisson & Philippe Tanguy Les architectures Big Data

7 Distribution (Sharding) collection shard 1 shard 2 shard 3 shard 4 collection Partitionnement des données sur plusieurs shards Les shards sont distribués sur des serveurs différents Gestion automatique du partitionnemment (avec ou sans serveur maître) Répartition de la charge possible Quelques questions à se poser : Comment diriger les requêtes? Comment maintenir l état du système et connaître les machines actives? Comment distribuer les données de manière optimale? 7/1 Laurent Brisson & Philippe Tanguy Les architectures Big Data

8 Cohérence des données - Approche transactionnelle (1/2) Définition : Transaction Une transaction est un ensemble d ordres SQL qui ont pour objectif de faire passer la base de données, en une seule étape, d un état cohérent à un autre état cohérent. Atomicité : Une transaction doit être une unité atomique de travail ; elle ne peut réussir que si toutes ses opérations réussissent. Cohérence : Quand une transaction est terminée, elle doit laisser les données dans un état cohérent incluant toutes les règles d intégrité de données. Isolation : Les transactions doivent être isolées des changements effectués par d autres transactions. Durabilité : Même si un échec du système se produit après la fin de la transaction, les effets de la transaction sont permanents dans le système. 8/1 Laurent Brisson & Philippe Tanguy Les architectures Big Data

9 Cohérence des données - Approche transactionnelle (2/2) Un mécanisme justifié dans l univers du monde relationnel : Une donnée complexe peut se répartir sur plusieurs tables et donc nécessiter plusieurs écritures Les transactions assurent que ces différentes écritures physiques laissent les données dans un état cohérent Mais des inconvénients dans un contexte distribué : La distribution des données doit se faire de manière synchrone pour éviter les incohérences et tolérer les pannes Un système synchrone implique une perte de performance Un système synchone n est pas tolérent aux pannes : un noeud défaillant fait annuler la transaction 9/1 Laurent Brisson & Philippe Tanguy Les architectures Big Data

10 Théorème CAP (Consistency Availability Partition tolerance) Les bases de données distribuées ne peuvent satisfaire au plus que deux de ces critères : Cohérence : tous les noeuds sont à jour sur les données au même moment Disponibilité : la perte d un noeud n empêche pas le système de servir l intégralité des données Résistance au partitionnement : chaque noeud doit pouvoir fonctionner de manière autonome 10/1 Laurent Brisson & Philippe Tanguy Les architectures Big Data

11 Cohérence des données - Approche NoSQL Une situation différente : L atomicité est gérée par le développeur et non le SGBD Le problème des transactions se pose désormais à l échelle distribuée Cohérence versus disponibilité : Garantir la cohérence des données entraîne des diminutions de performance en écriture Si l on veut une disponibilité maximale de l information et une résistance aux pannes on va avoir un risque de perte de cohérence des données L approche NoSQL est optimiste plutôt que de forcer la cohérence on permet l accès en lecture/écriture et on propose des outils pour corriger les incohérences 11/1 Laurent Brisson & Philippe Tanguy Les architectures Big Data

12 L essentiel à retenir! Les bases de données relationnelles répondent à une exigence forte de cohérence des données et de tolérance aux pannes Les bases de données NoSQL permettent un passage à l échelle horizontal en maintenant la disponibilité des données et en conservant de bonnes performances... mais en ne pouvant garantir la cohérence des données qu à la fin des opérations 12/1 Laurent Brisson & Philippe Tanguy Les architectures Big Data

13 Pour aller plus loin! Références bibliographiques Getting Started with NoSQL, Gaurav Vaish, Packt Publishing, 2013, Advantages and drawbacks (pages 51-53) RDBMS Approach (page 14) NoSQL Approach (page 20) Les bases de données NoSQL et le BigData - Comprendre et mettre en oeuvre, Bruchez Rudi, Eyrolles Editions, 2015, Le transactionnel et la cohérence des données (pages 39-41) Le théorème CAP (pages 43-45) L architecture distribuée (pages 72,75,76) 13/1 Laurent Brisson & Philippe Tanguy Les architectures Big Data

Documents pareils

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL AVRIL 2014 Panorama des solutions NoSQL QUI SOMMES NOUS? Avril 2014 2 SMILE, EN QUELQUES CHIFFRES 1er INTÉGRATEUR EUROPÉEN DE SOLUTIONS OPEN SOURCE 3 4 NOS EXPERTISES ET NOS CONVICTIONS DANS NOS LIVRES