Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages

Dimension: px

Commencer à balayer dès la page:

Download "Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages"

Andrée Pellerin
il y a 8 ans
Total affichages :

1 1 Mehdi LOUIZI

2 Plan Pourquoi Hadoop? Présentation et Architecture Démo Usages 2

3 Pourquoi Hadoop? Limites du Big Data Les entreprises n analysent que 12% des données qu elles possèdent (Enquête Forrester 2014) Ces données sont cloisonnées à L homme ivre qui cherche ses clés la nuit 3

4 Pourquoi Hadoop? Hadoop peut aider à éclairer les données de l'entreprise en les gérant sur l'ensemble des clusters du matériel standard. Regrouper toutes les données et les rendre visibles afin de pouvoir les analyser 4

5 Pourquoi Hadoop? Une solution performante à moindre coût Un stockage sans limite Analyse des données performantes Sécurité optimale des données 5

6 Pourquoi Hadoop? Avant : Mode Batch La plus petite des opérations prenait plusieurs minutes Aujourd hui les plateformes Hadoop s ouvrent désormais aux requêtes interactives et instantanées (Yarn, Drill, Spark, Impala, Presto..) Capture et analyse au fil de l eau des données transitant dans le flux (Storm, Kenesis..) 6

Aujourd hui les plateformes Hadoop s ouvrent désormais aux requêtes

7 Présentation Hadoop est un framework open source écrit en Java. Il permet le traitement distribué d ensembles de données très larges via des clusters d ordinateurs en utilisant des modèles de programmation très simples. Hadoop est conçu pour monter en puissance allant d un seul serveur jusqu à des milliers de machines chacune offrant un calcul et un stockage local. 7

ordinateurs en utilisant des modèles de programmation très simples.

8 Architecture Le framework Hadoop inclut les 4 modules suivants Hadoop Common : Librairies et utilitaires Java constituant le système de fichier et les fichiers nécessaires pour démarrer Hadoop Hadoop YARN: Framework pour l ordonnancement des tâches et le management des ressources cluster. Hadoop Distributed File System (HDFS ) : Un système de fichier distribué qui fournit un accès à haut débit aux applications Java. Hadoop Map Reduce : Un système basé sur YARN pour le traitement en parallèle d ensemble de données très larges 8

9 Architecture 9

10 Architecture Depuis 2012, le terme «Hadoop» ne fait plus référence uniquement aux 4 modules cités, mais aussi à l ensemble de packages logiciels additionnels qui peuvent être installés avec ou au dessus de Hadoop : Apache PIG Apache HIVE Apache Hbase Apache Spark 10

packages logiciels additionnels qui peuvent être installés avec ou

11 Architecture - MapReduce Hadoop MapReduce est un cadre logiciel pour les applications qui traitent de grandes quantités de données en parallèle sur de grands ensembles de clusters (en milliers de nœuds) d'une manière fiable avec une très grande tolérance aux pannes. 11

en parallèle sur de grands ensembles de clusters (en milliers de

12 Architecture - MapReduce Le terme MapReduce fait référence aux 2 différentes tâches que les programmes Hadoop réalisent : The Map Task : c est la première tâche qui prend les données en entrée et les convertit en des ensembles de données où les éléments sont individuellement séparés en tuples (paires clé / valeur). The Reduce Task : cette tâche prend la sortie de la Map Task comme entrée et combine les tuples de données dans des ensembles de données plus réduits. 12

de données où les éléments sont individuellement séparés en tuples (paires clé / valeur).

13 Architecture - MapReduce Les sorties et les entrées sont stockées dans un système de fichiers. Le framework prend soin de l ordonnancement des tâches, leur monitoring et la réexécution des tâches n ayant pas abouti. Le Framework MapReduce consiste en un seul maître «JobTracker» et un esclave TaskTracker par nœud cluster. 13

Le framework prend soin de l ordonnancement des tâches, leur monitoring et la

14 Architecture - MapReduce 14

15 Architecture - HDFS Le système de fichiers le plus communément utilisé par Hadoop est HDFS. HDFS est basé sur le Google File System (GFS) et consiste en système de fichiers distribué qui est conçu pour fonctionner sur de très larges clusters. HDFS utilise une architecture maître / esclave qui consiste en un seul NameNode qui gère les métadonnées du système de fichiers et un ou plusieurs DataNodes qui stockent les données actuelles. 15

fonctionner sur de très larges clusters.

16 Architecture - HDFS Un fichier dans un espace de noms HDFS est divisé en plusieurs blocs et ces blocs sont stockés dans un ensemble de DataNodes. Le NameNode définit la cartographie des blocs aux DataNodes. Les DataNodes prennent soin de l'opération de lecture et d'écriture sur le système de fichiers. Ils s occupent aussi de la création de blocs, la suppression et la réplication basée sur l'instruction donnée par le NameNode. 16

Les DataNodes prennent soin de l'opération de lecture et d'écriture sur le système de fichiers.

17 Architecture Comment fonctionne Hadoop Etape 1 Un utilisateur / Une application peut soumettre une tâche (job) à Hadoop en spécifiant les éléments suivants : L emplacement des fichiers en entrée et en sortie Les classes Java (fichiers.jar) contenant l implémentation des fonctions de Map Reduce. La configuration de la tâche avec les paramètres spécifiques 17

des fichiers en entrée et en sortie Les classes Java (fichiers.

18 Architecture Comment fonctionne Hadoop Etape 2 Le Hadoop Job Client soumet la tâche (jar / exécutable) et la configuration au Job Tracker qui s occupe de la distribution aux esclaves, de l ordonnancement et du monitoring. Etape 3 Les TaskTrackers sur les différents nœuds exécutent les tâches 18

s occupe de la distribution aux esclaves, de l ordonnancement et du

19 Demo Calcul de la valeur de PI en utilisant la méthode Monte Carlo 19

20 Demo Hue + Impala 20

21 Usages Yahoo! Yahoo a massivement investi dans le projet Hadoop. La société utilise Hadoop pour sa page d'accueil (publicités ciblées, contenus adaptés, le «top recherche» des utilisateurs ) depuis Yahoo possède à ce jour le plus grand nombre de machines Hadoop avec plus de nœuds. À titre d'exemple, Yahoo a monté un serveur Hadoop de 2000 nœuds afin de trier vingt téraoctets de données. La tâche a pris 2 heures et 30 minutes. 21

22 Usages ebay 22

23 DISCUSSION 23

Documents pareils

Big Data Concepts et mise en oeuvre de Hadoop

Big Data Concepts et mise en oeuvre de Hadoop Introduction 1. Objectif du chapitre 9 2. Le Big Data 10 2.1 Introduction 10 2.2 Informatique connectée, objets "intelligents" et données collectées 11 2.3 Les unités de mesure dans le monde Big Data 12