Big Data Concepts et mise en oeuvre de Hadoop

Dimension: px

Commencer à balayer dès la page:

Download "Big Data Concepts et mise en oeuvre de Hadoop"

Éloïse Chevalier
il y a 8 ans
Total affichages :

1 Introduction 1. Objectif du chapitre 9 2. Le Big Data Introduction Informatique connectée, objets "intelligents" et données collectées Les unités de mesure dans le monde Big Data Big Data : au-delà des volumes, une rupture conceptuelle Big Data : l'échec des approches classiques Hadoop et Big Data Introduction Google File System et MapReduce Hadoop Problèmes "hadoopéables" Pour aller plus loin Niveau de performance des disques durs actuels Fonctions de type "map" et fonctions de type "reduce" Les distributions de Hadoop 20 Installer Hadoop sur une station de travail 1. Objectif du chapitre Les différents modes de fonctionnement de Hadoop Le mode local Le mode pseudo-distribué Le mode totalement distribué 24 1/8

2 2.4 Les clusters Hadoop virtualisés Installer Hadoop en mode pseudo-distribué Pré-requis matériels Pré-requis logiciels Système d'exploitation Machine virtuelle Installer Hadoop pas-à-pas sur une station de travail Installation de VirtualBox Installation de Hadoop (distribution CDH4) 27 Une vue globale de Hadoop 1. Objectif du chapitre Introduction Stocker et traiter des volumes de données très importants Garantir la redondance des données Faire face à la panne d un nœud Réaffecter les tâches Garantir la bonne fin des jobs en cours Le retour à la normale Garantir une évolution proportionnelle des performances 48 HDFS 2/8

3 1. Objectif du chapitre Présentation de HDFS Principe de fonctionnement Le NameNode Le SecondaryNameNode Le NN comme SPOF Lecture d'un fichier HDFS par un programme Hadoop Création d'un fichier HDFS par un programme Hadoop 57 MapReduce 1. Objectif du chapitre Présentation de MapReduce Principes de fonctionnement de MapReduce MapReduce du point de vue du développeur Java Les entrées-sorties La phase map (exemple 1) Entre la phase map et la phase reduce (exemple 1) La phase reduce (exemple 1) La phase map (exemple 2) Entre la phase map et la phase reduce (exemple 2) La phase reduce (exemple 2) Quelques remarques générales concernant les mappers et les reducers MapReduce du point de vue de l'administrateur Hadoop Le JobTracker 73 3/8

4 5.2 Le TaskTracker 76 Les apports de la version 2 de Hadoop 1. Objectif du chapitre High Availability Federation YARN Support de Microsoft Windows Autres apports de la version 2 de Hadoop Conclusion 85 Aspects matériels 1. Objectif du chapitre Les nœuds maîtres Les nœuds esclaves Les aspects réseau Déterminer la taille d'un cluster Hadoop et prévoir son évolution 92 4/8

5 6. Un exemple de cluster Hadoop Pour aller plus loin Règles concernant les nœuds esclaves Règles concernant les nœuds maîtres Règles concernant le réseau Règles concernant le cluster 98 L'écosystème de Hadoop 1. Objectif du chapitre Pig, Hive et l'api de streaming Introduction Hive Pig L'API de streaming Outils orientés bases de données Flume Squoop HBase Impala Outils d'exploitation ZooKeeper Cloudera Manager Oozie Autres outils Hue Mahout 120 5/8

6 6. Comment intégrer Hadoop dans un système d'information? 121 Développer des programmes Hadoop 1. Objectifs du chapitre WordCount Préparation des données Importation des données dans HDFS WordCount en Java Le driver Le mapper Le reducer Compilation et exécution du job WordCount en Python Le mapper Le reducer Exécution du job Conclusion JoinTables Introduction JoinTables en Java JoinTables en Pig Latin JoinTables en HiveQL Conclusion Conclusion 161 Mettre en œuvre un cluster Hadoop 6/8

7 1. Objectif du chapitre Cluster dédié ou cluster dans le Cloud? Les coûts Cluster dédié installé dans les locaux de l'organisme Les coûts de formation Les coûts matériels Les coûts logiciels Le coût du support technique Les coûts en énergie Les coûts en personnel Cluster dédié installé chez un hébergeur Les coûts de formation Les coûts matériels Les coûts logiciels Le coût du support technique Les coûts en personnel Les coûts en énergie Cluster partagé dans le Cloud Les coûts de formation Les coûts matériels Les coûts logiciels Le coût du support technique Les coûts en énergie Les coûts en personnel Les coûts en services 175 Quand utiliser Hadoop? 1. Objectif du chapitre 177 7/8

8 2. Exemples de problèmes "hadoopéables" Exemples réels d'utilisation de Hadoop Dans le domaine de la gestion de clientèle Dans le domaine de la publicité Dans le domaine de la santé Dans le domaine de la lutte contre la fraude Dans le domaine des villes "intelligentes" Dans le domaine des moteurs de recherche ou de recommandations Dans le domaine de la maintenance préventive Autres usages Identification de patterns dans des photographies Principales sources d'information utilisées dans ce chapitre 190 Conclusion 1. Le futur de Hadoop Les évolutions matérielles Les évolutions logicielles Les évolutions dans l'usage Quand Google et Hadoop se fourvoient 196 Index 199 8/8

Documents pareils

Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr

Déploiement d une architecture Hadoop pour analyse de flux françois-xavier.andreu@renater.fr 1 plan Introduction Hadoop Présentation Architecture d un cluster HDFS & MapReduce L architecture déployée Les