Big Data Concepts et mise en oeuvre de Hadoop

Save this PDF as:
 WORD  PNG  TXT  JPG

Dimension: px
Commencer à balayer dès la page:

Download "Big Data Concepts et mise en oeuvre de Hadoop"

Transcription

1 Introduction 1. Objectif du chapitre 9 2. Le Big Data Introduction Informatique connectée, objets "intelligents" et données collectées Les unités de mesure dans le monde Big Data Big Data : au-delà des volumes, une rupture conceptuelle Big Data : l'échec des approches classiques Hadoop et Big Data Introduction Google File System et MapReduce Hadoop Problèmes "hadoopéables" Pour aller plus loin Niveau de performance des disques durs actuels Fonctions de type "map" et fonctions de type "reduce" Les distributions de Hadoop 20 Installer Hadoop sur une station de travail 1. Objectif du chapitre Les différents modes de fonctionnement de Hadoop Le mode local Le mode pseudo-distribué Le mode totalement distribué 24 1/8

2 2.4 Les clusters Hadoop virtualisés Installer Hadoop en mode pseudo-distribué Pré-requis matériels Pré-requis logiciels Système d'exploitation Machine virtuelle Installer Hadoop pas-à-pas sur une station de travail Installation de VirtualBox Installation de Hadoop (distribution CDH4) 27 Une vue globale de Hadoop 1. Objectif du chapitre Introduction Stocker et traiter des volumes de données très importants Garantir la redondance des données Faire face à la panne d un nœud Réaffecter les tâches Garantir la bonne fin des jobs en cours Le retour à la normale Garantir une évolution proportionnelle des performances 48 HDFS 2/8

3 1. Objectif du chapitre Présentation de HDFS Principe de fonctionnement Le NameNode Le SecondaryNameNode Le NN comme SPOF Lecture d'un fichier HDFS par un programme Hadoop Création d'un fichier HDFS par un programme Hadoop 57 MapReduce 1. Objectif du chapitre Présentation de MapReduce Principes de fonctionnement de MapReduce MapReduce du point de vue du développeur Java Les entrées-sorties La phase map (exemple 1) Entre la phase map et la phase reduce (exemple 1) La phase reduce (exemple 1) La phase map (exemple 2) Entre la phase map et la phase reduce (exemple 2) La phase reduce (exemple 2) Quelques remarques générales concernant les mappers et les reducers MapReduce du point de vue de l'administrateur Hadoop Le JobTracker 73 3/8

4 5.2 Le TaskTracker 76 Les apports de la version 2 de Hadoop 1. Objectif du chapitre High Availability Federation YARN Support de Microsoft Windows Autres apports de la version 2 de Hadoop Conclusion 85 Aspects matériels 1. Objectif du chapitre Les nœuds maîtres Les nœuds esclaves Les aspects réseau Déterminer la taille d'un cluster Hadoop et prévoir son évolution 92 4/8

5 6. Un exemple de cluster Hadoop Pour aller plus loin Règles concernant les nœuds esclaves Règles concernant les nœuds maîtres Règles concernant le réseau Règles concernant le cluster 98 L'écosystème de Hadoop 1. Objectif du chapitre Pig, Hive et l'api de streaming Introduction Hive Pig L'API de streaming Outils orientés bases de données Flume Squoop HBase Impala Outils d'exploitation ZooKeeper Cloudera Manager Oozie Autres outils Hue Mahout 120 5/8

6 6. Comment intégrer Hadoop dans un système d'information? 121 Développer des programmes Hadoop 1. Objectifs du chapitre WordCount Préparation des données Importation des données dans HDFS WordCount en Java Le driver Le mapper Le reducer Compilation et exécution du job WordCount en Python Le mapper Le reducer Exécution du job Conclusion JoinTables Introduction JoinTables en Java JoinTables en Pig Latin JoinTables en HiveQL Conclusion Conclusion 161 Mettre en œuvre un cluster Hadoop 6/8

7 1. Objectif du chapitre Cluster dédié ou cluster dans le Cloud? Les coûts Cluster dédié installé dans les locaux de l'organisme Les coûts de formation Les coûts matériels Les coûts logiciels Le coût du support technique Les coûts en énergie Les coûts en personnel Cluster dédié installé chez un hébergeur Les coûts de formation Les coûts matériels Les coûts logiciels Le coût du support technique Les coûts en personnel Les coûts en énergie Cluster partagé dans le Cloud Les coûts de formation Les coûts matériels Les coûts logiciels Le coût du support technique Les coûts en énergie Les coûts en personnel Les coûts en services 175 Quand utiliser Hadoop? 1. Objectif du chapitre 177 7/8

8 2. Exemples de problèmes "hadoopéables" Exemples réels d'utilisation de Hadoop Dans le domaine de la gestion de clientèle Dans le domaine de la publicité Dans le domaine de la santé Dans le domaine de la lutte contre la fraude Dans le domaine des villes "intelligentes" Dans le domaine des moteurs de recherche ou de recommandations Dans le domaine de la maintenance préventive Autres usages Identification de patterns dans des photographies Principales sources d'information utilisées dans ce chapitre 190 Conclusion 1. Le futur de Hadoop Les évolutions matérielles Les évolutions logicielles Les évolutions dans l'usage Quand Google et Hadoop se fourvoient 196 Index 199 8/8

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages 1 Mehdi LOUIZI Plan Pourquoi Hadoop? Présentation et Architecture Démo Usages 2 Pourquoi Hadoop? Limites du Big Data Les entreprises n analysent que 12% des données qu elles possèdent (Enquête Forrester

Plus en détail

Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr

Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr Déploiement d une architecture Hadoop pour analyse de flux françois-xavier.andreu@renater.fr 1 plan Introduction Hadoop Présentation Architecture d un cluster HDFS & MapReduce L architecture déployée Les

Plus en détail

FORMATION HADOOP Administrateur pour Hadoop (Apache)

FORMATION HADOOP Administrateur pour Hadoop (Apache) FORMATION HADOOP Administrateur pour Hadoop (Apache) Ce document reste la propriété du Groupe Cyrès. Toute copie, diffusion, exploitation même partielle doit faire l objet d une demande écrite auprès de

Plus en détail

FORMATION HADOOP Développeur pour Hadoop (Apache)

FORMATION HADOOP Développeur pour Hadoop (Apache) FORMATION HADOOP Développeur pour Hadoop (Apache) Ce document reste la propriété du Groupe Cyrès. Toute copie, diffusion, exploitation même partielle doit faire l objet d une demande écrite auprès de Cyrès.

Plus en détail

Fouillez facilement dans votre système Big Data. Olivier TAVARD

Fouillez facilement dans votre système Big Data. Olivier TAVARD Fouillez facilement dans votre système Big Data Olivier TAVARD A propos de moi : Cofondateur de la société France Labs Développeur (principalement Java) Formateur en technologies de moteurs de recherche

Plus en détail

L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13

L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13 L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com HUG France 250 membres sur la mailing liste 30 présentations 9 meetups organisés, de 20 à 100 invités Présence de Cloudera, MapR, Hortonworks,

Plus en détail

Labs Hadoop Février 2013

Labs Hadoop Février 2013 SOA - BRMS - ESB - BPM CEP BAM - High Performance Compute & Data Grid - Cloud Computing - Big Data NoSQL - Analytics Labs Hadoop Février 2013 Mathias Kluba Managing Consultant Responsable offres NoSQL

Plus en détail

Formation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop

Formation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop Passez au niveau supérieur en termes de connaissance grâce à la formation Data Analyst de Cloudera. Public Durée Objectifs Analystes de données, business analysts, développeurs et administrateurs qui ont

Plus en détail

HADOOP ET SON ÉCOSYSTÈME

HADOOP ET SON ÉCOSYSTÈME HADOOP ET SON ÉCOSYSTÈME Mars 2013 2012 Affini-Tech - Diffusion restreinte 1 AFFINI-TECH Méthodes projets Outils de reporting & Data-visualisation Business & Analyses BigData Modélisation Hadoop Technos

Plus en détail

Big Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1

Big Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1 Big Data Cyril Amsellem Consultant avant-vente 16 juin 2011 Talend 2010 1 Big Data Architecture globale Hadoop Les projets Hadoop (partie 1) Hadoop-Core : projet principal. HDFS : système de fichiers distribués

Plus en détail

DATA ANALYST UTILISER PIG, HIVE ET IMPALA AVEC HADOOP DE CLOUDERA

DATA ANALYST UTILISER PIG, HIVE ET IMPALA AVEC HADOOP DE CLOUDERA SI 2.0 DATA ANALYST UTILISER PIG, HIVE ET IMPALA AVEC HADOOP DE CLOUDERA REF : SICL001 DUREE : 4 JOURS TARIF : 2 695 HT Public Analystes de données, business analysts, développeurs et administrateurs.

Plus en détail

Introduction à MapReduce/Hadoop et Spark

Introduction à MapReduce/Hadoop et Spark 1 / 36 Introduction à MapReduce/Hadoop et Spark Certificat Big Data Ludovic Denoyer et Sylvain Lamprier UPMC Plan 2 / 36 Contexte 3 / 36 Contexte 4 / 36 Data driven science: le 4e paradigme (Jim Gray -

Plus en détail

API04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture

API04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture API04 Contribution Apache Hadoop: Présentation et application dans le domaine des Data Warehouses Introduction Cette publication a pour but de présenter le framework Java libre Apache Hadoop, permettant

Plus en détail

Pascal BASSET, - PMU Responsable Risques Numériques, Expériences Utilisateurs et DSI international

Pascal BASSET, - PMU Responsable Risques Numériques, Expériences Utilisateurs et DSI international Pascal BASSET, - PMU Responsable Risques Numériques, Expériences Utilisateurs et DSI international CRiP Thématique Sécurité de l informatique de demain 03/12/14 Agenda Introduction big data et lien avec

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2014) Marc Parizeau, Département de génie électrique et de génie informatique Plan Mégadonnées («big data») Architecture Hadoop distribution

Plus en détail

Programmation parallèle et distribuée (Master 1 Info 2015-2016)

Programmation parallèle et distribuée (Master 1 Info 2015-2016) Programmation parallèle et distribuée (Master 1 Info 2015-2016) Hadoop MapReduce et HDFS Note bibliographique : ce cours est largement inspiré par le cours de Benjamin Renaut (Tokidev SAS) Introduction

Plus en détail

avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data

avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data Historique de Big data Jusqu à l avènement d Internet et surtout du Web 2.0 il n y avait pas tant de données

Plus en détail

Technologies «Big Data» TP #1 Mise en place d un cluster (virtuel) Hadoop

Technologies «Big Data» TP #1 Mise en place d un cluster (virtuel) Hadoop Technologies «Big Data» TP #1 Mise en place d un cluster (virtuel) Hadoop Objectif : Ce TP est destiné à mettre en place un cluster Hadoop «virtuel» composé de 2 machines Linux. Pour atteindre cet objectif

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Cloud et scalabilité Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire

Plus en détail

Chapitre 10 Mettre en œuvre un cluster Hadoop

Chapitre 10 Mettre en œuvre un cluster Hadoop Chapitre 10 Mettre en œuvre un cluster Hadoop 1. Objectif du chapitre Mettre en œuvre un cluster Hadoop L'objectif de ce chapitre est de comparer différentes options possibles pour mettre en œuvre un cluster

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution

Plus en détail

Retour d expérience BigData 16/10/2013 Cyril Morcrette CTO

Retour d expérience BigData 16/10/2013 Cyril Morcrette CTO Retour d expérience BigData 16/10/2013 Cyril Morcrette CTO Mappy en Chiffre Filiale du groupe Solocal 10M de visiteurs uniques 300M visites annuelles 100 collaborateurs dont 60% technique 3,7 Md de dalles

Plus en détail

Hadoop / Big Data. Benjamin Renaut MBDS 2014-2015

Hadoop / Big Data. Benjamin Renaut <renaut.benjamin@tokidev.fr> MBDS 2014-2015 Hadoop / Big Data Benjamin Renaut MBDS 2014-2015 TP 1 - Correction Méthodologie Map/Reduce - programmation Hadoop. Rappel 1 La première partie du TP consistait à mettre en

Plus en détail

Offre formation Big Data Analytics

Offre formation Big Data Analytics Offre formation Big Data Analytics OCTO 2014 50, avenue des Champs-Elysées 75008 Paris - FRANCE Tél : +33 (0)1 58 56 10 00 Fax : +33 (0)1 58 56 10 01 www.octo.com 1 Présentation d OCTO Technology 2 Une

Plus en détail

Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html. R.R. Université Lyon 2

Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html. R.R. Université Lyon 2 Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html 1 Plan de présentation 1. L écosystème Hadoop 2. Principe de programmation MapReduce 3. Programmation des fonctions

Plus en détail

Big Data : utilisation d un cluster Hadoop HDFS Map/Reduce HBase

Big Data : utilisation d un cluster Hadoop HDFS Map/Reduce HBase Big Data : utilisation d un cluster cluster Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe), Laboratoire APC, Université Paris Diderot LabEx UnivEarthS 14 Janvier 2014 C. Cavet

Plus en détail

KARMA Le système de Revenue Management d'air France KLM avec Hadoop

KARMA Le système de Revenue Management d'air France KLM avec Hadoop KARMA Le système de Revenue Management d'air France KLM avec Hadoop Conférence BIG DATA - Master MBDS Université de Nice Sophia Antipolis 16 Décembre 2014 Martial AYAS maayas@airfrance.fr 2 Agenda 1. Présentation

Plus en détail

Les données massives à Calcul Québec

Les données massives à Calcul Québec Les données massives à Calcul Québec Marc Parizeau, professeur et directeur scientifique de Calcul Québec Plan Calcul Québec / Calcul Canada Les outils et les services disponibles Un outil en particulier

Plus en détail

4. Gestion des données urbaines dans les nuages informatiques

4. Gestion des données urbaines dans les nuages informatiques 4. Gestion des données urbaines dans les nuages informatiques Brève histoire des nuages informatiques Modèles de service et de déploiement Technologie clé : la virtualisation IaaS : les points de vue utilisateur

Plus en détail

Avantages du système de fichiers HDFS en termes de performances sur les entrepôts de données de type ROLAP. par. Mounir BOUSSAFSAF

Avantages du système de fichiers HDFS en termes de performances sur les entrepôts de données de type ROLAP. par. Mounir BOUSSAFSAF Avantages du système de fichiers HDFS en termes de performances sur les entrepôts de données de type ROLAP par Mounir BOUSSAFSAF essai présenté au CeFTI en vue de l obtention du grade de maître en génie

Plus en détail

Les journées SQL Server 2013

Les journées SQL Server 2013 Les journées SQL Server 2013 Un événement organisé par GUSS Les journées SQL Server 2013 Romain Casteres MVP SQL Server Consultant BI @PulsWeb Yazid Moussaoui Consultant Senior BI MCSA 2008/2012 Etienne

Plus en détail

DÉPLOIEMENT DE POSTES

DÉPLOIEMENT DE POSTES DÉPLOIEMENT DE POSTES AVEC MDT2012 FRANÇOIS CLÉMENCE UNIVERSITÉ DELORRAINE francois.clemence@univ-lorraine.fr Plan Introduction La gestion du poste de travail : état des lieux Format WIM de Microsoft La

Plus en détail

Hadoop, les clés du succès

Hadoop, les clés du succès Hadoop, les clés du succès Didier Kirszenberg, Responsable des architectures Massive Data, HP France Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject

Plus en détail

Windows Azure Platform Développez, déployez et administrez pour le Cloud Microsoft

Windows Azure Platform Développez, déployez et administrez pour le Cloud Microsoft Avant-propos 1. Pourquoi ce livre? 11 2. À qui s adresse cet ouvrage? 12 3. Structure de l ouvrage 12 4. Remerciements 13 Le Cloud 1. Introduction 15 2. Présentation du concept 15 2.1 Historique de l'hébergement

Plus en détail

BIG DATA en Sciences et Industries de l Environnement

BIG DATA en Sciences et Industries de l Environnement BIG DATA en Sciences et Industries de l Environnement François Royer www.datasio.com 21 mars 2012 FR Big Data Congress, Paris 2012 1/23 Transport terrestre Traçabilité Océanographie Transport aérien Télémétrie

Plus en détail

TME 1 - Hadoop, une plate-forme open-source de MapReduce. Installation et prise en main

TME 1 - Hadoop, une plate-forme open-source de MapReduce. Installation et prise en main CODEL : conception et développement d applications d entreprise à large échelle TME 1 - Hadoop, une plate-forme open-source de MapReduce. Installation et prise en main Jonathan Lejeune Contexte Le modèle

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Map Reduce Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire

Plus en détail

Projet Xdata. Cinequant, Data Publica, EDF, ESRI, Hurence, INRIA, Institut Mines Telecom, La Poste, Orange, Veolia

Projet Xdata. Cinequant, Data Publica, EDF, ESRI, Hurence, INRIA, Institut Mines Telecom, La Poste, Orange, Veolia Projet Xdata Cinequant, Data Publica, EDF, ESRI, Hurence, INRIA, Institut Mines Telecom, La Poste, Orange, Veolia Mutualisation des données XData = Cross Data En croisant des données d origine diverses,

Plus en détail

Cartographie des solutions BigData

Cartographie des solutions BigData Cartographie des solutions BigData Panorama du marché et prospective 1 1 Solutions BigData Défi(s) pour les fournisseurs Quel marché Architectures Acteurs commerciaux Solutions alternatives 2 2 Quels Défis?

Plus en détail

DEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD

DEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD DEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD BIGDATA PARIS LE 1/4/2014 VINCENT HEUSCHLING @VHE74! 1 NOUS 100% Bigdata Infrastructure IT + Data Trouver vos opportunités Implémenter les

Plus en détail

Sommaire. 3. Les grands principes de GFS L architecture L accès de fichier en lecture L accès de fichier en écriture Bilan

Sommaire. 3. Les grands principes de GFS L architecture L accès de fichier en lecture L accès de fichier en écriture Bilan 1 Sommaire 1. Google en chiffres 2. Les raisons d être de GFS 3. Les grands principes de GFS L architecture L accès de fichier en lecture L accès de fichier en écriture Bilan 4. Les Evolutions et Alternatives

Plus en détail

Introduction data science

Introduction data science Introduction data science Data science Master 2 ISIDIS Sébastien Verel verel@lisic.univ-littoral.fr http://www-lisic.univ-littoral.fr/~verel Université du Littoral Côte d Opale Laboratoire LISIC Equipe

Plus en détail

Big Data par l exemple

Big Data par l exemple #PARTAGE Big Data par l exemple Alexandre Chauvin Hameau Directeur de la production Malakoff Médéric @achauvin CT BIG DATA 10/12/2015 Soyons pragmatiques BIG DATA beaucoup de bruit pour des choses finalement

Plus en détail

Ingénierie de la fouille et de la visualisation de données massives (RCP216)

Ingénierie de la fouille et de la visualisation de données massives (RCP216) . Ingénierie de la fouille et de la visualisation de données massives (RCP216). Introduction du cours Michel Crucianu, Raphaël Fournier-S niehotta, Pierre Cubaud (prenom.nom@cnam.fr, fournier@cnam.fr)

Plus en détail

Implémentation et Benchmark. d une régression linéaire en RMR2

Implémentation et Benchmark. d une régression linéaire en RMR2 Add intelligence to data Anne Gayet Directrice Datamining Implémentation et Benchmark d une régression linéaire en RMR2 16 janvier 2014 Rendez-vous SFdS: : Méthodes et logiciels Données massives (big data)

Plus en détail

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data.

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data. Big Data De la stratégie à la mise en oeuvre Description : La formation a pour objet de brosser sans concession le tableau du Big Data. Les participants repartiront de cette formation en ayant une vision

Plus en détail

Vos experts Big Data. contact@hurence.com. Mener un projet Big Data

Vos experts Big Data. contact@hurence.com. Mener un projet Big Data Vos experts Big Data contact@hurence.com Mener un projet Big Data Expert Expert Infrastructure Data Science Spark MLLib Big Data depuis 2011 Expert Expert Hadoop / Spark NoSQL HBase Couchbase MongoDB Expert

Plus en détail

TME 1 - Hadoop, une plate-forme open-source de MapReduce. Installation et prise en main

TME 1 - Hadoop, une plate-forme open-source de MapReduce. Installation et prise en main PSIA :Plates-formes pour les systèmes informatiques avancés TME 1 - Hadoop, une plate-forme open-source de MapReduce. Installation et prise en main Jonathan Lejeune, Julien Sopena Contexte Le modèle MapReduce

Plus en détail

Big Data EC2 S3. Stockage. Amazon Web Services. Réf. Intitulé des formations Page

Big Data EC2 S3. Stockage. Amazon Web Services. Réf. Intitulé des formations Page IAM Big Data EBS Big Data Cloud EC2 S3 Cloud Stockage Stockage Amazon Web Services Réf. Intitulé des formations Page GK4501 Notions de base Amazon Web Services 3 GK4502 Architecture sur Amazon Web Services

Plus en détail

For Fun and Profit Datasio 2012

For Fun and Profit Datasio 2012 For Fun and Profit Datasio 2012 130 Nouveaux acteurs Big Data depuis 2009 1 2 3 Agenda Hadoop, poids lourd du Big Data Stats Web avec Hive chez Scoop.it Profession: Data Scientist Agenda 1 Hadoop, poids

Plus en détail

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis MapReduce Nicolas Dugué nicolas.dugue@univ-orleans.fr M2 MIAGE Systèmes d information répartis Plan 1 Introduction Big Data 2 MapReduce et ses implémentations 3 MapReduce pour fouiller des tweets 4 MapReduce

Plus en détail

Hadoop / Big Data. Benjamin Renaut MBDS 2014-2015

Hadoop / Big Data. Benjamin Renaut <renaut.benjamin@tokidev.fr> MBDS 2014-2015 Hadoop / Big Data Benjamin Renaut MBDS 2014-2015 TP 1 Méthodologie Map/Reduce - programmation Hadoop. 1 Installer VirtualBox (https://www.virtualbox.org/). Importer la machine

Plus en détail

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -"Big Data par l'exemple" -Julien DULOUT

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -Big Data par l'exemple -Julien DULOUT 20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013 20 ans du SIAD -"BigData par l'exemple" -Julien DULOUT Qui a déjà entendu parler du phénomène BigData? Qui a déjà

Plus en détail

R+Hadoop = Rhadoop* Des logiciels libres complémentaires, une implémentation, une réponse au nouveau paradigme du bigdata!

R+Hadoop = Rhadoop* Des logiciels libres complémentaires, une implémentation, une réponse au nouveau paradigme du bigdata! R+Hadoop = Rhadoop* * Des logiciels libres complémentaires, une implémentation, une réponse au nouveau paradigme du bigdata! 27 Janvier 2014 / Université Paul Sabatier / DTSI / David Tsang-Hin-Sun Big

Plus en détail

Acquisition des données - Big Data. Dario VEGA Senior Sales Consultant

Acquisition des données - Big Data. Dario VEGA Senior Sales Consultant Acquisition des données - Big Data Dario VEGA Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated

Plus en détail

Hadoop, Spark & Big Data 2.0. Exploiter une grappe de calcul pour des problème des données massives

Hadoop, Spark & Big Data 2.0. Exploiter une grappe de calcul pour des problème des données massives Hadoop, Spark & Big Data 2.0 Exploiter une grappe de calcul pour des problème des données massives Qui suis-je? Félix-Antoine Fortin Génie info. (B. Ing, M. Sc, ~PhD) Passionné de Python, Data Analytics,

Plus en détail

VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr

VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr Avril 2014 Virtualscale 1 Sommaire Les enjeux du Big Data et d Hadoop Quels enjeux

Plus en détail

Historique. Évolution des systèmes d exploitation (à travers les âges)

Historique. Évolution des systèmes d exploitation (à travers les âges) Historique Évolution des systèmes d exploitation (à travers les âges) Historique L histoire des systèmes d exploitation permet de dégager des concepts de base que l on retrouve dans les systèmes actuels

Plus en détail

Tutoriel compte-rendu Mission 2: Gestion des utilisateurs

Tutoriel compte-rendu Mission 2: Gestion des utilisateurs Équipe Informatique BTS SIO 2 2012/2013 ACKCHOUR Ramdane MUNIER Julien OUDART Luc Tutoriel compte-rendu Mission 2: Gestion des utilisateurs Sommaire I Pré-requis A) Installation de la machine virtuelle

Plus en détail

Une brève introduction aux Données Massives - Challenges et perspectives. Romain Picot-Clémente Cécile Bothorel Philippe Lenca

Une brève introduction aux Données Massives - Challenges et perspectives. Romain Picot-Clémente Cécile Bothorel Philippe Lenca Une brève introduction aux Données Massives - Challenges et perspectives Romain Picot-Clémente Cécile Bothorel Philippe Lenca Plan 1 Big Data 2 4Vs 3 Hadoop et son écosystème 4 Nouveaux challenges, nouvelles

Plus en détail

Vos experts Big Data. contact@hurence.com. Le Big Data dans la pratique

Vos experts Big Data. contact@hurence.com. Le Big Data dans la pratique Vos experts Big Data contact@hurence.com Le Big Data dans la pratique Expert Expert Infrastructure Data Science Spark MLLib Big Data depuis 2011 Expert Expert Hadoop / Spark NoSQL HBase Couchbase MongoDB

Plus en détail

VMware View Virtualisation des postes de travail (architecture, déploiement, bonnes pratiques...)

VMware View Virtualisation des postes de travail (architecture, déploiement, bonnes pratiques...) Avant-propos 1. Introduction 11 2. Comment lire ce livre? 12 3. Remerciements 12 Introduction 1. Problématiques des postes de travail 13 2. Avantages de la virtualisation de postes de travail 15 2.1 Retours

Plus en détail

Visual Studio 2013 Concevoir et développer des projets Web, les gérer avec TFS 2013

Visual Studio 2013 Concevoir et développer des projets Web, les gérer avec TFS 2013 Introduction 1. Présentation du cas d étude 13 1.1 Présentation générale 13 1.2 Présentation des applications 13 2. Déroulement du projet 14 3. Pré-requis et fondamentaux techniques à connaître 15 3.1

Plus en détail

MapReduce. Malo Jaffré, Pablo Rauzy. 16 avril 2010 ENS. Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15

MapReduce. Malo Jaffré, Pablo Rauzy. 16 avril 2010 ENS. Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15 MapReduce Malo Jaffré, Pablo Rauzy ENS 16 avril 2010 Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15 Qu est ce que c est? Conceptuellement Données MapReduce est un framework de calcul distribué

Plus en détail

Fiche technique WS2012

Fiche technique WS2012 Le 18/03/013 OBJECTIF VIRTUALISATION mathieuc@exakis.com EXAKIS NANTES Identification du document Titre Projet Date de création Date de modification Fiche technique Objectif 18/03/2013 26/03/2013 WS2012

Plus en détail

Panorama des solutions analytiques existantes

Panorama des solutions analytiques existantes Arnaud LAROCHE Julien DAMON Panorama des solutions analytiques existantes SFdS Méthodes et Logiciels - 16 janvier 2014 - Données Massives Ne sont ici considérés que les solutions autour de l environnement

Plus en détail

Analytics & Big Data. Focus techniques & nouvelles perspectives pour les actuaires. Université d Eté de l Institut des Actuaires Mardi 8 juillet 2014

Analytics & Big Data. Focus techniques & nouvelles perspectives pour les actuaires. Université d Eté de l Institut des Actuaires Mardi 8 juillet 2014 Analytics & Big Data Focus techniques & nouvelles perspectives pour les actuaires Local Optimization European Minded Université d Eté de l Institut des Actuaires Mardi 8 juillet 2014 Intervenants : Alexandre

Plus en détail

Énoncés Chapitre : Installation et mise à jour de Windows 8. Chapitre 2 : Configuration et maintenance du système

Énoncés Chapitre : Installation et mise à jour de Windows 8. Chapitre 2 : Configuration et maintenance du système Avant-propos Objectif de ce livre.................................................... 1 Comment utiliser ce livre?.............................................. 1 Énoncés Chapitre : Installation et mise

Plus en détail

Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales

Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe), Laboratoire

Plus en détail

VMware vsphere 5 Préparation à la certification VMware Certified Professional 5 Data Center Virtualization (VCP5-DCV) - Examen VCP510

VMware vsphere 5 Préparation à la certification VMware Certified Professional 5 Data Center Virtualization (VCP5-DCV) - Examen VCP510 Introduction A. Au sujet du livre 10 B. Au sujet de l'examen 10 Chapitre 1 Les nouveautés de vsphere A. Présentation 14 B. En quoi vsphere 5 diffère de vsphere 4? 14 1. Un Service Console abandonné 14

Plus en détail

LA GESTION DES SOLUTIONS TECHNIQUES D ACCÈS

LA GESTION DES SOLUTIONS TECHNIQUES D ACCÈS LA GESTION DES SOLUTIONS TECHNIQUES D ACCÈS Pour les sources voir le cours LA PROBLEMATIQUE Parc informatique hétérogène compliquant la gestion des postes ; Mise à jour longue des applications ; Existence

Plus en détail

Installer SharePoint Foundation 2010 sur Windows 7

Installer SharePoint Foundation 2010 sur Windows 7 Installer SharePoint Foundation 2010 sur Windows 7 Installer SP Foundation 2010 sur Windows Seven Lorsque l'on souhaite développer dans le monde SharePoint, il existe plusieurs solutions. La méthode classique

Plus en détail

Architecture de déploiement d un système réparti. Kawtharany Mohamed Laboratoire d'informatique et Télécommunication ENST Bretagne

Architecture de déploiement d un système réparti. Kawtharany Mohamed Laboratoire d'informatique et Télécommunication ENST Bretagne Architecture de déploiement d un système réparti Kawtharany Mohamed Laboratoire d'informatique et Télécommunication ENST Bretagne I. Introduction Contexte du travail. Étude du déploiement. Modélisation

Plus en détail

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Soutenance de projet ASR 27/01/2011 Julien Gerlier Siman Chen Encadrés par Bruno

Plus en détail

Anticiper et prédire les sinistres avec une approche Big Data

Anticiper et prédire les sinistres avec une approche Big Data Anticiper et prédire les sinistres avec une approche Big Data Julien Cabot Directeur Big Data Analytics OCTO jcabot@octo.com @julien_cabot OCTO 2013 50, avenue des Champs-Elysées 75008 Paris - FRANCE Tél

Plus en détail

Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web

Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web Responsable du stage : Nabil Belcaid Le Guyader Chef de projet : Ali Belcaid Déroulement du stage

Plus en détail

FORMATION POSTGRESQL Administrateur Niveau 1

FORMATION POSTGRESQL Administrateur Niveau 1 FORMATION POSTGRESQL Administrateur Niveau 1 Ce document reste la propriété du Groupe Cyrès. Toute copie, diffusion, exploitation même partielle doit faire l objet d une demande écrite auprès de Cyrès.

Plus en détail

Hébergement MMI SEMESTRE 4

Hébergement MMI SEMESTRE 4 Hébergement MMI SEMESTRE 4 24/03/2015 Hébergement pour le Web Serveurs Mutualités Serveurs Dédiés Serveurs VPS Auto-Hébergement Cloud Serveurs Mutualités Chaque Serveur héberge plusieurs sites Les ressources

Plus en détail

MapReduce et Hadoop. Alexandre Denis Alexandre.Denis@inria.fr. Inria Bordeaux Sud-Ouest France ENSEIRB PG306

MapReduce et Hadoop. Alexandre Denis Alexandre.Denis@inria.fr. Inria Bordeaux Sud-Ouest France ENSEIRB PG306 MapReduce et Hadoop Alexandre Denis Alexandre.Denis@inria.fr Inria Bordeaux Sud-Ouest France ENSEIRB PG306 Fouille de données Recherche & indexation de gros volumes Appliquer une opération simple à beaucoup

Plus en détail

New Features. Developed by. BPM Conseil - SARL au capital de 70 000 euros - RCS LYON 479 400 129 9, rue Pierre Blanc - 69001 Lyon - France 1/20

New Features. Developed by. BPM Conseil - SARL au capital de 70 000 euros - RCS LYON 479 400 129 9, rue Pierre Blanc - 69001 Lyon - France 1/20 5 New Features Developed by 1/20 Sommaire 1 Introduction... 3 2 Evolutions des studios de développement et améliorations fonctionnelles... 5 3 Portail Vanilla... 6 3.1 Open Street Maps... 6 3.2 Gestion

Plus en détail

Hyper-V et SC Virtual Machine Manager Technologie de virtualisation sous Windows Server 2008 R2 [2ième édition]

Hyper-V et SC Virtual Machine Manager Technologie de virtualisation sous Windows Server 2008 R2 [2ième édition] Implémentation et gestion d'hyper-v 1. Introduction 13 1.1 Virtualisation et Green Computing 14 1.1.1 Le constat 14 1.1.2 Des chiffres 15 1.1.3 Pour corréler... 15 1.1.4 Agir! 16 1.2 Virtualisation et

Plus en détail

Les quatre piliers d une solution de gestion des Big Data

Les quatre piliers d une solution de gestion des Big Data White Paper Les quatre piliers d une solution de gestion des Big Data Table des Matières Introduction... 4 Big Data : un terme très vaste... 4 Le Big Data... 5 La technologie Big Data... 5 Le grand changement

Plus en détail

Outils pour le cloud - Autour de Spark

Outils pour le cloud - Autour de Spark Outils pour le cloud - Autour de Spark Olivier Schwander UPMC 1 / 15 Retour sur MapReduce Spark MapReduce Facile Programmation parallèle plus facile et plus sûre Mais... Besoin

Plus en détail

Stéphane DERACO, DSI CNRS l Argos Devops : de l hyperviseur aux conteneurs l 11/12/2014 DOCKER

Stéphane DERACO, DSI CNRS l Argos Devops : de l hyperviseur aux conteneurs l 11/12/2014 DOCKER DOCKER HISTOIRE Projet interne de www.dotcloud.com (PaaS) 1 ère release Open Source en mars 2013 Objectif : conteneurs CONTENEURS «Vieux» concept chroot Unix : 1983 jails FreeBSD : 1998 Isoler l exécution

Plus en détail

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Julien Gerlier Siman Chen Rapport de projet de fin d étude ASR 2010/2011 Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Encadrants

Plus en détail

Mise en œuvre d une solution de virtualisation

Mise en œuvre d une solution de virtualisation BTS INFORMATIQUE DE GESTION : Option Administrateur de réseaux locaux d entreprise Fiche n Nom et prénom : ***** Nature de l'activité Mise en œuvre d une solution de virtualisation Contexte : Le Lycée

Plus en détail

Monitoring du système de stockage de données du CERN

Monitoring du système de stockage de données du CERN Monitoring du système de stockage de données du CERN Stage réalisé de Mars à Août 2013 Université Lille 1 Spécialisation IAGL Ingénierie et Architecture des Grands Logiciels Manuel SERVAIS Superviseurs

Plus en détail

Tables Rondes Le «Big Data»

Tables Rondes Le «Big Data» Tables Rondes Le «Big Data» 2012-2013 1 Plan Introduc9on 1 - Présenta9on Ingensi 2 - Le Big Data c est quoi? 3 - L histoire 4 - Le monde du libre : Hadoop 5 - Le système HDFS 6 - Les algorithmes distribués

Plus en détail

NAS SAN Les nouvelles solutions de stockage

NAS SAN Les nouvelles solutions de stockage Exposé réseau du 11 janvier 2006 NAS SAN Les nouvelles solutions de stockage David Komar Guillaume Le Cam Mathieu Mancel Sommaire Ħ Introduction Ħ La solution NAS Ħ La solution SAN Ħ Comparaison Ħ Cohabitation

Plus en détail

MapReduce et Hadoop. Alexandre Denis Alexandre.Denis@inria.fr. Inria Bordeaux Sud-Ouest France ENSEIRB PG306

MapReduce et Hadoop. Alexandre Denis Alexandre.Denis@inria.fr. Inria Bordeaux Sud-Ouest France ENSEIRB PG306 MapReduce et Hadoop Alexandre Denis Alexandre.Denis@inria.fr Inria Bordeaux Sud-Ouest France ENSEIRB PG306 Fouille de données Recherche & indexation de gros volumes Appliquer une opération simple à beaucoup

Plus en détail

Chapitre 2 : Abstraction et Virtualisation

Chapitre 2 : Abstraction et Virtualisation Virtualisation et Cloud Computing Chapitre 2 : Abstraction et Virtualisation Objectifs Présenter la notion de niveaux d abstraction séparés par des interfaces bien définies Description des avantages et

Plus en détail

Utilisation du RAID logiciel Sur un serveur Windows 2000

Utilisation du RAID logiciel Sur un serveur Windows 2000 BTS INFORMATIQUE DE GESTION Option Administrateur de réseaux développement d applications COMPTE-RENDU D ACTIVITE ACTIVITE N 6 Nom et Prénom : Casanova Grégory Identification (objectif) de l activité Utilisation

Plus en détail

Installation de Windows XP & Vista en réseau depuis un O.S. Windows XP

Installation de Windows XP & Vista en réseau depuis un O.S. Windows XP Installation de Windows XP & Vista en réseau depuis un O.S. Windows XP Préparation du réseau de déploiement Le «serveur» est connecté par l intermédiaire d un switch aux stations à préparer. (dans le cas

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Introduction Ãă Spark Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire

Plus en détail

Exchange Server 2013 Configuration et gestion de votre environnement de messagerie

Exchange Server 2013 Configuration et gestion de votre environnement de messagerie Introduction à Exchange 1. Présentation d'exchange 17 1.1 La messagerie au sein de l entreprise 17 1.2 L évolution des plateformes Exchange 18 2. Introduction à Exchange 2O13 23 2.1 Contribution aux métiers

Plus en détail

INSTALLATION DE L APPLICATION DU CONTEXTE ITASTE

INSTALLATION DE L APPLICATION DU CONTEXTE ITASTE INSTALLATION DE L APPLICATION DU CONTEXTE ITASTE Le responsable de la société Itaste utilise une application installée sur son poste : elle est programmée en VBA sous Microsoft Access et pourvue d une

Plus en détail

Notes de cours Practical BigData

Notes de cours Practical BigData Notes de cours Practical BigData Nguyen-Nhut DOAN 15 janvier 2015 Introduction Ces notes personnelles traduisent la deuxième partie du cours INF553 de l Ecole Polytechnique sur les bases de données et

Plus en détail

Systèmes de fichiers distribués : comparaison de GlusterFS, MooseFS et Ceph avec déploiement sur la grille de calcul Grid 5000.

Systèmes de fichiers distribués : comparaison de GlusterFS, MooseFS et Ceph avec déploiement sur la grille de calcul Grid 5000. : comparaison de, et avec déploiement sur la grille de calcul Grid 5000. JF. Garcia, F. Lévigne, M. Douheret, V. Claudel 30 mars 2011 1/34 Table des Matières 1 2 3 4 5 6 7 1/34 Présentation du sujet Présentation

Plus en détail

WINDOWS 2003 CLUSTER, MISE EN OEUVRE

WINDOWS 2003 CLUSTER, MISE EN OEUVRE Windows - Systèmes WINDOWS 2003 CLUSTER, MISE EN OEUVRE Réf: WCL Durée : 3 jours (7 heures) OBJECTIFS DE LA FORMATION Ce cours permet de découvrir puis de maîtriser les techniques de cluster disponibles

Plus en détail

Addenda du Guide de l administrateur

Addenda du Guide de l administrateur Addenda du Guide de l administrateur Cet Addenda contient les ajouts et les modifications apportées au texte du Guide de l'administrateur VERITAS Backup Exec for Windows Servers. Les informations contenues

Plus en détail