Our experience in using Apache Giraph for computing the diameter of large graphs. Paul Bertot - Flavian Jacquot
|
|
- Édouard Beauregard
- il y a 8 ans
- Total affichages :
Transcription
1 Our experience in using Apache Giraph for computing the diameter of large graphs Paul Bertot - Flavian Jacquot
2 Plan Contexte Hadoop Giraph L étude Partitionnement ifub 2
3 1. Contexte - L ADT BigGraphs Action de Développement Technologique portée par les EPIs COATI, SCALE et DIANA qui vise au développement d un outil de calcul distribué sur les grands graphes. J évalue Apache Giraph ; Nicolas Chleq (SED) évalue GraphX ; Luc Hogie évalue une solution ad hoc (BigGraph). 3
4 1. Contexte - Le calcul distribué Coût élevé d un super ordinateur SWAP trop coûteux en performance De toutes façons, on pourra toujours imaginer des instances plus grandes Solution : un outil de calcul distribué économique (réutilisation du matériel) performant (répartition du calcul) scalable (par son architecture) 4
5 Plan Contexte Hadoop Giraph L étude Partitionnement ifub 5
6 2. Hadoop - Utilisateurs Wordcloud of Companies by their Relative Hadoop Cluster Sizes, Number of Nodes, Dec
7 2. Hadoop - Origine : BigData Données Volumineuses Facebook : 15 To/jour Twitter : 7To/jour Deux besoins : Stocker et Traiter Réponses : Google File System et MapReduce Logiciel propriétaire, équivalent open source 7
8 2. Hadoop - Présentation High-Availability Distributed Object-Oriented Platform Développé par la Fondation Apache Stockage : HDFS Traitement : MapReduce Tolérance aux pannes, Scalable Ensemble de machines Cluster Parallélisation transparente pour l utilisateur 8
9 2. Hadoop - Schéma général 9
10 2. Hadoop - MapReduce : Détail Les étapes de fonctionnement d une application MapReduce 10
11 Exemple de MapReduce (2) MapReduce is a programming model and an associated implementation for processing and generating large data sets. Users specify a map function that processes a key/value pair to generate a set of intermediate key/value pairs, and a reduce function that merges all intermediate values associated with the same intermediate key. Many real world tasks are expressible in this model, as shown in the paper. Découpé en Records MapReduce is a programming model and an associated implementation for processing and generating large data sets. Users specify a map function that processes a key/value pair to generate a set of. intermediate key/value pairs, and a reduce function that merges all intermediate values associated with the same intermediate key. Many real world tasks are expressible in this model, as shown in the paper. 11
12 Exemple de MapReduce (3) large data sets. Users specify a map function that processes a key/value pair to generate a set of. MAP Mot (clé) Nb Occurrences (valeur) Large 1 Data 1 Sets 2 Users 1 Specify 1 A 3 12
13 Exemple de MapReduce (4) MapReduce is a programming model and an associated implementation for processing and generating large data sets. Users specify a map function that processes a key/value pair to generate a set of intermediate key/value pairs, and a reduce function that merges all intermediate values associated with the same intermediate key. Many real world tasks are expressible in this model, as shown in the paper. Mot (clé) Nb Occurrences (valeur) Large 1 Data 1 Sets 2 Users 1 Specify 1 A 1, 3, 1, 0 13
14 Exemple de MapReduce (5) REDUCE Mot (clé) Nb Occurrences (valeur) Large 1 Data 1 Sets 2 Users 1 Specify 1 A 5 14
15 Hadoop - MapReduce : Utilisations Tri distribué Inversion des liens d un graphe Web Construction d un index inversé Apprentissage automatique Minage de données Permis par la modularité 15
16 Plan Contexte Hadoop Giraph L étude Partitionnement ifub 16
17 3. Giraph - Introduction Système itératif de traitement de graphes Inspiré par Google Pregel (2010) Donné à l ASF par Yahoo! en 2011 Version 1.1 en novembre
18 3. Giraph - Généralités Propose une implémentation de BSP++ Modulaire (OO), interopérable (I/O formats) Basé sur Hadoop : gestionnaire de ressources Open source (GIT) 8 contributeurs 18
19 BSP - Bulk Synchronous Parallel Modèle de programmation Créé par Leslie Valiant ~1980s, finalisé en 90 «Calcul parallèle synchronisé en vrac» 3 composants : - Traitement CPU, mémoire - communication messages - synchronisation barrières 19
20 BSP- Bulk Synchronous Parallel Calcul Messages Barrière 20
21 3. Giraph - BSP orienté sommets Algorithmes localisés : Un sommet n a pas de vision globale du graphe : il ne connait que ses voisins Penser comme un sommet 21
22 3. Giraph - Architecture 22
23 3. Giraph - Cycle de vie d un Job Cycle de vie d un Job Giraph : Chargement Traitement Résultats 23
24 3. Giraph - Exemple : ShortestPath Algorithme de calcul des distances Source unique Applications : - GPS - Graphe social - Diamètre
25 3. Giraph - Exemple (2) Après Map et merge on obtient une Liste <vertex_id,list<out_vertex_id>> SuperStep -1 25
26 3. Giraph - Exemple (3) SuperStep 0 26
27 3. Giraph - Exemple (4) SuperStep 1 27
28 3. Giraph - Exemple (5) SuperStep 2 28
29 3. Giraph - Exemple (6) SuperStep 3 29
30 3. Giraph - Récapitulatif Avantages Communauté Open Source Adaptable Scalable Mature Algorithmes Inconvénients Repose sur Hadoop Lourd Moins de contrôle 30
31 Notre expérience 2 jours pour configurer Hadoop sur 1 machine - Tutoriel de Giraph pas à jour - Configuration SSH - Utilisation fastidieuse (mode console) - Pas prévu pour les clusters Torque 1 semaine pour le faire tourner sur le cluster 31
32 Notre expérience Grâce à la doc, on a pu : - implémenter des algos - écrire des formats d input personnalisés - jouer sur les options Réponse sur la mailling liste en une journée 32
33 Plan Contexte Hadoop Giraph L étude Partitionnement ifub 33
34 4. L étude - Datasets Graphes des followers de Twitter Graphe du réseau social Friendster Nom Taille (en octets) Nombre d arêtes 2006_1 19K _2 3,1M _1 129M _2 317M _1 1,2G _2 3,8G Friendster 32.3G
35 4. L étude - Algorithmes - Breath First Search : Plus courts chemins simplifié Parcours d un graphe à partir d une source - PageRank Calcul de popularité des sommets Touts les sommets à chaque étape 35
36 4. L étude - Tableau de résultats Exécution sur 4 noeuds avec 4 cores de BFS Graphe Arrêtes Sommets Taille (Mo) Temps Chargement Chargement en CPU dans HDFS (s) mémoire (s) cumulé (s) Total selon Giraph (s) Total Messages absolu (s) envoyés (Mo) Mémoire utilisée (Mo) 2006_ , , , _ , , _ , , _ , _ , _ ,
37 4. L étude - Graphiques : Temps 37
38 4. L étude - Graphiques : Temps 38
39 4. L étude - Graphiques : Mémoire 39
40 4. L étude - Graphiques : Analyse 2 Go de mémoire utilisé minimum Courbes linéaires Bonne Scalabilité Performances faussées par : partage des ressources sur NEF configuration non adaptée 40
41 4. L étude - Graphiques : Noeuds # Cores # Nodes Cores/node Temps (s) cores reparti sur 16 ou 8 noeud : 1% de différence BFS sur friendster 41
42 4. InfiniBand Réseau de mémoire à mémoire bypass la couche TCP/IP et OS Infiniband est tellement rapide que le surcout réseau devient négligeable 42
43 4. L étude - Et après? Script d installation automatique Parser de résultats Documentation pour : - l utilisation sur NEF - le développement 43
44 4. L étude - Amélioration Le temps d'exécution à été réduit par 3 en utilisant les mêmes ressources grace à : - InfiniBand - meilleur conf (4x plus de workers) BFS sur Twitter 2008_2 (4GB) 180s 60s 44
45 Plan Contexte Hadoop Giraph L étude Partitionnement ifub 45
46 5. Partitionnement - Principe But : Améliorer les performances Besoin d équilibrer les charges Nombre d'arêtes équivalent Minimiser les messages réseau Minimiser les coupes Coupes 24a 10s 28a 12s 46
47 5. Partitionnement - Spinner Créé par : - Claudio Martella à VU University Amsterdam - Dionysios Logothetis Telefonica Research - Georgos Siganos Telefonica Research Basé sur la propagation de labels (LPA) Graphe G, k partitions Fichier de partitionnement 47
48 Partitionnement - Expérimentation 61 64,26 % 56 64,09 % Fenètre = 5 Uniformément répartit au départ acc2008_2 en 4 partitions 1 partition/worker 4 worker 48
49 Partitionnement - Exp (2) 49
50 5. Partitionnement - Exp (3) 50
51 5. Partitionnement - Conclusion Peu intéressant sur BFS à cause de la nature de l algorithme Donne de mauvais résultats sur un petit nombre de workers et partition/worker. Une solution : augmenter le ratio de partitions par Worker (de 1 à 4) 51
52 Plan Contexte Hadoop Giraph L étude Partitionnement ifub 52
53 6. ifub Algorithm for diameter computation Published by Pilu Crescenzi, Roberto Grossi, Michel Habib, Leonardo Lanzi and Andrea Marino 53
54 6. ifub It uses the BFS, that most frameworks implement The algorithm is very efficient on real-world graphs due to their structure (O(n*m) but O(m) in practice). 54
55 6. ifub - Step 1 Several methods to chose the source : - a random vertex - highest degree - lowest eccentricity 2-sweep 55
56 6. ifub - Step 2 Triangular inequality : d(1,2) d(1,s) + d(2,s) d(1,s) = d(2,s) = i d(1,2) 2 * i 56
57 6. ifub 4 classes : IFUB : main class IFUBComputationRequest : remote code executed by each worker of the cluster IFUBCompResult : internal message class IFUBResult : extends DiameterResult 57
58 6. ifub - Results On a 100x100 grid graph: Centralised, results are similar to those on Sage, around the second Slower in distributed, around 20 seconds Performance gap explained by the communications of the cluster. The code was integrated in the release of BigGrph 58
59 THE END 59
60 Autres Frameworks Boost graph library Pegasus, GraphLabPowerGraph the Knowledge Discovery Toolkit GPS, and Grace 60
61 Autres Frameworks - GPS Graph Processing System Université de Stanford Équivalent à Giraph Travail sur le partitionnement intelligent Pas mal d algorithmes implémentés Pas Multi-Threads 61
62 GraphLab Pas de BSP Gather, Apply, Scatter Accès direct aux voisins, sans messages Partitionnement différent : mise en cache des sommets Not mutable 62
63 Ligra Pour machine à mémoire partagé Carnegie Mellon University 41 millions sommets 1.47 Milliard arêtes GitHub : 3 contributeurs, 52 commits Non mutable 63
64 Partitionnement - Spinner (2) Étapes initiales: - Charger le graphe en mémoire - Transformer en Graphe non dirigé - Assigner les partitions au hasard Puis répétition de deux étapes jusqu'à : - Convergence, ou - Nombre maximum d itérations 64
65 Partitionnement - Spinner (3) Étape 1 LPA, pour chaque sommet : - Calcul du score/partition - Score Maximum Partition la + attrayante - Si changement Demande de migration Etape 2 Migration - Migration effective selon une probabilité - Propagation du changement 65
MapReduce. Malo Jaffré, Pablo Rauzy. 16 avril 2010 ENS. Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15
MapReduce Malo Jaffré, Pablo Rauzy ENS 16 avril 2010 Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15 Qu est ce que c est? Conceptuellement Données MapReduce est un framework de calcul distribué
Plus en détailIntroduction à MapReduce/Hadoop et Spark
1 / 36 Introduction à MapReduce/Hadoop et Spark Certificat Big Data Ludovic Denoyer et Sylvain Lamprier UPMC Plan 2 / 36 Contexte 3 / 36 Contexte 4 / 36 Data driven science: le 4e paradigme (Jim Gray -
Plus en détailFouillez facilement dans votre système Big Data. Olivier TAVARD
Fouillez facilement dans votre système Big Data Olivier TAVARD A propos de moi : Cofondateur de la société France Labs Développeur (principalement Java) Formateur en technologies de moteurs de recherche
Plus en détailCartographie des solutions BigData
Cartographie des solutions BigData Panorama du marché et prospective 1 1 Solutions BigData Défi(s) pour les fournisseurs Quel marché Architectures Acteurs commerciaux Solutions alternatives 2 2 Quels Défis?
Plus en détailProgrammation parallèle et distribuée (Master 1 Info 2015-2016)
Programmation parallèle et distribuée (Master 1 Info 2015-2016) Hadoop MapReduce et HDFS Note bibliographique : ce cours est largement inspiré par le cours de Benjamin Renaut (Tokidev SAS) Introduction
Plus en détailBig Graph Data Forum Teratec 2013
Big Graph Data Forum Teratec 2013 MFG Labs 35 rue de Châteaudun 75009 Paris, France www.mfglabs.com twitter: @mfg_labs Julien Laugel MFG Labs julien.laugel@mfglabs.com @roolio SOMMAIRE MFG Labs Contexte
Plus en détailProgrammation parallèle et distribuée
Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution
Plus en détailIntroduction aux algorithmes MapReduce. Mathieu Dumoulin (GRAAL), 14 Février 2014
Introduction aux algorithmes MapReduce Mathieu Dumoulin (GRAAL), 14 Février 2014 Plan Introduction de la problématique Tutoriel MapReduce Design d algorithmes MapReduce Tri, somme et calcul de moyenne
Plus en détailAnticiper et prédire les sinistres avec une approche Big Data
Anticiper et prédire les sinistres avec une approche Big Data Julien Cabot Directeur Big Data Analytics OCTO jcabot@octo.com @julien_cabot OCTO 2013 50, avenue des Champs-Elysées 75008 Paris - FRANCE Tél
Plus en détailAPI04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture
API04 Contribution Apache Hadoop: Présentation et application dans le domaine des Data Warehouses Introduction Cette publication a pour but de présenter le framework Java libre Apache Hadoop, permettant
Plus en détail4 Exemples de problèmes MapReduce incrémentaux
4 Exemples de problèmes MapReduce incrémentaux 1 / 32 Calcul des plus courtes distances à un noeud d un graphe Calcul des plus courts chemins entre toutes les paires de noeuds d un graphe Algorithme PageRank
Plus en détailProgrammation parallèle et distribuée
Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2014) Marc Parizeau, Département de génie électrique et de génie informatique Plan Mégadonnées («big data») Architecture Hadoop distribution
Plus en détailBig Data et Graphes : Quelques pistes de recherche
Big Data et Graphes : Quelques pistes de recherche Hamamache Kheddouci Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université
Plus en détailL écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13
L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com HUG France 250 membres sur la mailing liste 30 présentations 9 meetups organisés, de 20 à 100 invités Présence de Cloudera, MapR, Hortonworks,
Plus en détailhttp://blog.khaledtannir.net
Algorithme de parallélisations des traitements Khaled TANNIR Doctorant CIFRE LARIS/ESTI http://blog.khaledtannir.net these@khaledtannir.net 2e SéRI 2010-2011 Jeudi 17 mars 2011 Présentation Doctorant CIFRE
Plus en détailMapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis
MapReduce Nicolas Dugué nicolas.dugue@univ-orleans.fr M2 MIAGE Systèmes d information répartis Plan 1 Introduction Big Data 2 MapReduce et ses implémentations 3 MapReduce pour fouiller des tweets 4 MapReduce
Plus en détailBIG Data et R: opportunités et perspectives
BIG Data et R: opportunités et perspectives Guati Rizlane 1 & Hicham Hajji 2 1 Ecole Nationale de Commerce et de Gestion de Casablanca, Maroc, rguati@gmail.com 2 Ecole des Sciences Géomatiques, IAV Rabat,
Plus en détailOrganiser vos données - Big Data. Patrick Millart Senior Sales Consultant
Organiser vos données - Big Data Patrick Millart Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be
Plus en détailDéploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr
Déploiement d une architecture Hadoop pour analyse de flux françois-xavier.andreu@renater.fr 1 plan Introduction Hadoop Présentation Architecture d un cluster HDFS & MapReduce L architecture déployée Les
Plus en détailM2 GL UE DOC «In memory analytics»
M2 GL UE DOC «In memory analytics» Alexandre Termier 2014/2015 Sources Travaux Amplab, U.C. Berkeley Slides Ion Stoica Présentations Databricks Slides Pat McDonough Articles de M. Zaharia et al. sur les
Plus en détailBIG DATA en Sciences et Industries de l Environnement
BIG DATA en Sciences et Industries de l Environnement François Royer www.datasio.com 21 mars 2012 FR Big Data Congress, Paris 2012 1/23 Transport terrestre Traçabilité Océanographie Transport aérien Télémétrie
Plus en détailBig Data et Graphes : Quelques pistes de recherche
Big Data et Graphes : Quelques pistes de recherche Hamamache Kheddouci http://liris.cnrs.fr/hamamache.kheddouci Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de
Plus en détailBONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ
Laboratoire LaTICE Univ. de Tunis INRIA LYON Avalon Team Laboratoire d Informatique de Paris Nord (LIPN) BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ Heithem Abbes Heithem Abbes Rencontres
Plus en détailBig Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1
Big Data Cyril Amsellem Consultant avant-vente 16 juin 2011 Talend 2010 1 Big Data Architecture globale Hadoop Les projets Hadoop (partie 1) Hadoop-Core : projet principal. HDFS : système de fichiers distribués
Plus en détailAcquisition des données - Big Data. Dario VEGA Senior Sales Consultant
Acquisition des données - Big Data Dario VEGA Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated
Plus en détailMapReduce et Hadoop. Alexandre Denis Alexandre.Denis@inria.fr. Inria Bordeaux Sud-Ouest France ENSEIRB PG306
MapReduce et Hadoop Alexandre Denis Alexandre.Denis@inria.fr Inria Bordeaux Sud-Ouest France ENSEIRB PG306 Fouille de données Recherche & indexation de gros volumes Appliquer une opération simple à beaucoup
Plus en détailHADOOP ET SON ÉCOSYSTÈME
HADOOP ET SON ÉCOSYSTÈME Mars 2013 2012 Affini-Tech - Diffusion restreinte 1 AFFINI-TECH Méthodes projets Outils de reporting & Data-visualisation Business & Analyses BigData Modélisation Hadoop Technos
Plus en détailHadoop, Spark & Big Data 2.0. Exploiter une grappe de calcul pour des problème des données massives
Hadoop, Spark & Big Data 2.0 Exploiter une grappe de calcul pour des problème des données massives Qui suis-je? Félix-Antoine Fortin Génie info. (B. Ing, M. Sc, ~PhD) Passionné de Python, Data Analytics,
Plus en détail20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -"Big Data par l'exemple" -Julien DULOUT
20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013 20 ans du SIAD -"BigData par l'exemple" -Julien DULOUT Qui a déjà entendu parler du phénomène BigData? Qui a déjà
Plus en détailLabs Hadoop Février 2013
SOA - BRMS - ESB - BPM CEP BAM - High Performance Compute & Data Grid - Cloud Computing - Big Data NoSQL - Analytics Labs Hadoop Février 2013 Mathias Kluba Managing Consultant Responsable offres NoSQL
Plus en détailChange the game with smart innovation
Change the game with smart innovation Master Thesis 2013 2014 Faculty of Science engineering 12/08/2012 Master Thesis proposal for the academic year 2013. TABLE OF CONTENTS Section Un Introduction... 3
Plus en détailDEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD
DEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD BIGDATA PARIS LE 1/4/2014 VINCENT HEUSCHLING @VHE74! 1 NOUS 100% Bigdata Infrastructure IT + Data Trouver vos opportunités Implémenter les
Plus en détailRicco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html. R.R. Université Lyon 2
Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html 1 Plan de présentation 1. L écosystème Hadoop 2. Principe de programmation MapReduce 3. Programmation des fonctions
Plus en détailINEX. Informatique en Nuage : Expérimentations et Vérification. Livrable n M2.1 ÉTUDE ET PARALLÉLISATION. Jérôme Richard
INEX Informatique en Nuage : Expérimentations et Vérification Livrable n M2.1 ÉTUDE ET PARALLÉLISATION D ALGORITHMES POUR L ANALYSE DE GRANDS GRAPHES DE RÉSEAUX SOCIAUX Jérôme Richard Univ. Orléans, INSA
Plus en détailNoSQL. Introduction 1/30. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur)
1/30 2/30 Anne-Cécile Caron Master MIAGE - SGBD 1er trimestre 2014-2015 I : Not Only SQL, ce n est pas du relationnel, et le contexte d utilisation n est donc pas celui des SGBDR. I Origine : recherche
Plus en détailPanorama des solutions analytiques existantes
Arnaud LAROCHE Julien DAMON Panorama des solutions analytiques existantes SFdS Méthodes et Logiciels - 16 janvier 2014 - Données Massives Ne sont ici considérés que les solutions autour de l environnement
Plus en détailTHÈSE. présentée à TÉLÉCOM PARISTECH. pour obtenir le grade de. DOCTEUR de TÉLÉCOM PARISTECH. Mention Informatique et Réseaux. par.
École Doctorale d Informatique, Télécommunications et Électronique de Paris THÈSE présentée à TÉLÉCOM PARISTECH pour obtenir le grade de DOCTEUR de TÉLÉCOM PARISTECH Mention Informatique et Réseaux par
Plus en détailMap-Reduce : un cadre de programmation parallèlle pour l analyse de grandes données. Stéphane Genaud ENSIIE
Map-Reduce : un cadre de programmation parallèlle pour l analyse de grandes données Stéphane Genaud ENSIIE Traitement de données distribuées Google a introduit Map-Reduce [Dean and Ghemawat 2004] Ils s
Plus en détailCertificat Big Data - Master MAthématiques
1 / 1 Certificat Big Data - Master MAthématiques Master 2 Auteur : Sylvain Lamprier UPMC Fouille de données et Medias Sociaux 2 / 1 Rich and big data: Millions d utilisateurs Millions de contenus Multimedia
Plus en détailForthcoming Database
DISS.ETH NO. 15802 Forthcoming Database A Framework Approach for Data Visualization Applications A dissertation submitted to the SWISS FEDERAL INSTITUTE OF TECHNOLOGY ZURICH for the degree of Doctor of
Plus en détailNoSQL. Introduction 1/23. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur)
1/23 2/23 Anne-Cécile Caron Master MIAGE - BDA 1er trimestre 2013-2014 I : Not Only SQL, ce n est pas du relationnel, et le contexte d utilisation n est donc pas celui des SGBDR. I Origine : recherche
Plus en détailPerformances. Gestion des serveurs (2/2) Clustering. Grid Computing
Présentation d Oracle 10g Chapitre VII Présentation d ORACLE 10g 7.1 Nouvelles fonctionnalités 7.2 Architecture d Oracle 10g 7.3 Outils annexes 7.4 Conclusions 7.1 Nouvelles fonctionnalités Gestion des
Plus en détailAVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL
AVRIL 2014 Panorama des solutions NoSQL QUI SOMMES NOUS? Avril 2014 2 SMILE, EN QUELQUES CHIFFRES 1er INTÉGRATEUR EUROPÉEN DE SOLUTIONS OPEN SOURCE 3 4 NOS EXPERTISES ET NOS CONVICTIONS DANS NOS LIVRES
Plus en détailTechnologies du Web. Ludovic DENOYER - ludovic.denoyer@lip6.fr. Février 2014 UPMC
Technologies du Web Ludovic DENOYER - ludovic.denoyer@lip6.fr UPMC Février 2014 Ludovic DENOYER - ludovic.denoyer@lip6.fr Technologies du Web Plan Retour sur les BDs Le service Search Un peu plus sur les
Plus en détailLʼavenir des grilles Des grilles aux Clouds avec quelques «petits problèmes» de recherche. F. Desprez INRIA
Lʼavenir des grilles Des grilles aux Clouds avec quelques «petits problèmes» de recherche F. Desprez INRIA Introduction Les grilles font-elles déjà parties du passé? Des plates-formes de recherche et de
Plus en détailLes enjeux du Big Data Innovation et opportunités de l'internet industriel. Datasio 2013
Les enjeux du Big Data Innovation et opportunités de l'internet industriel François Royer froyer@datasio.com Accompagnement des entreprises dans leurs stratégies quantitatives Valorisation de patrimoine
Plus en détailBig Data : utilisation d un cluster Hadoop HDFS Map/Reduce HBase
Big Data : utilisation d un cluster cluster Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe), Laboratoire APC, Université Paris Diderot LabEx UnivEarthS 14 Janvier 2014 C. Cavet
Plus en détailLe projet Gaïa, le Big Data au service du traitement de données satellitaires CRIP - 16/10/2013 Pierre-Marie Brunet
Le projet Gaïa, le Big Data au service du traitement de données satellitaires CRIP - 16/10/2013 Pierre-Marie Brunet 1 SOMMAIRE Le calcul scientifique au CNES Le BigData au CNES, le cas Gaïa HPC et BigData
Plus en détailDéfinition et diffusion de signatures sémantiques dans les systèmes pair-à-pair
Définition et diffusion de signatures sémantiques dans les systèmes pair-à-pair Raja Chiky, Bruno Defude, Georges Hébrail GET-ENST Paris Laboratoire LTCI - UMR 5141 CNRS Département Informatique et Réseaux
Plus en détailCassandra et Spark pour gérer la musique On-line
Cassandra et Spark pour gérer la musique On-line 16 Juin 2015 @ Paris Hammed RAMDANI Architecte SI 3.0 et BigData mramdani@palo-it.com +33 6 80 22 20 70 Appelez-moi Hammed ;-) (Sidi Mo)Hammed Ramdani @smramdani
Plus en détailCloud Computing. Introduction. ! Explosion du nombre et du volume de données
Cloud Computing Frédéric Desprez LIP ENS Lyon/INRIA Grenoble Rhône-Alpes EPI GRAAL 25/03/2010! Introduction La transparence d utilisation des grandes plates-formes distribuées est primordiale Il est moins
Plus en détailGroupe de Discussion Big Data Aperçu des technologies et applications. Stéphane MOUTON stephane.mouton@cetic.be
Groupe de Discussion Big Data Aperçu des technologies et applications Stéphane MOUTON stephane.mouton@cetic.be Recherche appliquée et transfert technologique q Agréé «Centre Collectif de Recherche» par
Plus en détailOffre formation Big Data Analytics
Offre formation Big Data Analytics OCTO 2014 50, avenue des Champs-Elysées 75008 Paris - FRANCE Tél : +33 (0)1 58 56 10 00 Fax : +33 (0)1 58 56 10 01 www.octo.com 1 Présentation d OCTO Technology 2 Une
Plus en détailphysicien diplômé EPFZ originaire de France présentée acceptée sur proposition Thèse no. 7178
Thèse no. 7178 PROBLEMES D'OPTIMISATION DANS LES SYSTEMES DE CHAUFFAGE A DISTANCE présentée à l'ecole POLYTECHNIQUE FEDERALE DE ZURICH pour l'obtention du titre de Docteur es sciences naturelles par Alain
Plus en détailFouille de données massives avec Hadoop
Fouille de données massives avec Hadoop Sebastiao Correia scorreia@talend.com Talend 2013 AAFD'14 29-30 avril 2014 1 Agenda Présentation de Talend Définition du Big Data Le framework Hadoop 3 thématiques
Plus en détailNotes de cours Practical BigData
Notes de cours Practical BigData Nguyen-Nhut DOAN 15 janvier 2015 Introduction Ces notes personnelles traduisent la deuxième partie du cours INF553 de l Ecole Polytechnique sur les bases de données et
Plus en détailConsolidation. Grid Infrastructure avec la 11gR2
Consolidation Grid Infrastructure avec la 11gR2 Priorités IT durant les périodes difficiles Examiner et Limiter les dépenses d investissement Devenir plus efficace pour réduire les frais d'exploitation
Plus en détailR+Hadoop = Rhadoop* Des logiciels libres complémentaires, une implémentation, une réponse au nouveau paradigme du bigdata!
R+Hadoop = Rhadoop* * Des logiciels libres complémentaires, une implémentation, une réponse au nouveau paradigme du bigdata! 27 Janvier 2014 / Université Paul Sabatier / DTSI / David Tsang-Hin-Sun Big
Plus en détailCluster High Availability. Holger Hennig, HA-Cluster Specialist
Cluster High Availability Holger Hennig, HA-Cluster Specialist TABLE DES MATIÈRES 1. RÉSUMÉ...3 2. INTRODUCTION...4 2.1 GÉNÉRALITÉS...4 2.2 LE CONCEPT DES CLUSTERS HA...4 2.3 AVANTAGES D UNE SOLUTION DE
Plus en détailSHAREPOINT PORTAL SERVER 2013
Powered by TCPDF (www.tcpdf.org) SHAREPOINT PORTAL SERVER 2013 Sharepoint portal server 2013 DEVELOPING MICROSOFT SHAREPOINT SERVER 2013 CORE SOLUTIONS Réf: MS20488 Durée : 5 jours (7 heures) OBJECTIFS
Plus en détailLes technologies du Big Data
Les technologies du Big Data PRÉSENTÉ AU 40 E CONGRÈS DE L ASSOCIATION DES ÉCONOMISTES QUÉBÉCOIS PAR TOM LANDRY, CONSEILLER SENIOR LE 20 MAI 2015 WWW.CRIM.CA TECHNOLOGIES: DES DONNÉES JUSQU'À L UTILISATEUR
Plus en détailPrototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop
Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Soutenance de projet ASR 27/01/2011 Julien Gerlier Siman Chen Encadrés par Bruno
Plus en détailLe nouveau visage de la Dataviz dans MicroStrategy 10
Le nouveau visage de la Dataviz dans MicroStrategy 10 Pour la première fois, MicroStrategy 10 offre une plateforme analytique qui combine une expérience utilisateur facile et agréable, et des capacités
Plus en détailDifferential Synchronization
Differential Synchronization Neil Fraser Google 2009 BENA Pierrick CLEMENT Lucien DIARRA Thiemoko 2 Plan Introduction Stratégies de synchronisation Synchronisation différentielle Vue d ensemble Dual Shadow
Plus en détailOpenmoko, free your phone!
Bearstech 3 juillet 2008 / RMLL / Mont-de-Marsan Openmoko C est quoi? Plusieurs choses Un nom de projet Comme Debian, Fedora, PostgreSQL,... Une société Openmoko Inc. filiale de FIC Une suite logicielle
Plus en détailSommaire. 3. Les grands principes de GFS L architecture L accès de fichier en lecture L accès de fichier en écriture Bilan
1 Sommaire 1. Google en chiffres 2. Les raisons d être de GFS 3. Les grands principes de GFS L architecture L accès de fichier en lecture L accès de fichier en écriture Bilan 4. Les Evolutions et Alternatives
Plus en détailFINI LA RÉCRÉ PASSONS AUX MÉGADONNÉES
1 FINI LA RÉCRÉ PASSONS AUX MÉGADONNÉES «Dans le concret, projets de transformation vers le BigData» V1-10/03/15 ABED AJRAOU CONNAISSEZ-VOUS PAGESJAUNES? CONNAISSEZ-VOUS PAGESJAUNES? LES MEGADONNEES RÉPONDENT
Plus en détailLivre. blanc. Solution Hadoop d entreprise d EMC. Stockage NAS scale-out Isilon et Greenplum HD. Février 2012
Livre blanc Solution Hadoop d entreprise d EMC Stockage NAS scale-out Isilon et Greenplum HD Par Julie Lockner et Terri McClure, Analystes seniors Février 2012 Ce livre blanc d ESG, qui a été commandé
Plus en détailL accès aux Clouds (Académiques)
L accès aux Clouds (Académiques) C. Loomis, CTO, Co-founder, SixSq Ecole Cumulo NumBio 2015 (Aussois, France) 1-5 juin 2015 Le cloud : pourquoi et comment? 2 Les raisons variées pour utiliser un cloud
Plus en détailFormation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop
Passez au niveau supérieur en termes de connaissance grâce à la formation Data Analyst de Cloudera. Public Durée Objectifs Analystes de données, business analysts, développeurs et administrateurs qui ont
Plus en détailAugmenter la disponibilité des applications JEE grâce au clustering : Le projet open source JShaft
Augmenter la disponibilité des applications JEE grâce au clustering : Le projet open source Jérôme Petit, Serge Petit & Serli Informatique, ITMatic Jérôme Petit, Serge Petit & SERLI & ITMatic Serli : SSII
Plus en détailLes journées SQL Server 2013
Les journées SQL Server 2013 Un événement organisé par GUSS Les journées SQL Server 2013 Romain Casteres MVP SQL Server Consultant BI @PulsWeb Yazid Moussaoui Consultant Senior BI MCSA 2008/2012 Etienne
Plus en détailBIG DATA. Veille technologique. Malek Hamouda Nina Lachia Léo Valette. Commanditaire : Thomas Milon. Encadré: Philippe Vismara
BIG DATA Veille technologique Malek Hamouda Nina Lachia Léo Valette Commanditaire : Thomas Milon Encadré: Philippe Vismara 1 2 Introduction Historique des bases de données : méthodes de stockage et d analyse
Plus en détailLes participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data.
Big Data De la stratégie à la mise en oeuvre Description : La formation a pour objet de brosser sans concession le tableau du Big Data. Les participants repartiront de cette formation en ayant une vision
Plus en détailJournée Utiliateurs 2015. Nouvelles du Pôle ID (Informatique) Pierre Neyron, LIG/CNRS
Journée Utiliateurs 2015 Nouvelles du Pôle ID (Informatique) Pierre Neyron, LIG/CNRS 1 Pôle ID, Grid'5000 Ciment Une proximité des platesformes Autres sites G5K Grenoble + CIMENT Pôle ID = «Digitalis»
Plus en détailIngénierie et gestion des connaissances
Master Web Intelligence ICM Option Informatique Ingénierie et gestion des connaissances Philippe BEAUNE Philippe.Beaune@emse.fr 18 novembre 2008 Passer en revue quelques idées fondatrices de l ingénierie
Plus en détailThomas Loubrieu (Ifremer) Small to Big Data. http://wwz.ifremer.fr/bigdata. 26 Novembre 2013, Ifremer, Brest
Thomas Loubrieu (Ifremer) Small to Big Data 26 Novembre 2013, Ifremer, Brest http://wwz.ifremer.fr/bigdata Small to Big data IFREMER/IDM/ISI T. Loubrieu Résumé A partir d'expériences en gestion de données
Plus en détailMEAD : temps réel et tolérance aux pannes pour CORBA
MEAD : un intergiciel temps-réel et tolérant aux pannes pour CORBA Master 2 Informatique Recherche Université de Marne-la-Vallée Vendredi 3 mars 2006 Plan 1 Introduction 2 Solutions existantes 3 Concilier
Plus en détailCNAM 2010-2011. Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010
CNAM 2010-2011 Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010 Déploiement d une application dans le cloud. 1. Cloud Computing en 2010 2. Offre EC2
Plus en détailAccès aux données Sentinelles
Accès aux données Sentinelles Hervé Jeanjean - CNES Ministère de l'écologie, du Développement durable, et de l Énergie www.developpement-durable.gouv.fr Contexte Un changement de paradigme majeur Big data
Plus en détailSEMINAIRE SAS VISUAL ANALYTICS LAUSANNE, MARCH 18 : JÉRÔME BERTHIER VALERIE AMEEL
SEMINAIRE SAS VISUAL ANALYTICS LAUSANNE, MARCH 18 : JÉRÔME BERTHIER VALERIE AMEEL AGENDA 14:15-14:30 Bienvenue & Introduction Jérôme Berthier et Manuel Fucinos 14:30-14:45 Le concept de la Data Viz et
Plus en détailXtremweb-HEP : A best effort virtualization middleware
Xtremweb-HEP : A best effort virtualization middleware Oleg Lodygensky Laboratoire de l Accélérateur Linéaire CERN Geneva High Energy Physic 9 km O. Lodygensky - Laboratoire de l Accélérateur Linéaire
Plus en détailADMINISTRATION EXADATA
ADMINISTRATION EXADATA Abel Afonso Avant Vente abel.afonso@oracle.com The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated
Plus en détailPrototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop
Julien Gerlier Siman Chen Rapport de projet de fin d étude ASR 2010/2011 Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Encadrants
Plus en détailMise en oeuvre TSM 6.1
Mise en oeuvre TSM 6.1 «Bonnes pratiques» pour la base de données TSM DB2 Powered by Qui sommes nous? Des spécialistes dans le domaine de la sauvegarde et de la protection des données 10 ans d expertise
Plus en détailTables Rondes Le «Big Data»
Tables Rondes Le «Big Data» 2012-2013 1 Plan Introduc9on 1 - Présenta9on Ingensi 2 - Le Big Data c est quoi? 3 - L histoire 4 - Le monde du libre : Hadoop 5 - Le système HDFS 6 - Les algorithmes distribués
Plus en détailGrid 5000 : Administration d une infrastructure distribuée et développement d outils de déploiement et d isolation réseau
: Administration d une infrastructure distribuée et développement d outils de déploiement et d isolation réseau Nicolas Niclausse - INRIA Sophia Antipolis Méditerranée - projet Aladdin Grid 5000 2 juillet
Plus en détailHadoop, les clés du succès
Hadoop, les clés du succès Didier Kirszenberg, Responsable des architectures Massive Data, HP France Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject
Plus en détailQlikView et Google Big Query : Une réponse simple, rapide et peu coûteuse aux analyses Big Data
QlikView et Google Big Query : Une réponse simple, rapide et peu coûteuse aux analyses Big Data Qui sommes-nous? Société de stratégie et de consulting IT spécialisée en ebusiness, Cloud Computing, Business
Plus en détailLimitations of the Playstation 3 for High Performance Cluster Computing
Introduction Plan Limitations of the Playstation 3 for High Performance Cluster Computing July 2007 Introduction Plan Introduction Intérêts de la PS3 : rapide et puissante bon marché L utiliser pour faire
Plus en détailChapitre 1. Infrastructures distribuées : cluster, grilles et cloud. Grid and Cloud Computing
Chapitre 1. Infrastructures distribuées : cluster, grilles et cloud Grid and Cloud Computing Problématique Besoins de calcul croissants Simulations d'expériences coûteuses ou dangereuses Résolution de
Plus en détailXtremWeb-HEP 8.0.0. Interconnecting jobs over DG. Virtualization over DG. Oleg Lodygensky Laboratoire de l Accélérateur Linéaire
XtremWeb-HEP 8.0.0 Interconnecting jobs over DG Virtualization over DG Oleg Lodygensky Objectives 1.Deploy Virtual Machines in XtremWeb-HEP desktop grid to: protect volunteer resources generalize «pilot
Plus en détailDétection d'intrusions en environnement haute performance
Symposium sur la Sécurité des Technologies de l'information et des Communications '05 Détection d'intrusions en environnement haute performance Clusters HPC Fabrice Gadaud (fabrice.gadaud@cea.fr) 1 Sommaire
Plus en détailPACKZ System Requirements. Version: 2015-05-27. Version: 2015-05-27 Copyright 2015, PACKZ Software GmbH. 1
PACKZ System Requirements Version: 2015-05-27 Copyright 2015, PACKZ Software GmbH. All rights reserved.this manual may not be copied, photocopied, reproduced, translated, or converted to any electronic
Plus en détailSERVEUR DÉDIÉ DOCUMENTATION
SERVEUR DÉDIÉ DOCUMENTATION Release 5.0.6.0 19 Juillet 2013 Copyright 2013 GIANTS Software GmbH, All Rights Reserved. 1/9 CHANGE LOG Correction de bug divers (5.0.6.0) Ajout d une option de relance automatique
Plus en détail<Insert Picture Here> Solaris pour la base de donnés Oracle
Solaris pour la base de donnés Oracle Alain Chéreau Oracle Solution Center Agenda Compilateurs Mémoire pour la SGA Parallélisme RAC Flash Cache Compilateurs
Plus en détailArchitecture de la grille
1 2 Diversité des applications et des utilisateurs (profile, nombre,...) supposent des solutions différentes architectures différentes avec des services communs Services de base authentification: établir
Plus en détailMathieu Rivoalen. Etude d'approfondissement des réseaux RICM 5 Option Réseaux
Jonathan Faure Mathieu Rivoalen Jean-François Knoepfli Cloud computing ou comment avoir "la tête dans les nuages" Etude d'approfondissement des réseaux RICM 5 Option Réseaux Sommaire Introduction au Cloud
Plus en détail