Le projet Gaïa, le Big Data au service du traitement de données satellitaires CRIP - 16/10/2013 Pierre-Marie Brunet
|
|
- Bérengère Dussault
- il y a 8 ans
- Total affichages :
Transcription
1 Le projet Gaïa, le Big Data au service du traitement de données satellitaires CRIP - 16/10/2013 Pierre-Marie Brunet 1
2 SOMMAIRE Le calcul scientifique au CNES Le BigData au CNES, le cas Gaïa HPC et BigData computationnel, le temps de la convergence? 2
3 Le calcul scientifique au CNES Deux grandes familles de calcul 1) Simulation numérique Phase «amont» des projets Type de calcul usuel en HPC, «outil» de la science expérimentale contemporaine. champs d application : CFD, Combustion, Electromagnétisme, Mécanique spatiale, CPU intensif Bande passante mémoire importante Parallélisme à grain fin (1 job / multiple process) Tendances : multi échelle, multi physique (couplage de codes) 3
4 Le calcul scientifique au CNES Deux grandes familles de calcul 2) Traitement de données Phase «aval» des projets Traitement des données brutes provenant des senseurs satellites en données intelligibles pour une communauté scientifique : Terre: Etude du climat (hydrographie, salinité, océan circulation, etc.), Imagerie (cartographie, etc.), Altimetrie, Univers : Cosmologie (matière noire, rayonnement cosmologique, etc.), Astrométrie (catalogue d objets) I/O intensif Parallélisme gros grain (multiple jobs séquentiels) Contrainte opérationnelle (temps de restitution borné) Tendance : augmentation du volume 4
5 Le calcul scientifique au CNES et une nouvelle classe de problème de traitement 3) Traitement de données orienté «Big Data» Dataset trop important pour être traité sur la P/F existante Volume et type d accès aux données mettant en échec les technologies usuelles Besoin d un nouveau paradigme : Map/Reduce CPU intensif ET I/O intensif 5
6 Les enjeux : - Produire une cartographie 3D de notre proche galaxie - Localisation de plus d un milliard d objets avec une précision inégalée - Détermination des paramètres stellaires/astrophysiques Gaia Le centre de mission : - DPAC = 6 centres de traitement - DPCC (centre de traitement CNES) : - 3 CU (coordination units) - 10 chaines scientifiques - 60 modules scientifiques - 60 développeurs EU 6
7 Gaia Les chiffres: - 3Po de données (1 pile de DVD aussi haute que 4 tours montparnasse) milliards d entrée dans la base de données (100 fois plus que la base de données du projet Corot) - Complexité des requêtes d accès - Plus de 1000 connexions concurrentes à la base 7 GAIA est un projet à l échelle du «BigData». Une CRIP solution 16/10/2013 dédiée est nécessaire.
8 Focus sur un projet Hadoop : Etude technologique ( ) Critères d évaluation» Performance : ingestion, une requête complexe» Scalabilité de la solution» Fiabilité (data safety)» Impacts sur l existant (software et hardware)» Coût global de la solution sur la durée de la mission (jusqu à 2022)» Pérennité de la solution» Utilitaires d administation/supervision Analyse de performance» Jeux de données identiques» Comparaison avec la solution originelle basée sur PostgreSQL.» Ecriture/Lecture massive de données (taille objects : petite et moyenne)» Requêtes complexes 8
9 Objects/s. Focus sur un projet Hadoop : Test de performance Hadoop Caché PostgreSql Cassandra MongoDb Object Number Hadoop Cassandra Caché, PostgreSql, MongoDb Scalabilité hadoop OK 9
10 Focus sur un projet Hadoop : Solution choisie par le DPCC Migrer sur Hadoop n a rien changé au niveau des chaînes scientifiques (Facade pattern) Quelques impacts sur l architecture du gestionnaire de workflow (orchestration) 10
11 Focus sur un projet Hadoop : Solution choisie par le DPCC Hadoop : Ordonnanceur de travaux batch : paradigme Map/Reduce (distributed computing, parallélisme gros grain) Système de fichiers parallèle HDFS Principe : Amener le calcul à la donnée Advantages : vitesse flexibilité scalabilité écosystème logiciel Hadoop 11
12 Focus sur un projet Hadoop : Cascading une API Java pour les developpeurs au dessus de la couche Hadoop MapReduce les process Cascading sont traduites à la volée en tâches Map Reduce (5% d overhead constaté) permet des opérations complexes (proches de SQL : join, group, ) sans penser en MapReduce 12
13 Déclinaison matérielle BigData et HPC DPCC cluster Specifications hardware : Masternodes : DELL R620 GlusterFS nodes : DELL R720 Datanodes : DELL C6220» 12 cœurs» 48 Go RAM» Stockage 12To (JBOD) Réseau Ethernet» 10Gb interbaie» 1Gb intrabaie Configuration globale cible :» ~ 6500 cores» ~ 10 TB RAM» ~ 3PB» ~ 120 Tflops 13
14 Déclinaison matérielle BigData et HPC HPC cluster Hardware specifications Nœuds master : DELL R420 Nœuds de calcul : DELL C6220» 16 cores» 64 GB RAM» Stockage local 0,5 TB (RAID0) Stockage parallèle : GPFS» 260 To, 8Go/s Réseau Infiniband Configuration actuelle :» 1700 cores» 6,5 TB RAM» 35 Tflops 14
15 Déclinaison matérielle BigData et HPC Convergence des solutions Comment fusionner les P/F HPC et «BigData computationnel»? recherche d optimisation de coût (acquisition, maintenance, infogérance) Impact au niveau de l infrastructure Densification implique haute consommation des racks Des solutions arrivent (découplage MR/HDFS)» Logicielle : Yarn, MR+, Intel Hadoop, LSF, SLURM» Matérielle : Lustre, RHS, 15
16 Conclusion Le BigData au CNES : première expérience réussie dans un contexte orienté calcul. De nouvelles solutions ont émergé, veille technologique cruciale. Besoins CNES en continuelle évolution : nouveaux projets identifiés à l échelle 10Po. Convergence des P/F pour optimiser les coûts 16
17 Merci pour votre attention
18 Annexe1 : To cloud or not to cloud? Public cloud, open questions What kind of hardware quid of Numercial precision (IEE754 compliance)? highly optimized codes? Data integrity : duplication across multiple sites? Data transfer : feasibility and cost (cost model f (volume+compute+network) Intercenter network bottleneck (need of solution such as Aspera or Fedex!) Data dissemination (high access rate : geoportail model) Fixed and well controled actual compute and storage demand. 18
19 Annexe1 : To cloud or not to cloud? Public cloud Seems suitable for certain kind of workload Small to medium data re/processing campaign (large number of independant sequential jobs) Pay attention to the transfered volume Difficult for other ones : Numerical simulation, parallel, higly optimized Data volume Very sensitive codes to the numerical precision 19
20 Annexe1 : To cloud or not to cloud? Some good examples Gaia AGIS peaks (ESA) Iterative processing 6 month Data Reduction Cycles At current estimates AGIS will run 2 weeks every 6 months Amount of data increases over the 5 year mission AGIS Peak Processing (Hours) Hours AGIS 6 monthly processing 0 Date 20
21 Annexe1 : To cloud or not to cloud? Some good examples Gaia AGIS peaks (ESA) Highly distributed usually running on >40 nodes has run on >100 (1400 threads). Only uses Java no special MPI libraries needed new languages come with almost all you need. Hard part is breaking problem in distributable parts no language really helps with that. Truly portable can run on laptops desktops, clusters and even Amazon cloud. 21
22 Annexe 2 : exemple SELECT astroobservation.data as observation, astroelementary.data as aelementary, newsource.data as nsource FROM match join newsource using (sourceid) join astroobservation using (transitid) ( transitid ) join astroelementary using WHERE flag =2 22
23 Annexe 2 : exemple 15 steps 23
24 Annexe 2 : exemple 7 steps 24
Organiser vos données - Big Data. Patrick Millart Senior Sales Consultant
Organiser vos données - Big Data Patrick Millart Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be
Plus en détailHADOOP ET SON ÉCOSYSTÈME
HADOOP ET SON ÉCOSYSTÈME Mars 2013 2012 Affini-Tech - Diffusion restreinte 1 AFFINI-TECH Méthodes projets Outils de reporting & Data-visualisation Business & Analyses BigData Modélisation Hadoop Technos
Plus en détailBig Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1
Big Data Cyril Amsellem Consultant avant-vente 16 juin 2011 Talend 2010 1 Big Data Architecture globale Hadoop Les projets Hadoop (partie 1) Hadoop-Core : projet principal. HDFS : système de fichiers distribués
Plus en détailCartographie des solutions BigData
Cartographie des solutions BigData Panorama du marché et prospective 1 1 Solutions BigData Défi(s) pour les fournisseurs Quel marché Architectures Acteurs commerciaux Solutions alternatives 2 2 Quels Défis?
Plus en détailMapReduce. Malo Jaffré, Pablo Rauzy. 16 avril 2010 ENS. Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15
MapReduce Malo Jaffré, Pablo Rauzy ENS 16 avril 2010 Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15 Qu est ce que c est? Conceptuellement Données MapReduce est un framework de calcul distribué
Plus en détailLabs Hadoop Février 2013
SOA - BRMS - ESB - BPM CEP BAM - High Performance Compute & Data Grid - Cloud Computing - Big Data NoSQL - Analytics Labs Hadoop Février 2013 Mathias Kluba Managing Consultant Responsable offres NoSQL
Plus en détail20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -"Big Data par l'exemple" -Julien DULOUT
20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013 20 ans du SIAD -"BigData par l'exemple" -Julien DULOUT Qui a déjà entendu parler du phénomène BigData? Qui a déjà
Plus en détailBig data et données géospatiales : Enjeux et défis pour la géomatique. Thierry Badard, PhD, ing. jr Centre de Recherche en Géomatique
Big data et données géospatiales : Enjeux et défis pour la géomatique Thierry Badard, PhD, ing. jr Centre de Recherche en Géomatique Événement 25e anniversaire du CRG Université Laval, Qc, Canada 08 mai
Plus en détailHadoop, les clés du succès
Hadoop, les clés du succès Didier Kirszenberg, Responsable des architectures Massive Data, HP France Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject
Plus en détailL écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13
L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com HUG France 250 membres sur la mailing liste 30 présentations 9 meetups organisés, de 20 à 100 invités Présence de Cloudera, MapR, Hortonworks,
Plus en détailAnticiper et prédire les sinistres avec une approche Big Data
Anticiper et prédire les sinistres avec une approche Big Data Julien Cabot Directeur Big Data Analytics OCTO jcabot@octo.com @julien_cabot OCTO 2013 50, avenue des Champs-Elysées 75008 Paris - FRANCE Tél
Plus en détailTechnologies du Web. Ludovic DENOYER - ludovic.denoyer@lip6.fr. Février 2014 UPMC
Technologies du Web Ludovic DENOYER - ludovic.denoyer@lip6.fr UPMC Février 2014 Ludovic DENOYER - ludovic.denoyer@lip6.fr Technologies du Web Plan Retour sur les BDs Le service Search Un peu plus sur les
Plus en détailInfrastructures Parallèles de Calcul
Infrastructures Parallèles de Calcul Clusters Grids Clouds Stéphane Genaud 11/02/2011 Stéphane Genaud () 11/02/2011 1 / 8 Clusters - Grids - Clouds Clusters : assemblage de PCs + interconnexion rapide
Plus en détailRègles et paramètres d'exploitation de Caparmor 2 au 11/12/2009. Pôle de Calcul Intensif pour la mer, 11 Decembre 2009
Règles et paramètres d'exploitation de Caparmor 2 au 11/12/2009 Pôle de Calcul Intensif pour la mer, 11 Decembre 2009 CAPARMOR 2 La configuration actuelle Les conditions d'accès à distance règles d'exploitation
Plus en détailBIG Data et R: opportunités et perspectives
BIG Data et R: opportunités et perspectives Guati Rizlane 1 & Hicham Hajji 2 1 Ecole Nationale de Commerce et de Gestion de Casablanca, Maroc, rguati@gmail.com 2 Ecole des Sciences Géomatiques, IAV Rabat,
Plus en détailIntroduction aux algorithmes MapReduce. Mathieu Dumoulin (GRAAL), 14 Février 2014
Introduction aux algorithmes MapReduce Mathieu Dumoulin (GRAAL), 14 Février 2014 Plan Introduction de la problématique Tutoriel MapReduce Design d algorithmes MapReduce Tri, somme et calcul de moyenne
Plus en détailQlikView et Google Big Query : Une réponse simple, rapide et peu coûteuse aux analyses Big Data
QlikView et Google Big Query : Une réponse simple, rapide et peu coûteuse aux analyses Big Data Qui sommes-nous? Société de stratégie et de consulting IT spécialisée en ebusiness, Cloud Computing, Business
Plus en détailBIG DATA en Sciences et Industries de l Environnement
BIG DATA en Sciences et Industries de l Environnement François Royer www.datasio.com 21 mars 2012 FR Big Data Congress, Paris 2012 1/23 Transport terrestre Traçabilité Océanographie Transport aérien Télémétrie
Plus en détailIntroduction à MapReduce/Hadoop et Spark
1 / 36 Introduction à MapReduce/Hadoop et Spark Certificat Big Data Ludovic Denoyer et Sylvain Lamprier UPMC Plan 2 / 36 Contexte 3 / 36 Contexte 4 / 36 Data driven science: le 4e paradigme (Jim Gray -
Plus en détailSystèmes Répartis. Pr. Slimane Bah, ing. PhD. Ecole Mohammadia d Ingénieurs. G. Informatique. Semaine 24.2. Slimane.bah@emi.ac.ma
Ecole Mohammadia d Ingénieurs Systèmes Répartis Pr. Slimane Bah, ing. PhD G. Informatique Semaine 24.2 1 Semestre 4 : Fev. 2015 Grid : exemple SETI@home 2 Semestre 4 : Fev. 2015 Grid : exemple SETI@home
Plus en détailDétection d'intrusions en environnement haute performance
Symposium sur la Sécurité des Technologies de l'information et des Communications '05 Détection d'intrusions en environnement haute performance Clusters HPC Fabrice Gadaud (fabrice.gadaud@cea.fr) 1 Sommaire
Plus en détailCassandra et Spark pour gérer la musique On-line
Cassandra et Spark pour gérer la musique On-line 16 Juin 2015 @ Paris Hammed RAMDANI Architecte SI 3.0 et BigData mramdani@palo-it.com +33 6 80 22 20 70 Appelez-moi Hammed ;-) (Sidi Mo)Hammed Ramdani @smramdani
Plus en détailRetour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales
Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe), Laboratoire
Plus en détailLe BigData, aussi par et pour les PMEs
Parole d expert Le BigData, aussi par et pour les PMEs Stéphane MOUTON, CETIC Département Software and Services Technologies Avec le soutien de : LIEGE CREATIVE Le Big Data, aussi par et pour les PMEs
Plus en détailChapitre 1. Infrastructures distribuées : cluster, grilles et cloud. Grid and Cloud Computing
Chapitre 1. Infrastructures distribuées : cluster, grilles et cloud Grid and Cloud Computing Problématique Besoins de calcul croissants Simulations d'expériences coûteuses ou dangereuses Résolution de
Plus en détailBig Data : utilisation d un cluster Hadoop HDFS Map/Reduce HBase
Big Data : utilisation d un cluster cluster Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe), Laboratoire APC, Université Paris Diderot LabEx UnivEarthS 14 Janvier 2014 C. Cavet
Plus en détailAVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL
AVRIL 2014 Panorama des solutions NoSQL QUI SOMMES NOUS? Avril 2014 2 SMILE, EN QUELQUES CHIFFRES 1er INTÉGRATEUR EUROPÉEN DE SOLUTIONS OPEN SOURCE 3 4 NOS EXPERTISES ET NOS CONVICTIONS DANS NOS LIVRES
Plus en détailLes participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data.
Big Data De la stratégie à la mise en oeuvre Description : La formation a pour objet de brosser sans concession le tableau du Big Data. Les participants repartiront de cette formation en ayant une vision
Plus en détailLES APPROCHES CONCRÈTES POUR LE DÉPLOIEMENT D INFRASTRUCTURES CLOUD AVEC HDS & VMWARE
LES APPROCHES CONCRÈTES POUR LE DÉPLOIEMENT D INFRASTRUCTURES CLOUD AVEC HDS & VMWARE Sylvain SIOU VMware Laurent DELAISSE Hitachi Data Systems 1 Hitachi Data Systems Corporation 2012. All Rights Reserved
Plus en détailSIGAMM/CRIMSON COMMISSION UTILISATEUR du 05/12/2014
SIGAMM/ COMMISSION UTILISATEUR du 05/12/2014 ORDRE DU JOUR : - Rôle de la commission, - Présentation de la nouvelle plateforme, - Accès Mésocentre, - Point sur les problèmes rencontrés, - Propositions
Plus en détailJournée Utiliateurs 2015. Nouvelles du Pôle ID (Informatique) Pierre Neyron, LIG/CNRS
Journée Utiliateurs 2015 Nouvelles du Pôle ID (Informatique) Pierre Neyron, LIG/CNRS 1 Pôle ID, Grid'5000 Ciment Une proximité des platesformes Autres sites G5K Grenoble + CIMENT Pôle ID = «Digitalis»
Plus en détailLes mésocentres HPC àportée de clic des utilisateurs industriels
Les mésocentres HPC àportée de clic des utilisateurs industriels Université de Reims Champagne-Ardenne (URCA) Centre de Calcul ROMEO Multidisciplinary university more than 22 000 students a wide initial
Plus en détailServices à la recherche: Data Management et HPC *
Services à la recherche: Data Management et HPC * Pierre-Yves Burgi et Jean-François Rossignol Division informatique (DINF) * HPC = High-Performance Computing Réunion CIF Sciences du 6.12.11 1/19 Contenu
Plus en détailLes datas = le fuel du 21ième sicècle
Les datas = le fuel du 21ième sicècle D énormes gisements de création de valeurs http://www.your networkmarketin g.com/facebooktwitter-youtubestats-in-realtime-simulation/ Xavier Dalloz Le Plan Définition
Plus en détailDéploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr
Déploiement d une architecture Hadoop pour analyse de flux françois-xavier.andreu@renater.fr 1 plan Introduction Hadoop Présentation Architecture d un cluster HDFS & MapReduce L architecture déployée Les
Plus en détailOffre formation Big Data Analytics
Offre formation Big Data Analytics OCTO 2014 50, avenue des Champs-Elysées 75008 Paris - FRANCE Tél : +33 (0)1 58 56 10 00 Fax : +33 (0)1 58 56 10 01 www.octo.com 1 Présentation d OCTO Technology 2 Une
Plus en détailBONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ
Laboratoire LaTICE Univ. de Tunis INRIA LYON Avalon Team Laboratoire d Informatique de Paris Nord (LIPN) BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ Heithem Abbes Heithem Abbes Rencontres
Plus en détailPascale Borla-Salamet Consultante Avant Vente Oracle France. Oracle Exadata Performance et Optimisation de votre Datawarehouse
Pascale Borla-Salamet Consultante Avant Vente Oracle France Oracle Exadata Performance et Optimisation de votre Datawarehouse Agenda Les nouveaux challenges Exadata Storage Server Oracle Database Machine
Plus en détailIntroduction au Massive Data
Introduction au Massive Data Didier Kirszenberg, Responsable des architectures Massive Data, HP France Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject
Plus en détailM2 GL UE DOC «In memory analytics»
M2 GL UE DOC «In memory analytics» Alexandre Termier 2014/2015 Sources Travaux Amplab, U.C. Berkeley Slides Ion Stoica Présentations Databricks Slides Pat McDonough Articles de M. Zaharia et al. sur les
Plus en détailFouillez facilement dans votre système Big Data. Olivier TAVARD
Fouillez facilement dans votre système Big Data Olivier TAVARD A propos de moi : Cofondateur de la société France Labs Développeur (principalement Java) Formateur en technologies de moteurs de recherche
Plus en détailRicco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html. R.R. Université Lyon 2
Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html 1 Plan de présentation 1. L écosystème Hadoop 2. Principe de programmation MapReduce 3. Programmation des fonctions
Plus en détailNe cherchez plus, soyez informés! Robert van Kommer
Ne cherchez plus, soyez informés! Robert van Kommer Le sommaire La présentation du contexte applicatif Le mariage: Big Data et apprentissage automatique Dialogues - interactions - apprentissages 2 Le contexte
Plus en détailGroupe de Discussion Big Data Aperçu des technologies et applications. Stéphane MOUTON stephane.mouton@cetic.be
Groupe de Discussion Big Data Aperçu des technologies et applications Stéphane MOUTON stephane.mouton@cetic.be Recherche appliquée et transfert technologique q Agréé «Centre Collectif de Recherche» par
Plus en détailLa rencontre du Big Data et du Cloud
La rencontre du Big Data et du Cloud Libérez le potentiel de toutes vos données Visualisez et exploitez plus rapidement les données de tous types, quelle que soit leur taille et indépendamment de leur
Plus en détailThomas Loubrieu (Ifremer) Small to Big Data. http://wwz.ifremer.fr/bigdata. 26 Novembre 2013, Ifremer, Brest
Thomas Loubrieu (Ifremer) Small to Big Data 26 Novembre 2013, Ifremer, Brest http://wwz.ifremer.fr/bigdata Small to Big data IFREMER/IDM/ISI T. Loubrieu Résumé A partir d'expériences en gestion de données
Plus en détailVirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr
VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr Avril 2014 Virtualscale 1 Sommaire Les enjeux du Big Data et d Hadoop Quels enjeux
Plus en détailAccès aux données Sentinelles
Accès aux données Sentinelles Hervé Jeanjean - CNES Ministère de l'écologie, du Développement durable, et de l Énergie www.developpement-durable.gouv.fr Contexte Un changement de paradigme majeur Big data
Plus en détailLes environnements de calcul distribué
2 e Atelier CRAG, 3 au 8 Décembre 2012 Par Blaise Omer YENKE IUT, Université de Ngaoundéré, Cameroun. 4 décembre 2012 1 / 32 Calcul haute performance (HPC) High-performance computing (HPC) : utilisation
Plus en détailMe#re le Big Data sur la carte : défis et avenues rela6fs à l exploita6on de la localisa6on
Me#re le Big Data sur la carte : défis et avenues rela6fs à l exploita6on de la localisa6on Thierry Badard, PhD, ing. jr Centre de Recherche en Géoma6que Conférence ITIS - Big Data et Open Data au coeur
Plus en détailLes journées SQL Server 2013
Les journées SQL Server 2013 Un événement organisé par GUSS Les journées SQL Server 2013 Romain Casteres MVP SQL Server Consultant BI @PulsWeb Yazid Moussaoui Consultant Senior BI MCSA 2008/2012 Etienne
Plus en détailBig Data Concepts et mise en oeuvre de Hadoop
Introduction 1. Objectif du chapitre 9 2. Le Big Data 10 2.1 Introduction 10 2.2 Informatique connectée, objets "intelligents" et données collectées 11 2.3 Les unités de mesure dans le monde Big Data 12
Plus en détailAPI04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture
API04 Contribution Apache Hadoop: Présentation et application dans le domaine des Data Warehouses Introduction Cette publication a pour but de présenter le framework Java libre Apache Hadoop, permettant
Plus en détailChange the game with smart innovation
Change the game with smart innovation Master Thesis 2013 2014 Faculty of Science engineering 12/08/2012 Master Thesis proposal for the academic year 2013. TABLE OF CONTENTS Section Un Introduction... 3
Plus en détailTests de SlipStream sur les plateformes StratusLab@LAL et OpenStack@CC-IN2P3 : vers la. Vers la fédération du Cloud computing
Tests de sur les plateformes StratusLab@LAL et OpenStack@CC-IN2P3 : vers la fédération du Cloud computing Cécile Cavet1 & Charles Loomis2 (1) Centre François Arago, Laboratoire, Université Paris Diderot,
Plus en détailFormation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop
Passez au niveau supérieur en termes de connaissance grâce à la formation Data Analyst de Cloudera. Public Durée Objectifs Analystes de données, business analysts, développeurs et administrateurs qui ont
Plus en détailMise en place d'un cluster
Mise en place d'un cluster par David Dessailly & Régis Sion UMR8187- LOG Laboratoire d'océanologie et de Géosciences MREN Université du Littoral Côte d'opale. MIn2RIEN Mise en place d'un cluster 13 février
Plus en détailLes technologies du Big Data
Les technologies du Big Data PRÉSENTÉ AU 40 E CONGRÈS DE L ASSOCIATION DES ÉCONOMISTES QUÉBÉCOIS PAR TOM LANDRY, CONSEILLER SENIOR LE 20 MAI 2015 WWW.CRIM.CA TECHNOLOGIES: DES DONNÉES JUSQU'À L UTILISATEUR
Plus en détailLe nouveau visage de la Dataviz dans MicroStrategy 10
Le nouveau visage de la Dataviz dans MicroStrategy 10 Pour la première fois, MicroStrategy 10 offre une plateforme analytique qui combine une expérience utilisateur facile et agréable, et des capacités
Plus en détailSéminaire Partenaires Esri France 6 et 7 juin 2012 Paris. ArcGIS et le Cloud. Gaëtan LAVENU
Séminaire Partenaires Esri France 6 et 7 juin 2012 Paris ArcGIS et le Cloud Gaëtan LAVENU Agenda Qu'attendent nos clients du Cloud Computing? Les solutions de Cloud ArcGIS dans le Cloud Quelles attendent
Plus en détailCloud Computing et Calcul Haute Performance (HPC High Performance C
Cloud Computing et Calcul Haute Performance (HPC High Performance Computing) LIG/UJF/INPG/CNRS/UPMF/INRIA 21 octobre, 2011, Formation-CNRS/ANGD Sommaire Généralité, Historique et Classification Modèle
Plus en détailPackage Contents. System Requirements. Before You Begin
Package Contents DWA-125 Wireless 150 USB Adapter CD-ROM (contains software, drivers, and manual) Cradle If any of the above items are missing, please contact your reseller. System Requirements A computer
Plus en détailVMware : De la Virtualisation. au Cloud Computing
VMware : De la Virtualisation. au Cloud Computing Tunis, le 12 Décembre 2012 Jamal Belhachemi BDM South EMEA 2010 VMware, Inc. Tous droits réservés. 2010 #1 dans les priorités des Directeurs Informatiques
Plus en détailHadoop, Spark & Big Data 2.0. Exploiter une grappe de calcul pour des problème des données massives
Hadoop, Spark & Big Data 2.0 Exploiter une grappe de calcul pour des problème des données massives Qui suis-je? Félix-Antoine Fortin Génie info. (B. Ing, M. Sc, ~PhD) Passionné de Python, Data Analytics,
Plus en détailL offre Stockage et serveurs System x / BladeCenter F.Libier, Business Partner Technical Manager
L offre Stockage et serveurs System x / BladeCenter F.Libier, Business Partner Technical Manager 2009 IBM Corporation Une offre IBM optimisée pour les infrastructures dynamiques Réduire les coûts Améliorer
Plus en détailMaîtriser les technologies Big Data pour obtenir des résultats en quasi-temps réel
LIVRE BLANC Processeurs Intel Xeon Unités de stockage SSD Intel Cartes réseau convergé Ethernet Intel Distribution Intel pour logiciel * Maîtriser les technologies Big Data pour obtenir des résultats en
Plus en détail<Insert Picture Here> Exadata Storage Server et DB Machine V2
Exadata Storage Server et DB Machine V2 Croissance de la Volumétrie des Données Volumes multipliés par 3 tous les 2 ans Evolution des volumes de données 1000 Terabytes (Données) 800
Plus en détailSysFera. Benjamin Depardon
SysFera Passage d applications en SaaS Benjamin Depardon CTO@SysFera SysFera Technologie 2001 Création 2010 Spin Off INRIA Direction par un consortium d investisseurs 12 personnes 75% en R&D Implantation
Plus en détailKick Off SCC 2015. EMC l offre EXTREMIO. fmarti@fr.scc.com Philippe.rolland@emc.com. Vers de nouveaux horizons
Kick Off SCC 2015 EMC l offre EXTREMIO fmarti@fr.scc.com Philippe.rolland@emc.com Vers de nouveaux horizons Context Marché Les baies de stockages traditionnelles ont permis de consolider fortement Les
Plus en détailCours 13. RAID et SAN. 2004, Marc-André Léger
Cours 13 RAID et SAN Plan Mise en contexte Storage Area Networks Architecture Fibre Channel Network Attached Storage Exemple d un serveur NAS EMC2 Celerra Conclusion Démonstration Questions - Réponses
Plus en détailIBM Software Group. Migration vers Tivoli Workload Scheduler. Philippe TESSIER ptessier@setd.fr. 2009 IBM Corporation
IBM Software Group Migration vers Tivoli Workload Scheduler Philippe TESSIER ptessier@setd.fr Sociétés Prodline ( 180 personnes ) Distributeur et intégrateur EGEN Expert Production Régie, Forfait, Infogérance,
Plus en détailCloud Computing : Utiliser Stratos comme PaaS privé sur un cloud Eucalyptus
Cloud Computing : Utiliser Stratos comme PaaS privé sur un cloud Eucalyptus Mr Romaric SAGBO Ministère de l'economie et des Finances (MEF), Bénin SWD Technologies Email : rask9@yahoo.fr Tél : +229 97217745
Plus en détailAcquisition des données - Big Data. Dario VEGA Senior Sales Consultant
Acquisition des données - Big Data Dario VEGA Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated
Plus en détailHadoop dans l entreprise: du concept à la réalité. Pourquoi et comment?
Hadoop dans l entreprise: du concept à la réalité. Pourquoi et comment? Jean-Marc Spaggiari Cloudera jms@cloudera.com @jmspaggi Mai 2014 1 2 Avant qu on commence Agenda -Qu est-ce que Hadoop et pourquoi
Plus en détailConserver les Big Data, source de valeur pour demain
Le potentiel et les défis du Big Data UIMM Mardi 2 et mercredi 3 juillet 2013 56 avenue de Wagram 75017 PARIS Conserver les Big Data, source de valeur pour demain Définir les Big Data Les Big Data à travers
Plus en détailIT SERVICES BUSINESS STORAGE DATA AUDIT PARTNERSHIP INTEGRATOR SECURITY PLANNING PRIVATE AGILITY DYNAMIC PUBLIC TECHNOLOGY SOLUTIONS MANAGEMENT
ACTIVE BUSINESS TALENT ANSWERS DESIGN AUDIT HYBRID DRP PRIVATE SOFTWARE ENGINEERING AGILITY DYNAMIC DEPLOY SECURITY COMPUTE USER Initialisation démonstration EVO:RAIL PROVISIONING ORCHESTRATION WORKLOAD
Plus en détail3 ème journée des utilisateurs de l archivage
Université Lille 2 CINES Département Archivage et Diffusion 3 ème journée des utilisateurs de l archivage 9 juin 2015 JOURNEE INTERNATIONALE Mardi 9 juin 2015 des ARCHIVES Et on la fête absolument partout
Plus en détailGamme Serveurs HP ProLiant Rack
Gamme Serveurs HP ProLiant Rack Janvier 2015 Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. La gamme de produits la plus
Plus en détailCloud Computing: de la technologie à l usage final. Patrick CRASSON Oracle Thomas RULMONT WDC/CloudSphere Thibault van der Auwermeulen Expopolis
Cloud Computing: de la technologie à l usage final Patrick CRASSON Oracle Thomas RULMONT WDC/CloudSphere Thibault van der Auwermeulen Expopolis ADOPTION DU CLOUD COMPUTING Craintes, moteurs, attentes et
Plus en détailCycle de vie, processus de gestion
Les données scientifiques au CNES Cycle de vie, processus de gestion Danièle BOUCON Réunion PIN du 4 janvier 2013 Réunion PIN du 22 mars 2012 Outils CNES Contexte des données scientifiques au CNES SOMMAIRE
Plus en détailQuick Start Guide This guide is intended to get you started with Rational ClearCase or Rational ClearCase MultiSite.
Rational ClearCase or ClearCase MultiSite Version 7.0.1 Quick Start Guide This guide is intended to get you started with Rational ClearCase or Rational ClearCase MultiSite. Product Overview IBM Rational
Plus en détailPrésentation de la Grille EGEE
Présentation de la Grille EGEE Introduction aux grilles La grille EGEE Exemples d applications en physique des particules et en sciences de la vie Le cercle vertueux Conclusion Guy Wormser Directeur de
Plus en détailProgrammation parallèle et distribuée (Master 1 Info 2015-2016)
Programmation parallèle et distribuée (Master 1 Info 2015-2016) Hadoop MapReduce et HDFS Note bibliographique : ce cours est largement inspiré par le cours de Benjamin Renaut (Tokidev SAS) Introduction
Plus en détailXtremWeb-HEP 8.0.0. Interconnecting jobs over DG. Virtualization over DG. Oleg Lodygensky Laboratoire de l Accélérateur Linéaire
XtremWeb-HEP 8.0.0 Interconnecting jobs over DG Virtualization over DG Oleg Lodygensky Objectives 1.Deploy Virtual Machines in XtremWeb-HEP desktop grid to: protect volunteer resources generalize «pilot
Plus en détailStephan Hadinger, Sr. Mgr Solutions Architecture, AWS. Salon du Big Data 11 mars 2015
Stephan Hadinger, Sr. Mgr Solutions Architecture, AWS Salon du Big Data 11 mars 2015 Accélération de l innovation +500 +280 Amazon EC2 Container Service +159 AWS Storage Gateway Amazon Elastic Transcoder
Plus en détailBig Data. Les problématiques liées au stockage des données et aux capacités de calcul
Big Data Les problématiques liées au stockage des données et aux capacités de calcul Les problématiques liées au Big Data La capacité de stockage - Traitement : Ponctuel ou permanent? - Cycle de vie des
Plus en détailProgrammation parallèle et distribuée
Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution
Plus en détailEcole Mohammadia d Ingénieurs Systèmes Répartis Pr. Slimane Bah, ing. PhD G. Informatique Semaine 24
Ecole Mohammadia d Ingénieurs Systèmes Répartis Pr. Slimane Bah, ing. PhD G. Informatique Semaine 24 1 Semestre 4 : Fev. 2015 Cluster Caractéristiques : Centralisé Fortement couplé Même domaine administratif
Plus en détailApplication Form/ Formulaire de demande
Application Form/ Formulaire de demande Ecosystem Approaches to Health: Summer Workshop and Field school Approches écosystémiques de la santé: Atelier intensif et stage d été Please submit your application
Plus en détailEvolution des SI à l heure du Cloud
Evolution des SI à l heure du Cloud Avril 2010 F. VERGNAIS Les partenaires R&D Bank / Insurance Lines Of Business AMS Correspondants du CIT BDDF BFI IFRS BNL Technology & Marketing Watch Nouveaux acteurs
Plus en détailBusiness Intelligence, Etat de l art et perspectives. ICAM JP Gouigoux 10/2012
Business Intelligence, Etat de l art et perspectives ICAM JP Gouigoux 10/2012 CONTEXTE DE LA BI Un peu d histoire Premières bases de données utilisées comme simple système de persistance du contenu des
Plus en détailsetting the scene: 11dec 14 perspectives on global data and computing e-infrastructure challenges mark asch MENESR/DGRI/SSRI - France
setting the scene: perspectives on global data and computing e-infrastructure challenges 11dec 14 mark asch MENESR/DGRI/SSRI - France 1 questions The volume, variety and complexity of research data require
Plus en détailIntérêt des codes FEC pour le stockage distribué Le projet ANR FEC4Cloud et la solution RozoFS
Intérêt des codes FEC pour le stockage distribué Le projet ANR FEC4Cloud et la solution RozoFS RESSI-2015 Du 19 au 22 Mai, Université Technologique de Troyes Benoît Parrein (Polytech Nantes, IRCCyN) Jérôme
Plus en détailTitre : La BI vue par l intégrateur Orange
Titre : La BI vue par l intégrateur Orange Résumé : L entité Orange IT&L@bs, partenaire privilégié des entreprises et des collectivités dans la conception et l implémentation de SI Décisionnels innovants,
Plus en détailArchitectures informatiques dans les nuages
Architectures informatiques dans les nuages Cloud Computing : ressources informatiques «as a service» François Goldgewicht Consultant, directeur technique CCT CNES 18 mars 2010 Avant-propos Le Cloud Computing,
Plus en détailGrid 5000 : Administration d une infrastructure distribuée et développement d outils de déploiement et d isolation réseau
: Administration d une infrastructure distribuée et développement d outils de déploiement et d isolation réseau Nicolas Niclausse - INRIA Sophia Antipolis Méditerranée - projet Aladdin Grid 5000 2 juillet
Plus en détailProjet d'infrastructure de stockage mutualisée
Projet d'infrastructure de stockage mutualisée (pour la communauté scientifique régionale) - CRRI antoine.mahul@clermont-universite.fr Journée de rencontre du réseau AuDACES - 17 juin 2014 1. Contexte
Plus en détailMonitoring des classes de neige des calottes polaires par Envisat
Monitoring des classes de neige des calottes polaires par Envisat (Résultats de WOOPI) N. Tran, A. Vernier (CLS) F. Rémy R (LEGOS) P. Féménias F (ESA) Calottes glaciaires & classification de la neige/glace
Plus en détailInstructions Mozilla Thunderbird Page 1
Instructions Mozilla Thunderbird Page 1 Instructions Mozilla Thunderbird Ce manuel est écrit pour les utilisateurs qui font déjà configurer un compte de courrier électronique dans Mozilla Thunderbird et
Plus en détailACCOMPAGNER L EXPLOSION DES VOLUMES DE DONNEES : LES NOUVEAUX ENJEUX DU STOCKAGE
Livre Blanc ACCOMPAGNER L EXPLOSION DES VOLUMES DE DONNEES : LES NOUVEAUX ENJEUX DU STOCKAGE Abstract En 2012, l explosion des volumes de données n est plus une hypothèse lointaine mais bien une réalité.
Plus en détail