Les données massives à Calcul Québec

Dimension: px
Commencer à balayer dès la page:

Download "Les données massives à Calcul Québec"

Transcription

1 Les données massives à Calcul Québec Marc Parizeau, professeur et directeur scientifique de Calcul Québec

2 Plan Calcul Québec / Calcul Canada Les outils et les services disponibles Un outil en particulier : Spark 2

3 Calcul Québec 3

4 Mission Procurer au milieu de la R&D des infrastructures matérielles et logicielles en Calcul Informatique de Pointe (CIP) ainsi que des services d expertconseil, afin de contribuer à l avancement des connaissances dans toutes les branches du savoir et à la formation de personnel hautement qualifié en CIP, capable d exploiter efficacement le parallélisme des systèmes informatiques modernes. 4

5 Quelques chiffres Quatre sites principaux Laval McGill / ETS UdeM Sherbrooke Au total: un personnel d une quarantaine d employés environ 1200 utilisateurs dans 400 groupes de recherche 80,000 cœurs de calcul 300 accélérateurs 200 To de mémoire vive 8000 To de stockage sur disque 5

6 Statistiques 6

7 Nous rejoindre Site web Support technique Informations générales Pour un serveur spécifique 7

8 Calcul Canada Université membre Université membre avec personnel Université membre avec personnel et infrastructures 8

9 Infrastructures à l UL Colosse Grappe de 960 noeuds 2 x Intel X GHz (8 coeurs) Mémoire : DDR3 à 1333 MHz noeuds: 24 GB (3 GB / coeur) - 24 noeuds: 48 GB (6 GB / coeur) Réseau: Infiniband QDR (40Gbps) Stockage: 2 x 500 TB (1PB total) 17 GB/s (scratch), 12 GB/s (home) Hélios Grappe de 168 GPGPU 15 noeuds, 20 coeurs à 2,5 GHz, 128 Go RAM et 8 GPU NVIDIA K20 par noeud 6 noeuds, 24 coeurs à 2,7 GHz, 256 GB RAM et 8 GPU NVIDIA K80 par noeud 9

10 Services disponibles Administration et opération de grappes de calcul Déploiement de systèmes de calcul et de stockage parallèle Conception et mise en service de solutions de calcul surmesure Exploitation de grappes de calcul Développement d'algorithmes parallèles (MPI, OpenMP, CUDA, Hadoop, Spark, etc.) Configuration / utilisation de logiciels HPC (Ansys, OpenFoam, etc.) Adaptation et optimisation de workflows distribués Virtualisation Formation 10

11 Les formations De base Software Carpentry Ligne de commande Unix Gestion de code programmation (R / Python) Premiers pas sur les serveurs de calcul Programmation Python Programmation R MDCS : Matlab Distributed Computer Server Visualisation avec Paraview Analyse de données Hadoop / MapReduce Spark 11

12 Accélérateurs et GPU programmation Cuda Programmation Cuda avancée Bibliothèques GPU programmation de Xeon Phi Calcul parallèle de haute performance Introduction à OpenMP Programmation OpenMP avancée Introduction à MPI Programmation MPI avancée et programmation hybride Profilage et optimisation avec Open / SpeedShop Déboggage avec DDT Entrées/sorties parallèles avec HDF5 12

13 Outils: Hadoop + Spark 13

14 Les défis du «big data» les 3 Vs + la véracité 14

15 Apache Software Foundation Plus de 150 projets open source dont plus d une trentaine en lien avec les données massives 15

16 Hadoop mécanique de base stockage distribué autres outils 16

17 Les enjeux l approche classique ne fonctionne plus avec les données massives (Oracle) (Hadoop / Spark) (Google) 17

18 Stockage distribué (HDFS) HDFS = Hadoop Distributed File System 18

19 Map - shuffle - reduce 19

20 Redondance 20

21 problèmes majeurs: usage de disques 21

22 Spark remplace le map/reduce de Hadoop Permet de faire des itérations sans passer par le stockage sur disque Augmente la performance jusqu à 100x 22

23 Hadoop Spark 23

24 Pour en savoir plus? La prochaine formation Spark est mardi le 3 novembre! Voir notre calendrier: formation/calendrier-formations Pour s inscrire: 24

25 Conclusion Temps de calcul Extension de capacité de calcul. Capacité supplémentaire de courte durée (bursting). Stockage / transfert de données Consultation choix technologique développement algorithmique optimisation, etc. Formations spécialisées Soutien à la recherche Contrats avec l industrie 25

Calcul haute performance (CHP-HPC). Utilisation des supercalculateurs

Calcul haute performance (CHP-HPC). Utilisation des supercalculateurs Calcul haute performance (CHP-HPC). Utilisation des supercalculateurs Pascal Rochon (UQO-ISFORT) Sommaire 1. Pourquoi utiliser le CHP 2. Définition des termes utilisés 3. Organismes qui chapeautent le

Plus en détail

CRIHAN Centre de Ressources Informatiques de HAute-Normandie

CRIHAN Centre de Ressources Informatiques de HAute-Normandie ACT-MG-v2 CRIHAN Centre de Ressources Informatiques de HAute-Normandie Journée Entreprises & HPC-PME au CRIHAN - 11 avril 2013 CRIHAN Missions Concept : mutualisation de services et d équipements Réseau

Plus en détail

Composants logiciel: Feel++, formats de fichier et visualisation

Composants logiciel: Feel++, formats de fichier et visualisation Composants logiciel: Feel++, formats de fichier et visualisation Alexandre Ancel Cemosis / Université de Strasbourg 13 Janvier 2015 1 / 20 Plan 1 Environnement logiciel & matériel 2 Formats de fichier

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution

Plus en détail

Hadoop, Spark & Big Data 2.0. Exploiter une grappe de calcul pour des problème des données massives

Hadoop, Spark & Big Data 2.0. Exploiter une grappe de calcul pour des problème des données massives Hadoop, Spark & Big Data 2.0 Exploiter une grappe de calcul pour des problème des données massives Qui suis-je? Félix-Antoine Fortin Génie info. (B. Ing, M. Sc, ~PhD) Passionné de Python, Data Analytics,

Plus en détail

cluster pour l Enseignement Universitaire et la Recherche

cluster pour l Enseignement Universitaire et la Recherche cluster pour l Enseignement Universitaire et la Recherche Université de Nice Sophia-Antipolis 22 janvier 2013 Université de Nice Sophia-Antipolis cluster pour l Enseignement Universitaire et la Recherche

Plus en détail

Support avancé pour les entreprises. 4èmes journées mésocentres 20/21 Septembre 2011

Support avancé pour les entreprises. 4èmes journées mésocentres 20/21 Septembre 2011 Support avancé pour les entreprises 4èmes journées mésocentres 20/21 Septembre 2011 Patrick BOUSQUET-MÉLOU CRIHAN - Centre de Ressources Informatiques de Haute-Normandie Introduction Pôle Régional de Modélisation

Plus en détail

Retour d expérience noeud de stockage BeeGFS

Retour d expérience noeud de stockage BeeGFS Retour d expérience noeud de stockage BeeGFS Philippe Dos Santos / Georges Raseev Fédération de Recherche Lumière Matière 06 novembre 2014 LOGO CNRS LOGO IO Philippe Dos Santos / Georges Raseev (FédérationRetour

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2014) Marc Parizeau, Département de génie électrique et de génie informatique Plan Mégadonnées («big data») Architecture Hadoop distribution

Plus en détail

Infrastructures Parallèles de Calcul

Infrastructures Parallèles de Calcul Infrastructures Parallèles de Calcul Clusters Grids Clouds Stéphane Genaud 11/02/2011 Stéphane Genaud () 11/02/2011 1 / 8 Clusters - Grids - Clouds Clusters : assemblage de PCs + interconnexion rapide

Plus en détail

Kick-off ANR Compass

Kick-off ANR Compass Kick-off ANR Compass Contribution MDLS Pierre Kestener CEA-Saclay, DSM, France Maison de la Simulation Meudon, 14 mars 2013 1 / 10 La Maison de la Simulation Laboratoire de recherche pluridisciplinaire

Plus en détail

Organiser vos données - Big Data. Patrick Millart Senior Sales Consultant

Organiser vos données - Big Data. Patrick Millart Senior Sales Consultant Organiser vos données - Big Data Patrick Millart Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be

Plus en détail

Journée Utiliateurs 2015. Nouvelles du Pôle ID (Informatique) Pierre Neyron, LIG/CNRS

Journée Utiliateurs 2015. Nouvelles du Pôle ID (Informatique) Pierre Neyron, LIG/CNRS Journée Utiliateurs 2015 Nouvelles du Pôle ID (Informatique) Pierre Neyron, LIG/CNRS 1 Pôle ID, Grid'5000 Ciment Une proximité des platesformes Autres sites G5K Grenoble + CIMENT Pôle ID = «Digitalis»

Plus en détail

Programmation parallèle et distribuée (Master 1 Info 2015-2016)

Programmation parallèle et distribuée (Master 1 Info 2015-2016) Programmation parallèle et distribuée (Master 1 Info 2015-2016) Hadoop MapReduce et HDFS Note bibliographique : ce cours est largement inspiré par le cours de Benjamin Renaut (Tokidev SAS) Introduction

Plus en détail

Exadata Storage Server et DB Machine V2

<Insert Picture Here> Exadata Storage Server et DB Machine V2 Exadata Storage Server et DB Machine V2 Croissance de la Volumétrie des Données Volumes multipliés par 3 tous les 2 ans Evolution des volumes de données 1000 Terabytes (Données) 800

Plus en détail

Xeon Phi au CRIHAN. Patrick BOUSQUET-MÉLOU (pbm@crihan.fr) 16 Juin 2015

Xeon Phi au CRIHAN. Patrick BOUSQUET-MÉLOU (pbm@crihan.fr) 16 Juin 2015 Xeon Phi au CRIHAN Patrick BOUSQUET-MÉLOU (pbm@crihan.fr) 16 Juin 2015 Objectifs Veille technologique architecture many-core Se former pour préparer les utilisateurs au Xeon Phi «Knights Landing» (2016)

Plus en détail

Outil d aide au choix Serveurs Lot 4 Marché Groupement de Recherche

Outil d aide au choix Serveurs Lot 4 Marché Groupement de Recherche Outil d aide au choix Serveurs Lot 4 Marché Groupement de Recherche Serveurs DELL PowerEdge Tour Rack standard R310 T110II Rack de calcul Lames R815 M610 R410 R910 M620 R415 R510 T620 R620 R720/R720xd

Plus en détail

Panorama des solutions analytiques existantes

Panorama des solutions analytiques existantes Arnaud LAROCHE Julien DAMON Panorama des solutions analytiques existantes SFdS Méthodes et Logiciels - 16 janvier 2014 - Données Massives Ne sont ici considérés que les solutions autour de l environnement

Plus en détail

3 ème journée des utilisateurs de l archivage

3 ème journée des utilisateurs de l archivage Université Lille 2 CINES Département Archivage et Diffusion 3 ème journée des utilisateurs de l archivage 9 juin 2015 JOURNEE INTERNATIONALE Mardi 9 juin 2015 des ARCHIVES Et on la fête absolument partout

Plus en détail

Cartographie des solutions BigData

Cartographie des solutions BigData Cartographie des solutions BigData Panorama du marché et prospective 1 1 Solutions BigData Défi(s) pour les fournisseurs Quel marché Architectures Acteurs commerciaux Solutions alternatives 2 2 Quels Défis?

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Cloud et scalabilité Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire

Plus en détail

ParaView / VTK / HDF5 un cas d utilisation : SimSERT. RDataDev OSUG 10 Avril 2015 Yves Rogez

ParaView / VTK / HDF5 un cas d utilisation : SimSERT. RDataDev OSUG 10 Avril 2015 Yves Rogez ParaView / VTK / HDF5 un cas d utilisation : SimSERT RDataDev OSUG 10 Avril 2015 Yves Rogez ParaView / VTK / HDF5 un cas d utilisation : SimSERT 1. Contexte : CONSERT / ROSETTA 2. ParaView : Fonctionnalités,

Plus en détail

Big Data Concepts et mise en oeuvre de Hadoop

Big Data Concepts et mise en oeuvre de Hadoop Introduction 1. Objectif du chapitre 9 2. Le Big Data 10 2.1 Introduction 10 2.2 Informatique connectée, objets "intelligents" et données collectées 11 2.3 Les unités de mesure dans le monde Big Data 12

Plus en détail

Big Data EC2 S3. Stockage. Amazon Web Services. Réf. Intitulé des formations Page

Big Data EC2 S3. Stockage. Amazon Web Services. Réf. Intitulé des formations Page IAM Big Data EBS Big Data Cloud EC2 S3 Cloud Stockage Stockage Amazon Web Services Réf. Intitulé des formations Page GK4501 Notions de base Amazon Web Services 3 GK4502 Architecture sur Amazon Web Services

Plus en détail

LES SOLUTIONS D INFRASTRUCTURES CONVERGENTES POUR TRANSFORMER VOTRE DATACENTER. François BOTTON Product Marketing Manager

LES SOLUTIONS D INFRASTRUCTURES CONVERGENTES POUR TRANSFORMER VOTRE DATACENTER. François BOTTON Product Marketing Manager LES SOLUTIONS D INFRASTRUCTURES CONVERGENTES POUR TRANSFORMER VOTRE DATACENTER François BOTTON Product Marketing Manager LES PRIORITÉS DES DSI UNE MEILLEURE AGILITÉ Le déploiement rapide d'applications

Plus en détail

Programmation multigpu OpenMP versus MPI

Programmation multigpu OpenMP versus MPI 17 février 2011 Gabriel Noaje Programmation multigpu OpenMP versus OpenMP 1 Programmation multigpu OpenMP versus MPI Gabriel Noaje, Michaël Krajecki, Christophe Jaillet gabriel.noaje@univ-reims.fr Équipe

Plus en détail

MATINFO 3. xxxxxxxxxx Responsable de Comptes xxxxxxxx

MATINFO 3. xxxxxxxxxx Responsable de Comptes xxxxxxxx MATINFO 3 xxxxxxxxxx Responsable de Comptes xxxxxxxx Catégorie 1 : Poste Bureautique Optiplex 7010 Dédié aux principales applications bureautiques 4 châssis différents : MT, DT, SF, USFF Large choix de

Plus en détail

VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr

VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr Avril 2014 Virtualscale 1 Sommaire Les enjeux du Big Data et d Hadoop Quels enjeux

Plus en détail

FORMATION HADOOP Administrateur pour Hadoop (Apache)

FORMATION HADOOP Administrateur pour Hadoop (Apache) FORMATION HADOOP Administrateur pour Hadoop (Apache) Ce document reste la propriété du Groupe Cyrès. Toute copie, diffusion, exploitation même partielle doit faire l objet d une demande écrite auprès de

Plus en détail

Apprentissage Statistique et Données Massives

Apprentissage Statistique et Données Massives Apprentissage Statistique et Données Massives Philippe Besse Université de Toulouse INSA Dpt GMM Institut de Mathématiques ESP UMR CNRS 5219 Introduction Technologies des donne es massives Motivations,

Plus en détail

Evolution des technologies de calcul intensif vers les systèmes multi-cœurs et accélérateurs

Evolution des technologies de calcul intensif vers les systèmes multi-cœurs et accélérateurs Evolution des technologies de calcul intensif vers les systèmes multi-cœurs et accélérateurs Marc Mendez-Bermond Expert solutions HPC Programme Contexte Technologies Evolutions 2 Confidentiel Research

Plus en détail

Les besoins. Le capital existant. Les nouvelles ambitions. Les projets. Conclusions. Compétences et ressources humaines Les ressources

Les besoins. Le capital existant. Les nouvelles ambitions. Les projets. Conclusions. Compétences et ressources humaines Les ressources Les besoins Le capital existant Compétences et ressources humaines Les ressources Les nouvelles ambitions Les projets Conclusions 2 Les thématiques P2IO reposent sur la production et l exploitation de

Plus en détail

CAHIER DES CHARGES et D.P.G.F. Lot n 1 - VIRTUALISATION

CAHIER DES CHARGES et D.P.G.F. Lot n 1 - VIRTUALISATION CAHIER DES CHARGES et D.P.G.F. Lot n 1 - VIRTUALISATION 1. ENONCE Migration d une architecture bis serveur physique vers la virtualisation avec ajout d un serveur de messagerie et un serveur de contrôle

Plus en détail

SIGAMM/CRIMSON COMMISSION UTILISATEUR du 05/12/2014

SIGAMM/CRIMSON COMMISSION UTILISATEUR du 05/12/2014 SIGAMM/ COMMISSION UTILISATEUR du 05/12/2014 ORDRE DU JOUR : - Rôle de la commission, - Présentation de la nouvelle plateforme, - Accès Mésocentre, - Point sur les problèmes rencontrés, - Propositions

Plus en détail

Hébergement MMI SEMESTRE 4

Hébergement MMI SEMESTRE 4 Hébergement MMI SEMESTRE 4 24/03/2015 Hébergement pour le Web Serveurs Mutualités Serveurs Dédiés Serveurs VPS Auto-Hébergement Cloud Serveurs Mutualités Chaque Serveur héberge plusieurs sites Les ressources

Plus en détail

Plan Formation : Utilisation Hyperion Janvier-Février 2014 http://www.calmip.cict.fr/ Plan Formation :

Plan Formation : Utilisation Hyperion Janvier-Février 2014 http://www.calmip.cict.fr/ Plan Formation : Plan Formation : Introduction : Mésocentre CALMIP Introduction à l Architecture des systèmes HPC Panorama des Systèmes et Processeurs Multi-core Présentation système de Calcul CALMIP : HYPERION Visite

Plus en détail

Renouvellement des ressources

Renouvellement des ressources ACT-MG-v2 Renouvellement des ressources Patrick BOUSQUET-MÉLOU (pbm@crihan.fr) 16 Juin 2015 Ressources actuelles Ressources actuelles IBM idataplex «ANTARÈS» Calculateur ANTARÈS installé dans le Centre

Plus en détail

Thomas Loubrieu (Ifremer) Small to Big Data. http://wwz.ifremer.fr/bigdata. 26 Novembre 2013, Ifremer, Brest

Thomas Loubrieu (Ifremer) Small to Big Data. http://wwz.ifremer.fr/bigdata. 26 Novembre 2013, Ifremer, Brest Thomas Loubrieu (Ifremer) Small to Big Data 26 Novembre 2013, Ifremer, Brest http://wwz.ifremer.fr/bigdata Small to Big data IFREMER/IDM/ISI T. Loubrieu Résumé A partir d'expériences en gestion de données

Plus en détail

Présentation de Citrix XenServer

Présentation de Citrix XenServer Présentation de Citrix XenServer Indexes Introduction... 2 Les prérequis et support de Xenserver 6 :... 2 Les exigences du système XenCenter... 3 Avantages de l'utilisation XenServer... 4 Administration

Plus en détail

Activité professionnelle N

Activité professionnelle N BTS SIO Services Informatiques aux Organisations Option SISR Session 2015 Kissley POUNGA Activité professionnelle N 12 Nature de l activité Objectifs ÉTUDE DU RENOUVELLEMENT DU MATÉRIEL INFORMATIQUE Remise

Plus en détail

Jérôme Clet-Ortega. Modèles hybrides de programmation pour architectures parallèles

Jérôme Clet-Ortega. Modèles hybrides de programmation pour architectures parallèles + Jérôme Clet-Ortega Modèles hybrides de programmation pour architectures parallèles + Présentation 2 Équipe projet RUNTIME Dirigée par Raymond Namyst Supports exécutifs pour le calcul hautes performances

Plus en détail

Activité professionnelle N

Activité professionnelle N BTS SIO Services Informatiques aux Organisations Option SISR Session 2015 Benjamin FRULEUX Activité professionnelle N 20 22 Nature de l activité Objectifs ÉTUDE DU RENOUVELLEMENT DU MATÉRIEL INFORMATIQUE

Plus en détail

IBM System i5 Virtualisation et Consolidation

IBM System i5 Virtualisation et Consolidation IBM PSSC System IBM i Customer Center Montpellier IBM System i5 Virtualisation et Consolidation Simplification de l infrastructure Partage des ressources Réduction de la complexité et des coûts par la

Plus en détail

Avec les supercalculateurs bullx, Bull ouvre une nouvelle voie à l Extreme Computing

Avec les supercalculateurs bullx, Bull ouvre une nouvelle voie à l Extreme Computing Communiqué de Presse Avec les supercalculateurs bullx, Bull ouvre une nouvelle voie à l Extreme Computing Bull annonce aujourd hui bullx, une nouvelle famille de supercalculateurs éco-efficaces, ultra

Plus en détail

Big Data par l exemple

Big Data par l exemple #PARTAGE Big Data par l exemple Alexandre Chauvin Hameau Directeur de la production Malakoff Médéric @achauvin CT BIG DATA 10/12/2015 Soyons pragmatiques BIG DATA beaucoup de bruit pour des choses finalement

Plus en détail

OVESYS EXADATA PARTNER OF THE YEAR 2011

OVESYS EXADATA PARTNER OF THE YEAR 2011 OVESYS EXADATA PARTNER OF THE YEAR 2011 Interview «OVESYS groupe OVERLAP» du 12 Janvier 2012, postée sur : http://www.itplace.tv Stéphane IAICH, OVESYS, Business Development Manager (BDM) Marc NDIAYE,

Plus en détail

Demande d attribution de ressources informatiques. Sur le Centre de Calculs Interactifs de l Université de Nice Sophia-Antipolis

Demande d attribution de ressources informatiques. Sur le Centre de Calculs Interactifs de l Université de Nice Sophia-Antipolis Demande d attribution de ressources informatiques Sur le Centre de Calculs Interactifs de l Université de Nice Sophia-Antipolis Titre du projet : Nom du laboratoire : Nom de l établissement hébergeur :

Plus en détail

HPC by OVH.COM. Le bon calcul pour l innovation OVH.COM

HPC by OVH.COM. Le bon calcul pour l innovation OVH.COM 4 HPC by OVH.COM Le bon calcul pour l innovation 2 6 5 6 2 8 6 2 OVH.COM 5 2 HPC by OVH.COM 6 HPC pour High Performance Computing Utilisation de serveurs et de grappes de serveurs (clusters), configurés

Plus en détail

M1 MIAGE Option IFD Data Mining et Parallélisme

M1 MIAGE Option IFD Data Mining et Parallélisme M1 MIAGE Option IFD Data Mining et Parallélisme Alexandre Termier 2011-2012 S2 1 / 24 Besoin ˆ Data Mining doit... traiter de gros volumes de données pouvoir eectuer des analyses complexes (gros calculs)

Plus en détail

Big Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1

Big Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1 Big Data Cyril Amsellem Consultant avant-vente 16 juin 2011 Talend 2010 1 Big Data Architecture globale Hadoop Les projets Hadoop (partie 1) Hadoop-Core : projet principal. HDFS : système de fichiers distribués

Plus en détail

CLIC Cluster LInux pour le Calcul

CLIC Cluster LInux pour le Calcul CLIC Cluster LInux pour le Calcul http://clic.mandrakesoft.com Wilfrid Billot (@imag.fr) ID-IMAG Projet Apache http://www-id.imag.fr Plan ¾ Introduction à CLIC ¾ CLIC et les clusters ¾ Ce qui existe déjà

Plus en détail

Gestion de clusters de calcul avec Rocks

Gestion de clusters de calcul avec Rocks Gestion de clusters de calcul avec Laboratoire de Chimie et Physique Quantiques / IRSAMC, Toulouse scemama@irsamc.ups-tlse.fr 26 Avril 2012 Gestion de clusters de calcul avec Outline Contexte 1 Contexte

Plus en détail

IBM System Storage. Van-Bac VU Disk Brand Manager. IBM Systems. 2007 IBM Corporation

IBM System Storage. Van-Bac VU Disk Brand Manager. IBM Systems. 2007 IBM Corporation IBM System Storage Van-Bac VU Disk Brand Manager IBM Systems Les préoccupations Comment mieux gérer le stockage de données Comment protéger efficacement les données Comment maitriser le coût de l infrastructure

Plus en détail

Big Data. Les problématiques liées au stockage des données et aux capacités de calcul

Big Data. Les problématiques liées au stockage des données et aux capacités de calcul Big Data Les problématiques liées au stockage des données et aux capacités de calcul Les problématiques liées au Big Data La capacité de stockage - Traitement : Ponctuel ou permanent? - Cycle de vie des

Plus en détail

Comment faire face à l'explosion de données?

Comment faire face à l'explosion de données? Comment faire face à l'explosion de données? Taxinomie du stockage non structuré antoine.tabary@ fr.ibm.com Architecte Software Defined Storage Les modèles traditionnels de stockage sont mis à mal par

Plus en détail

Consultant scientifique-ingénieur de données Juin 2015 à Septembre 2015 Syntell

Consultant scientifique-ingénieur de données Juin 2015 à Septembre 2015 Syntell Mégadonnées «Big Data» PROFIL Personne très autonome et qui possède un sens de l initiative développé, notamment en ce qui concerne la prise de décision, monsieur Brechmann est un spécialiste des mégadonnées.

Plus en détail

Une nouvelle génération de serveur

Une nouvelle génération de serveur Séminaire Aristote 27 Mars 2013 Une nouvelle génération de serveur Sommaire L'équipe État de l'art et vision Présentation de l'innovation Les points forts de la solution Cas d'usage Questions? 2 L'équipe

Plus en détail

Centre de calcul de l ub

Centre de calcul de l ub Centre de calcul de l ub Formation Présentation et utilisation du cluster de Calcul Antoine Migeon ccub@u-bourgogne.fr Tel : 5205 ou 5270 Le Centre de Calcul de l ub (ccub) Dédié à l enseignement et à

Plus en détail

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages 1 Mehdi LOUIZI Plan Pourquoi Hadoop? Présentation et Architecture Démo Usages 2 Pourquoi Hadoop? Limites du Big Data Les entreprises n analysent que 12% des données qu elles possèdent (Enquête Forrester

Plus en détail

BIG DATA en Sciences et Industries de l Environnement

BIG DATA en Sciences et Industries de l Environnement BIG DATA en Sciences et Industries de l Environnement François Royer www.datasio.com 21 mars 2012 FR Big Data Congress, Paris 2012 1/23 Transport terrestre Traçabilité Océanographie Transport aérien Télémétrie

Plus en détail

Plateau technique "Cluster de calcul intensif HPC"

Plateau technique Cluster de calcul intensif HPC Plateau technique "Cluster de calcul intensif HPC" FONCTIONNEMENT CHARTE D UTILISATION Référence :01 - v02 01 - v02 Date d approbation : 12/02/2013 Institut Méditéranéen d Océanologie (UMR CNRS 7294 /

Plus en détail

Portage, optimisation et développement de logiciels de calcul sur architectures GPU et hybrides PSA PEUGEOT CITROËN

Portage, optimisation et développement de logiciels de calcul sur architectures GPU et hybrides PSA PEUGEOT CITROËN Portage, optimisation et développement de logiciels de calcul sur architectures GPU et hybrides PSA PEUGEOT CITROËN Benoît DESCHAMPS PSA Peugeot Citroën 29/06/11 INDEX Présentations activités Réalité Virtuelle

Plus en détail

Solutions de Digital Asset Management. Photothèque de grande capacité. Gestion de flux de travail

Solutions de Digital Asset Management. Photothèque de grande capacité. Gestion de flux de travail Solutions de Digital Asset Management Photothèque de grande capacité Gestion de flux de travail Prérequis FotoStation : FotoStation Mac : Max OS X 10.7, 10.8, 10.9 ou 10.10 (Lion à Yosemite) Processeur

Plus en détail

Retour d expérience, portage de code Promes dans le cadre de l appel à projets CAPS-GENCI

Retour d expérience, portage de code Promes dans le cadre de l appel à projets CAPS-GENCI , portage de code Promes dans le cadre de l appel à projets CAPS-GENCI PROMES (UPR 8521 CNRS) Université de Perpignan France 29 juin 2011 1 Contexte 2 3 4 Sommaire Contexte 1 Contexte 2 3 4 Laboratoire

Plus en détail

CAHIER DES CHARGES D IMPLANTATION D EvRP V3

CAHIER DES CHARGES D IMPLANTATION D EvRP V3 CAHIER DES CHARGES D IMPLANTATION D EvRP V3 Tableau de diffusion du document Document : Cahier des Charges d Implantation EVRP V3 Version 42 Etabli par Département Accompagnement des Logiciels Vérifié

Plus en détail

Rappels, SISD, SIMD. Calculateurs hybrides (GPU-OpenCL) Rappels, MIMD mémoire partagée. Rappels, MIMD mémoire partagée. Rappels... SISD,...

Rappels, SISD, SIMD. Calculateurs hybrides (GPU-OpenCL) Rappels, MIMD mémoire partagée. Rappels, MIMD mémoire partagée. Rappels... SISD,... Rappels, SISD, SIMD Calculateurs hybrides (GPU-OpenCL) Rappels... SISD,... SIMD Formation d Ingénieurs de l Institut Galiléee MACS 3 Philippe d Anfray Philippe.d-Anfray@cea.fr CEA DSM 2013-2014 SISD :

Plus en détail

Super ordinateurs et Linux:

Super ordinateurs et Linux: Super ordinateurs et Linux: des histoires du CLUMEQ à l'université Laval Sébastien Boisvert 2012-11-15 19:00 Où : Université Laval Pavillon Palasis-Prince, local 3325 (Carte) Introduction Étudiant/chercheur

Plus en détail

Cover heading. La configuration système requise pour. Maximizer CRM 2015. Les éditions Entreprise et Groupe. Cover introduction

Cover heading. La configuration système requise pour. Maximizer CRM 2015. Les éditions Entreprise et Groupe. Cover introduction La configuration système requise pour Cover heading Maximizer CRM 2015 Cover introduction Les éditions Entreprise et Groupe Une implantation type de Maximizer requiert un serveur et au moins un poste de

Plus en détail

Ingénierie de la fouille et de la visualisation de données massives (RCP216)

Ingénierie de la fouille et de la visualisation de données massives (RCP216) . Ingénierie de la fouille et de la visualisation de données massives (RCP216). Introduction du cours Michel Crucianu, Raphaël Fournier-S niehotta, Pierre Cubaud (prenom.nom@cnam.fr, fournier@cnam.fr)

Plus en détail

Cisco Unified Business Attendant Console

Cisco Unified Business Attendant Console Cisco Unified Business Attendant Console Cisco Unified Communications est un système étendu de communications IP, d applications et de produits voix, vidéo, données et mobilité. Il rend les communications

Plus en détail

WD et le logo WD sont des marques déposées de Western Digital Technologies, Inc, aux États-Unis et dans d'autres pays ; absolutely WD Re, WD Se, WD

WD et le logo WD sont des marques déposées de Western Digital Technologies, Inc, aux États-Unis et dans d'autres pays ; absolutely WD Re, WD Se, WD WD et le logo WD sont des marques déposées de Western Digital Technologies, Inc, aux États-Unis et dans d'autres pays ; absolutely WD Re, WD Se, WD Xe, RAFF et StableTrac sont des marques de Western Digital

Plus en détail

CATALOGUE DE FORMATIONS OPTIMISATION DE PERFORMANCE ET ARCHITECTURES PARALLÈLES

CATALOGUE DE FORMATIONS OPTIMISATION DE PERFORMANCE ET ARCHITECTURES PARALLÈLES CATALOGUE DE FORMATIONS OPTIMISATION DE PERFORMANCE ET ARCHITECTURES PARALLÈLES Trois types de formation LES FORMATEURS Les experts techniques AS+ Groupe EOLEN disposent d une réelle expérience pratique

Plus en détail

PPE 1 - Sytème. Migration des solutions serveur/utilisateur. BERGUI Yassine - FONTENEAU Corentin - ARRIVETS Thibault. Septembre 2015 PAGE 1 SUR 10

PPE 1 - Sytème. Migration des solutions serveur/utilisateur. BERGUI Yassine - FONTENEAU Corentin - ARRIVETS Thibault. Septembre 2015 PAGE 1 SUR 10 PPE 1 - Sytème Migration des solutions serveur/utilisateur BERGUI Yassine - FONTENEAU Corentin - ARRIVETS Thibault Septembre 2015 PAGE 1 SUR 10 Sommaire Première partie: migration des solutions utilisateurs

Plus en détail

Des solutions sur mesure à partir de modules fonctionnels & CRM associés à un studio de customisation.

Des solutions sur mesure à partir de modules fonctionnels & CRM associés à un studio de customisation. ( FDV Des solutions sur mesure à partir de modules fonctionnels & CRM associés à un studio de customisation. Constat S il est un secteur informatique où les progiciels ne répondent que partiellement aux

Plus en détail

HADOOP ET SON ÉCOSYSTÈME

HADOOP ET SON ÉCOSYSTÈME HADOOP ET SON ÉCOSYSTÈME Mars 2013 2012 Affini-Tech - Diffusion restreinte 1 AFFINI-TECH Méthodes projets Outils de reporting & Data-visualisation Business & Analyses BigData Modélisation Hadoop Technos

Plus en détail

LE BIG DATA. TRANSFORME LE BUSINESS Solution EMC Big Data

LE BIG DATA. TRANSFORME LE BUSINESS Solution EMC Big Data LE BIG DATA Solution EMC Big Data TRANSITION VERS LE BIG DATA En tirant profit du Big Data pour améliorer leur stratégie et son exécution, les entreprises se démarquent de la concurrence. La solution EMC

Plus en détail

Julien Nauroy - Direction Informatique

Julien Nauroy - Direction Informatique INTRODUCTION À ET Julien Nauroy - Direction Informatique http://www.informatique-scientifique.u-psud.fr Hadoop : Quel usage? J ai un ensemble de données assez grand Disons quelques To J ai des calculs

Plus en détail

Marché Public en procédure adaptée : Infrastructure Informatique régionale hébergée CAHIER DES CHARGES ET DES CLAUSES TECHNIQUES

Marché Public en procédure adaptée : Infrastructure Informatique régionale hébergée CAHIER DES CHARGES ET DES CLAUSES TECHNIQUES GROUPEMENT DE COMMANDES CA54, CA55, CA57, CA88, CRAL Marché Public en procédure adaptée : Infrastructure Informatique régionale hébergée CAHIER DES CHARGES ET DES CLAUSES TECHNIQUES Etabli en application

Plus en détail

Exigences système Edition & Imprimeries de labeur

Exigences système Edition & Imprimeries de labeur Exigences système Edition & Imprimeries de labeur OneVision Software France Sommaire Asura 9.6, Asura Pro 9.6, Garda 5.6...2 PlugBALANCEin 6.6, PlugCROPin 6.6, PlugFITin 6.6, PlugRECOMPOSEin 6.6, PlugSPOTin

Plus en détail

Exigences système Edition & Imprimeries de labeur

Exigences système Edition & Imprimeries de labeur Exigences système Edition & Imprimeries de labeur OneVision Software France Sommaire Asura 10.2, Asura Pro 10.2, Garda 10.2...2 PlugBALANCEin10.2, PlugCROPin 10.2, PlugFITin 10.2, PlugRECOMPOSEin 10.2,

Plus en détail

Exigences système BauBit pro

Exigences système BauBit pro INTRODUCTION Chaque installation de BauBit pro se compose d un serveur et d un ou plusieurs clients. Le serveur BauBit pro utilise Microsoft SQL Server 2008 R2 comme système de base de données. Les exigences

Plus en détail

Fiche produit Fujitsu PRIMERGY CX420 S1 Serveur pour cluster à deux nœuds prêt à l emploi

Fiche produit Fujitsu PRIMERGY CX420 S1 Serveur pour cluster à deux nœuds prêt à l emploi Fiche produit Fujitsu PRIMERGY CX420 S1 Serveur pour cluster à deux nœuds prêt à l emploi Haute disponibilité, expertise nécessaire limitée et budget abordable L informatique prend une place de plus en

Plus en détail

Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales

Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe), Laboratoire

Plus en détail

Catalogue des stages Ercom 2013

Catalogue des stages Ercom 2013 Catalogue des stages Ercom 2013 Optimisations sur Modem LTE Poste basé à : Caen (14) Analyse et optimisation des performances des traitements réalisés dans un modem LTE. - Profiling et détermination des

Plus en détail

Introduction aux algorithmes MapReduce. Mathieu Dumoulin (GRAAL), 14 Février 2014

Introduction aux algorithmes MapReduce. Mathieu Dumoulin (GRAAL), 14 Février 2014 Introduction aux algorithmes MapReduce Mathieu Dumoulin (GRAAL), 14 Février 2014 Plan Introduction de la problématique Tutoriel MapReduce Design d algorithmes MapReduce Tri, somme et calcul de moyenne

Plus en détail

LXC : Une technologie de contextualisation ultra light intégrée au kernel Linux

LXC : Une technologie de contextualisation ultra light intégrée au kernel Linux Benoît des Ligneris, Ph.D. P.D.G., bdl@rlnx.com Solutions Linux Open Source, 18 mars 2010 LXC : Une technologie de contextualisation ultra light intégrée au kernel Linux Révolution Linux 2010 Au menu Révolution

Plus en détail

FORMATION HADOOP Développeur pour Hadoop (Apache)

FORMATION HADOOP Développeur pour Hadoop (Apache) FORMATION HADOOP Développeur pour Hadoop (Apache) Ce document reste la propriété du Groupe Cyrès. Toute copie, diffusion, exploitation même partielle doit faire l objet d une demande écrite auprès de Cyrès.

Plus en détail

Centre Commun de Calcul Intensif: www.univ-ag.fr/c3i

Centre Commun de Calcul Intensif: www.univ-ag.fr/c3i Centre Commun de Calcul Intensif: www.univ-ag.fr/c3i a HPC center in the Caribbean Mewbalaou Fédération de recherche fournissant des ressources à 6 laboratoires de l UAG: COVACHIM-M, GTSI, LAMIA, LARGE,

Plus en détail

Tendances Logicielles 25 Mars 2008

Tendances Logicielles 25 Mars 2008 Virtualisation Optimiser les opérations autour des applications Web Hervé Grange IMT France Northwest Africa WebSphere tech sales Les besoins à couvrir Optimisation des coûts par la consolidation des serveurs

Plus en détail

Cloud Computing : Utiliser Stratos comme PaaS privé sur un cloud Eucalyptus

Cloud Computing : Utiliser Stratos comme PaaS privé sur un cloud Eucalyptus Cloud Computing : Utiliser Stratos comme PaaS privé sur un cloud Eucalyptus Mr Romaric SAGBO Ministère de l'economie et des Finances (MEF), Bénin SWD Technologies Email : rask9@yahoo.fr Tél : +229 97217745

Plus en détail

Le retour du Super EC (Super)ordinateur EC/CIOB/ITID/NOCD. Carol Hopkins/Luc Corbeil 4 décembre 2007

Le retour du Super EC (Super)ordinateur EC/CIOB/ITID/NOCD. Carol Hopkins/Luc Corbeil 4 décembre 2007 www.ec.gc.ca Le retour du Super EC (Super)ordinateur EC/CIOB/ITID/NOCD Carol Hopkins/Luc Corbeil 4 décembre 2007 Menu du jour Historique Motivations/raisonnement Mise-à-jour Autres systèmes clés Page 2

Plus en détail

Introduction data science

Introduction data science Introduction data science Data science Master 2 ISIDIS Sébastien Verel verel@lisic.univ-littoral.fr http://www-lisic.univ-littoral.fr/~verel Université du Littoral Côte d Opale Laboratoire LISIC Equipe

Plus en détail

ORACLE EXADATA DATABASE MACHINE X2-2

ORACLE EXADATA DATABASE MACHINE X2-2 ORACLE EXADATA DATABASE MACHINE X2-2 CARACTERISTIQUES ET AVANTAGES CARACTERISTIQUES Jusqu à 96 cœurs de CPU et 768 GO de mémoire pour le traitement des bases de données Jusqu à 168 cœurs de CPU pour le

Plus en détail

LES PILES LAMP OPEN- SOURCE S'ENVOLENT AVEC IBM POWER8.

LES PILES LAMP OPEN- SOURCE S'ENVOLENT AVEC IBM POWER8. LES PILES LAMP OPEN- SOURCE S'ENVOLENT AVEC IBM POWER8. LES SITES INTERNET PLIENT SOUS CHARGES MOBILES. ET DES LE POIDS DU BIG-DATA La chose n'est pas nouvelle et l'heure de la riposte a sonné depuis longtemps.

Plus en détail

Retour d expérience BigData 16/10/2013 Cyril Morcrette CTO

Retour d expérience BigData 16/10/2013 Cyril Morcrette CTO Retour d expérience BigData 16/10/2013 Cyril Morcrette CTO Mappy en Chiffre Filiale du groupe Solocal 10M de visiteurs uniques 300M visites annuelles 100 collaborateurs dont 60% technique 3,7 Md de dalles

Plus en détail

ORACLE EXADATA DATABASE MACHINE X2-8

ORACLE EXADATA DATABASE MACHINE X2-8 ORACLE EXADATA DATABASE MACHINE X2-8 CARACTERISTIQUES ET AVANTAGES CARACTERISTIQUES 128 cœurs de CPU et 2 TO de mémoire pour le traitement des bases de données 168 cœurs de CPU pour le traitement du stockage

Plus en détail

Communications performantes par passage de message entre machines virtuelles co-hébergées

Communications performantes par passage de message entre machines virtuelles co-hébergées Communications performantes par passage de message entre machines virtuelles co-hébergées François Diakhaté1,2 1 CEA/DAM Île de France 2 INRIA Bordeaux Sud Ouest, équipe RUNTIME Renpar 2009 1 Plan Introduction

Plus en détail

Plateforme de Calcul Intensif HPC de l lnstitut Pytheas

Plateforme de Calcul Intensif HPC de l lnstitut Pytheas Plateforme de Calcul Intensif HPC de l lnstitut Pytheas M. Libes UMS 3470 Pytheas C. Pinazo UMR 7294 MIO Juin 2015 Description du Cluster de calcul Juillet 2015 1 nœud «maitre» de connexion 32 nœuds de

Plus en détail

CNAM 2010-2011. Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010

CNAM 2010-2011. Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010 CNAM 2010-2011 Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010 Déploiement d une application dans le cloud. 1. Cloud Computing en 2010 2. Offre EC2

Plus en détail

Portage d applications sur le Cloud IaaS Portage d application

Portage d applications sur le Cloud IaaS Portage d application s sur le Cloud IaaS Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe), Laboratoire AstroParticule et Cosmologie (APC), LabEx UnivEarthS APC, Univ. Paris Diderot, CNRS/IN2P3,

Plus en détail