Chapitre 2. Cluster de calcul (Torque / Maui) Grid and Cloud Computing

Dimension: px
Commencer à balayer dès la page:

Download "Chapitre 2. Cluster de calcul (Torque / Maui) Grid and Cloud Computing"

Transcription

1 Chapitre 2. Cluster de calcul (Torque / Maui) Grid and Cloud Computing

2 2. Cluster de calcul (Torque/Maui) Batch/Job Scheduler Gestion automatique d'une séries de jobs Interface de définition des jobs et de leurs dépendances Exécution automatique des jobs Interface de monitoring des jobs Priorités ou files d'attentes pour l'ordonnancement Exemples Mainframe IBM (1960), VAX/VMS (1980) Task scheduler sous windows, cron sous linux... PBS, Torque, Sun Grid Engine, Condor Middleware de grille Grid and Cloud Computing 2

3 2. Cluster de calcul (Torque/Maui) Terascale Opensource Resource and QUEue Manager Gestionnaire de ressources distribuées: Un master hébergeant le serveur torque Un ensemble de nœuds de calculs sur lesquels vont être exécutes les jobs Files d'attentes de jobs L'administrateur peut définir plusieurs files d'attentes avec des priorités différentes selon les ressources demandées Maui : ordonnanceur avancée pour torque Fair queueing, préemption, réservations... Grid and Cloud Computing 3

4 Torque : déroulement normal 2. Cluster de calcul (Torque/Maui) L'utilisateur se connecte sur le master (frontal) L'utilisateur définit son job (commande, ressources) L'utilisateur soumet son job avec qsub Le job est placé en file d'attente sur le master Le scheduler réserve un (ou plusieurs) nœud(s) au job Le job s'exécute sur le (ou les) nœud(s) alloué(s) Le job se termine L'utilisateur récupère l'entrée standard, la sortie standard et les résultats sur le master Grid and Cloud Computing 4

5 2. Cluster de calcul (Torque/Maui) Diagramme de séquence Grid and Cloud Computing 5

6 2. Cluster de calcul (Torque/Maui) Torque : création d'un job Script shell + paramètres TORQUE #!/bin/sh #PBS -N JOBSZZ3-1 #PBS -l walltime=1:00:00 #PBS -l nodes=2:ppn=2,pmem=2048mb cd ~/workspace echo $PBS_O_JOBID mpiexec masimu -nrep 1000 #PBS : directives interprétées à la soumission Nom du job Durée maximale du job (walltime) 2 coeurs sur 2 noeuds différends et 2G de RAM physique Grid and Cloud Computing 6

7 Torque : spécification des noeuds 2. Cluster de calcul (Torque/Maui) -l nodes=12 12 noeuds quelconques -l nodes=1:smp+4:bigmem 1 noeud de type 'smp' et 4 noeuds de type 'bigmem' (les tags sont définis par l'admin) -l nodes=noeud1+noeud4 2 noeuds identifiés par leur nom -l nodes=1:ppn=8 8 coeurs sur un seul noeud -l nodes=2:hexa:ppn=3 3 coeurs sur 2 noeuds de type 'hexa' Grid and Cloud Computing 7

8 2. Cluster de calcul (Torque/Maui) Torque : variables d'environnement Torque définit des variables d'environnement lors de l'exécution du job : PBS_JOBNAME Nom du job PBS_O_WORKDIR PBS_TASKNUM PBS_O_JOBID PBS_QUEUE PBS_NODEFILE Répertoire de soumission du job Nombre de tâches demandées ID unique du job File d'attente du job Fichier contenant la liste des noeuds alloués au job (MPI) Grid and Cloud Computing 8

9 Torque : soumission d'un job 2. Cluster de calcul (Torque/Maui) Commande : qsub $ qsub masimu.sh 6555.moncluster.isima.fr $ qsub masimu.sh -l walltime=1:00: moncluster.isima.fr $ echo hostname qsub -N hostname -q short 6557.moncluster.isima.fr Les options de la ligne de commande sont prioritaires sur les directives du script (même syntaxe) La commande retourne le numéro du job Le job est ensuite placé en file d'attente et sera exécuté selon la politique du serveur Grid and Cloud Computing 9

10 2. Cluster de calcul (Torque/Maui) Torque : suivre un job Commande : qstat $ qstat Job id Name User Time Use S Queue moncluster JOBSZZ3-1 mahul 12:51:52 R normal 6556.moncluster masimu.sh mahul 0 Q short 6557.moncluster STDIN mahul 0 Q short $ qstat -f 6555 Job Id: 6555.moncluster.isima.fr Job_Name = JOBSZZ3-1 Job_Owner = resources_used.cput = 13:12:01 resources_used.mem = kb resources_used.vmem = kb resources_used.walltime = 00:27:23 job_state = R queue = normal... Grid and Cloud Computing 10

11 Torque : état des files d'attentes 2. Cluster de calcul (Torque/Maui) $ qstat -q Queue Memory CPU Time Walltime Node Run Que Lm State smp E R short :00: E R normal :00: E R long E R $ showq [MAUI] ACTIVE JOBS JOBNAME USERNAME STATE PROC REMAINING STARTTIME 6555 mahul Running 32 23:20:57 Mon Sep 27 16:35:39 1 Active Job 32 of 32 Processors Active (100.00%) 1 of 1 Nodes Active (100.00%) IDLE JOBS JOBNAME USERNAME STATE PROC WCLIMIT QUEUETIME 6556 mahul Idle 20 1:00:00 Mon Sep 27 17:16:02 1 Idle Jobs Grid and Cloud Computing 11

12 Torque : récupérer les résultats 2. Cluster de calcul (Torque/Maui) Une fois le job terminé, il est supprimé de la file d'attente Torque Dans le répertoire de soumission, on retrouve la sortie standard et l'erreur standard dans des fichiers : $ ls -l -rw mahul isima 50 sept ZZ3JOBS-1.e6555 -rw mahul isima 7944 sept ZZ3JOBS-1.o6555 Pour les fichiers de résultats : Disque partagé : rien à faire Utiliser les options stageout de torque à la soumission (scp) : $ qsub -W Grid and Cloud Computing 12

13 Torque : état des ressources 2. Cluster de calcul (Torque/Maui) $ pbsnodes -a numa state = free np = 32 properties = crri,long,normal,short ntype = cluster jobs = 10/20361.hpc1.univ-bpclermont.fr, 17/21400.hpc1.univ-bpclermont.fr, 18/21400.hpc1.univ-bpclermont.fr, 19/21400.hpc1.univ-bpclermont.fr, 20/21400.hpc1.univ-bpclermont.fr, 21/21400.hpc1.univ-bpclermont.fr, 23/22557.hpc1.univ-bpclermont.fr, 24/22557.hpc1.univ-bpclermont.fr, 25/22401.hpc1.univ-bpclermont.fr, 26/22557.hpc1.univ-bpclermont.fr, 27/22557.hpc1.univ-bpclermont.fr, 28/22557.hpc1.univ-bpclermont.fr, 31/20361.hpc1.univ-bpclermont.fr status = rectime= ,varattr=,jobs=20361.hpc1.univ-bpclermont.fr hpc1.univ-bpclermont.fr hpc1.univ-bpclermont.fr hpc1.univ-bpclermont.fr,state=free,netload= ,gres=,loadave =7.87,ncpus=32,physmem= kb,availmem= kb,totmem= kb,i dletime= ,nusers=2,nsessions=5,sessions= ,uname=Linux numa.univ-bpclermont.fr vSMP.MPIO #1 SMP Mon Mar 1 17:47:07 CET 2010 x86_64,opsys=linux Grid and Cloud Computing 13

14 2. Cluster de calcul (Torque/Maui) Torque : commandes supplémentaires # Annuler un job $ qdel 6557 # Suspendre un job $ qhold 6558 # Reprendre un job suspendu $ qrls 6558 # Modifier les paramètres d'un job déjà soumis $ qalter -l walltime=36:00: # [MAUI] Vérifier les infos d'ordonnancement du jobs $ checkjob 6558 Grid and Cloud Computing 14

Plateforme CICLAD. http://ciclad-web.ipsl.jussieu.fr. Calcul Intensif pour le Climat, l'atmosphère et la Dynamique

Plateforme CICLAD. http://ciclad-web.ipsl.jussieu.fr. Calcul Intensif pour le Climat, l'atmosphère et la Dynamique Plateforme CICLAD Calcul Intensif pour le Climat, l'atmosphère et la Dynamique http://ciclad-web.ipsl.jussieu.fr Administrateur Philippe.Weill@latmos.ipsl.fr 12/12/2012 Accès et Documentations Documentation

Plus en détail

Se connecter à Colosse

Se connecter à Colosse 1 Se connecter à Colosse colosse.calculquebec.ca SSH est un protocole pour ouvrir un terminal sécurisé sur un système distant Sur Linux et Mac OS Intégré au système sous la forme de la commande ssh dans

Plus en détail

Mésocentre de Calcul Intensif Aquitain. Présentation du cluster Avakas 13/01/2012

Mésocentre de Calcul Intensif Aquitain. Présentation du cluster Avakas 13/01/2012 Mésocentre de Calcul Intensif Aquitain Présentation du cluster Avakas 13/01/2012 Présentation du cluster Avakas Présentation du cluster : le matériel et la communauté Environnement logiciel Calculer sur

Plus en détail

Gestion de ressources dans Grid 5000

Gestion de ressources dans Grid 5000 Sommaire Introduction 1 Introduction aux clusters et aux grilles : pourquoi un ordonnanceur de tâches? 2 WIKI Au niveau cluster Au niveau Grid 5000 3 GRID 4 Appariement de ressources CPUSET Notification

Plus en détail

Calcul sur le cluster/grille EGI

Calcul sur le cluster/grille EGI Calcul sur le cluster/grille EGI Calcul sur le cluster/grille EGI Descriptif materiel (actuel et à venir) Soumission locale : PBS/ bonnes pratiques Calcul grille : glite/ exemple simple Point formations

Plus en détail

Principe et Utilisation

Principe et Utilisation Cluster Haute Performance Principe et Utilisation 1 Sommaire I Introduction...4 II Architecture...5 III Les logiciels...7 IV Les espaces fichiers...9 V Les comptes et autorisations...11 VI Les Transferts

Plus en détail

Plan Formation : Utilisation Hyperion Janvier-Février 2014 http://www.calmip.cict.fr/ Plan Formation :

Plan Formation : Utilisation Hyperion Janvier-Février 2014 http://www.calmip.cict.fr/ Plan Formation : Plan Formation : Introduction : Mésocentre CALMIP Introduction à l Architecture des systèmes HPC Panorama des Systèmes et Processeurs Multi-core Présentation système de Calcul CALMIP : HYPERION Visite

Plus en détail

SGE: Formation utilisateur

SGE: Formation utilisateur SGE: Formation utilisateur Dorin Preda (Serviware Toulouse) 25 Mars 2010 Plan SGE: vue globale Concepts SGE Jobs, utilisateurs, calendriers, projets Ressources, environnement spéciaux, quotas Files d attente

Plus en détail

Lancement de Star-CCM+ avec SGE

Lancement de Star-CCM+ avec SGE Lancement de Star-CCM+ avec SGE Lionel Meister IUSTI, UMR CNRS 6595 lionel.meister@polytech.univ-mrs.fr 28 septembre 2010 A ce jour, la partition Dix est la seule partition du parc sur laquelle on peut

Plus en détail

Les systèmes de batch

Les systèmes de batch Les systèmes de batch Formation LEM2I, Montage et gestion d un centre de calcul Bruno Bzeznik CIMENT, UJF Alger, 13/09/2011 Bruno Bzeznik (CIMENT, UJF) Les systèmes de batch Alger, 13/09/2011 1 / 79 Sommaire

Plus en détail

Exploiter un calculateur ou un cluster de calcul: Les gestionnaires de tâches et de ressources

Exploiter un calculateur ou un cluster de calcul: Les gestionnaires de tâches et de ressources Exploiter un calculateur ou un cluster de calcul: Les gestionnaires de tâches et de ressources Olivier Richard Laboratoire d Informatique de Grenoble (LIG) Projet INRIA Mescal 13 septembre 2007 Olivier

Plus en détail

Gestion de clusters de calcul avec Rocks

Gestion de clusters de calcul avec Rocks Gestion de clusters de calcul avec Laboratoire de Chimie et Physique Quantiques / IRSAMC, Toulouse scemama@irsamc.ups-tlse.fr 26 Avril 2012 Gestion de clusters de calcul avec Outline Contexte 1 Contexte

Plus en détail

Open Source Job Scheduler. Installation(s)

Open Source Job Scheduler. Installation(s) Open Source Job Scheduler Installation(s) Installations Standard Configuration Superviseur Agent SOS-Paris 2 Pré-requis o Base de données o MySQL, MSACCESS, Oracle o JDBC ou ODBC o Connecteurs o Mysql

Plus en détail

Centre de calcul de l ub

Centre de calcul de l ub Centre de calcul de l ub Formation Présentation et utilisation du cluster de Calcul Antoine Migeon ccub@u-bourgogne.fr Tel : 5205 ou 5270 Le Centre de Calcul de l ub (ccub) Dédié à l enseignement et à

Plus en détail

Installation des services

Installation des services Installation des services glite CE/WN/BDII-site Bouchra Rahim Division TIC CNRST, Rabat CNRST, 27/02-02/03, 2012 1 Introduction CNRST, 27/02-02/03, 2012 2 Introduction CNRST, 27/02-02/03, 2012 3 Introduction

Plus en détail

Les environnements de calcul distribué

Les environnements de calcul distribué 2 e Atelier CRAG, 3 au 8 Décembre 2012 Par Blaise Omer YENKE IUT, Université de Ngaoundéré, Cameroun. 4 décembre 2012 1 / 32 Calcul haute performance (HPC) High-performance computing (HPC) : utilisation

Plus en détail

Utilisation des calculateurs de l UCP

Utilisation des calculateurs de l UCP Utilisation des calculateurs de l UCP Yann Costes, David Domergue yann.costes@u-cergy.fr, david.domergue@u-cergy.fr Direction de l Informatique et des Systèmes d Information Centre De Calcul Utilisation

Plus en détail

Grille de Calcul Marocaine ( MaGrid )

Grille de Calcul Marocaine ( MaGrid ) Grille de Calcul Marocaine ( MaGrid ) Bouchra Rahim rahim@cnrst.ma Division TIC - CNRST 1 2 Plan Introduction aux grilles de calcul Initiative de Grille Nationale (NGI) Activités Projets de coopération

Plus en détail

Introduction SIO Utilisation Conclusion Cluster au SIO

Introduction SIO Utilisation Conclusion Cluster au SIO Cluster au SIO ALBERT SHIH 1 1 Observatoire de Paris - Meudon 21 février 2008 Type de «machines» de calcul Mémoire partagée Tous les processeurs accèdent à toute la mémoire avec un même espace d adressage.

Plus en détail

cluster pour l Enseignement Universitaire et la Recherche

cluster pour l Enseignement Universitaire et la Recherche cluster pour l Enseignement Universitaire et la Recherche Université de Nice Sophia-Antipolis 22 janvier 2013 Université de Nice Sophia-Antipolis cluster pour l Enseignement Universitaire et la Recherche

Plus en détail

Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales

Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe), Laboratoire

Plus en détail

Contribution à la mise en service d'une ferme de serveurs connectée à une grille de calcul pour la physique des hautes énergies

Contribution à la mise en service d'une ferme de serveurs connectée à une grille de calcul pour la physique des hautes énergies Contribution à la mise en service d'une ferme de serveurs connectée à une grille de calcul pour la physique des hautes énergies Charlier Fabrice 2è licence en informatique Année Académique 2005-2006 Plan

Plus en détail

Centre de calcul de l ub,

Centre de calcul de l ub, Centre de calcul de l ub, Formation batch SGE Didier Rebeix, Antoine Migeon ccub@u-bourgogne.fr 2010/2011 Le Centre de Calcul de l ub (ccub) Dédié à l enseignement et à la recherche. Met à disposition

Plus en détail

TP3 : Tests de performance des MV

TP3 : Tests de performance des MV Ecole informatique IN2P3 2014 : Maîtriser le Cloud TP Dev : portage d applications sur le Cloud TP3 : Tests de performance des MV Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe),

Plus en détail

Cluster de calcul Freeware en Océanographie Opérationnelle Bertrand FERRET Carine CASTILLON Mondher CHEKKI

Cluster de calcul Freeware en Océanographie Opérationnelle Bertrand FERRET Carine CASTILLON Mondher CHEKKI Cluster de calcul Freeware en Océanographie Opérationnelle Bertrand FERRET Carine CASTILLON Mondher CHEKKI Responsable Service Informatique Ingénieure Systèmes & Réseaux Ingénieur High Performance Computing

Plus en détail

INFO-F-404 : Techniques avancées de systèmes d exploitation

INFO-F-404 : Techniques avancées de systèmes d exploitation Nikita Veshchikov e-mail : nikita.veshchikov@ulb.ac.be téléphone : 02/650.58.56 bureau : 2N8.213 URL : http://student.ulb.ac.be/~nveshchi/ INFO-F-404 : Techniques avancées de systèmes d exploitation Table

Plus en détail

vendredi 3 octobre 2008 Pascal Calvat Centre de calcul IN2P3

vendredi 3 octobre 2008 Pascal Calvat Centre de calcul IN2P3 vendredi 3 octobre 2008 Pascal Calvat Centre de calcul IN2P3 JJS: Java Job Submission - Présentation de JJS - Performances de JJS concernant les jobs courts - Démonstration en direct avec soumission de

Plus en détail

Principes généraux régissant l accès aux locaux et ressources informatiques de l ISIMA

Principes généraux régissant l accès aux locaux et ressources informatiques de l ISIMA 2013/2014 Principes généraux régissant l accès aux locaux et ressources informatiques de l ISIMA q PRINCIPES : Les horaires d ouverture de l Ecole vont de 7h30 à 18h30 du lundi au jeudi, et de 7h30 à 17h45

Plus en détail

Grid5000 aujourd'hui : Architecture & utilisation

Grid5000 aujourd'hui : Architecture & utilisation 1 Grid5000 aujourd'hui : Architecture & utilisation aurelien.dumez@labri.fr 11 octobre 2005 Contexte 2 Grid5000 est : Une plateforme expérimentale pour le grid computing Ouverte à de nombreux thèmes de

Plus en détail

Sybase High Avalaibility

Sybase High Avalaibility Sybase High Avalaibility Mars 2006 Documentation technique # 28 Sybase High Availability Principes généraux Sybase HA et Sun Cluster 3.0 Configuration Active-Active pour Sun Cluster 3.0 Configuration Active-Passive

Plus en détail

Grid'5000. Principes et utilisations. Olivier Richard Labo ID-IMAG / Equipe INRIA MESCAL

Grid'5000. Principes et utilisations. Olivier Richard Labo ID-IMAG / Equipe INRIA MESCAL Grid'5000 Principes et utilisations Olivier Richard Labo ID-IMAG / Equipe INRIA MESCAL Objectif: Etendre le champ du possible Computing As You Want! Cluster in Cluster Grid in Cluster Grid in Grid Cluster

Plus en détail

Middleware et services de la grille

Middleware et services de la grille 1 2 La vision EGEE (Enabling Grids for E-sciencE) Création d une infrastructure Grid à travers l Europe, qui implique les réseaux de recherches scientifiques actuelle et futur Offrir à la communauté des

Plus en détail

Conception d une ferme de calculs pour la plateforme bioinformatique ATGC. Stéphane GEORGE - Josy ASR pour la science le 14/10/2010 -

Conception d une ferme de calculs pour la plateforme bioinformatique ATGC. Stéphane GEORGE - Josy ASR pour la science le 14/10/2010 - Conception d une ferme de calculs pour la plateforme bioinformatique ATGC Stéphane GEORGE - Josy ASR pour la le 14/10/2010 - Plan 1] Contexte 2] Problématique 3] Solution proposée 4] Bilans et perspectives

Plus en détail

IBM Software Group. Migration vers Tivoli Workload Scheduler. Philippe TESSIER ptessier@setd.fr. 2009 IBM Corporation

IBM Software Group. Migration vers Tivoli Workload Scheduler. Philippe TESSIER ptessier@setd.fr. 2009 IBM Corporation IBM Software Group Migration vers Tivoli Workload Scheduler Philippe TESSIER ptessier@setd.fr Sociétés Prodline ( 180 personnes ) Distributeur et intégrateur EGEN Expert Production Régie, Forfait, Infogérance,

Plus en détail

Avakas : un an de production au Mésocentre Aquitain. Pierre Gay Journées scientifiques mésocentres et France Grilles

Avakas : un an de production au Mésocentre Aquitain. Pierre Gay Journées scientifiques mésocentres et France Grilles Avakas : un an de production au Mésocentre Aquitain 1/20 Plan MCIA MCIA : bref historique Renaissance 2010 Ressources Avakas La machine Politique d'utilisation Scheduler Files d'attente et priorités Environnement

Plus en détail

Super ordinateurs et Linux:

Super ordinateurs et Linux: Super ordinateurs et Linux: des histoires du CLUMEQ à l'université Laval Sébastien Boisvert 2012-11-15 19:00 Où : Université Laval Pavillon Palasis-Prince, local 3325 (Carte) Introduction Étudiant/chercheur

Plus en détail

ORDONNANCER ET PROGRAMMER DES JOBS AVEC SAS

ORDONNANCER ET PROGRAMMER DES JOBS AVEC SAS ORDONNANCER ET PROGRAMMER DES JOBS AVEC SAS Depuis SAS Management Console, l administrateur de la plate-forme Open Metadata Architetcure (OMA) peut créer des flux et les ordonnancer : SAS se charge de

Plus en détail

Open Source Job Scheduler. Vue d ensemble

Open Source Job Scheduler. Vue d ensemble Open Source Job Scheduler Vue d ensemble Vue d ensemble Présentation Architectures Composants Objets 2 Magic Quadrant Magic Quadrant for Workload Automation Gartner 3 Fonctionnalités v Ordonnanceur d exploitation

Plus en détail

Les 10 choses à connaître pour bien utiliser Froggy

Les 10 choses à connaître pour bien utiliser Froggy Les 10 choses à connaître pour bien utiliser Froggy Journée des utilisateurs CIMENT B. Bzeznik, F. Roch 14 mai 2014 Journées des utilisateurs CIMENT Les 10 chose à connaître 1 Préliminaire : Chandler La

Plus en détail

LE SERVEUR DE CALCUL DANS LA PRATIQUE. Dr. Anouk Gaudel- Siri

LE SERVEUR DE CALCUL DANS LA PRATIQUE. Dr. Anouk Gaudel- Siri LE SERVEUR DE CALCUL DANS LA PRATIQUE Dr. Anouk Gaudel- Siri Connexion au serveur Connexion au serveur de calcul slater Informations générales Déclaration de l adresse IP publique de l ordinateur auprès

Plus en détail

Détection d'intrusions en environnement haute performance

Détection d'intrusions en environnement haute performance Symposium sur la Sécurité des Technologies de l'information et des Communications '05 Détection d'intrusions en environnement haute performance Clusters HPC Fabrice Gadaud (fabrice.gadaud@cea.fr) 1 Sommaire

Plus en détail

Réunion GDS 13 octobre 2006

Réunion GDS 13 octobre 2006 École normale supérieure de Lyon Réunion GDS 13 octobre 2006 Plan Introduction 1 Introduction 2 3 4 5 6 Les workflows Ensemble de tâches connectées La structure du workflow représente la relation temporelle

Plus en détail

IBM SPSS Modeler Entity Analytics - Configuration avancée

IBM SPSS Modeler Entity Analytics - Configuration avancée IBM SPSS Modeler Entity Analytics - Configuration avancée Introduction Ce guide s'adresse aux administrateurs système qui configurent IBM SPSS Modeler Entity Analytics (EA) pour le déployer avec l'un des

Plus en détail

Tests de SlipStream sur les plateformes StratusLab@LAL et OpenStack@CC-IN2P3 : vers la. Vers la fédération du Cloud computing

Tests de SlipStream sur les plateformes StratusLab@LAL et OpenStack@CC-IN2P3 : vers la. Vers la fédération du Cloud computing Tests de sur les plateformes StratusLab@LAL et OpenStack@CC-IN2P3 : vers la fédération du Cloud computing Cécile Cavet1 & Charles Loomis2 (1) Centre François Arago, Laboratoire, Université Paris Diderot,

Plus en détail

Comment mesurer les temps de calcul de vos programmes? Bonne pratique et pièges à éviter

Comment mesurer les temps de calcul de vos programmes? Bonne pratique et pièges à éviter Comment mesurer les temps de calcul de vos programmes? Bonne pratique et pièges à éviter Caroline Prodhon (carolineprodhon@hotmail.com) Philippe Lacomme (placomme@isima.fr) Ren Libo (ren@isima.fr) Remerciements

Plus en détail

Chapitre 1. Infrastructures distribuées : cluster, grilles et cloud. Grid and Cloud Computing

Chapitre 1. Infrastructures distribuées : cluster, grilles et cloud. Grid and Cloud Computing Chapitre 1. Infrastructures distribuées : cluster, grilles et cloud Grid and Cloud Computing Problématique Besoins de calcul croissants Simulations d'expériences coûteuses ou dangereuses Résolution de

Plus en détail

Introduction à l utilisation d Occigen

Introduction à l utilisation d Occigen Introduction à l utilisation d Occigen Vous avez obtenu des heures de calcul sur un supercalculateur national! Ce petit guide va vous permettre de démarrer en quelques minutes. Avant de commencer, il vous

Plus en détail

Introduction aux grilles: L'exemple XtremWeb

Introduction aux grilles: L'exemple XtremWeb Introduction aux grilles: L'exemple XtremWeb Nicolas Bouillot bouillot@cnam.fr 1 Plan Introduction Première définition Les organisations virtuelles Contraintes liées aux Middlewares de Grilles Le calcul

Plus en détail

Rapport projet TOP Test automatique de la plate-forme Grid 5000

Rapport projet TOP Test automatique de la plate-forme Grid 5000 Rapport projet TOP Test automatique de la plate-forme Grid 5000 Arthur Garnier Encadré par Lucas Nussbaum 1 er Juin 2015 Table des matières 1 Contexte 2 2 Description du problème 3 3 Présentation du travail

Plus en détail

Scripts de préparation des fichiers clim et des fichiers de couplage sur le nouveau système de calcul NEC (TORI)

Scripts de préparation des fichiers clim et des fichiers de couplage sur le nouveau système de calcul NEC (TORI) Scripts de préparation des fichiers clim et des fichiers de couplage sur le nouveau système de calcul NEC (TORI) Quelques informations pour les stagiaires qui utiliseront TORI pour la première fois Par

Plus en détail

Utilisation du serveur de calcul du LSTA

Utilisation du serveur de calcul du LSTA Utilisation du serveur de calcul du LSTA B. Michel 19 octobre 2012 Ce document contient les informations minimales à connaître pour utiliser R et Matlab sur le serveur Mac à 24 coeurs du laboratoire (ou

Plus en détail

Les moyens de calcul scientifique du CNES architecture et outils

Les moyens de calcul scientifique du CNES architecture et outils Les moyens de calcul scientifique du CNES architecture et outils JOSY, 13 septembre 2007 Le CNES en bref... Le CNES est un EPIC. Il propose et met en oeuvre la politique spatiale de la France, au service

Plus en détail

Linux pour le calcul de haute performance Daniel Stubbs Le 23 septembre 2015

Linux pour le calcul de haute performance Daniel Stubbs Le 23 septembre 2015 Linux pour le calcul de haute performance Daniel Stubbs Le 23 septembre 2015 Linux Une forme d Unix, un système d exploitation dont les origines remontent à la fin des années 1960, bien avant la création

Plus en détail

Cloud Computing. Groupe : Vincent, Mohammed, Yannick, Allan Tuteur : Mr. NUSSBAUM Lucas Année : 2009/2010

Cloud Computing. Groupe : Vincent, Mohammed, Yannick, Allan Tuteur : Mr. NUSSBAUM Lucas Année : 2009/2010 Cloud Computing Groupe : Vincent, Mohammed, Yannick, Allan Tuteur : Mr. NUSSBAUM Lucas Année : 2009/2010 31 Mars 2010 1 Sommaire Introduction Le Cloud Computing Mise en place du Cloud Computing Grid5000

Plus en détail

Linux pour le calcul de haute performance Daniel Stubbs Le 17 février 2015

Linux pour le calcul de haute performance Daniel Stubbs Le 17 février 2015 Linux pour le calcul de haute performance Daniel Stubbs Le 17 février 2015 Linux Une forme d Unix, un système d exploitation qui précède Windows et OS X. Séparation claire entre le cœur du système d exploitation

Plus en détail

Manuel LSF Centre de Calcul - CRI Université de Bourgogne

Manuel LSF Centre de Calcul - CRI Université de Bourgogne Manuel LSF Centre de Calcul - CRI Université de Bourgogne Jean-Jacques.Gaillard@u-bourgogne.fr 21-02-2007 Ce manuel est très largement inspiré d un document que nous a transmis la société TETHYS ; il a

Plus en détail

Tutoriel Cloud IFB. IBI - 1 Utilisation de base du Cloud IFB

Tutoriel Cloud IFB. IBI - 1 Utilisation de base du Cloud IFB Tutoriel Cloud IFB IBI - 1 Utilisation de base du Cloud IFB Sommaire I. Créer un compte sur le cloud IFB II. Instancier une VM III. Echanger les données IV. Gérer les disques virtuels V. Utiliser un bureau

Plus en détail

Guide SCOM 2007. Installation de l Admin Ressource Kit et de la fonctionnalité Mode Maintenance. http://blog.menincloud.com

Guide SCOM 2007. Installation de l Admin Ressource Kit et de la fonctionnalité Mode Maintenance. http://blog.menincloud.com Guide SCOM 2007 Installation de l Admin Ressource Kit et de la fonctionnalité Mode Maintenance http://blog.menincloud.com 1 - INSTALLATION ET CONFIGURATION 1.1 Introduction L Admin Resource Kit pour SCOM

Plus en détail

GESTION DES PROCESSUS

GESTION DES PROCESSUS CHAPITRE 2 : GESTION DES PROCESSUS Objectifs spécifiques Connaître la notion de processus, Connaître les caractéristiques d un processus ainsi que son contexte Connaître la notion d interruptions et de

Plus en détail

BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ

BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ Laboratoire LaTICE Univ. de Tunis INRIA LYON Avalon Team Laboratoire d Informatique de Paris Nord (LIPN) BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ Heithem Abbes Heithem Abbes Rencontres

Plus en détail

Commandes Linux. Gestion des fichiers et des répertoires. Gestion des droits. Gestion des imprimantes. Formation Use-IT

Commandes Linux. Gestion des fichiers et des répertoires. Gestion des droits. Gestion des imprimantes. Formation Use-IT Commandes Linux Gestion des fichiers et des répertoires Lister les fichiers Lister les fichiers cachés Lister les répertoires d un répertoire Lister les fichiers par date Les droits Types de fichier Supprimer

Plus en détail

Systèmes d'exploitation Gestion des processus

Systèmes d'exploitation Gestion des processus Systèmes d'exploitation Gestion des processus Cours SYE Prof. Daniel Rossier Version 2.3 (2009-2010) 1 Plan Processus Changement de contexte Threads IPC (Inter-Process Communication) Algorithmes d'ordonnancement

Plus en détail

Etude de l ENT de l Université de Paris 5. Mise en place d outils de suivi de la charge de l ENT (monitoring)

Etude de l ENT de l Université de Paris 5. Mise en place d outils de suivi de la charge de l ENT (monitoring) Etude de l ENT de l Université de Paris 5 Mise en place d outils de suivi de la charge de l ENT (monitoring) Objet Mise en place d outils de suivi de la charge de l ENT (monitoring) Référence ESUP-ETU-P5-D

Plus en détail

Le serveur X2Go. Procédure

Le serveur X2Go. Procédure Le serveur X2Go Les sessions X2Go sont destinées à permettre à l utilisateur d avoir son propre environnement dérivé d une plateforme commune sans cesse maintenue et renouvelée. Présentation : Lorsque

Plus en détail

cluster de calcul parallèle linux

cluster de calcul parallèle linux High Performance Linux Solutions cluster de calcul parallèle linux manuel d'utilisation ALINEOS SA - Société Anonyme au capital de 45 734,70 - RCS Montereau B 430 100 628 - APE 725 Z 14 bis, rue du Maréchal

Plus en détail

L art d ordonnancer. avec JobScheduler. François BAYART

L art d ordonnancer. avec JobScheduler. François BAYART L art d ordonnancer avec JobScheduler François BAYART 30 Octobre 2010 [1] 234567 introduction Introduction Qui suis-je? François Bayart consultant système en solution libre et propriétaire Redhat (1996),

Plus en détail

Tutoriel Cloud IFB - Initiation -

Tutoriel Cloud IFB - Initiation - Tutoriel Cloud IFB - Initiation - Christophe BLANCHET Institut Français de Bioinformatique - IFB French Institute of Bioinformatics - ELIXIR-FR CNRS UMS3601 - Gif-sur-Yvette - FRANCE Ecole Cumulo NumBio

Plus en détail

1 Démarrage de Marionnet

1 Démarrage de Marionnet Institut Galilée Administration Système Année 2011-2012 INFO 2ème année Master Info 1 Master Image & Réseau 1 T.P. 1 Administration Système Le logiciel Marionnet (www.marionnet.org) offre la possibilité

Plus en détail

IBM SPSS Collaboration and Deployment Services (C&DS) version 7

IBM SPSS Collaboration and Deployment Services (C&DS) version 7 Ce guide s'adresse aux administrateurs système qui configurent IBM SPSS Modeler Entity Analytics (EA) pour le déployer avec un des programmes suivants : IBM SPSS Collaboration and Deployment Services (C&DS)

Plus en détail

L3 Informatique - Systèmes d exploitation

L3 Informatique - Systèmes d exploitation L3 Informatique - Systèmes d exploitation Gestion de la mémoire D. Béchet Denis.Bechet@univ-nantes.fr Université de Nantes Faculté des Sciences et Techniques 2, rue de la Houssinière BP 92208 44322 Nantes

Plus en détail

BTS INFORMATIQUE DE GESTION Administrateur des réseaux locaux d entreprise

BTS INFORMATIQUE DE GESTION Administrateur des réseaux locaux d entreprise BTS INFORMATIQUE DE GESTION Administrateur des réseaux locaux d entreprise EPREUVE E5 : PRATIQUE DES TECHNIQUES INFORMATIQUES Identité du candidat : PAPIN Perrine N d inscription : M326070463 ACTIVITE

Plus en détail

Propos sur les gestionnaires de tâches et de ressources (Batch Scheduler)

Propos sur les gestionnaires de tâches et de ressources (Batch Scheduler) Propos sur les gestionnaires de tâches et de ressources (Batch Scheduler) Olivier Richard (Mdc) Laboratoire d Informatique de Grenoble (LIG) Equipe-Projet INRIA Mescal 6 octobre 2009 Olivier Richard (Mdc)

Plus en détail

WebSphere MQ & Haute Disponibilité

WebSphere MQ & Haute Disponibilité L objectif de cet article est d identifier les problèmes pouvant se poser lors de la mise en place d un système de secours dans une configuration WebSphere MQ, et de proposer des pistes pour régler ces

Plus en détail

Choix, installation et exploitation d un calculateur

Choix, installation et exploitation d un calculateur Choix, installation et exploitation d un calculateur John Morelle Pierre Lemoine : Manager France : HPC Specialist 1 Agenda À propos de ClusterVision Le design d un cluster L installation d un cluster

Plus en détail

Tous les processeurs sont connectés à une large mémoire partagée. Difficulté de s étendre à de grands nombres de processeurs

Tous les processeurs sont connectés à une large mémoire partagée. Difficulté de s étendre à de grands nombres de processeurs Modèle de Machine 1a: Mém. Partagée Tous les processeurs sont connectés à une large partagée. Appelée Symmetric Multiprocessors (SMPs) SMPs de Sun, HP, Intel, IBM Puces Multicoeur, exceptées celles qui

Plus en détail

La ferme de PCs de l INRIA Sophia-Antipolis Configuration matérielle et logicielle

La ferme de PCs de l INRIA Sophia-Antipolis Configuration matérielle et logicielle La ferme de PCs de l INRIA Sophia-Antipolis Configuration matérielle et logicielle http://www-sop.inria.fr/parallel/ David Geldreich, 07/2003 Configuration matérielle actuelle Aujourd'hui la ferme est

Plus en détail

Plan du cours. 12. Gestion des processus. 12.1 Notions théoriques 12.2 Lancement d'une commande 12.3 Identifier et controler un processus

Plan du cours. 12. Gestion des processus. 12.1 Notions théoriques 12.2 Lancement d'une commande 12.3 Identifier et controler un processus Plan du cours 12.1 Notions théoriques 12.2 Lancement d'une commande 12.3 Identifier et controler un processus PS, KILL 12.4 Exercices Olivier HUBERT LGEP/CNRS 1 Plan du cours 12.1 Notions théoriques 12.1.1

Plus en détail

Guide d'installation et de configuration d'ibm SPSS Modeler Social Network Analysis 16

Guide d'installation et de configuration d'ibm SPSS Modeler Social Network Analysis 16 Guide d'installation et de configuration d'ibm SPSS Modeler Social Network Analysis 16 Remarque Certaines illustrations de ce manuel ne sont pas disponibles en français à la date d'édition. Table des matières

Plus en détail

Déploiement automatisé de OpenCloudWare sur la plateforme expérimentale Grid 5000

Déploiement automatisé de OpenCloudWare sur la plateforme expérimentale Grid 5000 Déploiement automatisé de OpenCloudWare sur la plateforme expérimentale Grid 5000 Laurent Pouilloux 1, Sébastien Badia 1,, Simon Delamare 2, David Margery 1 1 Inria 2 CNRS maintenant à enovance (RedHat)

Plus en détail

Charte d'utilisation des infrastructures de la plate-forme bioinformatique Genotoul

Charte d'utilisation des infrastructures de la plate-forme bioinformatique Genotoul Page 1/5 Objet de la modification Tableau des modifications Création du document 06/2014 Interdiction de lancer tout traitement de données sur les serveurs frontaux et purge du work sans préavis si fichiers

Plus en détail

CLIC Cluster LInux pour le Calcul

CLIC Cluster LInux pour le Calcul CLIC Cluster LInux pour le Calcul http://clic.mandrakesoft.com Wilfrid Billot (@imag.fr) ID-IMAG Projet Apache http://www-id.imag.fr Plan ¾ Introduction à CLIC ¾ CLIC et les clusters ¾ Ce qui existe déjà

Plus en détail

DOCKER MEETUP. Christophe Labouisse / @XtlCnslt

DOCKER MEETUP. Christophe Labouisse / @XtlCnslt DOCKER MEETUP Christophe Labouisse / @XtlCnslt #ME, #MYSELF AND #I CHRISTOPHE LABOUISSE Développeur Freelance Java mais pas que Côté front : Angular, Ionic Sous le capot : Linux, Docker DOCKER @ HOME Retour

Plus en détail

Architecture de la grille

Architecture de la grille 1 2 Diversité des applications et des utilisateurs (profile, nombre,...) supposent des solutions différentes architectures différentes avec des services communs Services de base authentification: établir

Plus en détail

Evaluation des performances de programmes parallèles haut niveau à base de squelettes

Evaluation des performances de programmes parallèles haut niveau à base de squelettes Evaluation des performances de programmes parallèles haut niveau à base de squelettes Enhancing the Performance Predictability of Grid Applications with Patterns and Process Algebras A. Benoit, M. Cole,

Plus en détail

Cluster de calcul, machine Beowulf, ferme de PC Principes, problématique et échanges d expérience

Cluster de calcul, machine Beowulf, ferme de PC Principes, problématique et échanges d expérience Cluster de calcul, machine Beowulf, ferme de PC Principes, problématique et échanges d expérience 29 mars 2002 Olivier BOEBION - Laboratoire de Mathématiques et de Physique Théorique - Tours 1 Principes

Plus en détail

Systèmes d'exploitation Chapitre II. Gestion des processus

Systèmes d'exploitation Chapitre II. Gestion des processus Systèmes d'exploitation Chapitre II Gestion des processus 1 Processus Un programme qui s exécute Les ordinateurs autorisent maintenant plusieurs processus simultanément (pseudo parallélisme) A B A B C

Plus en détail

Module 4 - Ordonnancement Processus. Lecture: Chapitre 5

Module 4 - Ordonnancement Processus. Lecture: Chapitre 5 Module 4 - Ordonnancement Processus Lecture: Chapitre 5 1 Aperçu du module Concepts de base Critères d ordonnancement Algorithmes d ordonnancement Ordonnancement de multiprocesseurs Évaluation d algorithmes

Plus en détail

Iyad Alshabani SysCom - CReSTIC Université de Reims 17/02/2011 1

Iyad Alshabani SysCom - CReSTIC Université de Reims 17/02/2011 1 SysCom - CReSTIC Université de Reims 17/02/2011 1 Motivation Gestion des expérimentations Avec les workflows Simulation Simulation des Systèmes Distribués ANR USS SimGrid Campagne de Test et gestion de

Plus en détail

Les termes du cloud CUMULO NUMBIO 2015 O. COLLIN

Les termes du cloud CUMULO NUMBIO 2015 O. COLLIN Les termes du cloud CUMULO NUMBIO 2015 O. COLLIN Agenda Pe$t glossaire du cloud : termes qui seront u$lisés lors de ce5e école Virtualisa$on CMP Environnement Bioinforma$que Linux Comment les machines

Plus en détail

PLATE-FORME DE CLOUD COMPUTING SLAPOS. Intégration d applications

PLATE-FORME DE CLOUD COMPUTING SLAPOS. Intégration d applications PLATE-FORME DE CLOUD COMPUTING SLAPOS Intégration d applications Alain Takoudjou Kamdem Alain.takoudjou@lipn.univ-paris13.fr LIPN Université Paris 13 Vichy 2014 Présentation du cloud computing Le Cloud

Plus en détail

Retour d exprience sur le cluster du CDS

Retour d exprience sur le cluster du CDS 6 mai 2011 Sommaire 1 Généralités 2 Composant du cluster du CDS 3 Le cluster ALI 4 Retour d expérience Généralités Généralités Types de cluster Haute disponibilite Load balancing Cluster de calculs avec

Plus en détail

Guide d administration et d utilisation de Sun ONE Grid Engine 5.3

Guide d administration et d utilisation de Sun ONE Grid Engine 5.3 Guide d administration et d utilisation de Sun ONE Grid Engine 5.3 Sun Microsystems, Inc. 4150 Network Circle Santa Clara, CA 95054 U.S.A. 650-960-1300 Référence 816-7462-10 Septembre 2002, révision A

Plus en détail

Travaux Pratiques sur GRID 5000

Travaux Pratiques sur GRID 5000 Travaux Pratiques sur GRID 5000 réalisés par Alexandru Tantar, Bilel Derbel, Nouredine Melab Université des Sciences et Technologies de Lille (USTL/IEEEA), Laboratoire d Informatique Fondamentale de Lille

Plus en détail

Bacula R - The Network Backup Solution

Bacula R - The Network Backup Solution It comes by night and sucks the vital essence from your computers. FSUGAr 7 juillet 2006 RAID (Redundant Array of Inexpensive Disks) Mais attention Bacula en quelques mots RAID (Redundant Array of Inexpensive

Plus en détail

INSTALLATION DE L APPLICATION DU CONTEXTE ITASTE

INSTALLATION DE L APPLICATION DU CONTEXTE ITASTE INSTALLATION DE L APPLICATION DU CONTEXTE ITASTE Le responsable de la société Itaste utilise une application installée sur son poste : elle est programmée en VBA sous Microsoft Access et pourvue d une

Plus en détail

Commandes de services NET

Commandes de services NET Commandes de services NET Table des matières 1) Introduction 7 2) Net accounts 7 7 Sans paramètre 7 8 /forcelogoff: {Minutes no} 8 /minpwlen:longueur 8 /maxpwage: {Jours unlimited} 8 /minpwage:jours 8

Plus en détail

Partie Théorique (20 points) :

Partie Théorique (20 points) : OFPPT Office de la Formation Professionnelle et de la Promotion du Travail Direction Recherche et Ingénierie de la Formation Examen de Passage - Cours de Jour Session Juin 2013 Filière : Techniques des

Plus en détail

D un point de vue système, ajuster la mémoire est l une des principales méthodes pour augmenter ou réduire les performances d un processus.

D un point de vue système, ajuster la mémoire est l une des principales méthodes pour augmenter ou réduire les performances d un processus. GESTION DE LA MEMOIRE SOUS UNIX La mémoire est une ressource critique car elle conditionne les temps de traitements. Différentes options SAS sont disponibles pour utiliser au mieux la mémoire de la machine.

Plus en détail

Le logiciel Time Navigator d Atempo (TiNa)

Le logiciel Time Navigator d Atempo (TiNa) Le logiciel Time Navigator d Atempo (TiNa) Une solution de sauvegarde centralisée Patrick Le Jeannic Institut du Développement et des Ressources en Informatique Scientifique Centre National de la Recherche

Plus en détail

http://manageengine.adventnet.com/products/opmanager/download.html?free

http://manageengine.adventnet.com/products/opmanager/download.html?free Introduction Opmanager est un outil de supervision des équipements réseau. Il supporte SNMP, WMI et des scripts ssh ou Telnet pour récupérer des informations sur les machines. Toutefois les machines doivent

Plus en détail