Chapitre 2. Cluster de calcul (Torque / Maui) Grid and Cloud Computing

Dimension: px
Commencer à balayer dès la page:

Download "Chapitre 2. Cluster de calcul (Torque / Maui) Grid and Cloud Computing"

Transcription

1 Chapitre 2. Cluster de calcul (Torque / Maui) Grid and Cloud Computing

2 2. Cluster de calcul (Torque/Maui) Batch/Job Scheduler Gestion automatique d'une séries de jobs Interface de définition des jobs et de leurs dépendances Exécution automatique des jobs Interface de monitoring des jobs Priorités ou files d'attentes pour l'ordonnancement Exemples Mainframe IBM (1960), VAX/VMS (1980) Task scheduler sous windows, cron sous linux... PBS, Torque, Sun Grid Engine, Condor Middleware de grille Grid and Cloud Computing 2

3 2. Cluster de calcul (Torque/Maui) Terascale Opensource Resource and QUEue Manager Gestionnaire de ressources distribuées: Un master hébergeant le serveur torque Un ensemble de nœuds de calculs sur lesquels vont être exécutes les jobs Files d'attentes de jobs L'administrateur peut définir plusieurs files d'attentes avec des priorités différentes selon les ressources demandées Maui : ordonnanceur avancée pour torque Fair queueing, préemption, réservations... Grid and Cloud Computing 3

4 Torque : déroulement normal 2. Cluster de calcul (Torque/Maui) L'utilisateur se connecte sur le master (frontal) L'utilisateur définit son job (commande, ressources) L'utilisateur soumet son job avec qsub Le job est placé en file d'attente sur le master Le scheduler réserve un (ou plusieurs) nœud(s) au job Le job s'exécute sur le (ou les) nœud(s) alloué(s) Le job se termine L'utilisateur récupère l'entrée standard, la sortie standard et les résultats sur le master Grid and Cloud Computing 4

5 2. Cluster de calcul (Torque/Maui) Diagramme de séquence Grid and Cloud Computing 5

6 2. Cluster de calcul (Torque/Maui) Torque : création d'un job Script shell + paramètres TORQUE #!/bin/sh #PBS -N JOBSZZ3-1 #PBS -l walltime=1:00:00 #PBS -l nodes=2:ppn=2,pmem=2048mb cd ~/workspace echo $PBS_O_JOBID mpiexec masimu -nrep 1000 #PBS : directives interprétées à la soumission Nom du job Durée maximale du job (walltime) 2 coeurs sur 2 noeuds différends et 2G de RAM physique Grid and Cloud Computing 6

7 Torque : spécification des noeuds 2. Cluster de calcul (Torque/Maui) -l nodes=12 12 noeuds quelconques -l nodes=1:smp+4:bigmem 1 noeud de type 'smp' et 4 noeuds de type 'bigmem' (les tags sont définis par l'admin) -l nodes=noeud1+noeud4 2 noeuds identifiés par leur nom -l nodes=1:ppn=8 8 coeurs sur un seul noeud -l nodes=2:hexa:ppn=3 3 coeurs sur 2 noeuds de type 'hexa' Grid and Cloud Computing 7

8 2. Cluster de calcul (Torque/Maui) Torque : variables d'environnement Torque définit des variables d'environnement lors de l'exécution du job : PBS_JOBNAME Nom du job PBS_O_WORKDIR PBS_TASKNUM PBS_O_JOBID PBS_QUEUE PBS_NODEFILE Répertoire de soumission du job Nombre de tâches demandées ID unique du job File d'attente du job Fichier contenant la liste des noeuds alloués au job (MPI) Grid and Cloud Computing 8

9 Torque : soumission d'un job 2. Cluster de calcul (Torque/Maui) Commande : qsub $ qsub masimu.sh 6555.moncluster.isima.fr $ qsub masimu.sh -l walltime=1:00: moncluster.isima.fr $ echo hostname qsub -N hostname -q short 6557.moncluster.isima.fr Les options de la ligne de commande sont prioritaires sur les directives du script (même syntaxe) La commande retourne le numéro du job Le job est ensuite placé en file d'attente et sera exécuté selon la politique du serveur Grid and Cloud Computing 9

10 2. Cluster de calcul (Torque/Maui) Torque : suivre un job Commande : qstat $ qstat Job id Name User Time Use S Queue moncluster JOBSZZ3-1 mahul 12:51:52 R normal 6556.moncluster masimu.sh mahul 0 Q short 6557.moncluster STDIN mahul 0 Q short $ qstat -f 6555 Job Id: 6555.moncluster.isima.fr Job_Name = JOBSZZ3-1 Job_Owner = resources_used.cput = 13:12:01 resources_used.mem = kb resources_used.vmem = kb resources_used.walltime = 00:27:23 job_state = R queue = normal... Grid and Cloud Computing 10

11 Torque : état des files d'attentes 2. Cluster de calcul (Torque/Maui) $ qstat -q Queue Memory CPU Time Walltime Node Run Que Lm State smp E R short :00: E R normal :00: E R long E R $ showq [MAUI] ACTIVE JOBS JOBNAME USERNAME STATE PROC REMAINING STARTTIME 6555 mahul Running 32 23:20:57 Mon Sep 27 16:35:39 1 Active Job 32 of 32 Processors Active (100.00%) 1 of 1 Nodes Active (100.00%) IDLE JOBS JOBNAME USERNAME STATE PROC WCLIMIT QUEUETIME 6556 mahul Idle 20 1:00:00 Mon Sep 27 17:16:02 1 Idle Jobs Grid and Cloud Computing 11

12 Torque : récupérer les résultats 2. Cluster de calcul (Torque/Maui) Une fois le job terminé, il est supprimé de la file d'attente Torque Dans le répertoire de soumission, on retrouve la sortie standard et l'erreur standard dans des fichiers : $ ls -l -rw mahul isima 50 sept ZZ3JOBS-1.e6555 -rw mahul isima 7944 sept ZZ3JOBS-1.o6555 Pour les fichiers de résultats : Disque partagé : rien à faire Utiliser les options stageout de torque à la soumission (scp) : $ qsub -W Grid and Cloud Computing 12

13 Torque : état des ressources 2. Cluster de calcul (Torque/Maui) $ pbsnodes -a numa state = free np = 32 properties = crri,long,normal,short ntype = cluster jobs = 10/20361.hpc1.univ-bpclermont.fr, 17/21400.hpc1.univ-bpclermont.fr, 18/21400.hpc1.univ-bpclermont.fr, 19/21400.hpc1.univ-bpclermont.fr, 20/21400.hpc1.univ-bpclermont.fr, 21/21400.hpc1.univ-bpclermont.fr, 23/22557.hpc1.univ-bpclermont.fr, 24/22557.hpc1.univ-bpclermont.fr, 25/22401.hpc1.univ-bpclermont.fr, 26/22557.hpc1.univ-bpclermont.fr, 27/22557.hpc1.univ-bpclermont.fr, 28/22557.hpc1.univ-bpclermont.fr, 31/20361.hpc1.univ-bpclermont.fr status = rectime= ,varattr=,jobs=20361.hpc1.univ-bpclermont.fr hpc1.univ-bpclermont.fr hpc1.univ-bpclermont.fr hpc1.univ-bpclermont.fr,state=free,netload= ,gres=,loadave =7.87,ncpus=32,physmem= kb,availmem= kb,totmem= kb,i dletime= ,nusers=2,nsessions=5,sessions= ,uname=Linux numa.univ-bpclermont.fr vSMP.MPIO #1 SMP Mon Mar 1 17:47:07 CET 2010 x86_64,opsys=linux Grid and Cloud Computing 13

14 2. Cluster de calcul (Torque/Maui) Torque : commandes supplémentaires # Annuler un job $ qdel 6557 # Suspendre un job $ qhold 6558 # Reprendre un job suspendu $ qrls 6558 # Modifier les paramètres d'un job déjà soumis $ qalter -l walltime=36:00: # [MAUI] Vérifier les infos d'ordonnancement du jobs $ checkjob 6558 Grid and Cloud Computing 14

Plateforme CICLAD. http://ciclad-web.ipsl.jussieu.fr. Calcul Intensif pour le Climat, l'atmosphère et la Dynamique

Plateforme CICLAD. http://ciclad-web.ipsl.jussieu.fr. Calcul Intensif pour le Climat, l'atmosphère et la Dynamique Plateforme CICLAD Calcul Intensif pour le Climat, l'atmosphère et la Dynamique http://ciclad-web.ipsl.jussieu.fr Administrateur Philippe.Weill@latmos.ipsl.fr 12/12/2012 Accès et Documentations Documentation

Plus en détail

Se connecter à Colosse

Se connecter à Colosse 1 Se connecter à Colosse colosse.calculquebec.ca SSH est un protocole pour ouvrir un terminal sécurisé sur un système distant Sur Linux et Mac OS Intégré au système sous la forme de la commande ssh dans

Plus en détail

Mésocentre de Calcul Intensif Aquitain. Présentation du cluster Avakas 13/01/2012

Mésocentre de Calcul Intensif Aquitain. Présentation du cluster Avakas 13/01/2012 Mésocentre de Calcul Intensif Aquitain Présentation du cluster Avakas 13/01/2012 Présentation du cluster Avakas Présentation du cluster : le matériel et la communauté Environnement logiciel Calculer sur

Plus en détail

Gestion de ressources dans Grid 5000

Gestion de ressources dans Grid 5000 Sommaire Introduction 1 Introduction aux clusters et aux grilles : pourquoi un ordonnanceur de tâches? 2 WIKI Au niveau cluster Au niveau Grid 5000 3 GRID 4 Appariement de ressources CPUSET Notification

Plus en détail

Calcul sur le cluster/grille EGI

Calcul sur le cluster/grille EGI Calcul sur le cluster/grille EGI Calcul sur le cluster/grille EGI Descriptif materiel (actuel et à venir) Soumission locale : PBS/ bonnes pratiques Calcul grille : glite/ exemple simple Point formations

Plus en détail

Plan Formation : Utilisation Hyperion Janvier-Février 2014 http://www.calmip.cict.fr/ Plan Formation :

Plan Formation : Utilisation Hyperion Janvier-Février 2014 http://www.calmip.cict.fr/ Plan Formation : Plan Formation : Introduction : Mésocentre CALMIP Introduction à l Architecture des systèmes HPC Panorama des Systèmes et Processeurs Multi-core Présentation système de Calcul CALMIP : HYPERION Visite

Plus en détail

Lancement de Star-CCM+ avec SGE

Lancement de Star-CCM+ avec SGE Lancement de Star-CCM+ avec SGE Lionel Meister IUSTI, UMR CNRS 6595 lionel.meister@polytech.univ-mrs.fr 28 septembre 2010 A ce jour, la partition Dix est la seule partition du parc sur laquelle on peut

Plus en détail

SGE: Formation utilisateur

SGE: Formation utilisateur SGE: Formation utilisateur Dorin Preda (Serviware Toulouse) 25 Mars 2010 Plan SGE: vue globale Concepts SGE Jobs, utilisateurs, calendriers, projets Ressources, environnement spéciaux, quotas Files d attente

Plus en détail

Principe et Utilisation

Principe et Utilisation Cluster Haute Performance Principe et Utilisation 1 Sommaire I Introduction...4 II Architecture...5 III Les logiciels...7 IV Les espaces fichiers...9 V Les comptes et autorisations...11 VI Les Transferts

Plus en détail

Gestion de clusters de calcul avec Rocks

Gestion de clusters de calcul avec Rocks Gestion de clusters de calcul avec Laboratoire de Chimie et Physique Quantiques / IRSAMC, Toulouse scemama@irsamc.ups-tlse.fr 26 Avril 2012 Gestion de clusters de calcul avec Outline Contexte 1 Contexte

Plus en détail

Exploiter un calculateur ou un cluster de calcul: Les gestionnaires de tâches et de ressources

Exploiter un calculateur ou un cluster de calcul: Les gestionnaires de tâches et de ressources Exploiter un calculateur ou un cluster de calcul: Les gestionnaires de tâches et de ressources Olivier Richard Laboratoire d Informatique de Grenoble (LIG) Projet INRIA Mescal 13 septembre 2007 Olivier

Plus en détail

Centre de calcul de l ub

Centre de calcul de l ub Centre de calcul de l ub Formation Présentation et utilisation du cluster de Calcul Antoine Migeon ccub@u-bourgogne.fr Tel : 5205 ou 5270 Le Centre de Calcul de l ub (ccub) Dédié à l enseignement et à

Plus en détail

Open Source Job Scheduler. Installation(s)

Open Source Job Scheduler. Installation(s) Open Source Job Scheduler Installation(s) Installations Standard Configuration Superviseur Agent SOS-Paris 2 Pré-requis o Base de données o MySQL, MSACCESS, Oracle o JDBC ou ODBC o Connecteurs o Mysql

Plus en détail

Les systèmes de batch

Les systèmes de batch Les systèmes de batch Formation LEM2I, Montage et gestion d un centre de calcul Bruno Bzeznik CIMENT, UJF Alger, 13/09/2011 Bruno Bzeznik (CIMENT, UJF) Les systèmes de batch Alger, 13/09/2011 1 / 79 Sommaire

Plus en détail

Torque (et MAUI) : une solution pour construire simplement une ferme de calcul.

Torque (et MAUI) : une solution pour construire simplement une ferme de calcul. Journée JoSy 13 Septembre 2007 1 / 34 Torque (et MAUI) : une solution pour construire simplement une ferme de calcul. Jacques Foury Institut de Mathématiques de Bordeaux Journée JoSy Septembre 2007 Journée

Plus en détail

Grille de Calcul Marocaine ( MaGrid )

Grille de Calcul Marocaine ( MaGrid ) Grille de Calcul Marocaine ( MaGrid ) Bouchra Rahim rahim@cnrst.ma Division TIC - CNRST 1 2 Plan Introduction aux grilles de calcul Initiative de Grille Nationale (NGI) Activités Projets de coopération

Plus en détail

ORDONNANCER ET PROGRAMMER DES JOBS AVEC SAS

ORDONNANCER ET PROGRAMMER DES JOBS AVEC SAS ORDONNANCER ET PROGRAMMER DES JOBS AVEC SAS Depuis SAS Management Console, l administrateur de la plate-forme Open Metadata Architetcure (OMA) peut créer des flux et les ordonnancer : SAS se charge de

Plus en détail

Introduction Moteur de workflows Conclusions. École normale supérieure de Lyon. 11 mai 2006. Ordonnancement de workflows dans DIET

Introduction Moteur de workflows Conclusions. École normale supérieure de Lyon. 11 mai 2006. Ordonnancement de workflows dans DIET École normale supérieure de Lyon Groupe de travail GRAAL 11 mai 2006 Plan Introduction 1 Introduction Les Workflows Présentation de DIET Motivations et objectifs 2 3 Plan Introduction Les Workflows Présentation

Plus en détail

Grid'5000. Principes et utilisations. Olivier Richard Labo ID-IMAG / Equipe INRIA MESCAL

Grid'5000. Principes et utilisations. Olivier Richard Labo ID-IMAG / Equipe INRIA MESCAL Grid'5000 Principes et utilisations Olivier Richard Labo ID-IMAG / Equipe INRIA MESCAL Objectif: Etendre le champ du possible Computing As You Want! Cluster in Cluster Grid in Cluster Grid in Grid Cluster

Plus en détail

Installation des services

Installation des services Installation des services glite CE/WN/BDII-site Bouchra Rahim Division TIC CNRST, Rabat CNRST, 27/02-02/03, 2012 1 Introduction CNRST, 27/02-02/03, 2012 2 Introduction CNRST, 27/02-02/03, 2012 3 Introduction

Plus en détail

vendredi 3 octobre 2008 Pascal Calvat Centre de calcul IN2P3

vendredi 3 octobre 2008 Pascal Calvat Centre de calcul IN2P3 vendredi 3 octobre 2008 Pascal Calvat Centre de calcul IN2P3 JJS: Java Job Submission - Présentation de JJS - Performances de JJS concernant les jobs courts - Démonstration en direct avec soumission de

Plus en détail

Utilisation des calculateurs de l UCP

Utilisation des calculateurs de l UCP Utilisation des calculateurs de l UCP Yann Costes, David Domergue yann.costes@u-cergy.fr, david.domergue@u-cergy.fr Direction de l Informatique et des Systèmes d Information Centre De Calcul Utilisation

Plus en détail

INFO-F-404 : Techniques avancées de systèmes d exploitation

INFO-F-404 : Techniques avancées de systèmes d exploitation Nikita Veshchikov e-mail : nikita.veshchikov@ulb.ac.be téléphone : 02/650.58.56 bureau : 2N8.213 URL : http://student.ulb.ac.be/~nveshchi/ INFO-F-404 : Techniques avancées de systèmes d exploitation Table

Plus en détail

IBM SPSS Modeler Entity Analytics - Configuration avancée

IBM SPSS Modeler Entity Analytics - Configuration avancée IBM SPSS Modeler Entity Analytics - Configuration avancée Introduction Ce guide s'adresse aux administrateurs système qui configurent IBM SPSS Modeler Entity Analytics (EA) pour le déployer avec l'un des

Plus en détail

TP3 : Tests de performance des MV

TP3 : Tests de performance des MV Ecole informatique IN2P3 2014 : Maîtriser le Cloud TP Dev : portage d applications sur le Cloud TP3 : Tests de performance des MV Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe),

Plus en détail

Réunion GDS 13 octobre 2006

Réunion GDS 13 octobre 2006 École normale supérieure de Lyon Réunion GDS 13 octobre 2006 Plan Introduction 1 Introduction 2 3 4 5 6 Les workflows Ensemble de tâches connectées La structure du workflow représente la relation temporelle

Plus en détail

cluster pour l Enseignement Universitaire et la Recherche

cluster pour l Enseignement Universitaire et la Recherche cluster pour l Enseignement Universitaire et la Recherche Université de Nice Sophia-Antipolis 22 janvier 2013 Université de Nice Sophia-Antipolis cluster pour l Enseignement Universitaire et la Recherche

Plus en détail

Les environnements de calcul distribué

Les environnements de calcul distribué 2 e Atelier CRAG, 3 au 8 Décembre 2012 Par Blaise Omer YENKE IUT, Université de Ngaoundéré, Cameroun. 4 décembre 2012 1 / 32 Calcul haute performance (HPC) High-performance computing (HPC) : utilisation

Plus en détail

Open Source Job Scheduler. Vue d ensemble

Open Source Job Scheduler. Vue d ensemble Open Source Job Scheduler Vue d ensemble Vue d ensemble Présentation Architectures Composants Objets 2 Magic Quadrant Magic Quadrant for Workload Automation Gartner 3 Fonctionnalités v Ordonnanceur d exploitation

Plus en détail

Centre de calcul de l ub,

Centre de calcul de l ub, Centre de calcul de l ub, Formation batch SGE Didier Rebeix, Antoine Migeon ccub@u-bourgogne.fr 2010/2011 Le Centre de Calcul de l ub (ccub) Dédié à l enseignement et à la recherche. Met à disposition

Plus en détail

Contribution à la mise en service d'une ferme de serveurs connectée à une grille de calcul pour la physique des hautes énergies

Contribution à la mise en service d'une ferme de serveurs connectée à une grille de calcul pour la physique des hautes énergies Contribution à la mise en service d'une ferme de serveurs connectée à une grille de calcul pour la physique des hautes énergies Charlier Fabrice 2è licence en informatique Année Académique 2005-2006 Plan

Plus en détail

Sybase High Avalaibility

Sybase High Avalaibility Sybase High Avalaibility Mars 2006 Documentation technique # 28 Sybase High Availability Principes généraux Sybase HA et Sun Cluster 3.0 Configuration Active-Active pour Sun Cluster 3.0 Configuration Active-Passive

Plus en détail

Grid5000 aujourd'hui : Architecture & utilisation

Grid5000 aujourd'hui : Architecture & utilisation 1 Grid5000 aujourd'hui : Architecture & utilisation aurelien.dumez@labri.fr 11 octobre 2005 Contexte 2 Grid5000 est : Une plateforme expérimentale pour le grid computing Ouverte à de nombreux thèmes de

Plus en détail

Comment mesurer les temps de calcul de vos programmes? Bonne pratique et pièges à éviter

Comment mesurer les temps de calcul de vos programmes? Bonne pratique et pièges à éviter Comment mesurer les temps de calcul de vos programmes? Bonne pratique et pièges à éviter Caroline Prodhon (carolineprodhon@hotmail.com) Philippe Lacomme (placomme@isima.fr) Ren Libo (ren@isima.fr) Remerciements

Plus en détail

Avakas : un an de production au Mésocentre Aquitain. Pierre Gay Journées scientifiques mésocentres et France Grilles

Avakas : un an de production au Mésocentre Aquitain. Pierre Gay Journées scientifiques mésocentres et France Grilles Avakas : un an de production au Mésocentre Aquitain 1/20 Plan MCIA MCIA : bref historique Renaissance 2010 Ressources Avakas La machine Politique d'utilisation Scheduler Files d'attente et priorités Environnement

Plus en détail

Middleware et services de la grille

Middleware et services de la grille 1 2 La vision EGEE (Enabling Grids for E-sciencE) Création d une infrastructure Grid à travers l Europe, qui implique les réseaux de recherches scientifiques actuelle et futur Offrir à la communauté des

Plus en détail

GESTION DES PROCESSUS

GESTION DES PROCESSUS CHAPITRE 2 : GESTION DES PROCESSUS Objectifs spécifiques Connaître la notion de processus, Connaître les caractéristiques d un processus ainsi que son contexte Connaître la notion d interruptions et de

Plus en détail

LE SERVEUR DE CALCUL DANS LA PRATIQUE. Dr. Anouk Gaudel- Siri

LE SERVEUR DE CALCUL DANS LA PRATIQUE. Dr. Anouk Gaudel- Siri LE SERVEUR DE CALCUL DANS LA PRATIQUE Dr. Anouk Gaudel- Siri Connexion au serveur Connexion au serveur de calcul slater Informations générales Déclaration de l adresse IP publique de l ordinateur auprès

Plus en détail

Session Pratique IBI-2 Utilisation avancée du cloud IFB

Session Pratique IBI-2 Utilisation avancée du cloud IFB Session Pratique IBI-2 Utilisation avancée du cloud IFB contact : support@france-bioinformatique.fr I) Installation manuelle I.1) Installation d un package dans RStudio a) instancier une appliance R statistical

Plus en détail

Super ordinateurs et Linux:

Super ordinateurs et Linux: Super ordinateurs et Linux: des histoires du CLUMEQ à l'université Laval Sébastien Boisvert 2012-11-15 19:00 Où : Université Laval Pavillon Palasis-Prince, local 3325 (Carte) Introduction Étudiant/chercheur

Plus en détail

Introduction à l utilisation d Occigen

Introduction à l utilisation d Occigen Introduction à l utilisation d Occigen Vous avez obtenu des heures de calcul sur un supercalculateur national! Ce petit guide va vous permettre de démarrer en quelques minutes. Avant de commencer, il vous

Plus en détail

Les ressources de calcul et leur utilisation

Les ressources de calcul et leur utilisation Les ressources de calcul et leur utilisation Plateformes de calcul : Ressources locales : PlaFRIM (Plateforme Fédérative pour la Recherche en Informatique et Mathématiques) https://plafrim.bordeaux.inria.fr

Plus en détail

BTS INFORMATIQUE DE GESTION Administrateur des réseaux locaux d entreprise

BTS INFORMATIQUE DE GESTION Administrateur des réseaux locaux d entreprise BTS INFORMATIQUE DE GESTION Administrateur des réseaux locaux d entreprise EPREUVE E5 : PRATIQUE DES TECHNIQUES INFORMATIQUES Identité du candidat : PAPIN Perrine N d inscription : M326070463 ACTIVITE

Plus en détail

Utilisation du serveur de calcul du LSTA

Utilisation du serveur de calcul du LSTA Utilisation du serveur de calcul du LSTA B. Michel 19 octobre 2012 Ce document contient les informations minimales à connaître pour utiliser R et Matlab sur le serveur Mac à 24 coeurs du laboratoire (ou

Plus en détail

IBM SPSS Collaboration and Deployment Services (C&DS) version 7

IBM SPSS Collaboration and Deployment Services (C&DS) version 7 Ce guide s'adresse aux administrateurs système qui configurent IBM SPSS Modeler Entity Analytics (EA) pour le déployer avec un des programmes suivants : IBM SPSS Collaboration and Deployment Services (C&DS)

Plus en détail

Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales

Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe), Laboratoire

Plus en détail

IBM Software Group. Migration vers Tivoli Workload Scheduler. Philippe TESSIER ptessier@setd.fr. 2009 IBM Corporation

IBM Software Group. Migration vers Tivoli Workload Scheduler. Philippe TESSIER ptessier@setd.fr. 2009 IBM Corporation IBM Software Group Migration vers Tivoli Workload Scheduler Philippe TESSIER ptessier@setd.fr Sociétés Prodline ( 180 personnes ) Distributeur et intégrateur EGEN Expert Production Régie, Forfait, Infogérance,

Plus en détail

Manuel LSF Centre de Calcul - CRI Université de Bourgogne

Manuel LSF Centre de Calcul - CRI Université de Bourgogne Manuel LSF Centre de Calcul - CRI Université de Bourgogne Jean-Jacques.Gaillard@u-bourgogne.fr 21-02-2007 Ce manuel est très largement inspiré d un document que nous a transmis la société TETHYS ; il a

Plus en détail

Conception d une ferme de calculs pour la plateforme bioinformatique ATGC. Stéphane GEORGE - Josy ASR pour la science le 14/10/2010 -

Conception d une ferme de calculs pour la plateforme bioinformatique ATGC. Stéphane GEORGE - Josy ASR pour la science le 14/10/2010 - Conception d une ferme de calculs pour la plateforme bioinformatique ATGC Stéphane GEORGE - Josy ASR pour la le 14/10/2010 - Plan 1] Contexte 2] Problématique 3] Solution proposée 4] Bilans et perspectives

Plus en détail

Guide SCOM 2007. Installation de l Admin Ressource Kit et de la fonctionnalité Mode Maintenance. http://blog.menincloud.com

Guide SCOM 2007. Installation de l Admin Ressource Kit et de la fonctionnalité Mode Maintenance. http://blog.menincloud.com Guide SCOM 2007 Installation de l Admin Ressource Kit et de la fonctionnalité Mode Maintenance http://blog.menincloud.com 1 - INSTALLATION ET CONFIGURATION 1.1 Introduction L Admin Resource Kit pour SCOM

Plus en détail

Introduction SIO Utilisation Conclusion Cluster au SIO

Introduction SIO Utilisation Conclusion Cluster au SIO Cluster au SIO ALBERT SHIH 1 1 Observatoire de Paris - Meudon 21 février 2008 Type de «machines» de calcul Mémoire partagée Tous les processeurs accèdent à toute la mémoire avec un même espace d adressage.

Plus en détail

Scripts de préparation des fichiers clim et des fichiers de couplage sur le nouveau système de calcul NEC (TORI)

Scripts de préparation des fichiers clim et des fichiers de couplage sur le nouveau système de calcul NEC (TORI) Scripts de préparation des fichiers clim et des fichiers de couplage sur le nouveau système de calcul NEC (TORI) Quelques informations pour les stagiaires qui utiliseront TORI pour la première fois Par

Plus en détail

Tutoriel Cloud IFB. IBI - 1 Utilisation de base du Cloud IFB

Tutoriel Cloud IFB. IBI - 1 Utilisation de base du Cloud IFB Tutoriel Cloud IFB IBI - 1 Utilisation de base du Cloud IFB Sommaire I. Créer un compte sur le cloud IFB II. Instancier une VM III. Echanger les données IV. Gérer les disques virtuels V. Utiliser un bureau

Plus en détail

L art d ordonnancer. avec JobScheduler. François BAYART

L art d ordonnancer. avec JobScheduler. François BAYART L art d ordonnancer avec JobScheduler François BAYART 30 Octobre 2010 [1] 234567 introduction Introduction Qui suis-je? François Bayart consultant système en solution libre et propriétaire Redhat (1996),

Plus en détail

Systèmes d'exploitation Gestion des processus

Systèmes d'exploitation Gestion des processus Systèmes d'exploitation Gestion des processus Cours SYE Prof. Daniel Rossier Version 2.3 (2009-2010) 1 Plan Processus Changement de contexte Threads IPC (Inter-Process Communication) Algorithmes d'ordonnancement

Plus en détail

Travaux pratiques : MySQL

Travaux pratiques : MySQL Travaux pratiques : MySQL L'équipe du Laboratoire SUPINFO des Technologies GNU/Linux Révision datée du 24-05-2007 Copyright 2006 SUPINFO All rights reserved. Table des matières 1. Mettre en place un gestionnaire

Plus en détail

Détection d'intrusions en environnement haute performance

Détection d'intrusions en environnement haute performance Symposium sur la Sécurité des Technologies de l'information et des Communications '05 Détection d'intrusions en environnement haute performance Clusters HPC Fabrice Gadaud (fabrice.gadaud@cea.fr) 1 Sommaire

Plus en détail

Et les grilles dans tout ça?

Et les grilles dans tout ça? Bruno.Bzeznik@imag.fr UJF/CIMENT LIG (équipe Mescal) Journée JOSY: gestion des serveurs de calcul 13 septembre 2007 Bruno Bzeznik Ingénieur de recherche à l'ujf depuis le 1er septembre 2006 Compétences

Plus en détail

Cluster de calcul Freeware en Océanographie Opérationnelle Bertrand FERRET Carine CASTILLON Mondher CHEKKI

Cluster de calcul Freeware en Océanographie Opérationnelle Bertrand FERRET Carine CASTILLON Mondher CHEKKI Cluster de calcul Freeware en Océanographie Opérationnelle Bertrand FERRET Carine CASTILLON Mondher CHEKKI Responsable Service Informatique Ingénieure Systèmes & Réseaux Ingénieur High Performance Computing

Plus en détail

EvQueue. RMLL 2015, 6 juillet Présentation d'evqueue - Nicolas JEAN 1/18

EvQueue. RMLL 2015, 6 juillet Présentation d'evqueue - Nicolas JEAN 1/18 EvQueue Ordonnanceur Planificateur Job Scheduler Moteur de Queueing RMLL 2015, 6 juillet Présentation d'evqueue - Nicolas JEAN 1/18 L'UFC-Que Choisir Association loi 1901 Protection des consommateurs Information,

Plus en détail

Les moyens de calcul scientifique du CNES architecture et outils

Les moyens de calcul scientifique du CNES architecture et outils Les moyens de calcul scientifique du CNES architecture et outils JOSY, 13 septembre 2007 Le CNES en bref... Le CNES est un EPIC. Il propose et met en oeuvre la politique spatiale de la France, au service

Plus en détail

La ferme de PCs de l INRIA Sophia-Antipolis Configuration matérielle et logicielle

La ferme de PCs de l INRIA Sophia-Antipolis Configuration matérielle et logicielle La ferme de PCs de l INRIA Sophia-Antipolis Configuration matérielle et logicielle http://www-sop.inria.fr/parallel/ David Geldreich, 07/2003 Configuration matérielle actuelle Aujourd'hui la ferme est

Plus en détail

CONTROLEUR DE DOMAINE SAMBA

CONTROLEUR DE DOMAINE SAMBA CONTROLEUR DE DOMAINE SAMBA Nous allons voir à travers ce tutoriel, la mise en place d un contrôleur de domaine sous linux, SAMBA. Ce tutoriel a été testé sur une distribution Debian version 7.2 1. Introduction

Plus en détail

Tests de SlipStream sur les plateformes StratusLab@LAL et OpenStack@CC-IN2P3 : vers la. Vers la fédération du Cloud computing

Tests de SlipStream sur les plateformes StratusLab@LAL et OpenStack@CC-IN2P3 : vers la. Vers la fédération du Cloud computing Tests de sur les plateformes StratusLab@LAL et OpenStack@CC-IN2P3 : vers la fédération du Cloud computing Cécile Cavet1 & Charles Loomis2 (1) Centre François Arago, Laboratoire, Université Paris Diderot,

Plus en détail

Linux pour le calcul de haute performance Daniel Stubbs Le 17 février 2015

Linux pour le calcul de haute performance Daniel Stubbs Le 17 février 2015 Linux pour le calcul de haute performance Daniel Stubbs Le 17 février 2015 Linux Une forme d Unix, un système d exploitation qui précède Windows et OS X. Séparation claire entre le cœur du système d exploitation

Plus en détail

Introduction aux grilles: L'exemple XtremWeb

Introduction aux grilles: L'exemple XtremWeb Introduction aux grilles: L'exemple XtremWeb Nicolas Bouillot bouillot@cnam.fr 1 Plan Introduction Première définition Les organisations virtuelles Contraintes liées aux Middlewares de Grilles Le calcul

Plus en détail

Tutoriel Cloud IFB - Initiation -

Tutoriel Cloud IFB - Initiation - Tutoriel Cloud IFB - Initiation - Christophe BLANCHET Institut Français de Bioinformatique - IFB French Institute of Bioinformatics - ELIXIR-FR CNRS UMS3601 - Gif-sur-Yvette - FRANCE Ecole Cumulo NumBio

Plus en détail

Plan du cours. 12. Gestion des processus. 12.1 Notions théoriques 12.2 Lancement d'une commande 12.3 Identifier et controler un processus

Plan du cours. 12. Gestion des processus. 12.1 Notions théoriques 12.2 Lancement d'une commande 12.3 Identifier et controler un processus Plan du cours 12.1 Notions théoriques 12.2 Lancement d'une commande 12.3 Identifier et controler un processus PS, KILL 12.4 Exercices Olivier HUBERT LGEP/CNRS 1 Plan du cours 12.1 Notions théoriques 12.1.1

Plus en détail

Chapitre 1. Infrastructures distribuées : cluster, grilles et cloud. Grid and Cloud Computing

Chapitre 1. Infrastructures distribuées : cluster, grilles et cloud. Grid and Cloud Computing Chapitre 1. Infrastructures distribuées : cluster, grilles et cloud Grid and Cloud Computing Problématique Besoins de calcul croissants Simulations d'expériences coûteuses ou dangereuses Résolution de

Plus en détail

PLATE-FORME DE CLOUD COMPUTING SLAPOS. Intégration d applications

PLATE-FORME DE CLOUD COMPUTING SLAPOS. Intégration d applications PLATE-FORME DE CLOUD COMPUTING SLAPOS Intégration d applications Alain Takoudjou Kamdem Alain.takoudjou@lipn.univ-paris13.fr LIPN Université Paris 13 Vichy 2014 Présentation du cloud computing Le Cloud

Plus en détail

1 Démarrage de Marionnet

1 Démarrage de Marionnet Institut Galilée Administration Système Année 2011-2012 INFO 2ème année Master Info 1 Master Image & Réseau 1 T.P. 1 Administration Système Le logiciel Marionnet (www.marionnet.org) offre la possibilité

Plus en détail

Centre de Calcul de l'in2p3 27, Bd du 11 Novembre 1918 69622 Villeurbanne Cedex FRANCE Tél : +33 4 78 93 08 80 Fax : +33 4 72 69 41 70

Centre de Calcul de l'in2p3 27, Bd du 11 Novembre 1918 69622 Villeurbanne Cedex FRANCE Tél : +33 4 78 93 08 80 Fax : +33 4 72 69 41 70 Acces Centre de Calcul de l'in2p3 27, Bd du 11 Novembre 1918 69622 Villeurbanne Cedex FRANCE Tél : +33 4 78 93 08 80 Fax : +33 4 72 69 41 70 Buts Fournir des ressources de calcul et de stockage pour les

Plus en détail

Etude de l ENT de l Université de Paris 5. Mise en place d outils de suivi de la charge de l ENT (monitoring)

Etude de l ENT de l Université de Paris 5. Mise en place d outils de suivi de la charge de l ENT (monitoring) Etude de l ENT de l Université de Paris 5 Mise en place d outils de suivi de la charge de l ENT (monitoring) Objet Mise en place d outils de suivi de la charge de l ENT (monitoring) Référence ESUP-ETU-P5-D

Plus en détail

Ajout d items spécifiques

Ajout d items spécifiques 1 Ajout d items spécifiques Item : SNMP (Borne Wi-Fi & Switch.) Introduction sur le SNMP. SNMP est relativement simple une fois qu on a compris. Voyons comment se compose un ensemble d éléments communiquant

Plus en détail

Nom : Prénom : Groupe :

Nom : Prénom : Groupe : Nom : Prénom : Groupe : TP : utilisation de ssh 1 Travail préliminaire. Pour ce TP vous devrez utiliser les comptes root/tpreseau et tpreseau/disket. Restaurez votre machine en chargeant le système marqué

Plus en détail

PHASE WEB INSTALLATION & DEPANNAGE. Il est recommandé de copier les fichiers d installation dans un dossier partagé, cela servira pour les stations.

PHASE WEB INSTALLATION & DEPANNAGE. Il est recommandé de copier les fichiers d installation dans un dossier partagé, cela servira pour les stations. PHASE WEB INSTALLATION & DEPANNAGE 1. Préambule Mêmes pré-requis que pour la dématérialisation de la paye XP SP2 installé VISTA SEVEN 32-64 Les mises à jour automatiques doivent être activées. Framework

Plus en détail

Principes généraux régissant l accès aux locaux et ressources informatiques de l ISIMA

Principes généraux régissant l accès aux locaux et ressources informatiques de l ISIMA 2013/2014 Principes généraux régissant l accès aux locaux et ressources informatiques de l ISIMA q PRINCIPES : Les horaires d ouverture de l Ecole vont de 7h30 à 18h30 du lundi au jeudi, et de 7h30 à 17h45

Plus en détail

Iyad Alshabani SysCom - CReSTIC Université de Reims 17/02/2011 1

Iyad Alshabani SysCom - CReSTIC Université de Reims 17/02/2011 1 SysCom - CReSTIC Université de Reims 17/02/2011 1 Motivation Gestion des expérimentations Avec les workflows Simulation Simulation des Systèmes Distribués ANR USS SimGrid Campagne de Test et gestion de

Plus en détail

Rapport projet TOP Test automatique de la plate-forme Grid 5000

Rapport projet TOP Test automatique de la plate-forme Grid 5000 Rapport projet TOP Test automatique de la plate-forme Grid 5000 Arthur Garnier Encadré par Lucas Nussbaum 1 er Juin 2015 Table des matières 1 Contexte 2 2 Description du problème 3 3 Présentation du travail

Plus en détail

Ligne de commande Linux avancée et scriptage bash (Linux 201)

Ligne de commande Linux avancée et scriptage bash (Linux 201) Ligne de commande Linux avancée et scriptage bash (Linux 201) laurent.duchesne@calculquebec.ca maxime.boissonneault@calculquebec.ca Université Laval - Septembre 2014 1 2 Se connecter à Colosse ssh colosse.calculquebec.ca

Plus en détail

Travaux Pratiques IBI-2 Utilisation avancée du cloud IFB

Travaux Pratiques IBI-2 Utilisation avancée du cloud IFB I) Mise en place du mode cluster Travaux Pratiques IBI-2 Utilisation avancée du cloud IFB contact : support@france-bioinformatique.fr Le principe du cluster sur le cloud est simple : vous vous connectez

Plus en détail

Les 10 choses à connaître pour bien utiliser Froggy

Les 10 choses à connaître pour bien utiliser Froggy Les 10 choses à connaître pour bien utiliser Froggy Journée des utilisateurs CIMENT B. Bzeznik, F. Roch 14 mai 2014 Journées des utilisateurs CIMENT Les 10 chose à connaître 1 Préliminaire : Chandler La

Plus en détail

SAS DEPLOYMENT MANAGER

SAS DEPLOYMENT MANAGER SAS DEPLOYMENT MANAGER SAS Deployment Manager est un outil permettant d effectuer des tâches administratives sur votre installation et votre configuration SAS. Il est disponible depuis SAS 9.2 et s est

Plus en détail

ASR1 - Systèmes d exploitation

ASR1 - Systèmes d exploitation ASR1 - Systèmes d exploitation Semestre 1, année 2011-2011 Département d informatique IUT Bordeaux 1 Janvier 2012 q 1 / 1 1. Introduction aux Systèmes d exploitation Contenu à quoi ça sert grandes fonctions

Plus en détail

Windows 2003 server. Active Directory. Rudolf Pareti. Version 1.0

Windows 2003 server. Active Directory. Rudolf Pareti. Version 1.0 Windows 2003 server Active Directory Rudolf Pareti Version 1.0 Domaine Windows Définitions Contrôleur de domaine Dans une forêt Active Directory, serveur contenant une copie inscriptible de la base de

Plus en détail

Commandes Linux. Gestion des fichiers et des répertoires. Gestion des droits. Gestion des imprimantes. Formation Use-IT

Commandes Linux. Gestion des fichiers et des répertoires. Gestion des droits. Gestion des imprimantes. Formation Use-IT Commandes Linux Gestion des fichiers et des répertoires Lister les fichiers Lister les fichiers cachés Lister les répertoires d un répertoire Lister les fichiers par date Les droits Types de fichier Supprimer

Plus en détail

TP Monitoring. Jonathan Schaeffer. 21 janvier 2016

TP Monitoring. Jonathan Schaeffer. 21 janvier 2016 TP Monitoring Jonathan Schaeffer 21 janvier 2016 Table des matières 1 Contexte et prérequis 2 1.1 La machine virtuelles....................... 2 1.2 Le matériel à monitorer..................... 2 1.3 Validation

Plus en détail

Déploiement automatisé de OpenCloudWare sur la plateforme expérimentale Grid 5000

Déploiement automatisé de OpenCloudWare sur la plateforme expérimentale Grid 5000 Déploiement automatisé de OpenCloudWare sur la plateforme expérimentale Grid 5000 Laurent Pouilloux 1, Sébastien Badia 1,, Simon Delamare 2, David Margery 1 1 Inria 2 CNRS maintenant à enovance (RedHat)

Plus en détail

Contrôleur de domaine Samba

Contrôleur de domaine Samba Par Contrôleur de domaine Samba Nous allons voir ici, comment mettre en place un contrôleur de domaine principal sous linux, avec samba. 1. Introduction Le but de ce tutoriel est de : créer un contrôleur

Plus en détail

CLIC Cluster LInux pour le Calcul

CLIC Cluster LInux pour le Calcul CLIC Cluster LInux pour le Calcul http://clic.mandrakesoft.com Wilfrid Billot (@imag.fr) ID-IMAG Projet Apache http://www-id.imag.fr Plan ¾ Introduction à CLIC ¾ CLIC et les clusters ¾ Ce qui existe déjà

Plus en détail

Installation des services

Installation des services CNRST, 24 28 Juin 2013 1 Installation des services glite CE/WN Formation Administrateur de la Grille de Calcul CNRST, Rabat, 24-28 Juin 2013 Bouchra Rahim Division TIC CNRST, Rabat Introduction-CE Le Computing

Plus en détail

Présentation du cours Linux / Shell. Inf7212 Introduction aux systèmes informatiques Alix Boc Automne 2013

Présentation du cours Linux / Shell. Inf7212 Introduction aux systèmes informatiques Alix Boc Automne 2013 Présentation du cours Linux / Shell Inf7212 Introduction aux systèmes informatiques Alix Boc Automne 2013 2 Plan Présentation du cours / Syllabus Questionnaire sur vos connaissances L ordinateur Introduction

Plus en détail

Cloud Computing. Groupe : Vincent, Mohammed, Yannick, Allan Tuteur : Mr. NUSSBAUM Lucas Année : 2009/2010

Cloud Computing. Groupe : Vincent, Mohammed, Yannick, Allan Tuteur : Mr. NUSSBAUM Lucas Année : 2009/2010 Cloud Computing Groupe : Vincent, Mohammed, Yannick, Allan Tuteur : Mr. NUSSBAUM Lucas Année : 2009/2010 31 Mars 2010 1 Sommaire Introduction Le Cloud Computing Mise en place du Cloud Computing Grid5000

Plus en détail

KWISATZ MODULE PRESTASHOP

KWISATZ MODULE PRESTASHOP Table des matières -1) KWISATZ - :...2-1.1) Introduction :...2-1.2) Description :...3-1.2.1) Schéma :...3-1.3) Mise en place :...4-1.3.1) PRESTASHOP :...4-1.3.1.1) Les Web Services :...4-1.3.2) KWISATZ

Plus en détail

V GRID : un émulateur de grilles à grande échelle

V GRID : un émulateur de grilles à grande échelle V GRID : un émulateur de grilles à grande échelle Benjamin Quétier quetier@lri.fr http://www.lri.fr/~quetier Plan Partie 1 : Choix d'un système de virtualisation Problématique Les outils existants Les

Plus en détail

Guide d'installation et de configuration d'ibm SPSS Modeler Social Network Analysis 16

Guide d'installation et de configuration d'ibm SPSS Modeler Social Network Analysis 16 Guide d'installation et de configuration d'ibm SPSS Modeler Social Network Analysis 16 Remarque Certaines illustrations de ce manuel ne sont pas disponibles en français à la date d'édition. Table des matières

Plus en détail

Formation Unix/Linux (3) Le Shell: gestion des processus, redirection d entrée/sortie

Formation Unix/Linux (3) Le Shell: gestion des processus, redirection d entrée/sortie Formation Unix/Linux (3) Le Shell: gestion des processus, redirection d entrée/sortie Olivier BOEBION Mars 2004 1 Définition Un programme se compose d un ou plusieurs fichiers composés d instructions.

Plus en détail

Introduction aux clusters et aux grilles de calcul

Introduction aux clusters et aux grilles de calcul Introduction aux clusters et aux grilles de calcul une solution aux calculs lourds et au stockage de données Sorina POP 29/01/2009 Sommaire Introduction Les clusters Introduction, exemples, utilisation

Plus en détail

Atelier : Virtualisation avec Xen

Atelier : Virtualisation avec Xen Virtualisation et Cloud Computing Atelier : Virtualisation avec Xen Plan Présentation de Xen Architecture de Xen Le réseau Gestion des domaines DomU dans Xen Installation de Xen Virt. & Cloud 12/13 2 Xen

Plus en détail

BE de programmation MPI-1 par envois de messages bloquants

BE de programmation MPI-1 par envois de messages bloquants BE-MPI-1envois de messages bloquants Page 1 of 3 01/03/2010 Calcul parallèle et distribué, et Grilles de calculs Cours de 3ème année SI à Supélec BE de programmation MPI-1 par envois de messages bloquants

Plus en détail