Portage d une application de physique sur la datagrid. Génération/simulation/reconstruction/analyse pour ATLAS : physique du B. En production au CERN.



Documents pareils
Environnement logiciel LHCb

Le monitoring de flux réseaux à l'in2p3 avec EXTRA

Clusters de PCs Linux

Centre de Calcul de l Institut National de Physique Nucléaire et de Physique des Particules. Migration Kerberos V Présentation rapide

Tendances de la sécurité informatique à l IN2P3. Actions pour renforcer la sécurité. Sécurité Cargèse 2001 Bernard Boutherin 1

Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales

Gestion de clusters de calcul avec Rocks

ManageEngine EventLog Analyzer. Les bonnes critiques et recommandations

Projet IGGI. Infrastructure pour Grappe, Grille et Intranet. Fabrice Dupros. CASCIMODOT - Novembre Systèmes et Technologies de l Information

La sécurité dans les grilles

Portage d applications sur le Cloud IaaS Portage d application

vmware au CC-IN2P3 Déploiement rapide d une infrastructure destinée à de la formation et réflexions sur vsphere.

Utilisation du Cloud StratusLab dans le cadre d application astroparticule à l APC

Maarch Framework 3 - Maarch. Tests de charge. Professional Services. 11, bd du Sud Est Nanterre

Installation du service glite SE/DPM

Généralités sur les systèmes d Exploitation

1 Démarrage de Marionnet

Sébastien Geiger IPHC Strasbourg

Tendances Techniques et compétences des laboratoires

Généralités sur les systèmes d Exploitation

INSTALLATION ET CONFIGURATION D'UN SERVEUR WEB SUR MAC OS X

Cartographie des solutions BigData

Le filtrage de niveau IP

Sommaire. 1 Introduction Présentation du logiciel de commerce électronique 23

Mise en place d'un cluster

Guide de Tarification. Introduction Licence FD Entreprise Forfaits clé en main SaaS SaaS Dédié SaaS Partagé. Page 2 Page 3 Page 4 Page 5 Page 8

La sécurité des données hébergées dans le Cloud

Cloud Computing : Utiliser Stratos comme PaaS privé sur un cloud Eucalyptus

JRES 2007 Solution de stockage répartie sur les centres de recherche INRIA, à base de serveurs de fichiers de type «NAS»

Archivage intermédiaire de données Scientifiques ISAAC Information Scientifique Archivée Au Cines

Evaluation des performances de programmes parallèles haut niveau à base de squelettes

Hyper-V et SC Virtual Machine Manager sous Windows Server 2008 R2

Chi rement des postes PC / MAC / LINUX

Exigences système Edition & Imprimeries de labeur

ACQUISITION DE MATERIEL INFORMATIQUE

Configuration matériel. Tâche 2 : Installation proprement dite de l application sur un serveur de test virtualisé sous VmWare Workstation.

Programmation parallèle et distribuée

IFT3030 Base de données. Chapitre 2 Architecture d une base de données

Fouillez facilement dans votre système Big Data. Olivier TAVARD

les techniques d'extraction, les formulaires et intégration dans un site WEB

Architectures d implémentation de Click&DECiDE NSI

Bases de données Cours 1 : Généralités sur les bases de données

contexte cahier des charges critères de choix fonctionnalités configuration en pratique Bilan Conclusion Backuppc Logiciel de sauvegarde

Détection d'intrusions en environnement haute performance

Acquisition Indexation Classement & Recherche & Stockage Consultation. Solution d archivage sur mesure

SIO Solutions informatiques aux organisations

Mise en place d'un gestionnaire de données léger, pluridisciplinaire et national pour les données scientifiques

Le cloud computing au service des applications cartographiques à haute disponibilité

Architecture de serveurs virtualisés pour la communauté mathématique

UE 8 Systèmes d information de gestion Le programme

Communications performantes par passage de message entre machines virtuelles co-hébergées

Yann Struillou. Domaines de compétence. Développeur Web & Logiciels. 37 ans, en couple, 2 enfants. 19 hameau de Kerguillec Tréméoc

«autres» missions du CC

Défi Cloud Computing

SQL Server Installation Center et SQL Server Management Studio

Linux embarqué: une alternative à Windows CE?

Technologies Web. Ludovic Denoyer Sylvain Lamprier Mohamed Amine Baazizi Gabriella Contardo Narcisse Nya. Université Pierre et Marie Curie

Programmation parallèle et distribuée

Tour des Unités du C.I.A.M. Tour des Unités du C.I.A.M. Maurice Baudry Laboratoire Statistique & Génome, Évry.

BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ

VMware ESX : Installation. Hervé Chaudret RSI - Délégation Centre Poitou-Charentes

Les bases de données Page 1 / 8

Astroparticules. (prospectives en informatique) Giovanni Lamanna. Université de Savoie, CNRS/IN2P3, Annecy-le-Vieux, France

SOMMAIRE. Installation et utilisation HP RDX.doc

Service WEB, BDD MySQL, PHP et réplication Heartbeat. Conditions requises : Dans ce TP, il est nécessaire d'avoir une machine Debian sous ProxMox

Architecture distribuée

<Insert Picture Here> Solaris pour la base de donnés Oracle

Exigences système Edition & Imprimeries de labeur

Retour d expérience de la plateforme de virtualisation sous Proxmox VE à l IPHC journée SysAdmin du 04/12/2014 à l INRA de Toulouse

Grid 5000 : Administration d une infrastructure distribuée et développement d outils de déploiement et d isolation réseau

Une solution opensource d'affichage dynamique - XIBO

Accéder à ZeCoffre via FTP

La Virtualisation Windows chez CASINO. Philippe CROUZY Responsable Infrastructure Equipes Systèmes -Stockage

Logiciels Open Sources et le Secteur Privé

Présentation de la Grille EGEE

Traitement des Données Personnelles 2012

Tutoriel : Utilisation du serveur de calcul à distance de PSE

Vers une fédération de Cloud Académique dans France Grilles J. Pansanel pour le groupe FG-Cloud (M. Airaj, C. Cavet, V. Hamar, M. Jouvin, C.

LES NOUVEAUTES DE COST AND PROFITABILITY MANAGEMENT 8.1

Hébergement PHP. Comprendre pour bien choisir son hébergement

Une nouvelle génération de serveur

GLPI OCS Inventory. 1. Prérequis Installer un serveur LAMP : apt-get install apache2 php5 libapache2-mod-php5 apt-get install mysql-server php5-mysql

SERVEUR MONITOR. le carnet de santé de votre informatique. Arrêtez le mal avant qu il n existe, calmez le désordre avant qu il n éclate.

Colloque Calcul IN2P3

Jean-François Boulicaut & Mohand-Saïd Hacid

Informations générales. Technologies. css3-html5-php-ajax-j-query-mootools-action-script3

Mise en œuvre de la virtualisation à l IGBMC. Guillaume Seith Remy Fritz

Fiche de poste. Ingénieur systèmes Microsoft. Auteur : Pascal GUY Paris, le 16 mai 2011

PHP 4 PARTIE : BASE DE DONNEES

Prise en main d un poste de travail sous Windows sur le réseau du département MMI de l'upemlv. d après M. Berthet et G.Charpentier

Nouveautés Ignition v7.7

Organiser vos données - Big Data. Patrick Millart Senior Sales Consultant

Guide d installation de MySQL

CATALOGUE DES FORMATIONS LANGUES

PPE 1 PRISE EN MAIN DE VMWARE VSPHERE 5.5 & CONFIGURATION D UNE MACHINE VIRTUELLE

parée e avec C. Germain, B. Kegl et M. Jouvin CS de l Université Paris Sud

Le e s tocka k ge g DAS,NAS,SAN

Programmation parallèle et distribuée (Master 1 Info )

Systèmes Répartis. Pr. Slimane Bah, ing. PhD. Ecole Mohammadia d Ingénieurs. G. Informatique. Semaine Slimane.bah@emi.ac.ma

Transcription:

Portage d une application de physique sur la datagrid Application existante : Génération/simulation/reconstruction/analyse pour ATLAS : physique du B. En production au CERN. Portage sur la datagrid : En cours d implémentation au CCin2p3. L objectif visé est l utilisation de ressources de calcul dans les laboratoires. 1

Cas d utilisation - Physique du B http://isnwww.in2p3.fr/atlas/b-cp.html Physique: Mesures de précision de la Violation CP Exemples de canaux de désintégration à étudier: Bs! J/ψ (µµ) η (γγ) ; Bd! J/ψ K* 0 (Ks π 0 ); B! J/ψ X But des mesures: Extraction de β et γ, angles du triangle d unitarité et étude des mélanges Bs Bs Outils pour l étude: Générateurs d événements Simulation Geant3! Geant4 Reconstruction, ATRECON! New-Reconstruction/Athena Analyse de type classique (PAW, ROOT, ) 2

Génération! les données en 2006 L outil de génération: ATGEN-B (PYTHIA) Le taux raisonnable: 100000 événements par canal d étude Actuellement: 6253 événements signal Bs! J/ψ (µµ) η (γγ) ;!cartouche 2400 événements signal Bd! J/ψ K* 0 (Ks π 0 );!cartouche 100000 événements B! J/ψ X!cartouches Temps CPU, espace disque: 4.10 5 sec pour générer 15000 événements sous Linux/(P500 CERN)! output de 1 Gb, format Zebra! HPSS, Cartouches... 3

Simulation un point très important Outils: Dice-Geant3! Geant4 dans 2 ans!! OS: Linux Input: Fichiers de génération lecture cartouche ou disque CPU: 600 à 900 sec / événement Procédure au CERN/CCIN2P3: Simulation obligatoirement en batch # événements <= 170! output Zebra <= 1 Gb <= 10 5 sec Output: Beaucoup de fichiers à gérer! Bookkeeping indispensable Utilisation HPSS pour stocker (agréable car plus simple à gérer par rapport aux cartouches)! Bookkeeping indispensable Beaucoup de place disque: 1 Tb pour un canal à étudier 4

Reconstruction Reconstruction Old way: ATRECON Input: Fichier Zebra de la simulation CPU:< 8 minutes/événement simulé Output: Fichier Zebra et Fichier Hbook/CBNT-ntuples Reconstruction sous ATHENA Framework: Idem sauf temps CPU plus long 5

Schéma global ATGEN-B DICE/GEANT4 ATRECON/REC_ATHENA 60 KB/ev 5 MB/ev <1 MB/ev Génération Zebra/storage Cartouches?/HPSS? Simulation Zebra/storage HPSS? Reconstruction CBNT-ntuples HPSS? 6

Problème de la datagrid du point de vue du physicien Le partage des données entre centres de calcul: Si les données sont éclatées sur plusieurs sites (CERN et CCin2p3) elles doivent malgré tout être accessibles à l ensemble de la communauté scientifique. La copie des cartouches n est pas envisageable. HPSS existe sur les 2 sites (CCIN2P3 et CERN), L ouverture des transferts serait possible mais le CERN est réticent. CASTOR sur les 2 Sites? Il faut trouver une solution et vite!!!!!!!!!! 7

Avantages de la datagrid du point de vue du physicien Facilite la gestion des données Doublement (ou plus) la capacité de calculs, le site étant indifférencié 8

Travail à réaliser et outils à mettre en oeuvre 1 - La première plate-forme de test : CCIN2P3 : 4 nœuds de calcul Accès aux librairies CERN par AFS Accès au stockage par HPSS (souhaitable car facilite la gestion des gros fichiers, supprime les manipulations des cartouches) Échange de données avec le CERN? Techniquement possible via HPSS mais non souhaité par le CERN qui favorise CASTOR ISN-Grenoble : 4 nœuds de calcul Accès aux librairies CERN par AFS Facilité d échange avec le CC et le CERN à évaluer via : RFIO BBFTP GLOBUS 9

Travail à réaliser et outils à mettre en oeuvre 2 - Le bookkeeping Le stockage des données sur HPSS et l éclatement de celles-ci sur plusieurs sites rendent l utilisation d un bookkeeping obligatoire. Le bookkeeping contiendra les informations du physicien sur les données et des informations sur la localisation de celles-ci. La maquette que l ISN est en train de réaliser sera basée sur un serveur apache couplé à une base de données mysql. 10

Personnes impliquées à l ISN de Grenoble Physiciens et doctorants d ATLAS: Fairouz Ohlsson-Malek Sébastien Viret Informaticiens: Solveig Albrand Christine Gondrand Jérôme Fulachier Bernard Boutherin 11