L informatique à D0. D0 à FNAL. D0 à Lyon

Transcription

1 L informatique à D0 D0 à FNAL Données du Run II Infrastructure matérielle Stockage/Accès aux données Infrastructure logicielle Logiciels d analyse Monte Carlo à D0 D0 à Lyon Installation software D0 HPSS et stockage des données BBFTP/transfert des données Station SAM à Lyon Les données D0 et le CCIN2P3 Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 1

2 Les données du Run II D0 au Run II (1 Avril 2001!) 600 Millions d événements par an Taux moyen d acquisition : 20 Hz Taille moyenne d un événement RAW : 250 Kb Reconstruit : 125 Kb DST : 84 Kb mdst : ~ 10 Kb HORS Monte Carlo ( 150 Tb/an ) ( 75 Tb/an ) ( 50 Tb/an ) ( 6 Tb/an ) ~ 300 Tb/an + Bases de données (Oracle) : quelques centaines de Gb Stockage disque: mdst+staging temporaire+lots analyses ~ 10 Tb/an Stockage K7 : RAW (hors robot)+ reconstruction + DST ~ 300 Tb/an Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 2

3 Infrastructure matérielle SGI-IRIX Origin processeurs 21 Tb 64 Gb : Disques données, SAM cache Jobs batch (LSF) et interactif 4 processeurs : Serveur des users home PC-Linux Desktops-clusters Building du soft D0/Linux ferme de reconstruction Serveur d analyse PC-NT-2000 Desktop Serveurs NT Building du soft D0/NT ferme de reconstruction online SUN Serveurs Oracle (on/offline) Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 3

4 Stockage/Accès aux données SAM (Sequential Access Model) Système Client-serveur Dialogue avec data base Oracle et système de stockage Tourne sur différents hosts (SGI, Linux) regroupés en stations logiques ENSTORE Gestion de la robotique/bandes Robot : type ADIC AML/2 Cluster Linux 4 bi-pro : Config, log,pnfs,alarm 14 bi-pro : movers (28 drives) Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 4

5 Infrastructure logicielle Produits : Les logiciels sont groupés en produits (FNAL ou D0) UPS/UPD (méthodologie) : Les produits (versions, dependances,etc..) sont gérés par : UPS (Unix Product Support) : Gestion base de données des produits locaux UPD (Unix Product Distribution) : Interrogation base de données/installation des softs à partir des serveurs de soft à FNAL CVS : Le soft est organisé en «packages» gérés par «cvs» Compilation : KAI C++ pour Unix et VC++ pour NT SRT(2) (SRT : Software Release Tools - BaBar) : Controle de la Compilation et du link Ensemble de makefiles donnant accès d une façon transparente aux différentes librairies (CTEST/CTBUILD - D0) Releases : Ensemble de tous les «packages» de D0 avec un certain «tag» Il y a une release «test» par semaine (txx.yy.zz) et quelques releases de «pro»duction (pxx.yy.zz) par an. ( Linux FRH 6.1, IRIX 6.5 et Windows NT) Sécurité : Authentification Kerberos ( ssh, scp, «telnet-ftp»+cryptocard ). Pas de AFS! Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 5

6 Logiciels d analyse à D0 Le framework : Cadre logiciel de générations, reconstructions et analyses (C++) ZOOM : Librairies des classes C++ de FNAL D0OM : Interface pour la persistence des objets de D0. Découplage du produit de I/O : DSPACK ( NA49 Structures C) EVPACK : DSPACK amélioré par D0 (C++). Accès direct et compression des données MSQL Oracle ROOT : Outil d analyse OpenInventor : Graphique et visualisation des événements Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 6

7 Production Monte Carlo Programme de simulation (D0gstar) basé sur GEANT 3.21 «wrappé» dans C++ En moyenne 1.5 Mb par événement 6 minutes de CPU sur une SGI R12000 D0 : Essentiel de la simulation en dehors de FNAL : Lyon, NIKHEF, Prague Besoins estimés à une centaine de millions d événements par an Une fois la simulation faite, retour à FNAL et stockage dans SAM+ENSTORE Reconstruction des événements dans les fermes de bi-processeurs Linux Pentium III de 500 à + de 750 MHz 512 Mb 40 Gb Processing : 5 à 10 s/event Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 7

8 D0 à Lyon Installation software Le centre de calcul de l IN2P3 est site officiel de production Monte Carlo D0 a poussé le CCIN2P3 à introduire la plateforme Linux (Le code de D0 ne tourne pas sur AIX/HP) Le software nécessaire à la production Monte Carlo y est installé L installation de «releases» complètes était difficile : Paths AFS + UPS trop long, demande modif dans tcsh! Manque de path officiels αbinaires inutilisables, recompilation obligatoire! Une release a une taille moyenne de 3-4 Gb. 2 Gb de partition (AFS) est une contrainte Récement : Introduction d un PC-Linux «ccd0» sur lequel une installation automatique de release peut se faire Création de liens /D0 et /d0dist pointant sur la partition AFS contenant le software D0 Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 8

9 HPSS et stockage de données Le centre de calcul de l IN2P3 utilise HPSS comme moyen de stockage massif D0 utilise intensément HPSS depuis Décembre 2000 Les données en format DSPACK sont lues/écrites sans aucun problème sur HPSS Problèmes rencontrés avec le format EVPACK. Résolus en introduisant l interface «RFSTREAM» qui permet de lire les fichiers directement dans HPSS (encore quelques problèmes aux links entre le soft D0 et «rfstream») Chiffres de stockage D0 dans HPSS : ~ 2 Tb de Monte Carlo déjà stockés Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 9

10 BBFTP/transfert de données D0 utilise BBFTP pour le transfert des données depuis/vers le CCIN2P3 BBFTP : Outil crée au centre de calcul pour BABAR (objectivity) Amélioré pour D0 (sécurité, encryption «ssh»,etc ) Il y a plus de un an BBFTP tournait à partir de «xstage» BBFTP amélioré avec une interface «RFIO» et donc peut aller chercher les données directement dans HPSS Fermilab utilise la version incluant l authentification Kerberos La vitesse moyenne de transfert est de 17 Mbit/s (2 fichiers à la fois): (BBFTP configuré avec 5 streams, valeur optimale pour HPSS) Lyon α CERN : 155 Mbit/s CERN α STARTAP (Chicago) : 155 Mbit/s STARTAP α FNAL : 20 Mbit/s Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 10

11 Station SAM à Lyon Les données de la production Monte Carlo au CCIN2P3 sont stockées dans HPSS SAM fait l export (l import) des ces données vers (de) Fermilab En 2001 : La station SAM du centre de calcul est installée La station tourne depuis quelques semaines Récement les routines de SAM ont été adaptées pour BBFTP La station SAM_BBFTP : marche très bien dans le sens Lyon α FNAL Pour l import (FNAL α Lyon) : SAM utilise un disque cache de plus de 1 Tb Solution impossible au ccin2p3! Contourner ce problème en faisant que l espace HPSS soit vu comme disque local (RFIO) Problème : D0 n utilise pas RFIO Solution : Passer par un disque cache au ccin2p3? (Seuls les utilisateurs autorisés peuvent faire du déclare/store dans SAM) Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 11

12 Les données D0 et le CCIN2P3 Sachant que D0 produit : 50 Tb par an de données en format DST 6 Tb par an de données en format mdst (TMB) Le transfert se fera par réseau (bbftp) µdst: Les analyses de D0-France dans SUSY et TOP ~ 2 à 4 Tb DST : Reconstruction sur site α besoin de copie de base de données Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 12

13 D0-France : L équipe D0 du CCIN2P3 A. Balandras : Scripts de production Monte Carlo L. Duflot : Installation software M. Jaffré : Insallation software ( Monte Carlo ), BBFTP E. Lebreton : HPSS, BBFTP P. Lebrun : HPSS, SAM et SAM_BBFTP Centre de calcul : G. Farache : BBFTP F. Hernandez : HPSS Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 13