Grille de calcul et physique des particules Vincent Garonne CPPM, Marseille Contenu de la présentation Etat de l art : Grille de calcul Domaine d application : La physique des particules et LHCb Quelques exemples : Data Grid & Dirac JJC 2003 Novembre 2003 1
Le concept de Grille informatique mainframe Microcomputer Mini Computer Cluster 2
La Vision Grille Les chercheurs sont répartis géographiquement. Ils partagent des données et doivent accéder à celles-ci ainsi qu a des moyens de calculs repartis dans le monde. La grille : Interconnecte par le réseau des ressources informatiques entres elles pour fournir à l utilisateur une grande puissance de calcul et de stockage Les instruments scientifiques qui produisent de gros volumes de données. 3
En résumé La grille de calcul est un système: globalisant des ressources informatiques entres elles. les regroupant de manière logicielle par le réseau. Un utilisateur a la possibilité de demander les données qui l intéressent et d effectuer un algorithme avec. 4
Une tentative de classification Grille d informations Faire partager la connaissance Grille de données Stockage distribué à grande échelle Grille de calcul Agréger la puissance de calcul * «A distributed system is a collection of independent computers that appear to the users of the system as a 5 single computer» Distributed Operating System. A. Tanenbaum, Prentice Hall, 1994
Les différentes incarnations 6
Grille de calcul & Physiques des particules The LHC Detectors Grille de calcul & Physiques des particules 7
Expérience LHCb : Étude précise de la violation CP dans les systèmes de mésons beaux produits lors de collisions proton-proton. Ses caractéristiques : De gros volumes de données à analyser (de l ordre de 1.3 petaoctets par an). Les utilisateurs sont répartis sur l Europe (500 sur 20 sites). Les moyens de calculs et de stockages sont eux aussi répartis sur l Europe. Actuellement expérience en phase de conception : simulation des données. 8
Expérience LHCb : Les besoins d un utilisateur : Analyser et exploiter ces données De manière simple, efficace et transparente : Fournir des informations sur les ressources Rendre les données facilement accessibles Assurer avec un fort niveau de sécurité. La réponse «Grille de calcul» 9
Parmis les projets de grille : le projet de R&D DataGRID 10
DataGRID Projet européen <<DataGRID>> de trois ans Démarré en 2002 Enjeu de cette grille: Faciliter l'accès à des moyens de calculs intensifs via un réseau et un partage à grande échelle des ressources. Autres activités de recherche concernées : Étude du génome Climatologie 11
UI JDL Architecture DataGrid Replica Catalogue (RC) Information Service (IS) DataGrid Resource Broker (RB) Logging & Book-keeping (LB) Job Submission Service (JSS) Storage Element (SE) Compute Element CE) 12
Composants d une grille Deux éléments clés : Ordonnanceur de grilles (Resource broker) : Choisit un élément répondant à une requête (nœud de stockage, de calcul, réseau pour communiquer, etc.) Service d information : Fournit l information sur les différentes ressources et leurs états (dynamique et statique) 13
Goulots étranglements Information Service Resource Broker User requests Status information: resources ; jobs. Jobs Site A Site C Site D Site B 14
Une autre approche: Dirac 15
Dirac : Vue générale Distributed Infrastructure with Remote Agent Control Infrastructure destinée à la production de données par simulation du détecteur LHCb Flexible et adaptable Installé avec succès sur 17 sites de productions. Dernière production : 20 Téraoctets (10 12 ) de données. 16
DIRAC : Architecture Bookkeeping service Monitoring service Production service Bookkeeping data Agent Site A Site B Monitoring info Agent Site C Get jobs Agent Site D Agent 17
En conclusion 18
Caractéristiques des grilles informatiques Caractéristiques des grilles informatiques Unité de calcul hétérogène Non-prédictibilité des performances des réseaux Aspect dynamique des ressources de calcul Un champ applicatif vaste avec des besoins variés 19
Programmer les grilles de calcul Problèmes et défis Une approche nécessairement pluridisciplinaire Système, réseaux, sécurité, applications, Politique d ordonnancement des calculs temps de réponses minimaux pour l utilisateur Utilisation de ressources Équilibrage dynamique par redistribution intensive des données (réplicata) Repenser l algorithmique (parallèle) Interopérabilité de grilles : Faire fonctionner plusieurs grilles ensemble 20
Références European Data Grid : LCG : Global Grid Forum : LHCb : ACI Grid : http://www.edg.org http://lcg.web.cern.ch/lcg/ http://www.gridforum.org/ http://lhcb.web.cern.ch/lhcb/ http://www-sop.inria.fr/aci/grid 21