Colloque Calcul IN2P3

Transcription

1 Colloque Calcul IN2P3 Morceaux choisis 1

2 La mission Évolution des technologies Grille Cloud Calcul parallèle, HPC, GPU Big Data Open Access et pérennisation des données S'inscrire dans le contexte français et international Quels choix stratégiques? Comment faire évoluer nos compétence? Comment s'inscrire et peser dans les choix nationaux et internationaux? 2

3 Les participants Direction: J.Martino, U. Bassler, R. Pain, G. Lamanna P.E. Macchi L. Duflot V. Breton J. Pansanel C. Biscarat M. Jouvin D. Chamont D. Boutigny V. Beckmann C. Heft F. Chollet F. Suter B. Kegel (par tel.) G. Rahal S. Incerti 3

4 Les grands thèmes Organisation IN2P3 / CNRS / MENESR Réseau des informaticiens Europe RDA Software et méthodes Futur du logiciel: HSF, parallèle, GPU Computing scientist & IN2P3 Open Access & data presevation Big Data sites WLCG LCG-France Cloud fédéré Logiciels grille/cloud Mésocentres Virtual Data Centre François Arago 4

5 Cloud fédéré Potentiel du cloud Simplification admin/opération Environnement de job plus souple (VM) Compatibilité de solutions académiques et commerciales Déjà utilisé dans HEP: Queues LCG, e.g. CERN_CLOUD Utilisation des fermes de trigger pour la prod MC Fort soutien de l'ue: Open Science Cloud avec clouds hybrides académiques/commerciaux Fédération de clouds académique EGI ENGAGE Développements de solutions INDIGO - DATACLOUD 5

6 Cloud fédéré Fort potentiel pour les expériences de l'in2p3 qui n'ont pas besoin de la grosse infrastructure de la grille Solutions souples offertes par FG: du plus simple (portail WEB) au plus riche (Dirac) 6

7 HPC Grille WLCG Cloud 7

8 LCG: grille WLCG Infrastructure sans équivalent Sites, réseaux Toujours attractif: Belle2 Restera longtemps la solution principale pour les expériences LHC Des évolutions à suivre: Simplification de l'admin Plus de solutions communes Sites light Grille WLCG Nous devons continuer d'explorer les solutions, en particulier pour simplifier l'exploitation 8

9 LCG: HPC Beaucoup d'initiatives dans les expériences (US, UK, Alle magne, ) Preuves de faisabilités mais adaptations au cas par cas Solutions individuelles: rationalisation au niveau WLCG? HPC Initiatives françaises: IPHC LPNHE LPSC SUBATECH Contacts TGCC/Curie IDRIS? Rapprochement avec GENCI? 9

10 LCG: Cloud Déjà utilisé dans LCG: Queues CERN_CLOUD Utilisation des fermes de trigger Externalisation: OSG Amazon CERN Amazon Helix Nebula HNSciCloud Data federation (root, http) Initiatives françaises: CCIN2P3 IPHC LPSC Cloud 10

11 Logiciels : middleware et interface utilisateur 11

12 Logiciels Dev / devops Synergies entre labos 12

13 Mésocentres et IN2P3 mésocentres Mésocentres souvent site multi-tutelles et multi-financement Financement national piloté par GENCI Dans le monde HPC, souvent une étape vers les centres nationaux Sites grille et cloud HTC, cloud, ouverture internationale Souvent plus gros en terme stockage, réseaux Support ingenieur Sécurité 13

14 14

15 15

16 Autres modèles de calcul Dans la communauté astroparticule les besoins sont plus hétérogènes et donc les solutions aussi : Certaines ont un modèle de calcul proche de LCG (e.g. modèle prévu pour EUCLID) Certaines ont des problèmes de traitement d'image et «empilement» des images : besoin très spécifiques en IO (intensif) et processing (multi CPU et/ou GPU) donc centres et matériel dédiés. En plus du volume des données initiales, LSST apporte une problématique : beaucoup de résultats scientifiques seront obtenus par des interrogations d'une très grosse DB (30000 milliards de mesures, 15PB). La problématique est de designer l'infrastructure matérielle et logicielle simultanément. 16

17 Pas eu le temps de présenter ici... Programmation parallèle et GPU HSF Interactions avec les Computer Scientist de l'in2p3 Rôle du RI3 et interactions avec l'in2p3 Comment s'inscrire dans le paysage de la feuille de route nationale de l'europe (EU T0, INDIGO DATAGRID, EGI ENGAGE ) comment mieux anticiper, voire susciter les projets 17

18 Conclusions Ce n'est qu'un survol des discussions qui ont eu lieu (une grosse journée très pleine) Ce n'est que ma vue de ce qui s'est discuté, un document officiel sera publié. Même si cela n'a pas été discuté en profondeur à cette occasion, il est clair que l'in2p3 se pose la question de l'optimisation des sites LCG France. La question reste ouverte. 18