CLOUD COMPUTING, CALCUL INTENSIF, TRAVAIL COLLABORATIF : L'EXPÉRIENCE DE FRANCE-GÉNOMIQUE SUR LE CENTRE DE CALCUL CEA CCRT (TGCC)

Transcription

1 CLOUD COMPUTING, CALCUL INTENSIF, TRAVAIL COLLABORATIF : L'EXPÉRIENCE DE FRANCE-GÉNOMIQUE SUR LE CENTRE DE CALCUL CEA CCRT (TGCC) Claude SCARPELLI DSV / INSTITUT DE GÉNOMIQUE LABORATOIRE D INFORMATIQUE SCIENTIFIQUE PAGE 1

2 FRANCE GÉNOMIQUE? C est la possibilité, grâce aux Investissements d Avenir, de structurer et de coordonner la génomique française, de la maintenir à l état de l art international aussi bien en termes de capacité que d expertise, et de lui assurer une visibilité mondiale France Génomique est une infrastructure dédiée à la production et à l analyse de données génomiques, pour des programmes de recherche collaboratifs dont les besoins en stockage et calcul sont importants. Société Instrument Nombre Illumina HiSeq2000 / Life Technologies SOLiD, Ion Proton 5 Roche PAGE 2

3 DIVERSITÉ DES APPLICATIONS: EXPERTISES COMPLÉMENTAIRES Bioinformatics Expertise IG De novo sequencing, large projects, metagenomics, resequencing, genotyping, biodiversity, genetic of human deseases Sequencing IG / Genoscope (Evry) IG / CNG (Evry) TGML (Marseille) MGX (Montpellier) Pasteur Institute (Paris) Montagne Sainte Geneviève (Paris) IPMC (Sophia Antipolis) IGBMC (Strasbourg) Genotoul (Toulouse) Expertise De novo sequencing, metagenomics - large projects, Biodiversity Resequencing, genotyping, functional sequencing large projects, genetics of human diseases Full exome resequencing, functional sequencing RNAseq, chromatin architecture, DNA replication Microorganism genomics, metatranscriptomics and metagenomics Resequencing, RNAseq, epigenomics RNA analysis (Small RNAseq, RNAseq) RNAseq, ChIPseq, epigenomics APLIBIO (Paris & IdF) PRABI (Lyon Doua) ReNaBi-GO (Roscoff, Nantes, Rennes) ReNaBi-GS (Marseille, Montpellier) ReNaBi-NE (Lille) ReNaBi-SO (Toulouse, Bordeaux) Metagenomics, comparative genomics, RNAseq, genome annotation, ChIPseq, detection of variants in genomic sequencing Comparative genomics, metagenomics RNAseq, assembly and mapping algorithmics Evolutionary, comparative and functional genomics RNAseq, comparative genomics RNAseq, eukaryotic gene prediction, NGS data quality control Effectif total = 376 seq Genoscope seq CNG Resequencing, medium throughput seq Marseille seq Montpellier genotyping, RNAseq (animal & plant seq Pasteur seq MtgneSteGenev genetics) seq Nice seq Strasbourg seq Toulouse bioinfo IdF 4

4 BESOINS ET CONTRAINTES SPÉCIFIQUES POUR LA GÉNOMIQUE Nécessité de pouvoir exécuter tous les types de programmes utilisés par la communauté génomique, Durée d exécution inconnue à priori, et pouvant dépasser la journée «embarrassingly parallel» : - nécessité «d outils supports» (Glost, Pegasus, systèmes «maison») Empreinte mémoire importante (> 2-4 To). Gros volumes de données mis en œuvre : Hiseq 4000 : 2 x 1 To en 3 jours - Besoin de stockage vivant et à long terme, pour limiter les mouvements de données durant la vie du projet, Support pour le travail par groupe respect de contraintes de confidentialité sur les données (notion d espace partagé) haut niveau de sécurité (données sensibles), Quota de groupe Support pour la gestion des versions de codes, supports de versions multiples Publication des données par des portails, Activités de production ET de recherche, PAGE 5

5 LIGNES DIRECTRICES des traitements doivent être effectués «près» des séquenceurs analyses de premier niveau, filtrage, CQ, démultiplexage, compression avant transfert, pour maitriser ce «déluge de données», il faut des centres de traitements adaptés et bien dimensionnés : nécessité de stocker dans de bonnes conditions de sécurité de grandes quantité de données inadaptation des salles informatiques locales à une prévision multi-petabytes et de plusieurs milliers de cœurs (surface, charge au sol, électricité, refroidissement), besoins d accès à des technologies de stockage hiérarchique, permettant d adresser la problématique de la sécurisation de peta-octets de données, besoin d accès à des technologies permettant de garantir l alimentation sans blocage des CPU en données, possibilité d accès à des architectures nouvelles génération (p. ex. GPU, manycores) c est-à-dire logistique et environnement, capacités de stockage (1-10 Po) et de traitement (3.000 cœurs) importantes, dans de bonnes conditions de sureté, évolutivité, 6 efficacité de l accès des unités de calcul aux données.

6 TGCC : UNE ARCHITECTURE ORIENTÉE DONNÉES Calculateur AIRAIN 420 Tflops Calculateur CURIE Tflops Tier0/Tier1 20 Go/s CCRT GL-TGCC 7,5 Po de disques 100 Go/s ST-TGCC Niveau 1: 1 Po de disques Niveau 2: 20 Po de bandes 5 JUIN 2015 PAGE 7

7 INFRASTRUCTURE Stockage local (Airain) et global (CCC) Lustre scratch Stockage local Airain 1,5 Po To utiles 100 To / groupe 10,4 Mi / groupe* NFS home 15 Go/groupe sauvegardé 150 Go/s 4 routeurs Lustre 100 Go/s 6 routeurs Lustre 100 Go/s 5 Po+ Lustre work Lustre genostore + HPSS 5 To / groupe 2,5 Mi / groupe* Taille selon le groupe Fichiers > 1 Go 512 ki / groupe PAGE 9

8 CONFIGURATION AIRAIN Calculateur Airain, cœurs (420 Tflops), dont dédiés FG Le stockage est accessible aux autres calculateurs du TGCC, dont Curie ( cœurs, 2 Pflops, appels à projets PRACE) Archivage des données initiales Espace de stockage dédié FG : 2 Po HSM 5 Po, extensible PAGE 10

9 BIEN ADAPTÉ À... Projets à longue durée de vie (3-5 ans), Mettant en œuvre des cohortes, ou de nombreux prélèvements (biodiversité), Construction des références au fur et à mesure de l acquisition des données, Gros jeux de données, parallélisme (massif ou sans besoin fort de synchronisation), Points forts Linux + sémantique POSIX : «comme sur un système départemental» Versions des packages logiciels sous le contrôle de l utilisateur, Mise en œuvre simultanée de plusieurs versions des logiciels métiers, 5 Peta-octets de stockage, extensible Stockage hiérarchique : transparent pour les utilisateurs, cœurs, 8 Go/cœur, 2 machines «grande mémoire» (2 To), Service d archivage des données brutes. Administration et supervision, support et optimisation des codes, niveau de sécurité élevé. Possibilité d archivage des données brutes, accès aux données en lecture seule par des portails PAGE 11

10 EVOLUTION DU CENTRE DE CALCUL Complexification des environnements HPC + d'éléments + d'hétérogénéité + d'évolutivité A un coût optimal Évolution du besoin utilisateurs Des chaînes de calcul plus complexes (longues et hétérogènes) Des services simples et fiables Des solutions d'exportation de données «personnalisées» 05/06/2015 PAGE 12

11 LES ÉVOLUTIONS DEMANDÉES La relation avec la communauté pousse les axes suivants : + d'adaptabilité + de fiabilité + d'utilisabilité + de surveillance et de monitoring => Ces axes ont été intégrés dans les évolutions futures du centre de calcul 05/06/2015 PAGE 13

12 ADAPTABILITÉ L'adaptabilité est un des axes forts Permettre à l'utilisateur de choisir le système d'exploitation dans lequel vont tourner ses codes Pouvoir conserver un système d'exploitation certifié à l'application Pouvoir utiliser ses propres produits (compilés localement) => évolution vers les principes du calcul à la demande Permettre à l'utilisateur de lancer ses propres services rémanents Accessibilité à des bases de données externes Directement des nœuds de calcul et de façon sure 05/06/2015 PAGE 14

13 FIABILITÉ + d'éléments dans le centre de calcul et donc + de pannes potentielles Tolérance à l'indisponibilité Fonctionnement possible en mode dégradé => la connaissance des ressources opérationnelles et des demandes utilisateurs permet d'allouer des ressources dégradées (nœuds avec moins de mémoire, moins de cpu,...) Fonctionnement avec du matériel supplémentaire - Redondance hardware (nœud de spare,...) Fonctionnement dans des salles différentes Anticipation / prédictions des pannes La souplesse et la transparence apportée par la virtualisation permet une plus grande réactivité (possibilité de déplacer des jobs de calcul) Fiabilisation du temps de restitution Fourniture d'une solution de «checkpoint restart» 05/06/2015 PAGE 15

14 UTILISABILITÉ Développement de services Service de diffusion d'information du centre de calcul, groupe de discussions,... Portail de soumission adapté à chaque communauté, à chaque code,... Portail d'accès aux données adapté à chaque communauté Service de workflow (réponse à la complexité des chaînes de calcul) Service de transferts de fichiers optimisés Service administratif (création de comptes, ajout de groupe, comptabilité,...) => Vers des services toujours plus personnalisables 05/06/2015 PAGE 16

15 SURVEILLANCE ET MONITORING Surveillance et corrections automatiques Sortie automatique d'éléments suffisamment défaillants Analyse / Essai de correction des erreurs Vérification et retour en production si nécessaire Statistiques d'utilisation Introduction d'un cluster spécifique Données accessibles aux utilisateurs surveillance Cluster de statistiques 05/06/2015 Licences PAGE 17

16 SÉCURITÉ Renforcement de la sécurité globale du centre de calcul Renforcement de la sécurité périmétrique - Réduction de la surface d'attaque du centre de calcul - Contrôles accrus des flux entrants et sortants Renforcement de la sécurité interne (durcissement des systèmes) Détection automatique et traçabilité d'intrusions éventuelles Cloisonnement fort des différentes populations Chiffrement des données Mais la sécurité reste l'affaire de tous PAGE 18

17 Tara PF CNG AP FP 1002 levures e-bio AP FG IRIGIN Curie Genoscope ANR Chêne CNG CEPH Liver AP FG Hemaseq AP FG French exome AP FG Microsplicother AP FG CELLMYOME BILAN Beaucoup de travail / discussions pour intégrer la communauté France Génomique dans le centre de calcul Niveau d utilisation élevé Des évolutions en perspective : Logiciels interactifs Bases de données «robots», workflows Élasticité Allocation 2015 Extrapolation 2015 Tout en respectant les contraintes d'un grand centre de calcul (en particulier celles de sécurité) 19 05/06/2015

18 CONVERGENCE HPC / CLOUD PRIVÉ - SOUVERAIN Cloud privé / souverain Calcul Données partagées VM En-ligne Ondemand computing HPC PAGE 20

19 QUESTIONS? 21 Présentation TGCC / CCRT 9 décembre