La fédération de Clouds de l IFB

Transcription

1 La fédération de Clouds de l IFB Institut Français de Bioinformatique - IFB French Institute of Bioinformatics - ELIXIR-FR CNRS UMS Gif-sur-Yvette - FRANCE Assemblée Générale IFB janvier 2016

2 A lot of bioinforma-cs tools tools BLAST FastA OMSSA ClustalW2 SSearch PeptideShaker ARIA BWA X!tandem HMMer TopHat samtools Galaxy Clustal Muscle fastqc Omega R ABYSS ARIA 2.3 Bioconductor 2.11 biomaj BLAST Blat 35 Bowtie Bowtie beta7 BWA BWA CAP3 CD-HIT Clustal Omega CLUSTALW 2.1 Cufflinks Cutadapt E-SURGE Exonerate express FastA 3.6 FastQC Galaxy portal GATK HMMer 3.0 ImageJ 1.48 khmer 1.1 M-SURGE MEME 4.7 MMSEQ a Mobyle MODAL MultAlin MUSCLE neo4j Oases OMSSA PeptideShaker phyml 3.1 PREDATOR proline python 2.7 R 2.13 R R R-studio Ray 1.3 RSAT samtools Samtools 1.1 SearchGUI SeqClean Shiny Stacks STAR 2.4.0f1 SuMo v1 TGICL TopHat trim_galore Trinity U-CARE VCFtools Velvet X!tandem XPLOR-NIH

3 Many interfaces 3

4 e-infrastructure de l IFB 4

5 Cellule e-infrastructure - Membres Dans le cadre du PIA RENABI-IFB Christophe Blanchet (CNRS) Mohamed Bedri - Cloud computing (CDD, 2014-Dec, 18M) Awa Sepou Ngaïlo - Administration Système et Réseau (CDD, 2015-Oct, 18M) Sandrine Perrin - Intégration des outils et applications (CDD, 2015-Oct, 18M) Xxx Xxx - Intégration des données (CDD,??, 18M) Sur projets Jonathan Lorenzo - Projet PIA BIODATACLOUD - Intégrations des données et outils (CDD, 2015-Sep, 12M) Maxime Ledée - Apprentissage M2 Rouen - Intégrations des données (CDD, 2015-Sep, 24M) Bryan Brancotte - Projet EU CYCLONE - Intégrations des applications (CDD, 2015-Déc, 24M) Anciens Marie Grosjean - Intégrations des données et outils (CDD, 2014-Oct/2015-Juil) 5

6 IFB s e-infrastructure Mission : to provide core bioinformatics resources to the life science research community. To set up a French IT infrastructure (cloud) devoted to management and analysis of biological data To provide hardware, data collections and bioinformatics tools To collaborate with international infrastructure (ELIXIR) Current resources A national hub : IFB-core IT resources hosted at CNRS IDRIS SC center A network of regional centers 34 bioinformatics platforms - 15,000 cores - 6 PB 4 running clouds Create a federation of clouds for life sciences C C C C 6

7 Cloud? Essential characteristics On-demand self-service No human intervention Broad network access Fast, reliable remote access Rapid elasticity Scale based on app. needs Resource pooling Multi-tenant sharing Measured service Direct or indirect economic model with measured use Deployment models Private Single administrative domain, limited number of users Community Different administrative domains with common interests & proc. Public People outside of institute s administrative domain Hybrid Federation via combination of other deployment models Service models Software as a Service (SaaS) Direct (scalable) hosting of end user applications Platform as a Service (PaaS) Framework and infrastructure for creating web applications Infrastructure as a Service (IaaS) Access to remote virtual machines with root access 7

8 Virtualisa-on With some limits Virtual machines 1 N } } Thanks to Olivier Collin App App Application Guest OS Virtual HW Guest OS Virtual HW Operating System Hypervisor Hardware CPU RAM Stor. Netw. Hardware CPU RAM Stor. Netw. Physical server 8

9 IFB s Cloud-s- IFB-GO APLIBIO IFB-NE In IFB s premises IFB-core (Gif) GenOuest (Rennes) In collaboration BiLille/Univ.Lille (Lille) BISTRO/IPHC-EGI fedcloud (Strasbourg) IFB-core PoC & plans URGI (Versailles) PRABI-LBBE (Lyon) PRABI IFB-SO IFB-GS => Towards a federation common identity and access management interoperability of VMs 9

10 Container docker.com Container layer 10

11 Managing biological data Collections of reference data (TB) Databases updates and index built in IFB-core Transfers from IFB-core to regional PFs BioMAJ Experimental data (TB) Regional desks: deposit Local archiving Replicate to IFB-core (irods?) User data (MB-TB) Object storage (replication) Multi-site nosql (distribution) GenOuest IFB-core Two issues : 1. Transfer between sites is the issue 2. Biomedical data (security) PRABI

12 Move VMs rather than data NGS C BI NGS data PRO VM BI VM C PRO VMs IFB s marketplace & VMs repository for life sciences NGS data VM PRO BI C IMG PRO data IMG BI NGS BI IMG PRO Biological platform (Genomics, IMaGing, PROteomics...) Bioinformatics centre C C C Cloud resources Researchers 12

13 Machine na-onale IFB-core IFB-core # Compute Cores # TB Storage # TB RAM Max size of a VM Technology Location Pilot 200 (+160) 50 (+96) 2 (+1) 20c 256GB StratusLab CNRS-IDRIS, Paris ,000 1,000 -??? ,000 2,000 -??? CNRS-IDRIS, Paris CNRS-IDRIS, Paris NGS, imaging, statistics, PaaS IaaS launch jobs Scientists RENATER 10giga SaaS Frontend Master Virtualization Layer Shared FS Workers Web portal Pdisk storage iscsi 10giga eth IDRIS CNRS SC-center 10giga eth Cloud Hypervisors - std nodes: 32c 128GB - bigmem nodes: 40c 256GB 13

14 Machine na-onale (2) Calcul 10,000 coeurs serveurs (hyperviseurs) - 6 racks OpenStack, CloudStack? Stockage Sur disques : 2 Po - mode fichier et objet - 2 racks Sur bandes : 2 Po, sur le silo IDRIS? GPFS, Lustre, ScaleIO, Scality, BeeGFS, RozoFS, GlusterFS, CEPH, irods? Hébergement CNRS IDRIS, convention d hébergement emplacement (10 racks) : OK alimentation électrique : OK refroidissement par porte froide : à faire 14

15 Feuille de route Déploiement de la machine nationale 1. janvier avril : études techniques complémentaires et, en parallèle, rédaction du cahier des clauses techniques particulières (CCTP) de l'appel d offres; 2. avril : lancement de la procédure d appel d offres ; 3. mai octobre : trois itérations prévues du dialogue compétitif ; 4. octobre : notification ; 5. décembre : installation de la première tranche de la machine nationale. 15

16 Feuille de route (2) Fédération de clouds Installation dans (et par) les plateformes Conseil/Support aux plateformes par IFB-core au travers de GRISBI Interopérabilité des VMs Déploiements multi-clouds de VMs Fédération d identités et d autorisations (AAI) collaboration avec RENATER et projet CYCLONE Tests concluants entre IFB-core, GenOuest et Bilille Etude en cours avec SixSQ SlipStream (Projet CYCLONE) 16

17 Services aux u-lisateurs 17

18 Compte dans le Cloud IFB Ouvert aux membre de la communauté des sciences du vivant Avec allocation standard de ressources (allocations supplémentaires sur demande et d après critères) Envoyer la demande implique l acceptation des conditions générales d utilisation! 18

19 Ges-on des comptes et autorisa-ons Gérer les accès au portail web du cloud IFB : login/password aux VMs : clé SSH et proxy web aux jeux de données : par les VMs Gérer les autorisations appartenance à la communauté Sciences du Vivant à des groupes/projets, académique/industriel accès (données) et utilisations (logiciels) : gestion et logs par les tableau de bord du cloud IFB et les VMs Perspective avec les fédérations d identités par des autorités de confiance : les employeurs (IdP) organisation nationale : fédération RENTRE européenne : EDUGAIN 19

20 Un cloud pour la Bioinforma-que Public Data sources Data BioMAJ EMBL PDB Genomes UNIPROT PROSITE Reference Datasets common share VMs VMs VMs VMs VMs VMs VMs VMs VMs VMs Cloud Credentials Data Personalized interfaces j. doe e. martin you chb virtual disks cg User data Author. VMs VMs VMs Cloud for Bioinformatics 20

21 Une interface web pour le cloud 21

22 Les appliances bioinforma-ques actuelles Remote desktop Proteomics Imaging Web Galaxy MODAL Eco Pop Galaxy Galaxy RADseq Scientific apps Galaxy AVIESAN 2015 RSAT MacSyFinder PhyML SynBioWatch R CLI statistics BioPerl biocompute Node Aria BioDataCloud IGV biohadoop Utilities biodata BioMaj BlobSeer biodata NFS Cassandra Docker CentOS Ubuntu Base OS Neo4j Data mgmt 22

23 Trouver les bons ou-ls bioinforma-ques Coll. IFB-core/GenOuest 23

24 Lancer sa machine virtuelle Proteomics Sequences Galaxy Structures?... IFB s bioinformatics marketplace! 24

25 Caractéris-ques d une VM Définir sa VM un nom nombre de CPUs taille mémoire attacher un disque virtuel Cluster de VMs remplir le nombre de VMs choix du nom unique Appelée aussi Instance 25

26 App Biocompute Standard bioinformatics node With pre-installed standard bioinformatics tools BLAST, FastA, SSearch,HMM,... Bowtie(2), BWA, samtools,... MEME, R, etc. ClustalW2, Clustal-Omega, Muscle,.. Connected to public reference datasets Uniprot, EMBL, genomes, PDB, etc. Automatically shared with the VMs Cluster mode turn several instances in a single virtual cluster shared file system batch scheduling 26

27 App R Sta-s-cal Compu-ng R software environment for statistical computing and graphics include common bioinformatics module RStudio IDE Biobase, BiocGenerics, BiocInstaller, GenomeInfoDb integrated development environment (IDE) for R features: console, syntax-highlighting editor Shiny web framework powerful web framework for building web applications using R. without requiring HTML, CSS, or JavaScript knowledge. Contact: Stéphane Delmotte (IFB PRABI-LBBE) 27

28 AppS Cloud Galaxy Portal Galaxy portal is widely used in the community analyse NGS data (mainly but not only) connected to community knowledge: data and indexes, tools, workflows Cloud advantages : User is administrator of his/her own Galaxy instance: he/she can install data and tools Versions 1,2..n & Updates Preserve workflows and results in cloud storage Help the integration of monthly updates and new tools Different appliances can be available at the same time: a basic one with common tools for NGS specific ones for a domain or a set of tools e.g. Galaxy-MODAL, Galaxy-RADseq, EBA-ChIP-Seq or for training: create a special appliance with dedicated datasets, tools or workflows e.g. AVIESAN school 2015 manual Galaxy NGS Run Linux system Galaxy + Tools Galaxy RADseq Galaxy automatic Galaxy MODAL Aviesan Cloud Marketplace Install Publish VMs 28

29 App Mul--genomes browser Based on IGV Ready to deploy in the cloud close to the datasets Remote virtual desktop transfer only graphical visualization based on NX protocol Contact: Marie-Laure Franchinard (IFB MIGALE) Funded by the French BIODATACLOUD project. 29

30 And other apps RSAT Proteomics Databank FastAMR splits the databank into subsets and puts them in the DFS along with the sequences file FastAMR subset #01 FastA #01 subset #02 Mappers FastA # Each mapper send the score and sequences to reducers Reducers Results score sequence score sequence... Users run the FastAMR script with its sequences and the databank User's Sequences Each mapper runs a FastA program on a part of the databank Reducers copy the best scores of the whole experiment in the DFS Ecology of populations Hadoop etc. 30

31 Services aux développeurs 31

32 Create bioinforma-cs appliances tools BLAST FastA OMSSA ClustalW2 SSearch PeptideShaker ARIA BWA X!tandem HMMer TopHat samtools Galaxy Clustal Muscle fastqc Omega Create new cloud services R Linux system Bioinformatics Marketplace Structures Sequences Virtual Machines Proteomics + Galaxy... Appliance? predefined virtual machine including tools, pipeline,recipes Ready to run Appliance annotation Title Description (w. controlled voc.) Topics Tools Contact Developer(s) and maintainer(s)! + 32

33 Help developers to create appliance Appliances are created by the life science developers/experts of different domains In link with IFB support team Training Sessions for developers Individual hackhaton at IFB-core manual Linux system Galaxy + Tools automatic Appliances in progress ProFi REPET Clinical NGS for cancerology (INCA-NGS) Metagenomics (imetamos) Versions 1,2..n & Updates Galaxy Galaxy Galaxy Galaxy NGS RAD-seq MODAL Aviesan Cloud Marketplace Publish VMs 33

34 Help developers to create docker containers docker.com IFB s docker hub (@GenOuest) Registry of images Container layer Docker Image size (MB) pull push IFB s Cloud abyss blast blast+ bowtie docker virtual machine Developer docker virtual machine User bwa clustalw2 cufflinks fasta36 fastqc gor4 hmm meme mmseq cufflinks

35 Create docker containers Coll.GenOuest/IFB-core/Pasteur 35

36 Coordina-on 36

37 Forma-on Formations ayant pour sujet le cloud Former la communauté à l utilisation du cloud IFB pour ses analyses et développements méthodologiques Documentation en ligne Cursus "Cloud IFB pour les Sciences du Vivant» IBI-1 - Utilisation de base du cloud IFB IBI-2 - Utilisation avancée du cloud IFB IBI-3 - Développement de machines virtuelles modèles (appliances) 4 tutoriels utilisateurs et développeurs en 2015 Ecole Cumulo Numbio 2015 Le cloud computing pour les sciences du vivant Le cloud IFB en soutien aux formations thématiques Apporter aux formations thématiques un soutien en termes de ressources bioinformatiques et d infrastructure Ecoles scientifiques Ecole AVIESAN-IFB (2015) Tutoriels et formations Cursus universitaires Masters en bioinformatique (4 en 2015): Rouen, Marseille, Lyon and Paris-Saclay 37

38 Groupe de Réflexion sur les InfraStructures BioInformatiques 79 membres administrateurs et développeurs (DevOps) membres des plateformes IFB (27/34) Concertation technologique plateformes/centres régionaux/ifb-core, identification des besoins, choix des orientations, suivi des développements, transfert de compétences en technologie cloud. Lien avec les partenaires et infrastructures IDRIS, mésocentre PSMN, Institut des Grilles et du Cloud du CNRS, StratusLab GRISBI un représentant pour chaque partenaire ELIXIR, Excelerate WPs (ppalt 1, 4 & 5) APLIBIO 30 PRABI 5 IFB-core IFB-NE 9 Partenaires 7 5 IFB-GO 12 IFB-SO 3 IFB-GS 8 38

39 Avantages du cloud Pour les utilisateurs accès à des environnement de recherche standard simplicité d utilisation possibilité de personnaliser son environnement avec de nombreux outils, pipelines et plateformes pré-configurés approver, docker, galaxy toolshed sans perturber les autres usagers 39

40 Avantages du cloud (2) Pour les développeurs intégrer et décrire une seule fois leur logiciel dans un environnement complet pré-configuré multi-plateforme de taille légère (VM, conteneur) disposer de sa propre copie de la version stable courante sans perturber les autres développeurs automatisation et intégration continue figer une version de démonstration pour congrès, formations, papiers 40

41 Avantages du cloud (3) Pour les administrateurs système se concentrer sur l administration du système configuration unique des systèmes outils de déploiement : puppet, chef, ansible, salt déléguer les données et les outils scientifiques aux développeurs maintenance et mise à jour plus aisées production DevOps pré-production développement 41

42 Conclusion Infrastructure pilote 2 clouds dans les centres IFB : IFB-core et GenOuest déjà VMs depuis 2014 sur le cloud IFB-core 2 en partenariat : Bilille et BISTRO 26 appliances bioinformatiques déjà disponibles + 10 en cours de développement dans plusieurs thématiques l appel à projets 2015 a retenu 17 nouvelles applications Production scientifique utilisateurs (Jan. 2016) membres de l IFB (allocation de ressources de base) partenaires académiques et industriels, infrastructures nationales et projets: e.g. BioDataCloud, ProFi, MetaboHub allocation de ressources supplémentaire suivant critères 42

43 Perspec-ve Déployer la première tranche de la machine nationale Aider aux déploiements des clouds dans les PFs Fédérer la machine nationale et les clouds régionaux Simplifier l accès des utilisateurs avec la fédération d identité Fournir un espace de travail partagé en écriture Etoffer le catalogue de services bioinformatiques Développer de nouvelles appliances Mettre en place un environnement d intégration continue des appliances 43

44 Ques-ons? Acknowledgments IFB members IFB-core : Patricia, Sandrine, Awa, Jean-François, Mohamed, Jonathan, Maxime, Dominique, Bryan (Alumni : Marie, Quentin) Working group IFB-GRISBI: co-chairman Olivier Collin and members Appliances developers Samuel Blanck (Inria Lille), Jacques van Helden (TAGC), Stéphane Delmotte (PRABI-LBBE), Bruno Spataro (PRABI-LBBE), Marie-Laure Franchinard (MIGALE), Anis Djari (BioinfoGenoToul), Bertrand Néron (Institut Pasteur), Adrien Josso (MicroScope), Thomas Lacroix (MIGALE), Christian Baudet (CLB), Germain Paimparay & Baptiste Brault (CFB), Olivier Inizan (URGI), Jocelyn Brayet (Institut Curie), Guillaume Brysbaert (Bilille), Guy Perrière (PRABI) CNRS IDRIS: R. Medeiros, C. Gauthey and staff StratusLab developers IFB is funded by French programs PIA INBS 2012, BioDataCloud EU H2020 projects, CYCLONE (644925) and EGI-Engage (654142) 44