Tutoriel Cloud IFB - Initiation -

Transcription

1 Tutoriel Cloud IFB - Initiation - Christophe BLANCHET Institut Français de Bioinformatique - IFB French Institute of Bioinformatics - ELIXIR-FR CNRS UMS Gif-sur-Yvette - FRANCE Ecole Cumulo NumBio - TP IBI-1 2 juin 2015, Aussois

2 IFB e- Infrastructure Mission : to make available core bioinformatics resources to the national/international life science research community. To provide an IT infrastructure devoted to management and analysis of biological data To be the ELIXIR French node Goal : help scientists and engineers to deploy and use their tools e-infrastructure: provide hardware, data collections, bioinformatics tools a academic cloud for life science Current resources A national hub: IFB-core hosted at CNRS IDRIS SC center A network of regional centers: 31 bioinformatics plateforms - 11,000 cores - 6 PB Create a federation of clouds for life sciences 2

3 Inscrip3on Remplir le formulaire adresse mail institutionnelle! Envoyer la demande implique l acceptation des conditions générales d utilisation! 3

4 Connexion au Cloud IFB Connectez-vous au cloud IFB Sign in 4

5 Connexion au Cloud IFB (2) Lors de la première connexion complétez vos paramètres rubrique Settings! clé SSH: dans ~/.ssh/dsa.pub attention aux retours à la ligne lors du copiercoller la créer avec ssh-keygen (ou PuTTYgen) 5

6 Pra3que Connectez-vous à votre compte de TP ifbtutonn (ou au vôtre le cas échéant) Remplir les informations personnelles Remplir la Pubkey MacOS/Linux: ouvrir le fichier la contenant ~/.ssh/dsa.pub Windows PuTTY Démarrer - PuTTY - PuTTYgen puis choisir SSH-2 DSA Définir MobaXterm l appliance qui sera proposée par défaut la taille (c2.small 1 CPU 2 Go RAM) 6

7 Le tableau de bord du Cloud IFB Gérer ses VMs Créer / arrêter / renommer Gérer ses disques virtuels Créer / supprimer Visualisez les paramètres nom/type/taille état/charge CPU disque virtuel attaché 7

8 Instancier une machine virtuelle Proteomics Sequences Galaxy Structures?... IFB Marketplace! 8

9 Choisir les ou3ls 9

10 Caractéris3ques d une VM Appelée aussi Instance Compléter les différents paramètres un nom nombre de CPUs taille mémoire attacher un disque virtuel Cluster de VM remplir le nombre de VMs choix du nom unique 10

11 Pra3que Depuis le tableau de bord du cloud Avec le bouton New instance identifier quelle appliance fournit l outil FastA? BLAST+? R? Image J? dans quelle version? Créer votre instance de Biocompute nom: mybiocompute taille: c2.small 11

12 Connexion sur une VM HTTP X11 SSH 12

13 Pra3que Instance Biocompute SSH clients Terminal (MacOS/Linux), PuTTY (Windows) Parcourir le dépôt IFB des banques publiques ls /ifb/databases 13

14 Gerer vos données dans le cloud CLI (scp, sftp), GUI (Cyberduck, Transmit, Filezilla, ) sftp/http Upload your data Public Data sources Genomes EMBL PDB UNIPROT PROSITE shared (NFS ro) BLAST, Clustal, etc. PaaS IaaS launch jobs ssh Shared FS Master & Storage VM ARIA Workers VM CNS Identity Mgmt j. doe e. martin you chb virtual disks Portal Bioinformatics Cloud cg User data sftp/http Get your results CLI (scp, sftp), GUI (Cyberduck, Transmit, Filezilla, ) 14

15 Echanger les données avec les VMs Galaxy SSH Cyberduck (Filezilla) 15

16 Pra3que Transférez vos données sur vos VMs Mode SSH avec l instance Biocompute commande en ligne scp/sftp client graphique: Cyberduck, Transmit, Filezilla, Ubuntu montage en local comme un disque! (TRANSMIT et UBUNTU) Effectuer des analyses FastA, ClustalW2 données UNIPROT dans /ifb/databases 16

17 Les disques durs virtuels Pour stocker ses données au cours du temps taille et nombre variable (quota) retrouver ses données d une VM à la suivante.! pas de sauvegarde! Sur un vdisk l attacher à une (seule) VM à la création de la VM Partager un vdisk mode cluster VM NFS 17

18 Pra3que Créez un disque virtuel myddgalaxy, 10Go Créer une instance Galaxy nom: mygalaxy taille: c3.medium vdisk : myddgalaxy Se connecter sur votre instance Galaxy lien HTTP navigateur Web standard Connectez-vous dans galaxy (user@galaxy.ifb.fr) Transférer vos données données légères directement sur l interface web Galaxy avec la méthode Get Data (HTTP) données lourdes (mode SSH/SCP) vers le répertoire distant upload_dir clients CLI et graphiques: idem biocompute retrouver vos données sur l interface web Galaxy 18

19 Pra3que Exemple d analyse qualité de séquences brutes dans Galaxy Connectez-vous dans galaxy (user@galaxy.ifb.fr) Importer les données (sequences Illumina paired-end) Appliquer l'outil Short Reads Quality Check (QC) / FastQC:ReadQC aux fichier de sequences brutes. Choisir le (ou les) fichier(s) a analyser => Execute. (Merci à C. Oger - PRABI - pour cet exemple) Retrouvez votre historique et vos résultats d une VM à l autre Arrêter votre VM galaxy Relancer en une nouvelle en attachant votre vdisk Connectez-vous dans galaxy 19

20 Monitor your usage 20