Tutoriel Cloud IFB. IBI - 1 Utilisation de base du Cloud IFB

Transcription

1 Tutoriel Cloud IFB IBI - 1 Utilisation de base du Cloud IFB

2 Sommaire I. Créer un compte sur le cloud IFB II. Instancier une VM III. Echanger les données IV. Gérer les disques virtuels V. Utiliser un bureau virtuel 2

3 Mission : rendre disponible des ressources bioinformatiques de base à la communauté de recherche des sciences de la vie nationale/internationale. Fournir une infrastructure informatique dédiée à la gestion et l analyse des données biologiques Être le noeud français d ELIXIR But : aider les scientifiques et les ingénieurs à déployer et à utiliser leurs outils e-infrastructure: fournir le matériel, les collections de données et les outils bioinformatiques un cloud académique pour les sciences de la vie Ressources actuelles Un centre national: IFB-core hébergé au centre IDRIS du CNRS Un réseau de centres régionaux: 31plateformes bioinformatiques - 11,000 coeurs - 6 PB IFB e-infrastructure Créer une fédération de cloud pour les sciences de la vie 3

4 Inscription Remplir le formulaire adresse mail institutionnelle! Envoyer la demande implique l acceptation des conditions générales d utilisation! 4

5 Connexion au Cloud IFB Connectezvous au cloud IFB Sign in 5

6 Connexion au Cloud IFB (2) Lors de la première connexion complétez vos paramètres rubrique Settings! clé SSH: La créer (cf. doc.) attention aux retours à la ligne lors du copiercoller 6

7 Pratique Connectez-vous à votre compte de TP ifbtutonn (ou au vôtre le cas échéant) Remplir les informations personnelles Remplir la Pubkey Définir l appliance qui sera proposée par défaut la taille (c2.small 1 CPU 2 Go RAM) 7

8 Le tableau de bord du Cloud IFB Gérer ses VMs Créer / arrêter / renommer Gérer ses disques virtuels Créer / supprimer Visualisez les paramètres nom/type/taille état/charge CPU disque virtuel attaché 8

9 Instancier une machine virtuelle Proteomics Sequences Galaxy Structures... IFB Marketplace?! 9

10 Choisir les outils 10

11 Caractéristiques d une VM Appelée aussi Instance Compléter les différents paramètres un nom nombre de CPUs taille mémoire attacher un disque virtuel Cluster de VM remplir le nombre de VMs choix du nom unique 11

12 Pratique Depuis le tableau de bord du cloud Avec le bouton New instance identifier quelle appliance fournit l outil FastA? BLAST+? R? Image J? dans quelle version? Créer votre instance de Biocompute nom: mybiocompute taille: c2.small 12

13 Connexion sur une VM HTTP X11 SSH 13

14 Pratique Instance Biocompute SSH clients Terminal (MacOS/Linux), PuTTY (Windows) Parcourir le dépôt IFB des banques publiques ls /ifb/databases 14

15 Gerer vos données dans le cloud CLI (scp, sftp), GUI (Cyberduck, Transmit, Filezilla, ) sftp/http Upload your data Public Data sources Genomes EMBL PDB UNIPROT PROSITE shared (NFS ro) BLAST, Clustal, etc. PaaS IaaS launch jobs ssh Shared FS Master & Storage VM ARIA Workers VM CNS Identity Mgmt j. doe e. martin you chb virtual disks Portal Bioinformatics Cloud cg User data sftp/http CLI (scp, sftp), GUI (Cyberduck, Transmit, Filezilla, ) Get your results 15

16 Echanger les données avec les VMs Galaxy SSH Cyberduck (Filezilla) 16

17 Pratique Transférez vos données sur vos VMs Mode SSH avec l instance Biocompute commande en ligne scp/sftp client graphique: Cyberduck, Transmit, Filezilla, Ubuntu montage en local comme un disque! (TRANSMIT et UBUNTU) Effectuer des analyses FastA, ClustalW2 données UNIPROT dans /ifb/databases 17

18 Les disques durs virtuels Pour stocker ses données au cours du temps taille et nombre variable (quota) retrouver ses données d une VM à la suivante.! pas de sauvegarde! Sur un vdisk l attacher à une (seule) VM à la création de la VM Partager un vdisk mode cluster VM NFS 18

19 Pratique Créez un disque virtuel myddgalaxy, 10Go Créer une instance Galaxy nom: mygalaxy taille: c3.medium vdisk : myddgalaxy Se connecter sur votre instance Galaxy lien HTTP navigateur Web standard Connectez-vous dans galaxy (user@galaxy.ifb.fr - mot de passe: ifbuser) Transférer vos données données légères directement sur l interface web Galaxy avec la méthode Get Data (HTTP) données lourdes (mode SSH/SCP) vers le répertoire distant upload_dir - clients CLI et graphiques: idem biocompute retrouver vos données sur l interface web Galaxy 19

20 Pratique Exemple d analyse qualité de séquences brutes dans Galaxy Connectez-vous dans galaxy (user@galaxy.ifb.fr) Importer les données (sequences Illumina paired-end) Appliquer l'outil Short Reads Quality Check (QC) / FastQC:ReadQC aux fichier de sequences brutes. Choisir le (ou les) fichier(s) a analyser => Execute. Merci à C. Oger (IFB-PRABI) pour cet exemple Retrouvez votre historique et vos résultats d une VM à l autre Arrêter votre VM galaxy Relancer en une nouvelle en attachant votre vdisk Connectez-vous dans galaxy 20

21 Monitor your usage 21

22 Bureau virtuel Le bureau virtuel sert d une interface graphique à une machine virtuelle De quoi avezvous besoin? - sur votre machine local un client X2Go et un serveur X11 - sur le cloud une appliance comprenant un serveur NX : Proteomics, ImageJ, R studio 22

23 Utilisation de X2Go 23

24 Liens CloudIFB : cloud/ Documentation : 24