Formation Cloud IFB. Institut Français de Bioinformatique - IFB French Institute of Bioinformatics - ELIXIR-FR CNRS UMS Gif-sur-Yvette - FRANCE

Transcription

1 Formation Cloud IFB Cursus "Cloud IFB pour les Sciences du Vivant" Module IBI - 2 Utilisation avancée du cloud IFB Institut Français de Bioinformatique - IFB French Institute of Bioinformatics - ELIXIR-FR CNRS UMS Gif-sur-Yvette - FRANCE

2 Contenu Public : Utilisateur du cloud Fréquence : trimestrielle Niveau requis Avoir suivi IBI-1 (ou équivalent) et maitriser la ligne de commande Objectifs Savoir déployer une application complexe pour l'analyse intensive de données biologiques de grande taille. Savoir adapter les machines virtuelles disponibles pour répondre à des besoins plus complexes. Contenu: Déploiement d'une application bioinformatique complexe comprenant plusieurs machines virtuelles Installation de logiciels à partir d'archives (codes source ou binaires) ou à l'aide de scripts (approver) Utilisation de conteneurs docker pour l'installation de logiciels bioinformatiques Intégration des ressources de données (génome, annotation...) grâce à l'appliance BiomaJ ou avec d'autres solutions Gestion des données avec des disques virtuels en NFS Documents: Diapos : présentation des fonctionnalités avancées du cloud IFB Fascicule : cas pratique des fonctionnalités les plus fréquemment utilisées 2

3 Sommaire I. Personnaliser une du cloud I.1. Par interface web d une application I.2. Par installation en ligne de commande II. Utilisation d un cluster III. Partage avec NFS III.1. appliance BiomaJ 3

4 Personnaliser une appliance 4

5 Installation d applications - installation manuelle : téléchargement des binaires, ou des sources puis compilation - installation automatique : gestionnaire standard de package, script approver (IFB), recettes d installation (puppet ) - docker container : dockerfiles 5

6 Interface Web Exemple avec Galaxy Exemple avec RStudio 6

7 Demo : appliance Galaxy Installation d un outil à partir du toolshed connexion en tant qu admin; sélection du menu admin ; dans le menu à gauche, sélectionner Search and browse tool sheds; choisir le toolshed, dans le menu sélectionné Search for valid tools ; renseigner le formulaire de recherche (ex: bam_to_sam) ; sélectionner l application recherchée dans la liste, dans le menu contextuel choisir Install ; sélectionner le sous-menu où installer l outil ou en créer un nouveau ; lancer l installer de l application et des dépendances. 7

8 Demo : appliance R statistical computing Installation d un nouveau package dans RStudio se connecter comme utilisateur ruser / ruser; dans la console: installer le package; charger la librairie en ligne de commande ou dans la liste des packages disponibles; créer un histogramme. # Installation par défaut dans le dossier : ~/R/x86_64-redhat-linux-gnu-library/3.1" install.packages("ggplot2") install.packages( ggplot2", lib.loc= /path/ ) library(library("ggplot2", lib.loc="~/r/x86_64-redhat-linux-gnu-library/3.1") ggplot(diamonds, aes(price, fill = cut)) + geom_histogram(binwidth = 500) # Vous pouvez sauvegarder l image dans le dossier /home/ruser/r. 8

9 Demo : bureau Virtuel Installation de FastQC dans un bureau virtuel créer une appliance avec un bureau virtuel (une CentOS); ouvrir X2Go sur l hôte, créer une session pour accéder à la (name ego, bureau: gnome); récupérer l archive au format zip pour une installation sous Linux; dézipper le fichier fastqc_v zip et le supprimer; déplacer le dossier FastQC dans /ifb/bin; rendre le script exécutable (chmod +x FastQC/fastq); créer un lien sur le bureau (ln -s /ifb/bin/fastqc/fastq); depuis le bureau, lancer l application puis sélectionner un fichier FastQ. 9

10 Script approver Affiche la liste des outils disponible approver -l - tool1-va - tool2-va - tool2-vb -. bash scripts approver approver -i /ifb t tooln-vz Lance l installation de tooln-vz et nettoyage des fichiers temporaires Logs disponibles dans le dossier : ~/.approver 10

11 Docker on the cloud BioShaDock Appliance docker Docker Registry GenOuest : pull push docker virtual machine docker virtual machine autre 11

12 Export NFS sur le cloud 12

13 Serveur NFS Serveur NFS disponible dans l appliance permet : 1/ de partager un disque avec toutes les s en lecture seule; 2/ partager un disque en lecture-écriture avec une NFS server data sharing 1 2 Point de montage : /root/mydisk virtual disk n 13

14 Point de montage NFS NFS server virtual disk /root/mydisk 1) Créer une instance du serveur NFS avec un disque 2) Sur les autres machines, configurer le pare-feu (ou l arrêter temporairement) 1 2 n CentOS : service iptables stop Ubuntu : ufw disable 14

15 Montage NFS en read-only 3) Sur chaque, monter le disque en configurant le fichier /etc/fstab en ajoutant une ligne sur ce modèle : IP_NFSserver:/root/mydisk /root/sharedisk nfs defaults 0 0 Lancer les commandes pour monter et vérifier le montage mkdir /root/sharedisk mount -a mount 1 2 n 15

16 Montage NFS en read-write 4) En plus des étapes 1 à 3, sur le serveur NFS, donner accès en écriture au disque à la seule machine 1. Modifier le fichier /etc/export, remplacer la ligne par une sur ce modèle: NFS server virtual disk /root/ mydisk /root/mydisk IP_client(rw,no_root_squash) Relancer le serveur pour prendre en compte les modifier et vérifier la configuration $ service nfs reload $ exportfs -av 1 IP_client 16

17 Accéder à des ressources 17

18 Exemple de construction 2 appliances et 2 disques virtuels : - NFS server: avec un disque contenant les données de référence (génomes, index ) - Biocompute : avec un disque virtuel qui contient les données d entrée et de sortie de l analyse des données. NFS server virtual disk /root/mydisk : contient les données de référence partagées avec les s Biocompute virtual disk /root/mydisk : contient les données à traiter /root/sharedisk: contient les données de référence partagées avec les autres s., accessibles en lecture seule 18

19 Dépôt BioMaj Interface web BioMaj WEB Bio Data 1 databanks data sharing 2 La BioData permet de partager vos données de référence n /ifb/databases 19

20 Mode Cluster 20

21 Mode cluster : principe User Montage automatique /root/mydisk' SSH Master jobs (ifb-qsub) I/O I/O node1 node2 node2 Sauvegarde des données sur un disque partagé par NFS /root/mydisk virtual disk 21

22 Etape 1 : créer les s Mettre en place l agent ssh depuis le terminal sur votre ordinateur: ssh-agent ssh-add ~/.ssh/id_rsa (or id_dsa) Lancer une avec un disque virtuel: le master Lancer plusieurs machines: les nodes 22

23 Etape 2 : configurer le cluster Se connecter au master en ssh -A Ajouter les IPs des s nodes dans le fichier /root/cluster/nodes.l (bouton Get IPs du tableau de bord) node-1 IP node-n IP! une par ligne master ~/cluster/ nodes.l ifb-cluster ifb-qsub node 1 machine IP ifb-worker node n machine IP ifb-worker 23

24 Etape 2 : configurer le cluster ifb-cluster cluster/nodes.l or ifb-cluster cluster/nodes.l x x = nombre de CPUs de chaque /node!! le dossier du disque virtuel root/ mydisk est partagé avec les s nodes master Cluster nodes.l ifb-cluster ifb-qsub configure les nodes node 1 machine IP ifb-worker node n machine IP ifb-worker 24

25 Etape 3 : lancer les jobs ifb-qsub ajoute les jobs dans la pile du master ifb-qsub $job-cmd-1 ifb-qsub $job-cmd-2 ifb-qsub $job-cmd-n master Cluster nodes.l ifb-cluster ifb-qsub Pile de jobs $job-cmd-1 $job-cmd-2 $job-cmd-n 25

26 Etape Running 3 : lancer jobs les jobs ifb-worker sur chaque node: récupère les jobs un à un, jusqu au dernier node 1 machine IP master Pile de jobs Cluster nodes.l ifb-cluster $job-cmd-1 $job-cmd-2 $job-cmd-n prends les jobs ifb-worker node n machine IP ifb-qsub ifb-worker 26

27 Exemple avec Blast -!! Activez un agent ssh sur votre ordinateur : ssh-add ~/.ssh/id_dsa - Créer 3 s Biocompute de 2 CPUs chacune - Envoyer le fichier test depuis le dossier local vers le noeud maître scp test.fasta root@ipmasternode:mydisk/ - Ajouter les adresses IP des noeuds dans le fichier nodes.l, et lancer la configuration sur 2 CPUs ifb-cluster cluster/nodes.l 2 - Lancer plusieurs jobs avec la commande suivante : for job in {1..10}; do ifb-qsub blastn -query ~/mydisk/test.fasta -db /ifb/databases/est/est_ /flat/est -out ~/mydisk/ res${job} ; done 27

28 Liens BioShaDock :docker-ui.genouest.org BioMaJ: Tutoriel Galaxy pour ajouter des outils 28