Formation Cloud IFB Cursus "Cloud IFB pour les Sciences du Vivant"

Transcription

1 Formation Cloud IFB Cursus "Cloud IFB pour les Sciences du Vivant" Module IBI - 3 Développement de machines virtuelles modèles Institut Français de Bioinformatique - IFB French Institute of Bioinformatics - ELIXIR-FR CNRS UMS Gif-sur-Yvette - FRANCE

2 Contenu Public : Développeurs avec une pratique du cloud IFB Fréquence : semestrielle Niveau requis avoir suivi IBI-2 (ou équivalent) et connaitre le système d'exploitation Linux Objectifs Savoir intégrer un logiciel ou un pipeline bioinformatique dans une machine virtuelle pour une diffusion et mise à disposition sur le cloud IFB. Contenu: Présentation des bonnes pratiques de création d appliance. Présentation des fonctionnalités avancées disponibles dans le cloud IFB : le montage automatique des collections de données publiques de référence, la contextualisation d un portail web, la configuration des disques virtuels pour la conservation des paramètres d un logiciel ou portail Présentation des différents modèles d'intégration: archives (codes source ou binaires), scripts d'installation automatique (approver, puppet), conteneurs (docker). Création de conteneurs docker pour le déploiement de logiciels bioinformatiques Choix et configuration de l'interface pour les utilisateurs (CLI, portail web, bureau virtuel à distance) Rédaction d'une description pour le référencement dans le cloud IFB Documents: Diapos : Présentation des bonnes pratiques de création d'appliance sur le cloud IFB Fascicule : Exemples de cas pratique 2

3 Create bioinforma/cs appliances tools BLAST FastA OMSSA ClustalW2 SSearch PeptideShaker ARIA BWA X!tandem HMMer TopHat samtools Galaxy Clustal Muscle fastqc Omega Create new cloud services Virtual Machines R + Linux system Appliance? predefined VM with tools, pipeline,recipes ready to run small size image (GB) Created by life science developers/experts of different domains Bioinformatics Marketplace Structures Galaxy Sequences Proteomics... How to help the developers training sessions for developers cloud support team at IFB-core individual hackhaton at IFB-core 3

4 Find the right tools/vms Coll. IFB-core/GenOuest Metadata from ELIXIR bio.tools cloud marketplace docker hub 4

5 Simplify tools integra/on with docker docker.com Developer docker virtual machine User IFB s Cloud docker virtual machine Container layer push pull Registry of containers BioShaDock IFB s docker hub (hosted at GenOuest) 5

6 IFB s Bioinforma/cs Cloud Public Data sources Data BioMAJ EMBL PDB Genomes UNIPROT PROSITE Reference Datasets common share VMs VMs VMs VMs VMs VMs VMs VMs VMs VMs Cloud Credentials Data Personalized interfaces j. doe e. martin you chb virtual disks cg User data Author. VMs VMs VMs Cloud for Bioinformatics 6

7 Cloud benefits for life science For scientists access to a large catalogue of bioinformatics appliances have their own research environment with usual tools and pipelines with usual interfaces (portal, remote desktop, CLI) large IT resources can personalize the VM environment For developers integrate the tools once in VMs/containers even for complex applications and dependencies with a predefined environment small size images develop on their own copy of the current version automatisation and continuous integration (stable and devel releases) 7

8 Help developers to create appliance Appliances are created by the life science developers/experts of different domains In link with IFB support team Training Sessions for developers Individual hackhaton at IFB-core manual Linux system Galaxy + Tools automatic Appliances in progress ProFi REPET Metagenomics - FROGS Metagenomics - imetamos) Versions 1,2..n & Updates Galaxy Galaxy Galaxy Galaxy NGS RAD-seq MODAL Aviesan Cloud Marketplace Publish VMs 8

9 La création d appliance Date - lieu 9

10 Principes généraux tools BLAST FastA OMSSA ClustalW2 SSearch PeptideShaker ARIA BWA X!tandem HMMer TopHat samtools Galaxy Clustal Muscle fastqc Omega Create new cloud services Virtual Machines R Linux system Bioinformatics Marketplace Structures Sequences Proteomics + Galaxy... Définir objectifs et périmètre - thématique ou pipeline - description - nombre de VMs Partir d une appliance de base - distribution linux - appliance bioinformatique - mode create Installer les logiciels et pipelines requis - préparer l installation - mode interactif, scripts d installation, conteneurs Demander l enregistrement de l appliance dans le Marketplace - shutdown - mail à l adresse support de l IFB Tester le fonctionnement (sous 48h) - OK -> confirmation à support@francebioinformatique.fr - KO -> reprendre l installation 10

11 MARKET PLACE you, appliance developer choose an image - prog1 - prog 2 - lib A App1 create - prog1 - prog 4 - lib B App2 AppN cloud admin virtual machine / instance customize your VM - prog1 - prog 4 - lib B makes an instance validates and references - prog1 - prog 4 - lib B - LIB A - prog18 shutdown the VM with web interface - prog1 - prog 4 - lib B - LIB A - prog18 image (one file) 5-10s GB 11

12 Rédiger une description de l appliance Faire la liste détaillée de l ensemble des logiciels nécessaires - avec les dépendances et les versions des logiciels - ainsi que les annotations avec l ontologie EDAM Identifier l appliance qui pourrait servir de base - et les outils déjà intégrés (approver/docker) Préparer le processus d installation de vos outils sur une instance normale Installer les logiciels Bonnes pratiques - dans les répertoires standard /ifb (ou /usr/local) - n installer que ce qui est nécessaire (limiter la taille de l image) Utilisez l interface web pour éteindre et enregistrer votre appliance - bouton shutdown, pas le terminal/shell. - si vous ne souhaitez pas enregistrer l appliance, utiliser le bouton kill. 12

13 Bonnes pratiques (admsys) Faire une mise a jour du système avant d installer vos outils - yum update/apt-get update + dist-upgrade - et reboot s il y a eu une mise à jour du kernel Configurer l environnement pour un utilisateur standard - conserver le mode ssh avec clé publique Utiliser le mode proxy pour le serveur Web N ouvrez que les ports réseau nécessaires - Utilisez les ports standard (22, 80/443 ) Une instance en mode création accumule des logs. - éviter de conserver trop longtemps vos instance en mode création. Ne changez pas les droits de fichiers par

14 Description d une appliance Demande de création d une appliance sur le cloud IFB (à envoyer à l adresse support de l IFB) Titre : Description : Domaines thématiques : (EDAM) Logiciels bioinformatiques utilisés : Pré-requis (données de références, portail web, bureau virtuel, SGBD, etc.) : Contact (unique, Nom et ) : Développeur(s) (Nom et ) : Affiliation (détaillée) : 14

15 Annotate with EDAM 15

16 Pratique Remplir le formulaire pour votre appliance L envoyer à support@france-bioinformatique.fr 16

17 Fonctionnalité avancées - Contextualisation, exemple pour Galaxy, - Partage de données de référence, - Configuration des disques virtuels Date - lieu 17

18 Contextualisation Scripts de configuration - exécution au démarrage de la VM Fonctions disponibles - configuration de la clé publique SSH et définition d un mot de passe aléatoire: standard ou root - montage du disque virtuel et formatage lors d une première utilisation - montage d un partage NFS (biomaj ou autre) - configuration d un proxy Web (e.g. Galaxy) 18

19 Contextualisation : current system /etc/stratuslab/conf.d scripts : different types of contextualisation enable /usr/bin/stratus-lab scripts : - environmental variables - contextualize future standard system : cloudinit 19

20 Contextualisation : exemple de Galaxy stratuslab-pdisk-context PDISK_FORMAT=yes PDISK_DEVICE=vdc PDISK_FORMAT_TYPE=ext3 PDISK_MOUNTPOINT=/ifb/galaxy-dist/database PDISK_DEVICE_PATH="/dev/${PDISK_DEVICE:-hdc}" PDISK_MOUNTPOINT=${PDISK_MOUNTPOINT:-/mnt/clouddisk} PDISK_FORMAT=${PDISK_FORMAT:-no} PDISK_FORMAT_TYPE=${PDISK_FORMAT_TYPE:-ext3} ( ) case "$PDISK_FORMAT" in ( ) mountpdisk $PDISK_DEVICE_PATH $PDISK_MOUNTPOINT if [ -f "$PDISK_MOUNTPOINT/universe.sqlite" ] ; then sh /ifb/galaxy-dist/manage_db.sh upgrade else cp -a /ifb/galaxy-template/database/* "$PDISK_MOUNTPOINT/" fi 20

21 Contextualisation : exemple de Galaxy (2) /usr/bin/stratuslab-galaxy-context PROXY_PREFIX= 9TPdIYnGVkd6SwtRapbxlROqdZEMY3jr proxy_prefix=${proxy_prefix:-} galaxy_dir=${galaxy_dir:-/ifb/galaxy-dist} galaxy_config_file="${galaxy_dir}/config/galaxy.ini" ( ) # The following regex assume that there is no several parameters with # the same name in different sections. sed -e "s;^#\(filter-with = proxy-prefix\);\1;g" \ -e "s;^#\?\(cookie_path\) =.*;\1 = ${proxy_prefix};g" \ -e "s;^#\?\(prefix\) =.*;\1 = ${proxy_prefix};g" \ -i "${galaxy_config_file}" 21

22 Partage de données de référence Basé sur les appliances - biodata repo (BioMaJ v3) - NFS server Partage des collections publiques - /ifb/database Partage des données propres à une application - Répertoire libre Contextualisation de l appliance - BIO_DB_SERVER=biodb.france-bioinformatique.fr - BIO_DB_VOLUME=/biomaj/vdisk/db/pub - BIO_MOUNT=/ifb - BIO_DB_MOUNT=databases 22

23 Configuration des disques virtuels Choisir le répertoire propre à votre application - le créer (mkdir) Configurer son utilisation dans votre application pour - les données de l utilisateurs - les paramètres Contextualisation de l appliance - PDISK_FORMAT=yes - PDISK_DEVICE=vdc - PDISK_FORMAT_TYPE=ext3 - PDISK_MOUNTPOINT=/root/mydisk 23

24 Les différents modèles d'intégration - Interactif (codes source ou binaires), - Scripts d'installation automatique (approver), - Conteneurs (docker) Date - lieu 24

25 Mode create When you choose the create mode : 25

26 What it looks like On the dashboard, once you made your instance : Virtual machine Virtual machine in create mode 26

27 Different types of software installation - Interactive installation : - binaries archive, - sources+compilation - automated installation : - package managers (yum, apt, rpm ), - scripts (approver, Galaxy toolshed) - recipes (puppet/ansible/chef/salt) - docker container : - dockerfiles 27

28 Modèle de script approver tool_id="template" tool_bin="template" tool_version="1.0" tool_url=" tool_pkg="${tool_id}-${tool_version}.tar.gz" #tool_tags="${tool_id}-${tool_version}-bundle" # install dependencies:... yum -y install... # install the tool curl -O "${tool_url}/${tool_pkg}" tar -xzf ${tool_pkg} cd "${tool_pkg%.tar.gz}"./configure --prefix="${tools_dir}" make && make install 28

29 Configuration de l interface Terminal - Définir l utilisateur standard - utiliser l accès SSH avec clé publique Portail Web: - utiliser une appliance le proposant - ou partir from scratch - utiliser les ports 80/443 - configurer le mode proxy Bureau virtuel: - utiliser une appliance le proposant 29

30 Pratique Installation d outils avec Galaxy - dans une instance Galaxy, se connecter en admin - reprendre le travail fait dans IBI-2 Création de scripts approver Création de conteneurs docker 30

31 Liens utiles IFB : Cloud IFB : Tableau de bord : RAINBIO : BioShaDock : 31