Session Pratique IBI-1 Utilisation de base du cloud IFB

Transcription

1 Session Pratique IBI-1 Utilisation de base du cloud IFB contact : support@france-bioinformatique.fr Consulter l aide en ligne mise à votre disposition: I) Analyse de données avec Galaxy Créer un disque virtuel nom: myddgalaxy, taille: 10Go Créer une instance Galaxy nom: mygalaxy taille: c2.small vdisk : myddgalaxy 1 sur 11

2 Se connecter sur votre instance Galaxy - lien HTTP - navigateur Web standard 1 - Connectez-vous dans galaxy (user@galaxy.ifb.fr - mot de passe:ifbuser) NB: dans les VMs Galaxy, le disque virtuel n est pas monté dans mydisk, mais dans le dossier upload_dir. Toute une arborescence est construite par Galaxy pour gérer les fichiers (le chemin complet est /ifb/galaxy-dist/database/files/user@galaxy.ifb.fr/) Transférer vos données - données légères : - directement sur l interface web Galaxy avec la méthode Get Data (HTTP); - en ligne de commande en utilisant les paramètres de connexion obtenus avec le lien ssh de la machine vers le dossier ( /root/upload_dir ). - données lourdes (mode SSH/SCP) On peut utiliser un client graphique pour transférer les données (FileZilla, Cyberduck, Transmit). - copie depuis son arborescence locale vers le répertoire distant upload_dir dans la machine Galaxy - retrouver vos données sur l interface web Galaxy en sélectionnant dans Get Data, l opération upload_file. Dans la fenêtre, cliquer sur Choose FTP file, sélectionner les fichiers à récupérer. Paramètres de connexion Transfert fichiers en ligne de commande arborescence de la machine local arborescence de la machine du cloud copier dans le dossier upload_dir 2 sur 11

3 Exemple de mapping de séquences brutes dans Galaxy - Connectez-vous dans galaxy (user@galaxy.ifb.fr, ifbuser); - Sur votre ordinateur (local), importer le jeu de données ( default/files/pages/dataset_ibi1.zip ); - Importer les données avec FileZilla (ou autres solutions) depuis votre ordinateur vers la VM Galaxy dans le dossier /root/upload_dir ; - Dans l instance de Galaxy, récupérer les fichiers utiles (fastq et fasta); - pour le fichier fastq : modifier le type pour passer de fastq à fastqsanger, PAS à fastqcssanger avant de lancer l importation; - après chargement des fichiers par Galaxy les fichiers ne sont plus visibles dans le dossier upload_dir; - rechercher l outil bowtie2, lancer l alignement avec les paramètres par défaut comme indiqué ; 3 sur 11

4 Sauvegarder les deux fichiers créés dataset et bam_index, les noms doivent être identique, seule l extension est différente : - dataset -> Galaxy7-[Bowtie2_on_data_5_and_data_6 aligned_reads_in_bam_format].bam - bam_index -> Galaxy7-[Bowtie2_on_data_5_and_data_6 aligned_reads_in_bam_format].bai Les fichiers résultats sont automatiquement copiés dans le disque virtuel monté : /ifb/galaxy-dist/database/files/000/ - Arrêter votre VM galaxy: - sélectionner la VM dans le tableau de bord, sélectionner shutdown dans le menu en haut à gauche, puis cliquer sur le bouton Go. NB: on ne peut monter sur une instance Galaxy qu un disque virtuel vierge ou déjà utilisé sur une instance de Galaxy, sinon le montage ne fonctionne pas. 4 sur 11

5 II) Connexion au cloud IFB Se rendre sur la page du cloud Pour accéder au cloud IFB, il faut s enregistrer en remplissant le formulaire, seules les adresses mails institutionnels sont acceptées. Se connecter avec ses identifiants ; à la première connexion, il faut renseigner la partie settings, notamment la clé ssh, élément essentiel pour se connecter à vos VMs. ATTENTION: pour que la clé ssh soit valide, elle doit commencer par ssh et tenir sur une seule ligne, bien supprimer le retour à la ligne final. 5 sur 11

6 III) Utilisation de l appliance Biocompute L appliance Biocompute est généraliste, elle propose un ensemble de logiciels bioinformatiques. - Créer une instance de l appliance Biocompute, lorsque l instance est disponible (voyant vert), on peut accéder à la VM grâce aux informations de connexion dans la fenêtre suivante: - connexion en ssh : Avec Linux et MacOS, ouvrir un terminal et exécuter la commande de connexion. Avec un Windows, lancer l'outil PuTTY ( et configurer le paramètre 'Connection - SSH - Auth' avec votre fichier de clé privée (cf. fr/cloud/doc-du-cloud/users ). On peut lister les dossiers à disposition: accès au disque virtuel monté au moment de la création de l instance. 6 sur 11

7 On peut lister les ressources disponibles : On peut lister les applications disponibles : Gérer ses données - copiez vos données depuis votre ordinateur vers la machine virtuelle, dans le disque virtuel. La commande scp demande de lui indiquer en premier le chemin vers les données sources puis le chemin vers la destination: scp -P 22 <fichiers> root@ xx:/root/mydisk - analysez vos données avec les logiciels à disposition; - récupérez vos résultats, depuis la machine locale: scp -P 22 root@ x:/root/mydisk/result* <chemin> Exemple avec deux applications - récupérez le fichier oneseq.fasta pour utiliser l outil fasta et les ressources disponibles dans le dossier databases: scp -P 22 oneseq.fasta root@ xx:/root/mydisk fasta36 oneseq.fasta /ifb/databases/unitprot/current/flat/ unitprot-sprot.fasta - récupérez le fichier fewseqs.fasta pour utiliser l outil clustalw, qui fonctionne en mode interactif: scp -P 22 fewseqs.fasta root@ xx:/root/mydisk clustalw2 7 sur 11

8 IV) Utiliser un bureau virtuel - BioDataCloud IGV Un bureau virtuel à distance est une interface permettant d utiliser une machine virtuelle avec une interface graphique. Certaines appliances du cloud IFB, telles que BioDataCloud IGV ou ImageJ, ont un serveur X2Go permettant l accès via un bureau virtuel. Pour l utiliser, il vous faudra installer un client X2Go et un serveur X11 (comme XQuartz). Example pratique : appliance BioDataCloud IGV 1.0, en sélectionnant le même disque virtuel que précédemment avec Galaxy. - Lancez une instance de l appliance BioDataCloud IGV récupérez sur votre machine les fichiers du jeu de données avec FileZilla ou en ligne de commande: - Saccharomyces_cerevisiae_rnaseq.bam et Saccharomyces_cerevisiae_rnaseq.bai Sur votre ordinateur faire un double-clic sur l icône du client X2Go - Confiture une nouvelle session à partir des informations contenues dans le tableau de bord du cloud : l host et le port. - il faut se connecter en tant que root en choisissant le bureau KDE; /!\ Vous devez cocher la case try auto-login. - Puis, cliquez sur votre session pour la lancer. Un message d avertissement peut apparaitre mais cela ne signifie pas nécessairement que le bureau virtuel ne fonctionne pas. Remarque : pour l appliance imagej, il est possible de se connecter en temps que root ou en temps que l utilisateur ego, en sélectionnant le bureau GNOME ou lieu de KDE. 8 sur 11

9 champs à renseigner avec le clé opensssh sous Windows 9 sur 11

10 - Lorsque le bureau virtuel est lancé, vous devez voir l icône d IGV - Lancez IGV - Sélectionnez dans la liste des génomes, le S. cerevisiae (EF3 r62); - Sélectionnez le fichier bam copié sur la machine dans le même dossier que le fichier bai; - Sélectionnez le gène YKL060C. Sélectionner le fichier bam Sélectionner le génome Sélectionner un gène Fermez le bureau virtuel, pour fermer la session et la fenêtre de connexion, cliquez sur Cancel. 10 sur 11

11 V) Utiliser un bureau virtuel - ImageJ Autre exemple de bureau virtuel, pour utiliser ImageJ ( ). La configuration de la session est légèrement différente. Example pratique : appliance ImageJ - Lancez une instance de l appliance ImageJ - Sur votre ordinateur faire un double-clic sur l icône du client X2Go - Configurez une nouvelle session à partir des informations contenues dans le tableau de bord du cloud : l host et le port. Remarque : pour l appliance imagej, il est possible de se connecter en temps que root ou en temps que l utilisateur ego. /!\ Vous devez cocher la case try auto-login et choisir un bureau GNOME. - Puis, cliquez sur votre session pour la lancer. Un message d avertissement peut apparaitre mais cela ne signifie pas nécessairement que le bureau virtuel ne fonctionne pas. 11 sur 11