Session Pratique IBI-1 Utilisation de base du cloud IFB

Transcription

1 Session Pratique IBI-1 Utilisation de base du cloud IFB contact : support@france-bioinformatique.fr Consulter l aide en ligne mise à votre disposition: I) Connexion au cloud IFB Se rendre sur la page du cloud Pour accéder au cloud IFB, il faut s enregistrer en remplissant le formulaire, seules les adresses mails institutionnels sont acceptées. Se connecter avec ses identifiants ; à la première connexion, il faut renseigner la partie settings, notamment la clé ssh, élément essentiel pour se connecter à vos VMs. ATTENTION: pour que la clé ssh soit valide, elle doit commencer par ssh et tenir sur une seule ligne, bien supprimer le retour à la ligne final. IBI-1 pratiques 1 sur 16

2 II) Analyse de données avec Galaxy Créer un disque virtuel nom: myddgalaxy, taille: 10Go Créer une instance Galaxy nom: mygalaxy taille: c2.small vdisk : myddgalaxy IBI-1 pratiques 2 sur 16

3 Se connecter sur votre instance Galaxy - lien HTTP - navigateur Web standard 1 - Connectez-vous dans galaxy (user@galaxy.ifb.fr - mot de passe:ifbuser) NB: dans les VMs Galaxy, le disque virtuel n est pas monté dans mydisk, mais dans le dossier upload_dir. Toute une arborescence est construite par Galaxy pour gérer les fichiers (le chemin complet est /ifb/galaxy-dist/database/files/user@galaxy.ifb.fr/) Transférer vos données - données légères : - directement sur l interface web Galaxy avec la méthode Get Data (HTTP); - en ligne de commande en utilisant les paramètres de connexion obtenus avec le lien ssh de la machine vers le dossier ( /root/upload_dir ). - données lourdes (mode SSH/SCP) On peut utiliser un client graphique pour transférer les données (FileZilla, Cyberduck, Transmit). - copie depuis son arborescence locale vers le répertoire distant upload_dir dans la machine Galaxy - retrouver vos données sur l interface web Galaxy en sélectionnant dans Get Data, l opération upload_file. Dans la fenêtre, cliquer sur Choose FTP file, sélectionner les fichiers à récupérer. Paramètres de connexion Transfert fichiers en ligne de commande arborescence de la machine local arborescence de la machine du cloud copier dans le dossier upload_dir IBI-1 pratiques 3 sur 16

4 Exemple de mapping de séquences brutes dans Galaxy - Connectez-vous dans galaxy (user@galaxy.ifb.fr, ifbuser); - Sur votre ordinateur (local), importer le jeu de données ( default/files/pages/dataset_ibi1.zip ); - Importer les données avec FileZilla (ou autres solutions) depuis votre ordinateur vers la VM Galaxy dans le dossier /root/upload_dir ; - Dans l instance de Galaxy, récupérer les fichiers utiles (fastq et fasta); - pour le fichier fastq : modifier le type pour passer de fastq à fastqsanger, PAS à fastqcssanger avant de lancer l importation; - après chargement des fichiers par Galaxy les fichiers ne sont plus visibles dans le dossier upload_dir; - IBI-1 pratiques 4 sur 16

5 - rechercher l outil bowtie2, lancer l alignement avec les paramètres par défaut comme indiqué ; Sauvegarder les deux fichiers créés dataset et bam_index, les noms doivent être identique, seule l extension est différente : - dataset -> Galaxy7-[Bowtie2_on_data_5_and_data_6 aligned_reads_in_bam_format].bam - bam_index -> Galaxy7-[Bowtie2_on_data_5_and_data_6 aligned_reads_in_bam_format].bai Les fichiers résultats sont automatiquement copiés dans le disque virtuel monté : /ifb/galaxy-dist/database/files/000/ - Arrêter votre VM galaxy: - sélectionner la VM dans le tableau de bord, sélectionner shutdown dans le menu en haut à gauche, puis cliquer sur le bouton Go. NB: on ne peut monter sur une instance Galaxy qu un disque virtuel vierge ou déjà utilisé sur une instance de Galaxy, sinon le montage FTP ne fonctionne pas. IBI-1 pratiques 5 sur 16

6 Conseils pour la suite du TP : découverte d appliances disponibles sur le cloud - créer un nouveau disque virtuel de 10G, nom tp-data; - créer une instance de la machine virtuelle que vous voulez utiliser en montant ce disque; RAPPEL : par ce moyen il n est possible que de monter un seul disque sur une machine et un disque ne peut être accessible que depuis une seule machine; - récupérer le jeu de données pages/dataset_ibi.zip et décompresser le fichier; - transférer le dossier data-set dans le disque virtuelle tp-data (/root/mydisk) Vous pouvez utiliser un client graphique comme FileZilla IBI-1 pratiques 6 sur 16

7 Pour conserver l accès aux données pendant l ensemble du TP, il faut déplacer le disque d une machine virtuelle à la suivante. Pour créer une nouvelle appliance : - couper la connexion vers la machine virtuelle dans FileZilla; - supprimer (action : shutdown) la machine et libérer le disque ; - créer la nouvelle machine en montant le disque devenu disponible; - créer une nouvelle connexion vers la machine virtuelle dans FileZilla pour pouvoir gérer les fichiers depuis une interface graphique. NB: il faut laisser un peu de temps après la suppression d une machine avant d avoir de nouveau accès au disque dans le menu de création d instance. Dans le programme de la formation IBI-2 sur l utilisation avancée du cloud, la partie sur la gestion des données traitera de : - comment créer un machine virtuelle en montant plusieurs disques ; - comment partager un même disque entre plusieurs machines virtuelles. IBI-1 pratiques 7 sur 16

8 III) Appliance Biocompute - utilisation en ligne de commande L appliance Biocompute est généraliste, elle propose un ensemble de logiciels bioinformatiques. - Créer une instance de l appliance Biocompute, lorsque l instance est disponible (voyant vert), on peut accéder à la VM grâce aux informations de connexion dans la fenêtre suivante: - connexion en ssh : Avec Linux et MacOS, ouvrir un terminal et exécuter la commande de connexion. Avec un Windows, lancer l'outil PuTTY ( et configurer le paramètre 'Connection - SSH - Auth' avec votre fichier de clé privée (cf. fr/cloud/doc-du-cloud/users ). On peut lister les dossiers à disposition: accès au disque virtuel monté au moment de la création de l instance. IBI-1 pratiques 8 sur 16

9 On peut lister les ressources disponibles : On peut lister les applications disponibles : Gérer ses données - copiez vos données depuis votre ordinateur vers la machine virtuelle, dans le disque virtuel. La commande scp demande de lui indiquer en premier le chemin vers les données sources puis le chemin vers la destination: scp -P 22 <fichiers> root@ xx:/root/mydisk - analysez vos données avec les logiciels à disposition; - récupérez vos résultats, depuis la machine locale: scp -P 22 root@ x:/root/mydisk/result* <chemin> Exemple avec deux applications - récupérez le fichier oneseq.fasta pour utiliser l outil fasta et les ressources disponibles dans le dossier databases: scp -P 22 oneseq.fasta root@ xx:/root/mydisk fasta36 oneseq.fasta /ifb/databases/unitprot/current/flat/ unitprot-sprot.fasta - récupérez le fichier fewseqs.fasta pour utiliser l outil clustalw, qui fonctionne en mode interactif: scp -P 22 fewseqs.fasta root@ xx:/root/mydisk clustalw2 IBI-1 pratiques 9 sur 16

10 III) Utiliser un bureau virtuel - BioDataCloud IGV Un bureau virtuel à distance est une interface permettant d utiliser une machine virtuelle avec une interface graphique. Certaines appliances du cloud IFB, telles que BioDataCloud IGV ou ImageJ, ont un serveur X2Go permettant l accès via un bureau virtuel. Pour l utiliser, il vous faudra installer un client X2Go et un serveur X11 (comme XQuartz). Example pratique : appliance BioDataCloud IGV 1.0, en sélectionnant le même disque virtuel que précédemment avec Galaxy. - Lancez une instance de l appliance BioDataCloud IGV récupérez sur votre machine les fichiers du jeu de données avec FileZilla ou en ligne de commande: - Saccharomyces_cerevisiae_rnaseq.bam et Saccharomyces_cerevisiae_rnaseq.bai Sur votre ordinateur faire un double-clic sur l icône du client X2Go - Confiture une nouvelle session à partir des informations contenues dans le tableau de bord du cloud : l host et le port. - il faut se connecter en tant que root en choisissant le bureau KDE; /!\ Vous devez cocher la case try auto-login. - Puis, cliquez sur votre session pour la lancer. Un message d avertissement peut apparaitre mais cela ne signifie pas nécessairement que le bureau virtuel ne fonctionne pas. Remarque : pour l appliance imagej, il est possible de se connecter en temps que root ou en temps que l utilisateur ego, en sélectionnant le bureau GNOME ou lieu de KDE. champs à renseigner avec le clé opensssh sous Windows IBI-1 pratiques 10 sur 16

11 - Lorsque le bureau virtuel est lancé, vous devez voir l icône d IGV - Lancez IGV - Sélectionnez dans la liste des génomes, le S. cerevisiae (EF3 r62); - Sélectionnez le fichier bam copié sur la machine dans le même dossier que le fichier bai; - Sélectionnez le gène YKL060C. Sélectionner le fichier bam Sélectionner le génome Sélectionner un gène Fermez le bureau virtuel, pour fermer la session et la fenêtre de connexion, cliquez sur Cancel. IBI-1 pratiques 11 sur 16

12 IV) Utiliser un bureau virtuel - ImageJ Autre exemple de bureau virtuel, pour utiliser ImageJ ( ). La configuration de la session est légèrement différente. Example pratique : appliance ImageJ - Lancez une instance de l appliance ImageJ - Sur votre ordinateur faire un double-clic sur l icône du client X2Go - Configurer une nouvelle session à partir des informations contenues dans le tableau de bord du cloud : l host et le port. Remarque : pour l appliance imagej, il est possible de se connecter en temps que root ou en temps que l utilisateur ego. /!\ Vous devez cocher la case try auto-login et choisir un bureau GNOME. - Puis, cliquez sur votre session pour la lancer. Un message d avertissement peut apparaitre mais cela ne signifie pas nécessairement que le bureau virtuel ne fonctionne pas. IBI-1 pratiques 12 sur 16

13 En petit exemple pratique, on vous pouvez faire cette petite manipulation de fichier. Dans le bureau virtuel: - lancer ImageJ, à partir du raccourci sur le bureau, il est présent dans le dossier /home/ego/ Desktop; - ouvrir les trois fichiers présentes dans le jeu de données : - Composite (RGB) (red).tif - Composite (RGB) (blue).tif - Composite (RGB) (green).tif - sélectionner dans le menu : Image/Color/Merge Channels - lancer la fusion des images en une nouvelle image RGB; - enregistrer l image résultante Reprendre la même configuration Enregistrer la nouvelle image IBI-1 pratiques 13 sur 16

14 V) Appliance Cytoscape - Lancez une instance de l appliance Cytoscape (16-x06) depuis le site rainbio ( ; - Sur votre ordinateur lancer le client X2Go - Configurez une nouvelle session : - Identifiant : root - session type / bureau : KDE - attention: machine longue à démarrer, attendre quelques minutes avant de se connecter Merci à Guillaume Brysbaert de Université de Lille1 pour cette exemple. Sur votre ordinateur : - ouvrez le fichier significantly_regulated_pea3_target_genes_firlej_2008.xls qui contient la liste des gènes différentiellement exprimés entre des cellules MMT (Mouse Mammary Tumor) dont l'expression du facteur de transcription PEA3 a été inhibée par RNAi et des MMT contrôles ( log Q >1.0, P<0.01). Une dérégulation du gène PEA3 est associée à la tumorigénèse et aux cancers du sein. - copiez la liste des Uniprot ID (sans les ' - ') Sur la machine virtuelle : - exécutez Firefox (Application Launcher/Search et tapez firefox) puis accédez à et soumettez la liste copiée sur votre ordinateur (par un Ctrl-C/Ctrl-V) - dans «Select format to Download», sélectionnez «XGMML (Cytoscape)» et téléchargez le fichier NB: vous pouvez également générer le fichier depuis votre ordinateur et le transférer dans la machine virtuelle. Sur la machine virtuelle - lancer Cytoscape - importer le fichier récupéré de Intact (File/Import/Network/File ). Par défaut il est enregistré dans le dossier Download - IBI-1 pratiques 14 sur 16

15 - dans le Control Panel/Select, - ajoutez un filtre «Node : taxid_identifier», «doesn't contain» - tapez 10090, ce qui correspond à Mus Musculus, - supprimez les nœuds sélectionnés dans le menu Edit/Delete Selected Nodes and Edges, de manière à supprimer les interactions qui ne sont pas associées à la souris Vous obtenez alors un réseau d'interactions des protéines cibles de PEA3 chez Mus Musculus. - Modifiez la visualisation du réseau en choisissant Layout/yFiles Layouts/Organic - Dans Apps/App Manager, chercher et installez l'app BinGO - Sélectionnez tous les nœuds (Ctrl+A) - Exécutez Apps/BinGO pour faire une analyse d'enrichissement en processus biologiques des protéines sélectionnées : - donnez un nom - n'oubliez pas de sélectionner l'espèce «Mus musculus». IBI-1 pratiques 15 sur 16

16 Vous obtenez un graphe des processus biologiques enrichis, ainsi qu'un tableau qui liste ces processus et leur p-value associée. Plusieurs processus correspondent par exemple au développement, à la différentiation cellulaire ou à la régulation de l'apoptose, processus impactés dans la tumorigénèse ou les cancers du sein. Il est possible de sélectionner et copier une liste de protéines, puis de chercher ces protéines dans le réseau grâce à la barre de recherche en haut de la fenêtre principale. IBI-1 pratiques 16 sur 16