GUGGO 4 ème rencontre

GUGGO 4 ème rencontre PCIM, Plouzané BIRD, Nantes ABIMS, Roscof IRHS, Angers Ifremer, Nantes INRA, Rennes INRA IGEPP, Le Rheu GenScale, Rennes Dyliss, Rennes GenOuest, Rennes Point sur les instances dans le Grand Ouest : - évolution, retour des utilisateurs, formations, etc. Le toolshed GUGGO : intérêt & utilisation Galaxy dans le cloud : l'exemple du Genocloud L'intégration d'un outil de visualisation sous Galaxy : l'outil GSV Utilisation du groupe GUGGO du HUB ebgo

Point sur les instances dans le Grand Ouest Evolution, retours utilisateurs, formations

GenOuest Pannes infrastructure début de l'été Arrêt de Galaxy Juillet / Aout Reprise depuis début Septembre Nouvelles intégrations Analyse de réseaux métabolique : meneco, AureMe, bioquali, etc. RADseq : STACKS ANR Colib'read : discosnp, TakeABreak, KisSplice, commet, etc. Nouveau système pour ordonner les outils 3 fichiers de type tool_conf.xml

Le toolshed GUGGO Intérêt & utilisation

Rappel AppStore d'outils Galaxy Accès à partir du web & de n'importe quelle instance de Galaxy 2 toolsheds principaux : Main tool shed : https://toolshed.g2.bx.psu.edu/ Test tool shed : https://testtoolshed.g2.bx.psu.edu/ 1 toolshed GUGGO http://toolshed.genouest.org Possibilité de s'inscrire et d'injecter ses outils Possibilité de contribuer en notant les outils disponibles Possibilité en plus des outils d'avoir : Des datatypes Des workflows Des dépendances Des suites d'outils Total repositories 80 Unique owners 7 Deprecated repositories 5 Deleted repositories 5 Valid tools 89 Valid versions of tools 98 Invalid versions of tools 2 Exported Galaxy worflows 3 Custom datatypes 10 Total clones 5862

Le toolshed GUGGO : intérêt pour le développement Intérêt du toolshed pour le développement d'outils Utilisation de mercurial (hg) gestionnaire de versions distribué 1 repository -> 1 dépôt mercurial 1. Création du repository 2. Via le lien généré lors de la création hg clone xxxx@xxxx 3. Phase de développement 4. Sauvegarde et envoi des modifications hg commit & hg push 5. Récupération de l'outil sous Galaxy

Galaxy dans le cloud L'exemple de Genocloud

Genocloud provider Deployed by Olivier Sallou (senior engineer) IAAS Private cloud (for GenOuest users only) Uses Experimentation (limited infrastructure) Compatibility test : libraries <-> software <-> software suite Multi-servers communication test Cluster test (Sun Grid Engine, Hadoop, etc.)

Genocloud provider OpenNebula : Application to manage a cloud infrastructure Developers / administrators : manage the machine deployment Users : user-friendly interface New virtual machine in few minutes Root access uper-user Internet access Shared repository between your virtual machines

SCP SSH 1 1 Accessibility Local Genocloud 1 Mounted repository shared between your Virtual Machines SSH 2 Virtual Machine 192.168.2.21 SCP 2 genocloud.genouest.org Virtual Machine 192.168.2.63 Virtual Machine 192.168.2.22 Genocloud front 2 3

Our images Classic Debian CentOs Ubuntu server Advanced Next Generation Sequencing Virtual Desktop (Gnome, KDE) Bio-imaging (Gnome) Galaxy server Omero server Hubzero web application

debian galaxy OS : debian galaxy server installed and launched mysql database to increase performance > 20 supplementaries NGS tools installed from the main toolshed bwa, bowtie2, fastx_toolkit, samtools, etc. Image galaxy SGE available with SGE configuration

Xgrid Internal tool developed to ease the deployment of nodes used to setup Hadoop, SGE or manband workflows environments used to setup CHEF cookbooks installation on your nodes Embedded inside all GenOuest images Use EC2 (Elastic Compute Cloud) to deploy nodes on-demand Developed in ruby-sinatra Web application available http://cloud-lastip.genouest.org/xgrid

Debian Chef cookbooks CHEF : infrastructure for automatic applications deployment Based on writing cookbooks (action list) # install mercurial recipe include_recipe 'mercurial' include_recipe "database::mysql" # clone the galaxy-dist repository mercurial "/opt/galaxy-dist" do repository "https://bitbucket.org/galaxy/galaxy-dist" end # stop apache2 to release port 80 service "apache2" do action [:stop] only_if "test -d /etc/apache2/" end # generate the universe_wsgi.ini from out template Template "/opt/galaxy-dist/universe_wsgi.ini" do source "universe.erb" end Cookbook plugin available via Xgrid to load cookbook from a CHEF server (defined on the template) to install the cookbook on your node easily

Galaxy integration training 09/11/2014 1 VM galaxy per person 1 galaxy instance 1 toolshed instance

Intégration d'un outil de visualisation sous Galaxy L'outil GSV

Galaxy web server Galaxy have a custom python web server. A visualization tool is a web application composed of :

Mako library Mako is a template library for python. Generate HTML and JavaScript codes dynamically. May also be used to define data parsing functions.

Previous Galaxy version Mako files are added in : /templates/webapps/galaxy/visualization/ Css files are added to : /static/style/blue/ JavaScript files are added to : /static/script/

Directory structure

Mako file The mako file allow to : Define path of visualization directory. Import shared libraries (Javascript libraries include in Galaxy). Define paths for JavaScript libraries files of the visualizer. Define paths for Css files of the visualizer. Write HTLM code (replace index.html code).

XML file The XML file defines the visualization configuration. This file allows to define : What types of data are visualized. How to link data to the visualization. How to parse data for the final visualization page.

Save visualization No easy way implemented to add this functionnality : The save function must be defined in a javascript file (GSV.js) in : /static/scripts/viz/ This file has a specific structure and several dependencies. GSV.mako must be modify to import dependencies GSV.mako must be create a link with GSV.js. Define symbolic link of mako file for depencies.

Save visualization

Utilisation du groupe GUGGO du HUB ebgo

Le groupe GUGGO Toujours plus de wiki Toujours plus de resources liées à Galaxy News : Possibilité d'utiliser Galaxy directement via ebgo Création d'une URL par outil pouvant être citée

Merci de votre présence

Extra-files pour GSV

Mako files

XML file structure

XML file structure