Automatisation de la plateforme MicroScope avec l API JBPM. Engelen. CEA/DSV/IG/Genoscope Métabolique Laboratoire (Atelier) de Génomique.

Transcription

1 Atelier «BioWorkFlow» - 25/09/08 Automatisation de la plateforme MicroScope avec l API JBPM David Vallenet & Stéfan Engelen CEA/DSV/IG/Genoscope CNRS-UMR Génomique Métabolique Laboratoire (Atelier) de Génomique Comparative

2 Les composants de MicroScope Système de production Workflow d annotation automatique Gestionnaire de données Base de données relationnelle PkGDB BD objet MicroCyc (Réseaux métaboliques) Système de visualisation Interface graphique de consultation et d édition MaGe Explorer et éditer les connaissances contenues dans le gestionnaire de données : Annotation experte Outils de génomique comparative

3 SYNTAXIQUE Séquences génomiques Worflow d annotation FONCTIONNEL Calculs, recherche de similarités RELATIONNEL Reconstruction de processus RNA and protein genes Transcription/translation start & stop Nucleotide composition and «Words» Codon usage Genomic islands Ortho/Para/Homologs Gene/protein families Subcellular localization Motifs Assignations fonctionnelles Gene context, gene order Comparative genomics: PhyloProfile Gene fusion/fission Regulatory networks Protein interaction Metabolic networks Gènes / Protéines Protéines annotées Processus biologiques EXPERTISE HUMAINE Visualisation des données Annotations expertes EXPERTISE HUMAINE

4 Workflow : temps de calculs Plus de 20 méthodes différentes pour l annotation syntaxique, fonctionnelle et relationnelle. Temps CPU (AMD optéron double-cœur) pour un génome (5000 gènes/protéines) Blast sur Uniprot : 73 heures Blast PkGDB + Syntenie : 16 heures Blast RefSeq + Syntenie : 32 heures InterPro : 305 heures Autres analyses (COG, PRIAM, BioCyc, Rfam) : 10 heures => Total = 436 heures Parallélisation sur 36 CPU (72 cœurs) pour 1 génome = 6 heures pour tous les génomes de PkGDB = 86 jours

5 La base PkGDB MicroScope workflow Internal genomic data Computational results Primary/public data Genomic_Object (PK) GO_id (FK) GO_ori_id (FK) A_id (FK) S_id GO_evidence GO_update Genomic Object description Result 1 (PK) Result R_id 2 (FK)(PK) GO_id Result R_id (FK) (FK). (PK) GO_id Result R_id n (FK) (FK). (PK) GO_id R_id (FK) (FK). GO_id (FK). InterPro UniProt RefSeq HAMAP COG Enzyme ISFinder PubMed 5 Go 38 tables 400 Go 29 tables 5 Go 41 tables

6 Interface graphique : Magnifying Genomes MicroScope project Help(s) Options Authentification Genome Overview Annotator editor Export Artemis LinePlot CGView Synteny map Synton visualization Metabolic pathways KeyWords Blast / Motif Phylogenetic profiles Fusions / Fissions Genomic islands Exploration

7 Mise en œuvre des processus métiers : quels besoins? un langage pour définir rigoureusement un processus métier orchestrer/synchroniser les activités humaines et processus systèmes contrôler et suivre l évolution en temps réel reprendre sur échec une activité garantir la traçabilité

8 JBPM (Java BuisnessProcessManagement) : solution technique à la mise en œuvre des processus métiers Métier Technique Description du diagramme d activités Exécution, suivi et contrôle Formulation de la définition du processus avec JPDL Services JBPM (ensemble d outils développés avec l API JBPM) appli. web ou services web Traçabilité, reprise sur échec Persistance dans BD (hibernate)

9 JBPM : architecture Serveur Apache TOMCAT JBPM console (serveur d application) BD Contexte d exécution Instance de processus SEAM (serveur WEB) Serveur JBOSS BD contient : - les objets JBPM - les objets métiers

10 JBPM: définition d du processus On décrit le processus avec le langage JPDL (Java Process Definition Language) au format XML JPDL décrit un graphe et des propriétés dans chaque noeud et transition du graphe <?xml version="1.0" encoding="utf-8"?> <process-definition xmlns="" name="demo"> <start-state name="start"> <transition name="to_node1" to="node1"></transition> </start-state> <end-state name="end"></end-state> <node name="node1"> <transition name="to_end" to="end"></transition> </node> </process-definition>

11 JBPM: évènements & actions L activité d un nœud correspond à l exécution d un certain nombre d actions associées à des types d évènements évènement «process-start» évènement «node-leave» exécution actions (associées) exécution des actions évènement «node-enter» évènement «node-leave» exécution des actions exécution des actions évènement «node-enter» évènement «process-end» exécution des actions exécution des actions

12 JBPM: nœuds n & transitions Le comportement de «départ» d un noeud dépend de son type : State (état d attente) Node (état à comportement personnalisable) TaskNode (assigne et crée des tâches) Decision (dirige le flux en fonction d un critère) Fork (sépare le chemin d exécution entrant) Join (état bloquant/passant) Un seul type de transition

13 Quelques exemples

14 Définition de processus d un d workflow métier Tache métier 1 : comparer 2 à 2 n génomes avec blast 2 n calculs lancés sur un cluster avec lsf calculs terminés ou échoués Tache métier 2 : load dans pkgdb des résultats terminés à la tache 1 Tache métier 3 : calcul de synténies loadé à la tache 2 2n calculs lancés sur un cluster avec lsf calculs terminés ou échoués Tache métier 4 : load des synténies terminés à la tache 3 Reprise sur erreur : persistence contexte d exécution répertoire analyse taches échouées pour quels calculs

15 Définition de processus d un d CRON

16 Plateforme : CRON, Workflow métier, m web services Start Suspend Resume Stop new analysis input sequences update database old analysis date of analysis Suspend lsf jobs (bstop) Resume lsf jobs (bresume) Stop lsf jobs (bkill) with load without load

17 Taux d utilisation d de la plateforme 477 comptes personnels{ 307 en France 72 en Europe 42 Etats-Unis + 56 autres pays Projets collaboratifs avec une trentaine de laboratoires en France : Universités Paris, Strasbourg, Lyon, Marseille - Laboratoires CNRS - Institut Pasteur - CIRAD Montpellier - INRA, CEA. Projets collaboratifs avec 16 laboratoires hors France : USA, Chine, Corée, Allemagne, Belgique, Portugal, Partenaire(s) industriel(s) : Sanofi-Aventis 70 authentifications par jour (env. 150 pages consultées par session) => Efficacité du serveur Web MaGe (interface graphique)

18 12000 Evolution du nombre d annotations d expertes Nb Annotations Expertes Nb Cumulˇ Annotations oct-02 jan-03 avr-03 juil-03 oct-03 jan-04 avr-04 juil-04 oct-04 jan-05 avr-05 juil-05 oct-05 jan-06 avr-06 juil-06 oct-06 jan-07 avr-07 juil-07 oct-07 jan annotations expertes sont à ce jour enregistrées es dans la base PkGDB