L'utilisation des flux de travaux (workflows) pour l'analyse de grands jeux de données phylogénétiques: la plateforme Armadillo

Transcription

1 L'utilisation des flux de travaux (workflows) pour l'analyse de grands jeux de données phylogénétiques: la plateforme Armadillo Etienne Lord étudiant au doctorat en informatique Directeur de recherche : Vladimir Makarenkov, professeur au département d Informatique de l UQAM Codirecteur : Abdoulaye Baniré Diallo, professeur au département d Informatique de l UQAM

2 Sommaire La bioinformatique Les flux de travaux / flux de données Nomenclature des flux de données Systèmes de gestions de flux de travaux Les systèmes de gestions de flux de travaux en bioinformatique Galaxy Taverna La plateforme Armadillo orientée vers la phylogénétique Cas d utilisations Orientation dans le développement et défis Références

3 L évolution de la bioinformatique

4 L évolution de la bioinformatique Stratton MR, Campbell PJ, Futreal PA. (2009) The cancer genome. Nature. 458(7239):

5 L évolution de la bioinformatique Gibson TA. (2012) The roots of bioinformatics in ISMB. PLoS Comput Biol. 8(8):e

6 L évolution de la bioinformatique: deux solutions au problème des données

7 Première approche: création de logiciels parallèles Apache Hadoop (Application du Map-Reduce de Google) Programmation parallèle (Interface MPI, OpenMP, Nvidia CUDA, OpenCl) Cluster CPU ou GPU

8 Première approche: logiciel parallèles en bioinformatique Logiciels présentant de la parallélisation en bioinformatique Software Type API References HyPhy Genetic sequence analysis Apache Hadoop (OpenMP) distributed, MPI and gpgpu GARD Recombinant detection MPI Pond et al (Application (OpenCL, next du Map-Reduce release) de Google) Kosakovsky Pond et al Trex HGT Horizontal gene transfers MPI Boc et al fastdnaml Phylogenetic inference MPI, PVM Stewart et al mpiblast Sequence search MPI Darling et al. 2003, Lin et al Clustal-MPI MSA MPI Li, 2003 GPU-ClustalW MSA CUDA Liu et al pclustal MSA MPI Cheetham et al Programmation parallèle (Interface MPI, OpenMP, Liu et al (pas le Nvidia CUDA, OpenCl) même) MSAProbs MSA CUDA Liu et al Hybrid ClustalW MSA MPI/OpenMP (hybrid) Tan et al CUDA-BLASTP Sequence search CUDA mpicuda-blastp Sequence search MPI/CUDA (hybrid) Liu et al. 2011(pas le même) MPI-HMMER Sequence search MPI Walters et al GPU-HMMER Sequence search CUDA Walters et al PhyML Phylogenetic inference MPI / OpenMP (hybrid) Guindon et al. 2010

9 Deuxième approche: évolution des logiciels Applications Gestion par base de données (DBMS) Gestion de l interface (UIMS) Gestion de flux de travaux Systèmes de gestion de flux de travaux (WFMS) Chaque application a son système de données Pas d échange de données Les données sont sorties des applications L interface utilisateur est sortie des applications (MVC) La gestion du processus d affaire est sortie de l application Des processus d affaires peuvent être gérés en parallèle Aujourd hui Évolutions des logiciels. Hey. T, Tansley. S, Tolle, K. (2009) The Fourth Paradigm: Data-Intensive Scientific Discovery.

10 Deuxième approche: diviser la tâche en sous-tâches Workflows / flux de travaux Source Code source Transitions + Portabilité (pas de recompilation) + Automatisation + Scale-up facilité + Simplification de la cognition Puit Taverna Workflow System

11 Flux de travaux: définition générale d un workflow «Réseau de Pétri (T,P,A) comprenant une source (s) P, un puits (p) P et pour lequel chaque transition t P U T se retrouve dans un chemin de s à p. Normalement un graphe dirigé acyclique.» Jeton Séquences Source ClustalW Transition Action Tâche Logiciels d alignement de séquences Multiples et d inférence phylogénétique Jeton Choix du logiciel Muscle Mafft Place Puit Fin PhyML État Wil van van der Aalst, Kees van van Hee Workflow Management: Models, Methods, and Systems (Cooperative Information Systems series) The MIT Press (January 30, 2004)

12 Définitions Processus Suite de tâches exécutées dans un ordre pour compléter un cas. Synonymes: workflow, WF-net, procédure Tâche Processus atomique. Synonymes: transition, action, processor Exemple: exécutable Place Éléments passifs décrivant des conditions. Jeton Object ou donnée dans un workflow, réseau de Pétri précisant sont état. Synonymes: cas, tokens, context Exemple: liste de gènes Wil van der Aalst and Kees van Hee Workflow management: Models, Methods and Systems.

13 Flux de travaux: data-flow et control-flow Un data-flow, est un flux de travaux (workflow) dans lequel l ordonnancement des tâches est déterminé par la disponibilité des données. Plusieurs tâches peuvent ainsi être exécutées en parallèle sans qu une structure de flux de travaux particulière soit définie. Par contre, les flux de travaux traditionnels utilisés dans le domaine des affaires sont des control-flows. Dans un control-flow, l ordonnancement des tâches est déterminé par un ordre imposé par la complétion des tâches. Migliorini, S., Gambini, M., La Rosa, M. et ter Hofstede, A.H.M. (2011) Pattern-Based Evaluation of Scientific Workflow Management Systems. BPM Center Report BPM-11-03, BPMcenter.org, 2011.

14 Caractéristiques des systèmes de gestion de workflows (WfMS) Permet l interaction Supporte la reproductibilité dans les résultats. Intègre des services (e.g. services Web) et de logiciels hétérogènes. Supporte la distribution et la gestion de données hétérogènes. Support pour les plateformes hautes performances. Permet la surveillance pendant le fonctionnement et permet la reprise même dans le cas d erreurs. Permet une interconnexion avec d autres systèmes (e.g. de flux de travaux, d ordinateurs en réseau) Local Client-Serveur Services web (en ligne ou sur le nuage) Langage, recherche sur les flux de travaux Kepler (2004-) Taverna (2003-) Engins d exécution Triana (1997-) LONI (2003-) Galaxy (2005-)

15 Workflow en bioinformatique Plateforme Classe Flux de travaux Accès au «nuage» Application Kepler Local Data-flow Galaxy Web Data-flow Taverna LONI Bio-Jeti Triana Armadillo Local, services Web Local, services Web Local, services Web Client- Serveur Local Data-flow Oui (Ecogrid) O ui (Amazon EC2) Oui (mygrid) Général Bioinformatique Bioinformatique Data-flow Oui Bioinformatique Control-flow Oui Bioinformatique Data-flow/ Control-flow Data-flow/ Control-flow Oui Non Général Phylogénétique Kepler ( Galaxy ( Taverna ( LONI ( Bio-Jeti ( Triana ( Armadillo (

16 Problématiques résolues par les workflows en bioinformatique? Comment nous sauver du temps? Comment nous assurer des résultats? Comment conserver nos résultats? Comment réutiliser nos protocoles sur de plus grands jeux de données? Comment s assurer que nos protocoles soient efficaces?

17 Phylogénétique et phylogénomique

18 La phylogénétique L inférence phylogénétique est une méthodologie permettant d émettre des hypothèses sur l évolution des espèces. Kalign BAli-phy ClustalW2 Mafft fastdnaml PhyML TreeDist (Phylip) CONSENSE (Phylip) DNADIST (Phylip) DNAML (Phylip) DNAML- Erate Muscle Probcons T-Coffee DNAPARS (Phylip) NEIGHBOR (Phylip) PROML (Phylip) PRODIST (Phylip) RETREE (Phylip) SEQBOOT (Phylip) Séquences Alignement de séquences Alignement Inférence de l arbre Arbre Choix des signaux Orthologues? Signaux phylogénétiques? dbfetch (Web EBI) EB-Eye (Web EBI) Ncbi Ncbi eutils Download (Pubmed) Fetch Sequences Ncbi BioMart* GBlock BLAST Schématisation de l inférence d un arbre phylogénétique. Voir pour revue Philippe et al. (2011). Resolving difficult phylogenetic questions: why more sequences are not enough. PLoS Biol. 9:e

19 La phylogénomique Applique des principes de l analyse phylogénétique hiérarchiser l évolution des espèces, mais propose l utilisation de la totalité de l information génomique (e.g. structure du génome). Phylogénétique Phylogénomique Données Inférence d arbres phylogénétiques Protocoles Acquisition et choix des signaux Fichiers (Gènes) Logiciels Comparables Manuelle (alignement, etc.) Bases de données (Génomes) Collections de logiciels (?) Incomparables (?) Automatique (?) Exécution Locale Distribuée Les points d interrogation (?) constituent des sujets de recherche actuels. Philippe et al. (2011) Resolving difficult phylogenetic questions: why more sequences are not enough? PLoS Biol. 9:e

20 Exemple de workflows en recherche phylogénomique Méthodes (13) 120,000 séquences Logiciels (3) Un standard de reconstruction phylogénomique par Peters et al., (2011) BMC Biology 9:55

21 LONI Service webs et Local Langage Java Données externes Data-flow sans programmation Bioinformatique Requiert une liaison Internet Universitaire (projet de recherche) Bioinformatique pipeline.loni.ucla.edu

22 Galaxy Serveur Web ou Serveur Local Langage Python et PHP Data-flow Gratuit / Open source Next-generation sequencing (NGS) Traitement de données tabulaires Génétique des SNPs Web seulement avec possibilité d utilisation de Amazon Cloud ($$$) Le système de gestion de flux de travaux Galaxy ( Giardine, B. et al. (2005). Galaxy: a platform for interactive large-scale genome analysis, Genome Res.15:

23 Galaxy ( Next generation sequencing Exemples de workflows

24 Galaxy (

25 Sous-workflow dans Galaxy (2012) Goecks J, Coraor N, Team TG, Nekrutenko A, Taylor J. NGS analyses by visualization with Trackster. Nat Biotechnol Nov;30(11):

26 Galaxy: on Amazon Cloud Afgan, E et al. (2012) Galaxy CloudMan: delivering cloud compute clusters. BMC Bioinformatics. 11 Suppl 12:S4.

27 L approche de Taverna Local (Services webs) Langage Java Données internes Data-flow et control-flow avec programmation Bioinformatique Gratuit / Open source Requiert une liaison Internet Universitaire (projet de recherche) Développé par Microsoft

28 Répertoire de workflows (myexperiment.org) myexperiment.org

29 Exemple de workflows dans Taverna A B C

30 Taverna (suite) Taverna Workflow System Type de données simples (boolean, int, float, string ) Utilise des fichiers et non une base de données Hull et al. (2006) Taverna: a tool for building and running workflows of services., Nucleic Acids Research, vol. 34, Oinn et al. (2004) Taverna: a tool for the composition and enactment of bioinformatics workflows. Bioinformatics. 20(17):

31 Tavaxy : lien entre Taverna et Galaxy Abouelhoda M, Issa SA, Ghanem M. Tavaxy: integrating Taverna and Galaxy workflows with cloud computing support. BMC Bioinformatics May 4;13:77.

32 L approche de Armadillo Application WFMS UIMS DBMS Système exploitation Application WFMS UIMS DBMS Système exploitation Logiciels Java Windows, MAC OS X Lord E, Leclercq M, Boc A, Diallo AB, Makarenkov V. Armadillo 1.1: an original workflow platform for designing and conducting phylogenetic analysis and simulations. PLoS One. 2012;7(1):e29903.

33 Armadillo utilise des «types de données» biologiques définies Workflows Types définis Sequence DBMS SQLite (Un fichier) Multiple Sequences Alignment Ancestrale sequences ************************************************************************************************ **** Armadillo v1.0 New Execution started -Running workflow. -Started at :19:28 ************************************************************************************************ **** Running Ncbi eutils... Initialization... Running Ncbi eutils <-Program Output-> Term :bioinformatic+or+bioinformatics URL: eartics&retmax=25 ================================================= DatabaseFrom (Advanced) : ================================================= Tree Multiple Trees Text Sortie des logiciels API Applications locales Rapport HTML Services web GUI Engin d exécution (data-flow et control-flow) Lord E, Leclercq M, Boc A, Diallo AB, Makarenkov V, (2012) Armadillo 1.1: An Original Workflow Platform for Designing and Conducting Phylogenetic Analysis and Simulations. PLoS ONE 7(1): e29903.

34 Armadillo Local Langage Java Données internes Data-flow et Control-flow sans programmation Phylogénomique Données Logiciels et méthodes Données + Logiciels et méthodes Gratuit / Open source Phylogénétique / phylogénomique Pas de liaison Internet Universitaire (projet de recherche) Développé par l UQAM Le système de gestion de flux de travaux, Armadillo (

35 Armadillo (suite) A B C D A) Données, B) Outils, C) Flux de travaux exécutés ou non, D) Création de flux de travaux avec boucle (For each) et conditions d exécution (If)

36 Création d un «langage» d applications communes Local (80%) Alignment information Muscle (Web EBI) fastdnaml DNAPARS (Phylip) BAli-phy Probcons PhyML NEIGHBOR (Phylip) ClustalW ClustalW2 ClustalW2 (Web EBI) T-Coffee (Web EBI) RootTree (using MidPoint) PROML (Phylip) HGT Detector (UQAM) Robinson& Fould (UQAM) PRODIST (Phylip) LatTrans TreeDist (Phylip) RETREE (Phylip) Kalign PhyloNet v2.1 - RiataHGT CONSENSE (Phylip) SEQBOOT (Phylip) Kalign (Web EBI) Ancestor (UQAM) DNADIST (Phylip) PaML (baseml) Mafft (Web EBI) jmodeltest (Nucleic Acid) DNAML (Phylip) PaML (codeml) Muscle ProtTest (Amino Acid) DNAML- Erate PaML (yn00) Phylogénétique Convert to Protein or DNA Filter Concatenate Create Groups Download from WWW Load Files Load Sequences Load Trees Regular Expression Rename Remove Save to File Split Custom Run Java Program (Code) Random Sequences Random Trees Seq-Gen Generate HTML Archaeopteryx Scriptree Output to Screen Rshell* SQL Database query Blast Download Create Local BlastDB LocalBlast Distant (20%) dbfetch (Web EBI) Base de données Web EB-Eye (Web EBI) Ncbi Download Ncbi eutils (Pubmed) Fetch Sequences Ncbi BioMart* Blast Web Ncbi Blast Windows, Linux, MAC OS X

37 Comparaison entre les plateformestaverna et Armadillo A B Taverna Armadillo C

38 Téléchargement de Armadillo v1.1 Accès adn.bioinfo.uqam.ca/armadillo à Armadillo v1.1

39 Exemple de logiciels phylogénétiques inclus dans Armadillo Suchard MA and Redelings BD (2006) BAli-Phy: simultaneous Bayesian inference of alignment and phylogeny, Edgar, R.C. (2004) MUSCLE: multiple sequence alignment with high accuracy and high throughput. Classique Do CB, Mahabhashyam MS, Brudno M, Batzoglou S (2005) ProbCons: Probabilistic consistency-based multiple sequence alignment. Talavera, G., and Castresana, J. (2007). Improvement of phylogenies after removing divergent and ambiguously aligned blocks from protein sequence alignments. Systematic Biology 56,

40 Prospective et conclusion

41 Défis à long termes de la recherche dans les workflows Plateforme hétérogène (clusters) Irrégularité des communications Problème de stabilité des plateformes hautes performances (e.g. MPI ne prend pas en compte les erreurs)

42 Défis à long termes de la recherche dans les workflows Algorithmes de scheduling (critères d exécution: temps minimal, énergie minimale, coût minimal, fiabilité) Algorithmes de partage des données (réplication) Algorithmes de sauvegarde à des points précis (checkpoint) Anne Benoit, Umit Catalyurek, Yves Robert and Erik Saule, "A Survey of Pipelined Workflow Scheduling: Models and Algorithms", Report RRLIP , September 2010 Yves Robert, Frédéric Vivien, and Dounia Zaidouni, "Combining process replication and checkpointing for resilience on exascale systems", INRIA Research report RR-7951, June 2012.

43 Algorithmes de partage des données et checkpoint Génome ( Gb) Problématiques Complexité: NP-Complet - Distributions des données - Mémoire disponible par node - Sauvegarde de quel états pour minimiser le critère d exécution - Comment soumettre le workflow a une file d exécution (e.g. Sun Grid Engine, Hadoop) Yves Robert, Frédéric Vivien, and Dounia Zaidouni, "On the complexity of scheduling checkpoints for computational workflows", INRIA Research report RR-7907, March 2012 Résultats (Tb)

44 Conclusion pour Armadillo Maintenir une facilité d utilisation pour les nonprogrammeurs pour les WfMS en bioinformatique Distribution des processus application client-serveur utilisation des services de cloud computing Une meilleure sémantique d utilisation et de comparaison des workflows. Une meilleure distribution des tâches.

45 Remerciements Toute l équipe du laboratoire : Vladimir Makarenkov, Abdoulaye Baniré Diallo, Alix Boc, Mickael Leclercq, Alpha Boubacar Diallo, Dunarel Badescu, et tous les autres Merci aux organismes suivant:

46 RÉFÉRENCES 1. Missier, P., Soiland-Reyes, S., Owen, S., Tan, W., Nenadic, A., Dunlop, I., Williams, A., Oinn, T., Goble, C. Taverna, reloaded. LNCS 6187, , McPhillips, T., et al. Scientific workflow design for mere mortals. Future Gen. Com. Sys, 25, , Goecks, J., et al. Galaxy: a comprehensive approach for supporting accessible, reproducible, and transparent computational research in the life sciences. Genome Biol, 11, R86, van der Aalst, W.M.P. et van Hee, K. Workflow managment : Models, Methods, and Systems. MIT Press, Cambridge, Massachussetts, 368 pages, 2002.

47 gènes La phylogénétique Une phylogénie est une représentation de la relation évolutive entre des espèces basée sur l étude des gènes. M. marshali M. oregonensis M. montanus M. triangularis M. triangularis M. montanus M. oregonensis M. marshali Modification de l image de Roderic Page. Systematic Biology, couverture Juin 2007, inspiré de Maddison (1997).

48 Évolution des sciences Sciences expérimentales Sciences théoriques Sciences informatiques Sciences «data-intensives» Observations Descriptions des phénomènes naturels Formulation de lois Loi de Newton Simulations de phénomènes complexes Collections de données hétérogènes: Simulations, réseau de capteurs, instrumentation, agrégations, Millénaires précédents Siècles précédents Décades précédentes Aujourd hui Séquences nucléiques et protéiques, structures 3D, données d expressions, Hey. T, Tansley. S, et Tolle, K. (2009) The Fourth Paradigm: Data-Intensive Scientific Discovery.