Qu'est-ce que c'est??

Transcription

1 Mobyle 1.0 Hervé Ménager, Vivek Gopalan, Bertrand Néron, Sandrine Larroudé, Julien Maupetit, Adrien Saladin, Pierre Tuffery, Yentram Huyen, Bernard Caudron

2 Qu'est-ce que c'est??

3 A quoi ça ressemble?

4 Un framework d'intégration de ressources bioinformatiques: pour qui? pour quoi? Application destinée aux biologistes (pas seulement aux bioinformaticiens). Assure une visibilité pour les services proposés, et permet d'encourager de bonnes pratiques. Facilite l'administration, et permet le partage de ressources (services, données).

5 Une application destinée aux biologistes 64% des services utilisés par des biologistes sans "bagage informatique" Problèmes d'utilisabilité des services web recensés: -40% n'ont pas de d'exemples de données. -40% n'ont pas de texte d'aide ou de documentation -36% ont une interface contre-intuitive -24% n'ont pas de support ou support inopérationnel. -19% ont une interface mal concue (mauvaise taille des champs d'édition). -9% n'ont pas d'information de contact. Tous ces problèmes sont pris en compte par Mobyle. (sources statistiques Schultheiss, BOSC 2010: net/bosc2010/schultheiss-bosc2010-persistancewebservices)

6 Combler les lacunes des interfaces web existantes Données d'exemple, d'aide en ligne, liens d'aide

7 Combler les lacunes des interfaces web existantes Liens vers des pages d'aide et références bibliographiques:

8 Combler les lacunes des interfaces web existantes lien vert le support utilisateur intégré: SUPPORT TEAM

9 Faciliter l'intégration de ressources multiples De nombreux types de "services" sont disponibles via Mobyle: des programmes "ligne de commande" des workflows [NOUVEAU] des viewers [NOUVEAU] Pouvoir regrouper un grand nombre de ressources en conservant une interface utilisable.

10 Les "services" disponibles: les Workflows Services, de même nature que les programmes: exécutés "côté serveur". décrits via un fichier xml. déployés via mobdeploy

11 Les "services" disponibles: les Workflows (2) Ils apparaissent à gauche du portail Mobyle sont "explorables" via l'outil de recherche o peuvent être classés de la même manière que les programmes o

12 Les "services" disponibles: les Workflows (3) Ils sont paramétrables via des formulaires similaires à ceux des programmes.

13 Les "services" disponibles: les Workflows (4) Ils sont paramétrables via des formulaires similaires à ceux des programmes. Les résultats apparaissent dans l'onglet "Jobs"

14 Les "services" disponibles: les Workflows (5) Les résultats apparaissent d'ans l'onglet "Jobs" Ils sont paramétrable via des formulaires similaires à ceux des programmes. Les résultats apparaissent dans l'onglet "Jobs" Les résultats intermédiaires sont accessibles en cliquant sur le diagramme

15 Les viewers Problème: les résultats de l'exécution de services sont souvent dans des formats difficiles à lire et interpréter Solution: fournir des outils de visualisation plus évolués...

16 Les viewers: VARNA

17 Les viewers: Jalview

18 Les viewers: Archaeopteryx

19 Les viewers: implémentation composants "web": Applets Java, mais aussi composants Flash, Ajax, ou simple HTML. spécifiques d'un type de donnée: le composant sera proposé pour toute donnée (résultat de job ou bookmark) directement compatible. seulement pour la visualisation (ou la mise en forme) des données.

20 Classification et Recherche Classement des services: par catégorie par package [NOUVEAU] par type (Programme vs Workflow) [NOUVEAU] Recherche sur les descriptions disponible.

21 Comment guider plus efficacement l'utilisateur dans le choix des services? En analysant les données de l'utilisateur et les possibilités du portail: proposer des services en fonction des données existantes, proposer des données en fonction des services demandés. Grâce au typage des paramètres et des données.

22 Typage des paramètres et des données

23 Compatibilité La compatibilité entre une source (une donnée existante ou un paramètre en sortie d'un service) et une cible (paramètres en entrée d'un service): Biotypes compatibles -> Biotype source inclus dans la liste des Biotypes cibles, Datatypes compatibles -> classe du Datatype source est équivalente ou sous-classe de la classe du Datatype cible, Data formats compatibles -> Format source inclus dans les formats acceptés par la cible ou peut être converti dans un des formats acceptés par la cible

24 Réutilisabilité des données Réutiliser les données stockées dans l'espace utilisateur dans de multiples analyses: les données de l'utilisateur sont filtrées selon les règles de compatibilité.

25 Composition de services Enchaîner des services pour analyser les données l'assistance à la composition est basée sur les règles de compatibilité. la composition peut être interactive ou non.

26 Composition de services (2) Création de workflows [en développement] L'enchaînement de tâches est guidé par un système de suggestions "avant"/"arrière": quelle service peut analyser le résultat de cette tâche? quel service peut produire la donnée en entrée pour cette tâche?

27 Typage dynamique: plus de précisions, pour plus de pertinence. Permet de calculer le format d'un résultat en fonction d'options sélectionnées en entrée du workflow Maximise l'efficacité des enchaînements, réutilisations

28 Assistants de formats de données: plus de facilité pour l'utilisateur, plus de sécurité pour le serveur Composants permettant: la détection et la validation de formats de données la conversion entre différents formats de données

29 Gestion de l'espace de travail Gestion/visualisation des données utilisateur

30 Gestion de l'espace de travail (2) Gestion/visualisation des données utilisateur

31 Gestion de l'espace de travail (3) Gestion/visualisation des jobs utilisateur

32 Encourager les bonnes pratiques auprès des développeurs de services séparer le programme du service, en développant un programme distribué et utilisable séparément. les informations et services cités ci-dessus ne sont pas explicitement obligatoires avec Mobyle, mais le système prévoit leur intégration par défaut.

33 Assurer la visibilité des services Faciliter le référencement par les moteurs de recherche: o publication de cartes au format sitemap Faciliter la découverte de "nouveautés" en regroupant de nombreux outils, et en facilitant leur interopérabilité

34 Faciliter l'administration Mobyle permet d'avoir un point d'accès central pour tous les services hébergés. Une arborescence cohérente pour les jobs et les espaces utilisateurs. Une flexibilité vis à vis des systèmes d'exécution : o system o Sun Grid Engine ( script et via DRMAA) o torque (via DRMAA) o LSF (via DRMAA) Mobyle peut gérer ces systèmes en parallèle: o certains jobs vont être exécutés sur le cluster1 o d'autres seront exécutés sur le cluster2.

35 Faciliter l'administration (2) Une gestion de la visibilité et l'accès aux services par IP. Cette fonctionnalité permet de publier des services dans Mobyle mais de restreindre l'accès à ce service à une ou un groupe d'ip. C'est utilisée notamment dans la gestion des logiciels sous licence. AUTHORIZED_SERVICES = { 'http://mobyle.pasteur.fr/toppred.xml' : [ ' ', o ' *', o ]} o o Permet de désactiver/activer rapidement un ou un groupe de services trés rapidement. o o DISABLE_ALL = False DISABLED_SERVICES = [ 'portal1.service1', *', 'local.clustalw*' ]

36 Faciliter l'administration (3) Fournit des outils pour surveiller l'activité sur votre site: o log d'accès Tue, 25 Jan :57:12 distmat R pasteur Tue, 25 Jan :58:41 drawtree J pasteur Tue, 25 Jan :02:04 revseq K pasteur o mobjobw G SGE_DRMAA/mobyle -- running puzzle /25/11 12:30:27 -- LOCAL -- STANDALONE \UNKNOWN puzzle 6.phylip < puzzle.params V SGE_DRMAA/mobyle -- running blast /25/11 13:27:07 -- LOCAL -- STANDALONE \UNKNOWN blastall -p blastx -d uniprot -i data.txt -F F -v 10 -b 5 -o blast2.txt && html4blast -g -o blast2.html blast2.txt

37 Faciliter l'administration (4) Une simple ligne de shell permet d'avoir des vues plus global sur l'utilisation des services : nombre de jobs/jour, liste des utilisateurs, programmes utilisés... mobprog dotmatcher protdist drawtree clustalw-multialign mfold restrict neighbor mobjobs Jan Jan Jan Jan Jan

38 Faciliter l'administration (5) Un seul outil pour publier tous ces services: mobdeploy o valide les services (descriptions XML), o vérifie la cohérence imports/exports et les services prérequis par les workflows, o deploie et indexe les services. Des outils pour maintenir votre site: mobclean o nettoie les jobs finis au bout d'une durée déterminée (x jours), o nettoie les sessions anonymes et "inactives".

39 Permettre le partage de ressources: MobyleNet Mobyle fournit une solution technique pour la mise en place d'un réseau de partage de ressources en bioinformatique: MobyleNet

40 Import/Export de ressources avec MobyleNet

41 Conclusion 10 règles simples pour publier un "service web" bioinformatique (Schultheiss, BOSC 2010): Version standalone si possible, Connaître son audience, Utiliser un framework existant, Créer un outil portable, Fournir documentation et assistance, Inclure la communauté, Expliciter les changements (versions), Rediriger en fin de vie, Trouver quelqu'un d'autre pour le faire, Planifier la fin du cycle de vie.

42 Remerciements Institut Pasteur Bertrand Néron Sandrine Larroudé Corinne Maufrais Nicolas Joly Bernard Caudron Sophie Créno GenOuest Olivier Sallou Anthony Bretaudeau NCSU Ignazio Carbone Trent Monacell And many others... RPBS Julien Maupetit Pierre Tufféry Adrien Saladin LIPM Toulouse Sébastien Carrère NIAID BCBB Vivek Gopalan Yentram Huyen

43 Questions