Conception de workflows de traitement de données

Transcription

1 1 / 30 Conception de workflows de traitement de données L expérience de MaIAGE avec Galaxy, AlvisNLP et OpenMinTeD Robert Bossy Bibliome AG ICAT 5 décembre 2016

2 2 / 30 1 Introduction 2 Gestionnaire de workflows 3 OpenMinTeD 4 Conclusions

3 Introduction 3 / 30

4 4 / 30 Introduction Retour d expérience sur l utilisation et le développement de worflows logiciels de traitement de données. Exemples Taitement Automatique de la Langue (TAL), Extraction d Information (IE) Bioinformatique Bibliome passe progressivement d une pratique empirique vers une approche méthodique (H2020 OpenMinTeD).

5 Workflow, qu est-ce que c est? 5 / 30 Définition Série de traitements de données automatisés interdépendants dans l objectif de produire des données secondaires. Exemples TAL : annotation sémantique de textes Bioinformatique : annotation fonctionnelle des gènes d un génome

6 6 / 30 Exemple détaillé Quelques caractéristiques Composants logiciels avec des tâches distinctes identifiées Le flot de données impose une interdépendance entre ces composants Chaque composant utilise des ressources externes

7 Comment fait-on? Majorité des cas : un script La série de traitements est plus ou moins explicite. Le flot de données est implicite. Problèmes La reproductiblité des résultats dépend de la maintenance du script. L adaptation à de nouvelles données n est pas toujours triviale. Le passage à l échelle est limité. Le code est un obstacle au transfert et au partage. La valorisation se borne à la distribution du code. 7 / 30

8 8 / 30 Comment faire? Reproductibilité Assurer systématiquement la provenance des données produites. Centralisation et isolement de la spécification de la séquence de traitements, et des ressources externes utilisées. Adaptation Possibilité d insérer de nouveaux traitements, de réassembler les workflows. Identification et isolement des paramètres des algorithmes et des ressources externes.

9 9 / 30 Comment faire? Transfert et partage Résultats enrichis de leur provenance. Transfert du processus, et non du code. Valorisation des développements Assurer la synergie des développements, mutualisation des compétences. Penser chaque nouveau développement comme un composant de workflows, élaboration d une bibliothèque.

10 10 / 30 Comment faire? Passage à l échelle Optimiser le flot de données. S affranchir du modèle d éxecution machine unique. Assurer le rapport et la surveillance. Séparation des responsabilités : exécution des composants logiciels, gestion des données.

11 11 / 30 Et si on s attaquait à ces problèmes? Le script devient logiciel Cela necessite une compétence de développement logiciel. Il existe un acquis sur les workflows, problématique très ancienne. Exemples AlvisNLP/ML (TAL, Bibliome) UIMA (TAL, Apache) Galaxy (Bioinfo, Univ. de Pennsylvanie) OpenMinTeD (TAL, E-INFRA)

12 12 / 30 Que va permettre un gestionnaire de workflow? Assembler les workflows de traitement de données. Prendre en charge complètement le flot de données. Prendre en charge les corvées. Vérifier et exécuter le workflow spécifié.

13 Gestionnaire de workflows 13 / 30

14 14 / 30 Focus sur trois fonctions 1 Interprétation du workflow 2 Prise en charge des données 3 Animation du workflow Standardisation des composants logiciels.

15 Interprétation du workflow Écrire de façon déclarative le workflow Décrire une séquence des processus de façon déclarative. Expliciter les paramètres et les ressources externes. Centralisation déclarations Adaptabilité Transfert et partage 15 / 30

16 Exemples 16 / 30 <alvisnlp-plan id="ren"> <module id="reader" class="xmlreader2"> <sourcepath filter="\.xml$">../corpus/quaero_t3.2_gene_dev+train-v1.1</> <xsltransform>../../bibliome/share/xslt/gene-train2alvisnlp.xslt</> </module> <import file="../resources/segmig.xml" id="segmig"/> <module id="tt" class="treetagger"> <treetaggerexecutable>/bibdev/install/tree-tagger-3.2/bin/tree-tagger</> <parfile>/bibdev/install/tree-tagger-3.2/lib/english.par</> </module> <module id="train" class="trainingelementclassifier"> <algorithm>weka.classifiers.bayes.naivebayes</> <classifierfile>classifier.model</> <relationdefinition>attributes.xml</> <examples>documents[@set=="train"].sections.layer:candidates</> </module> </alvisnlp-plan>

17 Flux de données Intégrer les données produites par les difféérents composants Encapsuler la conversion des données E/S. Aligner la sémantique des données. Abstraction des formats de données Transfert et partage Reproductibilité Adaptabilité 17 / 30

18 Deux approches pour le flux de données Galaxy Les données manipulées sont une signature de chaque logiciel. + Assistance à l assemblage des workflows - Scénarios prédéfinis, conversions explicites AlvisNLP, UIMA Définition d une représentation universelle, d un format pivot. + Liberté d assemblage, conversion implicite - Pas toujours possible 18 / 30

19 19 / 30 Animation du workflow Coordoner l exécution des composants logiciels Sur la base d une séquence spécifiée par l utilisateur (workflow). Support pour des environnements variés : serveur unique, ferme de calcul, virtualisation des composants... Rapport d exécution : logs, moniteur d avancement, échec grâcieux. Prise en charge de l exécution Passage à l échelle Reproductibilité

20 20 / 30 Standardisation des composants logiciels Les composants doivent être décrits et encapsulés de façon uniforme de façon à : coopérer avec l animation, concrétiser le flux de données. Exemple simple : commandes Unix cut -f 4 tableau.txt sort uniq -c sort -n

21 Description des composants 21 / 30 AlvisNLP Galaxy

22 OpenMinTeD 22 / 30

23 23 / 30 Constat Multiples gestionnaires de workflow développés spécifiques au TAL (AlvisNLP, DKPro, Argo, GATE). Composants intégrés distincts dans chacune des plate-formes. Les plate-formes ne sont pas interopérables. Exploiter l état de l art en TAL nécessite plus de compétences que nécessaire.

24 24 / 30 Objectifs de OpenMinTeD Démocratiser le TAL. Créer une union des bilbiothèques de composants. Composer, réutiliser et partager des workflows, indépendamment. Centraliser l accès aux documents et aux ressources. Puissance de calcul et de stockage (GRNET).

25 Méthodologie OpenMinTeD 25 / 30

26 Les choix de OpenMinTeD Flux de données : XMI+RDF Constante en TAL : représentation unique Représentation des corpus (RDF), et des annotations (XMI). Animation du workflow : Galaxy Large base d utilisateurs, durable Qualités techniques : grilles, cloud, stockage, API... Interfaces graphiques Adaptation à la logique représentation universelle : s appuyer sur l expérience de LAPPS et CLARINO Annuaire des ressources Dépôt, description et recherche de ressources. Ressources : lexiques, ontologies, composants logiciels... Interface REST et graphique. 26 / 30

27 27 / 30 Verrous Droits associés aux données traitées. Logiciels interactifs : éditeur d annotations, rythme différent, statut des données. Versionnement des ressources et mises à jour. Interaction avec les applications qui exploitent les résultats.

28 Conclusions 28 / 30

29 Que choisir? 29 / 30 Flux de données La nature des données manipulées est déterminante : Paradigme intrinsèque : tables, signaux, graphes... Hétérogénéité parmi les logiciels Volume et granularité Délimitation Étroite données plus homogènes repousse des problèmes d intégration inévitables Large : plus de couverture données plus hétérogènes

30 30 / 30 Discussion : CATI Workflows Réflexion autour de une ou plusieurs applications Objectif applicatif réel. Mutualiser des développements et des données distinctes. Définition et spécifications pour un gestionnaire de workflows. Développement de prototype(s).