Direction du Système d'information Service Informatique scientifique et Appui aux Partenaire du Sud Formulaire de demande SPIRALES «Soutien aux Projets Informatiques dans les Equipes Scientifiques» Appel à projets 2014 Date de clôture: 31 décembre 2013 La mise en œuvre de l appel à projets est réalisée par la DSI de l IRD Contact spirales@ird.fr I.R.D (Institut Recherche Développement) www.ird.fr Siège social : Le sextant-44, boulevard de Dunkerque-Marseille
1 Nature du projet 1.1 Titre du projet Développement d'un outil générique d'indexation pour optimiser l'exploitation de données biologiques structurées, semi-structurées et non-structurées (BIO esai). 1.2 Résumé du projet proposé (5 lignes maximum) Des études de la diversité des riz vietnamien sont conduites au LMI RICE dans le but d'identifier des gènes d'intérêt pour l'amélioration de variétés locales. Ces études requièrent la manipulation d un volume important de données hétérogènes (fichiers textes, images et métadonnées associées, bases de données relationnelles). Dans ce contexte, le LMI RICE souhaite développer un outil d'indexation générique afin de pouvoir naviguer, partager et annoter ces données dans l'interêt de les exploiter et les diffuser au mieux. 1.3 Type de projet Nouveau projet 2 Porteur(s) et collaborateur(s) du projet 2.1 Unité LMI Rice Functional Genomics and Plant Biotechnology (RICE) Hanoi, Vietnam 2.2 Département Environnement & Ressources 2.3 Statut et coordonnées du porteur de projet Stéphane JOUANNIC Permanent / CR1 IRD UMR DIADE, Affectation au LMI RICE, Hanoi (Vietnam) +84 987354167 stephane.jouannic@ird.fr 2.4 Nom et coordonnées du Directeur d'unité (si différent) Pascal GANTET Permanent / PR UM2 Directeur LMI RICE, Hanoi (Vietnam) +84 1242267855 pascal.gantet@univ-montp2.fr 2.5 Avis du directeur d'unité (obligatoire) Ce projet de système d'indexation de donnée multi-formats est très important pour exploiter au mieux nos résultats de phénotypage et de génotypage visant à valoriser ou mieux connaître les ressources génétiques locales (riz, pathogènes) dans un contexte de travail multi-partenarial et international qui caractérise notre LMI RICE (UMR DIADE, RPB, AGAP, AGI, USTH, PRC, PPRI). L'aspect novateur qui réside dans la mise au point d'un système évolutif permettra d'intégrer les données qui seront obtenues dans le cadre de projets en Page 2 sur 12
émergence qui seront réalisés par les partenaires en s'appuyant sur des infrastructures du LMI. Le LMI RICE soutien fortement ce projet, il s'est doté d'un serveur informatique à cette fin et plusieurs projets financés sont en cours pour l'acquisition des données (phénotypage, génotypage). Les membres permanents du LMI RICE consacreront une partie de leur temps pour développer le projet. 2.6 Site(s) de déroulement du projet (pendant la réalisation) 1. Agricultural Genetics Institute (AGI), Hanoi (Vietnam), site d'implantation du LMI RICE 2. UMR DIADE, Montpellier (France) 2.7 Site administratif à partir duquel se feront les dépenses budgétaires Représentation IRD-Vietnam, Hanoi 2.8 Liste des unités (ou organismes partenaires) du projet Organisme (laboratoire/unité) Directeur Localisation géographique LMI RICE P Gantet Hanoi (Vietnam) UMR DIADE (IRD/UM2/CIRAD) S Hamon Montpellier (France) UMR RPB (IRD/UM2/CIRAD) M Nicole Montpellier (France) University of Science and Technology of Hanoi (USTH) P Sebban Hanoi (Vietnam) UMI UMMISCO (IRD/UPMC) JD Zucker Hanoi (Vietnam) 2.9 Liste des intervenants impliqués de manière effective dans la réalisation du projet Stagiaire Hanoi 6 mois plein-temps soit 100 jours ETP Pierre LARMANDE Permanent / IE2 IRD (UMR DIADE) - Montpellier pierre.larmande@ird.fr 1 jour/semaine soit 40 jours ETP Stéphane JOUANNIC Permanent / CR1 IRD (UMR DIADE) Hanoi stephane.jouannic@ird.fr 2 jours/semaine soit 80 jours ETP Pascal GANTET Permanent / PR1 UM2 (UMR DIADE-LMI RICE) Hanoi pascal.gantet@univ-montp2.fr 0,5 jour/semaine soit 20 jours ETP Stéphane BELLAFIORE Permanent / CR2 IRD (UMR RPB) Hanoi stephane.bellafiore@ird.fr 10 jours ETP Jean-Daniel ZUCKER Permanent / DR1 IRD (UMR UMISCO) Hanoi Jean-Daniel.Zucker@ird.fr 5 jours ETP LUONG Chi May - Permanent / PR (IOIT) Hanoi lcmai@ioit.ac.vn 5 jours ETP PHAN VU Trung Administrateur système USTH, Hanoi 5 jours ETP Page 3 sur 12
3 Moyens / appuis demandés à la DSI 3.1 Soutien demandé à la DSI pour 2013 Soutien demandé : soutien en accompagnement: à la préparation du projet informatique (cahier des charges, gestion appel d offre) à la réalisation du projet informatique (spécifications, développement, tests) préciser si possible les compétences attendues (web, SIG, SGBDR ) à la rédaction du volet informatique d un dossier de financement (i.e. réponse à un appel à projets) à la rédaction d un cahier des charges pour la recherche d un opérateur informatique (pour répondre à des besoins de stockage, archivage, hébergement ) soutien pour l hébergement: de l applicatif scientifique sur une machine virtuelle (accès root autorisé) d un serveur physique (cas particulier où une machine virtuelle ne conviendrait pas) soutien pour obtenir des outils/licences: Outil de gestion de version 1 (un serveur peut être mis à disposition de l équipe de développement pour partager le code source) Système de gestion de développement collaboratif de logiciel (forge) PowerAMC (licences flottantes) 2 ArcGIS V10.1 (licence de site) 3 Soutien financier (pour un besoin différent des soutiens précédents): 4000 HT justification: - Accueil d'un stagiaire pour une période de 6 mois (1000 = 6 mois gratifications locales) (Cf. sujet de stage joint) - Mission de 2 semaines au LMI RICE (Vietnam) pour Pierre Larmande pour la mise en place du groupe de travail et l'encadrement initial du stagiaire (3000 = billets et per diem) Tout soutien sera effectué soit par le pool de compétences du service IS&AS 4 en fonction des ressources disponibles, soit par la mobilisation de moyens financiers SPIRALES. Si la réalisation est prévue d être effectuée par un stagiaire de 6 mois, joindre la demande de stage au dossier SPIRALES. 3.2 Montant(s) précédemment attribué(s) par la DSI - en euros HT 2011 2012 2013 Montants attribués ( HT) 0 0 0 1 http://www.ird.fr/informatique-scientifique/outils/services/versioning/subversion_dsi/ 2 http://www.sybase.fr/products/modelingdevelopment/poweramc 3 http://www.esri.com/software/arcgis/ 4 Informatique en Soutien à la Science & Appui aux partenaires du Sud (https://www.ird.fr/dsi/ladsi/organigramme-trombino/service-informatique-scientifique-et-appui-aux-partenaires-du-sud) Page 4 sur 12
3.3 Moyens affectés au projet et Cofinancements acquis hors SPIRALES ( HT) Autres sources de financements acquis (interne ou externe IRD) pour ce projet (ex. ANR, CE ) Montant ( HT) : 3000 (budget IRD-LMI RICE) pour l'achat d'un serveur local; 8000 (projet EVOREPRICE) pour support de phénotypage au champ; 5000 (financement structurant consortium USTH) pour achat d'un système d'acquisition d'image; Sources de financements potentiels à venir (interne ou externe IRD) pour ce projet (ex. ANR, ) Montant ( HT) : 8000 (financement PHC Hua Sen Lotus 2015-2016) pour support de phénotypage au champ et entretien de la collection de variétés vietnamiennes de riz 4 Description du projet 4.1 Objectifs scientifiques (en précisant les aspects innovants) Dans le cadre du laboratoire LMI RICE, des études de la diversité génotypique et phénotypique de variétés traditionnelles de riz vietnamien sont conduites dans le but d'identifier des gènes d'intérêt pour la compréhension de processus biologiques (développement et plasticité de la plante, résistance aux maladies) mais également pour des futurs programmes d'amélioration conduits par les partenaires vietnamiens. Ces études requièrent la manipulation d un important volume de données hétérogènes de séquençage, de génotypage, de phénotypage. Ces données sont pour parties déjà disponibles. Des données complémentaires seront produites au cours de l'année 2014. Ces données peuvent être stockées sous la forme de fichier Excel, texte structuré, images ou bases de données relationnelles. Dans ce contexte, l équipe du LMI RICE souhaite, par la mise en place d'un outil d'indexation, organiser ses propres jeux de données afin de pouvoir plus facilement les exploiter et les partager dans un contexte multipartenarial (LMI). Par ailleurs, un des objectifs de ce projet est de développer un outil informatique GENERIQUE et TRANSPOSABLE à d'autres problématiques et thématiques impliquant la gestion et l'analyse de données multiformats. Les projets développés au sein du LMI RICE à Hanoi sont à l'interface de deux UMR "Plantes" de l'ird (DIADE et RPB), unités qui bénéficieront directement des retombés de ce projet Spirales, notamment via le plateau bioinformatique de Montpellier (sous la co-responsabilité de Pierre Larmande). Par ailleurs, le LMI RICE est un laboratoire associé à l'usth (université franco-vietnamienne à Hanoi), pour laquelle le développement d'un tel outil est d'un grand intérêt pour la formation et les différents laboratoires de recherche qui y sont associés. De plus le LMI RICE est en relation avec l'umi UMMISCO et l'ioit (Institute of Information Technology, Hanoi, Vietnam) qui pourront apporter leur support et leur expertise au développement du système d indexation multidonnées. L implémentation de systèmes d information utilisant les bases de données relationnelles n est pas adaptée à notre problématique car cette méthode n est pas évolutive. L objectif scientifique de ce projet est donc de proposer et d'implémenter une solution de stockage, de gestion et de consultation de fichiers de natures diverses (Excel, texte structurés, images, bases de données relationnelles), grâce à la conception d un système «souple» (c est a dire supportant le changement) en fonction des besoins des utilisateurs. La réalisation du projet bénéficiera du soutien d un stagiaire niv. Master2 accueilli au LMI RICE pour une période de 6 mois. 4.2 Le projet technique Page 5 sur 12
4.2.1 Nom de votre outil (dans le cas d un développement d application) Biological Electronic Scientific Assistant Index (BIO esai) 4.2.2 Description de l'existant (moyens outils compétences) Depuis 2013, le LMI s est doté d un serveur de stockage de données expérimentales. Il s agit d un serveur HP Z820 installé sous Ubuntu serveur 12.04 LTS. La capacité utile de stockage est de 9 To avec une sauvegarde quotidienne sur disque externe. Le serveur est uniquement accessible aux personnels et collaborateurs du LMI RICE. Les scientifiques gèrent leurs données en utilisant divers protocoles comme FTP et SSH, ou en utilisant la session graphique correspondant à leur compte personnel sur le serveur. Néanmoins, les besoins des scientifiques du LMI quant au stockage de manière structurée des données dépassent le service actuellement proposé par le serveur et son environnement. Les compétences dans le domaine des Systèmes d Information sont portées par Pierre Larmande (Wollbrett et al, 2013) qui encadrera le stagiaire sur les aspects techniques. Un état de l art des systèmes existant sera réalisé en début de stage. Les bases de données NoSQL, les moteurs de recherche basés sur du NoSQL ou les systèmes d indexation tels qu Apache Lucene seront évalués. 4.2.3 Décrire l architecture envisagée pour votre outil (un schéma sera apprécié) Le système sera composé de 3 parties (3 tiers/architecture) : La partie système fera référence aux systèmes d indexation et de gestion. Il est possible lors des tests que nous retenons plusieurs systèmes (en fonction des évaluations sur les jeux de données différents). Page 6 sur 12
La couche d accès aux données sera développée pour s affranchir de la spécificité des logiciels. Dans notre cas nous préfèrerons réutiliser des API existantes telles que Java SPRING (ou d autres) pour gérer cette partie. La partie des interfaces, constituera la majeure contribution du travail. Elle sera directement liée aux besoins exprimés en terme de requêtes et visualisation. Nous nous assurerons que cette couche soit suffisamment générique pour être utilisé dans un autre contexte scientifique. 4.2.4 Lister les méthodes/référentiels, langages de programmation, normes - NoSQL databases - ElasticSearch (apache) - Solr (Apache) - UML (Modeling language) - Java/Python (programing language) - Javascript, Ajax, jquery (web langages) La plupart des logiciels évalués sont soumis à des licences libre (open GL, BSD, Apache ou GPL). De manière générale nous privilégierons les logiciels avec ce type de licence. Le langage Java sera utilisé pour réaliser les couches d accès aux données ainsi que les interfaces de visualisation et d administration. Dans ce cas, nous serons dans un environnement web (Java, Javascript, Ajax, jquery). Le langage python pourra être utilisé pour réaliser les étapes d extraction et d indexation (optionnel) 4.2.5 Énumérer et décrire les données/méta données de votre outil (thématique, format, volume, ) Un nombre important et variable de fichiers de données structurées (base de données relationnelles), semistructurées (textes, classeurs) et non structurées (images) sont (et seront) générés par les activités de recherches du LMI RICE. Pour les données non-structurées, un volume minumum de 200Go d'images et métadonnées associées seont produites lors des différentes campagne de phénotypages. Les données semistructurées (textes, classeurs, données de séquençage) représenteront un volume d'environ 200Go à terme. 4.3 Le planning 4.3.1 Calendrier du projet (digramme de Gant souhaité) Le planning du projet s étale sur la durée d un stage de Master 2 en informatique, soit du 1er février au 31 juillet 2014. Un sujet a été proposé à l Institut de la Francophonie pour l Informatique (IFI) d Hanoi. Des candidats sont en cours de sélection. La phase initiale sera d effectuer l inventaire des besoins en termes de stockage et d indexation de ressources. Une phase d état de l art sera nécessaire pour évaluer la diversité des applications disponibles, leur contrainte de licence et leur réutilisation. Une phase de test sera nécessaire sur un sous ensemble d applications correspondant aux critères prédéfinis dans la phase initiale. Une phase d implémentation sera réalisée. Page 7 sur 12
Une mission au Vietnam de Pierre Larmande sera prévue lors du début de la phase d'implémentation. 4.3.2 Liste des livrables et documents (spécifications fonctionnelles, techniques, API, manuel utilisation ) L outil «Bio esai» sera livré en septembre 2014 avec un manuel complet disponible en ligne via le site du plateau bioinformatique trans-umr (DIADE, RPB, MIVEGEC, NutriPass). La documentation détaillera les dépendances de l application. Elle expliquera comment installer ces dépendances en relation avec l application. Le logiciel final sera mis en ligne sous la forme d un package web application (+ dépendances) à déployer sur un serveur Apache Tomcat. 4.4 Pérennité du projet Le LMI RICE accueille plusieurs projets de recherche centrés sur le riz, impliquant plusieurs UMR IRD (DIADE, RPB) mais également en collaboration avec d'autres UMR de Montpellier (BPMP, AGAP). Le LMI RICE sera très probablement prolongé au-delà de 2015. Les projets scientifiques développés au sein du LMI RICE ont pour objectif de produire de la connaissance (génotypage, phénotypage) relative à l'amélioration des variétés de riz au Vietnam et de former les futurs chercheurs de l'agi. Ces projets ne peuvent se développer que sur le long-terme en partenariat avec différentes institutions vietnamiennes. L'outil développé contribuera à cette pérennisation des projets scientifiques en facilitant la mémorisation, la valorisation la diffusion et l utilisation des données acquises. L'objectif est également de déployer cet outil vers différents partenaires, différentes UMR. Le LMI RICE alimentera et encadrera le développement de ce projet. Par ailleurs tout nouveau projet/demande de financement extérieur impliquant l'utilisation de cet outil, son développement et son alimentation en terme de données devront consacrer une partie de leur budget à cette fin. L'administration du serveur de stockage des données et de l'outil développé dans le cadre de ce projet se fera grâce au soutien de l'administrateur système de l'usth et du plateau bioinformatique de l'ird-montpellier. De plus, l encadrement des ingénieurs du plateau bioinformatique garantira la maintenance de l application à la fin du projet. 5 Bénéfices pour le Sud (cf objectifs dans le guide du candidat ) 5.1 Sites impliqués au Sud Le site principal de développement de cet outil sera l'agi (Agricultural Genetics Institute, Hanoi, Vietnam), site d'implantation du LMI RICE. Page 8 sur 12
5.2 Mobilisation des partenaires du Sud Au-delà de l'agi, cet outil sera également d'une grande importance pour les chercheurs affiliés à la Vietnam Academy of Agricultural Science (VAAS) conduisant des recherches en amélioration du riz, comme le Plant Ressource Centre (PRC - institut de gestion de variétés végétales au Vietnam), le Plant Protection Research Institute (PPRI institut de recherche en phytopathologie au Vietnam) Hoang Anh TA PPRI Hanoi, Vietnam anh742002@gmail.com utilisation de l'outil (fiche passeport variétés vietnamiennes) Tuan Nghia LA PRC Hanoi, Vietnam latuannghia@agi.vaas.vn utilisation de l'outil (fiche passeport variétés vietnamiennes) 5.3 Renforcement des capacités des partenaires L'objectif est que les partenaires acquièrent de plus en plus d'autonomie quant à l'archivage et la valorisation des données relative à leurs projets scientifiques via l'utilisation de cet outil. Les chercheurs de l'agi ainsi que les étudiants formés au sein du LMI (les futurs chercheurs de l'agi) seront les premiers contributeurs et utilisateurs de cet outil. Cet outil constituera également une vitrine pour la communication des données acquises en partenariat avec le LMI et sera transféré vers d'autres instituts vietnamiens tels que le PRC et le PPRI. Plus globalement, l'objectif est de produire un outil d'indexation générique utilisable pour un grand nombre d'applications, de projets basés sur l'utilisation de fichiers multi-formats. Page 9 sur 12
6 Actions transversales Un projet "SPIRALES" ne peut être le projet d une unité ; il a vocation à être valorisé et être réutilisé au sein de l institut, et à l extérieur. Une démarche de capitalisation doit être recherchée. 6.1 Protection de code La plupart des logiciels évalués sont soumis à des licences libres (open GL, BSD, Apache ou GPL). De manière générale nous privilégierons les logiciels avec ce type de licence. 6.2 Transfert de technologie Il n est pas prévu de travailler sur un axe de transfert technologique dans cette phase du projet. L objectif de cette première phase est d identifier les besoins, les formaliser et implémenter une première version d un système d indexation. 6.3 Ré-utilisation d anciens SPIRALES Néant 6.4 Communications Une publication dédiée au développement et à l'exploitation de cet outil est prévue. Les participants à ce projet ont déjà l'expérience de valorisation d'outil informatique : OryzaTagLineDB (Larmande et al. 2008), P- TRAP (AL-Tam et al. 2013). Par ailleurs, cet outil pourra être également valorisé au travers de plusieurs publications qui porteront sur les différents résultats scientifiques faisant références aux analyses associées à cet outil. De même, ce produit sera mentionné systématiquement lors de participation à des congrès (communication orales ou poster) relatifs aux résultats scientifiques obtenus. Page 10 sur 12
7 Adéquation du projet avec les objectifs de SPIRALES (cf. guide du candidat) Le projet de développement de l'outil Bio esai répond entièrement à l'objectif de SPIRALES qu'est l'aide au développement informatique. Notre objectif est de développer un produit OpenSource générique et transférable en impliquant nos partenaires en tant qu'utilisateurs et contributeurs. De par ses aspects novateurs en système d'information (indexation de fichier multi-formats), cet outil aura des retombées importantes sur les travaux de recherche du LMI mais également des différents partenaires du Sud. De plus le soutien à ce projet contribuera à l'encadrement et à la formation d'étudiants, notamment de l'usth et de l'ifi, aussi bien dans le domaine de l'informatique que de la biologie. Page 11 sur 12
Sujet de stage Master 2 (déposé à l'institut Francophone d'informatique (IFI), Hanoi (Vietnam) Développement d un système de gestion de données de phénotypage chez le riz (O. sativa) Encadrant : IRD Pierre LARMANDE, Stéphane JOUANNIC, Pascal GANTET Support pédagogique : enseignants IFI Lieu de stage : LMI RICE Hanoi Contexte Dans le cadre du laboratoire LMI RICE, des études de la diversité génotypique et phénotypique de variétés traditionnelles de riz vietnamien sont conduites dans le but d'identifier des gènes d'intérêt pour la compréhension de processus biologiques (développement et plasticité de la plante, résistance aux maladies) mais également pour des futur programmes d'amélioration. Ces études requièrent la manipulation d un important volume de données hétérogènes. Ces données peuvent être stockées sous la forme de fichier Excel, texte structuré, images ou bases de données relationnelles. Dans ce contexte, l équipe du LMI RICE souhaite organiser ses propres jeux de données afin de pouvoir naviguer, partager et annoter ces dernières afin de les exploiter au mieux. La difficulté réside dans la définition de systèmes «souples», c est à dire supportant une évolution des besoins utilisateurs avec un minimum de développement. L importance des données médias (images dans ce cas) est à prendre en compte. En effet, leur association avec les jeux de données «textuelles» est évidente, mais elle nécessitent également la prise en compte de «méta-informations» d abords basique comme l auteur, la date, le lieu, géolocalisation, puis élaborée comme un système de «tagging» permettant de rechercher des associations entre les jeux de données. Travaux théoriques Faire un inventaire des besoins en termes de gestion de données et de stockage associé Faire une recherche des solutions existantes dans le domaine biologique et/ou logiciel Définir les critères pour choisir une solution adaptée et pérenne Proposer une solution pour le système choisi Travaux pratiques Appliquer la solution envisagée sur un jeu de données identifiées Faire une première version de système de gestion Définir et développer les requêtes correspondants à des questions biologiques Valider avec les biologistes la pertinence des résultats obtenus Page 12 sur 12