A Pipeline Based Approach for Experimental Neuroscience Data Management

Transcription

1 A Pipeline Based Approach for Experimental Neuroscience Data Management THÈSE N O 4863 (2011) PRÉSENTÉE le 22 juillet 2011 À LA FACULTÉ SCIENCES DE LA VIE LABORATOIRE DE NEUROSCIENCE DES MICROCIRCUITS PROGRAMME DOCTORAL EN NEUROSCIENCES ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE POUR L'OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES PAR Muhammad Asif Jan acceptée sur proposition du jury: Prof. M. Herzog, président du jury Prof. H. Markram, Dr F. Schürmann, directeurs de thèse Prof. A. Ailamaki, rapporteur Prof. J. G. Bjaalie, rapporteur Dr A. Ph. Davison, rapporteur Suisse 2011

2 Abstract The field of neuroscience is witnessing a huge influx of experimental data thanks to the improvements in the data acquisition tools and techniques. Most of this data is being collected by thousands of experimenters located in various institutions around the world. There is also a growing interest in using this experimental data for building biologically realistic computational models of the neuronal systems. One such project i.e. the Blue Brain Project is developing a bottom-up neuronal modeling and simulation framework using experimental data collected at laboratories worldwide. However, to use the experimental data effectively in computational neuroscience research, the data needs to be annotated with metadata such as details of the experimental protocols and conditions, animal subject used etc. Most of the platforms for experimental neuroscience data management operate under the assumption that the primary data has been validated, and properly annotated before it is uploaded to the system. Thus putting the responsibility of validating, and annotating the experimental data with the experimenter conducting the study. Consequently, most experimenters maintain their own data using ad-hoc systems with non-standard metadata schemes; and only upload the final set of data to the data management platform. As a result, the metadata is usually incomplete, and does not always comply with the requirements of the data management platform, negatively impacting the reusability of their data. The current thesis work explored the question of the experimental data management within the context of the Blue Brain Project, and designs a data management pipeline catering for the acquisition, annotation and validation of the experimental data and associated metadata, in order to ensure that the data is usable for the computational modeling purposes. The pipeline enforces a data review process whereby incoming experimental data was made to go through a series of steps, analogous to the scientific review process, systematically improving the quality of the experimental data and associated metadata. Keywords: Data Management Pipeline, Neuroscience Data Management, Primary Data Management, Neocortical Microcircuit Data 3

3 RÉSUMÉ Grâce au développement des techniques et des outils d acquisition, nous assistons à une augmentation massive des flux de données dans le domaine des neurosciences. La plupart de ces données proviennent de milliers de chercheurs disséminés dans de nombreuses institutions du monde entier. Il y a donc un intérêt croissant dans l utilisation de ces données pour élaborer des modèles de calcul neuronaux réalistes du point de vue biologique. Un tel projet, en l occurrence le projet Blue Brain, développe une plateforme complète permettant la modélisation et la simulation de systèmes neuronaux en utilisant des données expérimentale en provenance de laboratoire située dans le monde entier. Pour pouvoir utiliser efficacement ces données expérimentales dans la recherche appliquées aux calculs neuronaux, ces dernières doivent être annotées avec des métadonnées comme des détails sur le protocole de l expérience, les conditions, l animal utilisé comme sujet, etc. Il se trouve que les processus mis en place par les différents expérimentateurs ne sont pas conformes avec les standards exigés pour la mise en place d une plateforme de gestion des données. La plupart des plateformes pour la gestion des données expérimentales dans le domaine des neurosciences reposent sur l hypothèse que les données ont à la base été validées et correctement annotées avant d être insérée dans le système. De cette manière la responsabilité de valider et d annoter correctement les données et confiée à l expérimentateur qui effectue sa recherche. En conséquence, la plupart des expérimentateurs gèrent leurs données en se basant sur des schémas non standard pour les métadonnées et ne chargent que tardivement toutes leur données sur la plateforme de gestion des données. Ainsi leur métadonnées sont la plupart du temps incomplètes et ne respectent pas les règles d utilisation de la plateforme de gestion des données avec un impact négatif sur la possibilité de réutiliser leurs données. Ce travail de thèse couvre les questions liées à la gestion des données dans le cadre du Projet Blue Brain et propose une architecture pour la gestion séquentielle par regroupement des données pour l acquisition, l annotation et la validation des données expérimentales et leurs métadonnées, ceci afin d assurer que ces données sont exploitables dans des modèles de calcul. Le traitement séquentiel impose une révision des données par le biais duquel les données expérimentales doivent passer au travers d un certain nombre d étapes, à l instar du processus de validation 4

4 scientifique, améliorant de manière systématique la qualité des données et métadonnées expérimentales. Mot clés: Gestion séquentielle des donnée, gestion des données en neurosciences, gestion des données de base, données sur les microcircuit néo-corticaux 5

5 Table Of Contents LIST OF FIGURES CHAPTER INTRODUCTION RESEARCH ENVIRONMENT LNMC AND BLUE BRAIN PROJECT MORPHOLOGY ELECTROPHYSIOLOGY GENE EXPRESSION NEUROINFORMATICS AND THE DATA CHALLENGE BUILDING BLOCKS FOR EXPERIMENTAL NEUROSCIENCE DATA MANAGEMENT RESEARCH OBJECTIVES STRUCTURE OF THE THESIS DOCUMENT CHAPTER RELATED RESEARCH DATA MANAGEMENT APPROACHES FLAT FILES XML RELATIONAL DATABASE PERSISTENT COLLECTIONS NEUROSCIENCE DATABASES CELL CENTERED DATABASE (CCDB) SENSELAB NEUROSYS SUMATRA COCODAT ALLEN BRAIN ATLAS (ABA) NEED FOR DATA INTEROPERABILITY AND SHARING COMMON DATA MODEL (CDM) FOR THE NEUROPHYSIOLOGY DATA MINIMUM INFORMATION ABOUT A NEUROSCIENCE INVESTIGATION (MINI) ENABLING TOOLS FOR SEAMLESS DATA MANAGEMENT AND ACCESS STORAGE RESOURCE BROKER AND IRODS: ENABLING A SECURE DATA GRID ENVIRONMENT ECLIPSE RICH CLIENT PLATFORM (RCP) RESEARCH CONTRIBUTIONS CHAPTER SUMMARY CHAPTER A PIPELINE BASED APPROACH FOR END TO END MANAGEMENT OF EXPERIMENTAL NEUROSCIENCE DATA DATA MANAGEMENT PIPELINE DATA COLLECTION TIER

6 3.1.2 DATA MANAGEMENT TIER DATA UTILIZATION TIER END TO END WORKFLOW DATA COLLECTION TIER A1/A2. Data Acquisition & Metadata Extraction...67 A3. Data Staging...68 A4. Data Validation and Annotation DATA MANAGEMENT TIER B1. Metadata Shredding and Import...71 B2. Associating Primary Data with Cell Metadata...71 B3. Connectivity Extraction...72 B4. Associating Primary Data with Connection Metadata DATA UTILIZATION TIER C1. Data Quality Validation...73 C2. Data Browsing and Download...74 C3. Normalization...74 C4. Automated Analysis CHAPTER SUMMARY CHAPTER DESIGN METHODOLOGY DESIGN APPROACH XML SCHEMA FOR METADATA MANAGEMENT PERSISTENT COLLECTION FOR PRIMARY DATA STORAGE RELATIONAL DATABASE FOR KEY FEATURE DATA PROCESSES ENABLING END TO END WORKFLOW COMPARING RELATIONAL DATABASE WITH PERSISTENT COLLECTION FOR PRIMARY DATA STORAGE FORMAT OF THE DATA DATA ACCESS BY USERS AND APPLICATION PROGRAMS AUTHENTICATION AND AUTHORIZATION DISTRIBUTED ARCHITECTURE GENERIC VERSUS DOMAIN SPECIFIC SCHEMA DESIGN GENERIC SCHEMA DESIGN DOMAIN SPECIFIC SCHEMA DESIGN COMPARING GENERIC AND DOMAIN SPECIFIC SCHEMA DESIGN CHAPTER SUMMARY CHAPTER RESULTS DATA MODEL FOR THE NEOCORTICAL MICROCIRCUIT DATA GENERAL INFORMATION Project Experiment Animal (Species) Setup Layer CELL INFORMATION Electrophysiology and Morphology Type of the Cell CONNECTION INFORMATION PRIMARY DATA

7 Electrophysiology Data Morphology Data CELL AND CONNECTION PROFILES TOOLS CONSTITUTING END TO END DATA MANAGEMENT PIPELINE DATA COLLECTION TIER A1. Igor elabbook A2. Excel2Xml and Text2Xml A3. ExperimentCopy A4. Web elabbook DATA MANAGEMENT TIER B1. Xml2Sql B2. PopulateTraceDB B3/B4. Connectivity Extractor DATA UTILIZATION C1. TraceQualityCheck UserBase and LabBase Systems UserBase System LabBase System Facilitating Circuit Building for Simulations CHAPTER SUMMARY CHAPTER CONCLUSIONS A PIPELINE BASED APPROACH TO EXPERIMENTAL NEUROSCIENCE DATA MANAGEMENT DATA MODEL FOR THE NEOCORTICAL MICROCIRCUIT DATA METADATA MODEL AND RELATIONAL DATABASE MODEL DEMONSTRATION OF A HYBRID APPROACH FOR SCIENTIFIC DATA MANAGEMENT EXTENDING THE SEARCH FUNCTIONALITY OF A PERSISTENT COLLECTIONS SERVER CHAPTER OUTLOOK REFERENCES WEB SITE REFERENCES: APPENDIX A A REPORT ON COMPARISON OF EXISTING SOFTWARE STRUCTURES AND DATA MODELS IN SINGLE NEURON DATABASING PRESENTED TO FACETS CONSORTIUM (FP IST-FETPI 15879) APPENDIX B KEYWORD INDEXING OVER STORAGE RESOURCE BROKER PRESENTED AT INTERNATIONAL GRID COMPUTING, HIGH PERFORMANCE AND DISTRIBUTED COMPUTING (GADA) APPENDIX C ACKNOWLEDGEMENTS CURRICULUM VITAE