Design and Implementation of an Efficient Data Stream Processing System

Transcription

1 Design and Implementation of an Efficient Data Stream Processing System THÈSE N O 4611 (2010) PRÉSENTÉE LE 29 MARS 2010 À LA FACULTÉ INFORMATIQUE ET COMMUNICATIONS LABORATOIRE DE SYSTÈMES D'INFORMATION RÉPARTIS PROGRAMME DOCTORAL EN INFORMATIQUE, COMMUNICATIONS ET INFORMATION ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE POUR L'OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES PAR Ali SALEHI acceptée sur proposition du jury: Prof. R. Guerraoui, président du jury Prof. K. Aberer, directeur de thèse Prof. T. Hara, rapporteur Prof. M. Hauswirth, rapporteur Prof. S. Spaccapietra, rapporteur Suisse 2010

2 Résumé Dans le cadre standard de l utilisation de bases de données, les données brutes telles que celles produites par un réseau de capteur sans fils (Wireless Sensors Networks) sont stockées en tous temps et peuvent être traitées simplement par l intermédiaire de requêtes SQL ou de procédures stockées dont la complexité est arbitraire. Cependant dans le cadre d applications impliquant des flux de données (Data Streams), la quantité de données produite est si importante que le stockage puis le traitement de ces données est irréalisable pratiquement car les temps de traitement et les coûts de stockage deviennent trop conséquents. Cette thèse décrit les résultats de nos travaux de recherche portant sur la conception et la mise en uvre d une solution efficace de gestion en temps réel et à postériori de flux de données issus de mesures environnementales. Bien que nous nous sommes concentrés sur un domaine d application précis, le résultat de nos recherches ont une portée générale et sont présentés dans cette thèse de manière générique afin que nos résultats puissent être appliqués à un large éventail d applications impliquant le traitement de flux de données. Cette thèse commence par dresser l état de l art de la recherche sur le traitement des flux de données. Les concepts de traitement par fenêtre (window processing), les requêtes continues (Continuous Queries), les languages de filtres pour flux de données (Stream Filtering Query Languages) ainsi que les méthodes de traitement à la source (in-network processing) sont présentés en détail. Nous présentons les principaux systèmes de traitement disponibles, leur architecture interne et leur comparaison avec notre système nommé : Global Sensor Network (GSN) middleware. GSN offre une méthode flexible et rapide permettant de déployer des réseaux de capteurs et de les interconnecter entre eux. GSN offre un accès simple et standardisé à un ensemble complet de technologies hétérogènes. De plus, GSN offre un déployment simplifié à l extrême (Zero-Programming), peut se reconfigurer et i

3 ii s étendre dynamiquement. Nous présentons le concept de capteur virtuel (Virtual Sensor), une abstraction permettant de représenter tout type de source de données et offrant des outils performants de recherche. Finalement, nous décrivons en détail les décisions concernant la conception, l architecture et l optimization de GSN. Un ensemble d algorithmes groupant et traitant intelligemment différents types de requêtes continues et permettant le traitement de grandes quantités de flux de données sera principalement présenté. La mise en uvre de GSN sur des réseaux comprenant un nombre important de nuds a dévoilé différents problêmes de performances liés au passage à l échelle. Ainsi, nous avons pu définir un méthode permettant d améliorer concidérablement les performances d exécution des requêtes en les groupant par similarités afin que les coûts de traitements et de mémoire soient réduits au maximum. Aussi, nous avons pu définir un ordonnanceur de requêtes efficace, permettant dans le cas de requêtes continues, d augmenter les performances de plus d un ordre de grandeur tout en réduisant le temps de réponse et l espace en mémoire. Finalement, nous présentons comment la plateforme GSN peut être intégrée avec un système externe de partage et de visualisation de données tel que la plateforme SensWeb de Microsoft. Cette dernière offre une infrastructure de collection et de visualisation globalements accessible par les utilisateurs. Cette intégration démontre non seulement la capacité de passage à l échelle de GSN mais aussi sa flexibilité. Mots clefs: Traitement de Flux de Données (Data Stream Processing), Global Sensor Networks, GSN, Traitement de Requêtes Continues (Continuous Query Processing), Traitement de Données par fenêtres (Window-Based Data Processing), Traitement Distribué de Flux de Données (Distributed Data Stream Processing)

4 Abstract In standard database scenarios, an end-user assumes that all data (e.g., sensor readings) is stored in a database. Therefore, one can simply submit any arbitrary complex processing in the form of SQL queries or stored procedures to a database server. Data stream oriented applications are typically dealing with huge volumes of data. Storing data and performing off-line processing on this huge dataset can be costly, time consuming and impractical. This work describes our research results while designing and implementing an efficient data management system for online and off-line processing of data streams in the field of environmental monitoring. Our target data sources are wireless sensor networks. Although our focus is on a specific application domain, the results of this thesis are designed in a generic way, so that they can be applied to wide variety of data stream oriented applications. This thesis starts by first presenting the state-of-the-art in data stream processing research specifically window processing concepts, continuous queries, stream filtering query languages and in-network data processing (particular focus on TinyOSbased approaches). We present key existing data stream processing engines, their internal architecture and how they are compared to our platform, namely Global Sensor Network (GSN) middleware. GSN middleware enables fast and flexible deployment and interconnection of sensor networks. It provides simple and uniform access to a comprehensive set of heterogeneous technologies. Additionally, GSN offers zero-programming deployment and data-oriented integration of sensor networks and supports dynamic re-configuration and adaptation at runtime. We present the virtual sensor concept, which offers a high-level view of arbitrary stream data sources, its powerful declarative specification and query tools. Furthermore, we describe design, conceptual, architectural and optimization decisions of GSN platform in detail. In order to achieve high efficiency while processing large volumes of streamiii

5 iv ing data using window-based continuous queries, we present a set of optimization algorithms and techniques to intelligently group and process different types of continuous queries. While adapting GSN to large scale sensor network deployments, we have encountered several performance bottlenecks. One of the challenges we faced was related to scalable delivery of streaming data for high data rate streams. We found out that we could dramatically improve the performance of a query processor by performing simple grouping of user queries hence sharing both the processing and memory costs among similar queries. Moreover, we encountered a similar performance issue while scheduling continuous queries. Problem of efficiently scheduling the execution of continuous queries with window and sliding parameters is not addressed in depth in literature. This problem becomes severe when one considers large volumes of high data rate streams. In these cases, an efficient query scheduler not only increases the performance at least by an order of magnitude but also, decreases the response time and memory requirements. Finally, we present how our GSN platform can get integrated with an external data sharing and visualization framework namely Microsoft s SenseWeb platform. Microsoft s SenseWeb platform, provides a sensor network data gathering and visualization infrastructure which is globally accessible to the end users. This integration (which is initiated by the Swiss Experiment project and demanded by GSN users) not only shows the scalability of GSN platform when combined with optimized algorithms, but also demonstrates its flexibility. Keywords: Data Stream processing, Global Sensor Network, GSN, Continuous Query Processing, Window-Based Data Processing, Distributed Data Stream Processing.

6 Contents 1 Introduction Preface Global Sensor Network A Simple Sensor Data Integration Example Contribution of this Thesis Chapter 2: Related Work Chapter 3: Global Sensor Network Chapter 4: Efficient Sliding Window Management Chapter 5: Delivering Popular Streaming Data Efficiently Chapter 6: Sensor Data Sharing and Visualization List of Publications Related Work Data Stream Processing Techniques Data Stream Processing Engines Data Stream Management Platforms HiFi IrisNet HourGlass TinyDB and Cougar Continuous Query Languages Data Flow Based Languages SQL Based Languages Declarative SQL Based Languages Distributed Publish/Subscribe Systems v

7 vi CONTENTS 3 Global Sensor Network Introduction Virtual sensors Data stream processing and time model Window Size and Sliding Values inside GSN Continuous Query Language and GSN System architecture Implementation Adding new sensor platforms Dynamic Resource Management Query planning and execution GSN-to-GSN communication Protocol local wrapper Evaluation Internal processing time Scalability in the number of queries and clients Summary Efficient Sliding Window Management Introduction Motivating Scenarios Related Work System Model Algorithms Sliding Graph Sliding for Count based Sliding Windows Sliding for Local Time based Sliding Windows Sliding for Remote Time based Sliding Windows Optimizing the sliding graph Evaluation Results Conclusion and Future Work Scalable Delivery of Stream Query Result Introduction Motivating Scenario Contributions Roadmap

8 CONTENTS vii 5.2 Related Work Preliminaries DPSS Continuous Stream Queries Approach Overview Query Merging Stream Query Containment Query Merging Algorithms Merging SPJ Queries Merging Aggregate Queries Subscription Generation Query Grouping Benefit Estimation Query Groups Maintenance New query insertion Query termination Query group re-optimization Performance Study Query Insertion Query Grouping Re-optimization Efficiency of the Query Tree Conclusion Sensor Data Sharing and Visualization Introduction Application Scenarios System Description Data Acquisition: Global Sensor Network (GSN) Data Sharing and Exploration: SenseWeb/SensorMap Integration GSN/SensorMap In Practise Conclusion and Future Work 121 Bibliography 122