Source Coding in Sensor Networks THÈSE N O 4390 (2009) PRÉSENTÉE le 22 juin 2009 À LA FACULTé INFORMATIQUE ET COMMUNICATIONS LABORATOIRE DE THÉORIE DE L'INFORMATION PROGRAMME DOCTORAL EN INFORMATIQUE, COMMUNICATIONS ET INFORMATION ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE POUR L'OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES PAR Robert Konsbruck acceptée sur proposition du jury: Prof. R. Urbanke, président du jury Prof. E. Telatar, Prof. M. Vetterli, directeurs de thèse Prof. R. Dalang, rapporteur Prof. S. Draper, rapporteur Prof. A. Lapidoth, rapporteur Suisse 2009
Abstract Wireless sensor networks have emerged as versatile tools to monitor the evolution of physical fields over large areas by means of self-powered and low-cost sensing devices. Although their development was originally motivated by military applications, they are nowadays used in numerous civilian application areas. In many sensor network scenarios, including the ones studied in this thesis, the goal of data acquisition by means of sensor nodes is to reproduce at a base station the observed field under a fidelity constraint, using limited communication resources. Due to the scarcity of the energy resources, the physical nature of the observed fields, the constraints on spatial sampling, the high cost of inter-node communication and the reliance on a shared communication medium, wireless sensor networks raise challenging questions in the areas of multidimensional sampling, multiterminal source coding and network communications. In this thesis we address the issue of how to efficiently represent the data collected by the sensor nodes. This data has some inherent structure that is determined by the laws of physics. Since the design of efficient sampling geometries and source coding schemes requires a thorough understanding of the physical properties of the observed phenomenon, the first part of our work is devoted to setting up a mathematical model for physical fields that is amenable to the tools of information theory while applying to most physical phenomena of interest. The question regarding the sufficiency of a discrete representation of an analog field is addressed in two steps. First, we prove a multidimensional sampling theorem for homogeneous random fields with compactly supported spectral measures. While, under appropriate conditions, a discrete-space and -time representation of the analog field is sufficient, discretizing the field s amplitude, also referred to as source coding, implies an unavoidable loss of information, which may be expressed in terms of a rate distortion function. In the second step we study various source coding schemes, differing by the amount of required inter-node communication and the complexity of the involved maps. We derive lower and upper bounds for the rate distortion function of the multiterminal source coding scheme, which is of particular interest in sensor network engineering as it makes use of the spatio-temporal structure of the collected data without requiring inter-node communication. In the second part of the thesis we study some applications of sensor networks. In particular, we consider the acquisition of acoustic waves, the monitoring of temperature distributions and the compression of data sequences generated by random walks. For the setup of sound field acquisition, we show that, under the assumption of spectral whiteness of the sound field, the afore-mentioned bounds coincide, thus i
ii Abstract establishing the multiterminal rate distortion function for this setup. Keywords: sensor networks, physical fields, multidimensional sampling, source coding, rate distortion functions.
Résumé Les réseaux de capteurs sans fil se sont imposés comme des outils polyvalents pour suivre l évolution de champs physiques dans des zones étendues au moyen de capteurs autonomes et peu coûteux. Bien qu à l origine leur développement fût motivé par des applications militaires, de nos jours ils sont utilisés dans de multiples domaines d application civils. Dans de nombreuses applications de réseaux de capteurs, y compris celles étudiées dans cette dissertation, l objectif de l acquisition de données au moyen de capteurs consiste à reproduire auprès d une station de base le champ observé selon un critère de qualité, en utilisant des ressources de communication limitées. En raison de la pénurie des ressources énergétiques, de la nature physique des champs observés, des contraintes sur l échantillonnage dans l espace, du coût élevé des communications entre les capteurs et de l utilisation d un support de communication partagé, les réseaux de capteurs sans fil ne manquent pas de soulever des défis aux chercheurs dans les domaines de l échantillonnage multidimensionnel, du codage de source multiterminal et des communications en réseau. Dans cette dissertation nous abordons la question de savoir représenter efficacement les données recueillies par les capteurs. Ces données possèdent une structure inhérente qui est déterminée par les lois de la physique. Comme l élaboration de géométries d échantillonnage et de stratégies de codage de source efficaces nécessitent une compréhension approfondie des propriétés physiques du phénomène observé, la première partie de notre travail est consacrée à la construction d un modèle mathématique pour les champs physiques qui est compatible avec les outils de la théorie de l information tout en s appliquant à la majorité des phénomènes physiques d intérêt pratique. La question concernant la suffisance d une représentation discrète d un champ analogique est abordée en deux étapes. Tout d abord nous démontrons un théorème d échantillonnage multidimensionnel pour des champs aléatoires homogènes ayant des mesures spectrales à supports compacts. Alors que, sous des conditions appropriées, une représentation discrète dans l espace et le temps du champ analogique est suffisante, la discrétisation de l amplitude du champ, qu on appelle encore codage de source, entraîne une perte d information inévitable qui peut être exprimée en termes d une fonction débit-distorsion. Dans la deuxième étape nous étudions différentes stratégies de codage de source, se distinguant par l intensité des échanges de données requis entre les capteurs et la complexité des transformations de données mises en oeuvre. Nous dérivons des bornes inférieure et supérieure pour la fonction débit-distorsion de l algorithme de codage de source multiterminal, qui jouit d un intérêt particulier dans l industrie des réseaux de capteurs dans la mesure où il met à profit la structure iii
iv Résumé spatio-temporelle des données recueillies sans avoir besoin de l établissement d échanges de données entre les capteurs. Dans la deuxième partie de la dissertation nous étudions quelques applications des réseaux de capteurs. En particulier nous considérons l acquisition d ondes acoustiques, l observation de champs de température et la compression de séquences de données engendrées par des marches aléatoires. Pour le cas de l acquisition d ondes sonores, nous montrons que, sous l hypothèse que le champ acoustique possède un spectre blanc, les bornes susmentionnées coïncident, ce qui établit la fonction débitdistorsion multiterminale pour cette configuration. Mots-clés : réseaux de capteurs, champs physiques, échantillonnage multidimensionnel, codage de source, fonctions débit-distorsion.
Contents List of Figures xi 1 Introduction 1 1.1 Related Work............................ 4 1.2 Thesis Outline and Contributions.................. 6 2 Source Coding in Sensor Networks 9 2.1 Physical Fields and Green s Functions............... 9 2.2 Stochastic Source Model...................... 11 2.3 Sensor Networks and Spatio-Temporal Sampling.......... 13 2.4 Source Coding Schemes....................... 14 2.4.1 Multiterminal Source Coding................ 16 2.4.2 Berger-Tung Source Coding................. 17 2.4.3 Centralized Source Coding................. 19 2.4.4 Spatially Independent Source Coding............ 20 3 Multidimensional Sampling of Random Fields 23 3.1 Periodic Sampling.......................... 24 3.2 One-Dimensional Sampling..................... 26 3.3 Sampling Fields with Rectangular Spectra............. 27 3.4 Sampling Fields with General Spectra............... 29 4 Acoustic Wave Acquisition 35 4.1 Sound Waves and the Wave Equation............... 35 4.1.1 The Wave Equation in Free Field.............. 35 4.1.2 Linear Array Configuration................. 37 4.2 Stochastic Sound Sources...................... 39 4.3 Spatio-Temporal Sampling..................... 40 4.3.1 Sampling with Rectangular Geometry........... 41 4.3.2 Sampling with Quincunx Geometry............. 42 4.4 Source Coding and Rate Distortion Functions........... 44 4.4.1 Rate Distortion Functions for a White Sound Field.... 45 4.4.2 Rate Distortion Functions for a White Sound Source... 46 4.4.3 Rate Distortion Functions for Subband Source Coding.. 47 vii
viii Contents 5 Temperature Monitoring 53 5.1 Temperature Distributions and the Heat Equation......... 53 5.1.1 The Heat Equation for Solid Bodies............ 53 5.1.2 Heat Conduction in an Infinite Rod............. 55 5.1.3 Heat Conduction in a Circular Ring............. 57 5.2 Stochastic Heat Sources....................... 59 5.2.1 Infinite Rod......................... 60 5.2.2 Circular Ring........................ 60 5.3 Spatio-Temporal Sampling..................... 62 5.3.1 Infinite Rod......................... 62 5.3.2 Circular Ring........................ 63 5.4 Source Coding and Rate Distortion Functions........... 65 5.4.1 Predictive Quantization................... 65 5.4.2 Rate Distortion Functions for the Infinite Rod....... 68 5.4.3 Rate Distortion Functions for the Circular Ring...... 69 5.4.4 Comparison with Acoustic Wave Acquisition........ 70 6 Random Walks 71 6.1 Random Walks and Markov Chains................. 71 6.2 Sensor Network and Data Compression............... 72 6.2.1 Centralized Data Compression............... 73 6.2.2 Distributed Data Compression............... 74 6.2.3 Spatially Independent Data Compression.......... 75 6.2.4 Comparison......................... 76 7 Conclusions 77 7.1 Thesis Summary........................... 77 7.2 Future Research........................... 79 A Random Processes and Fields 81 A.1 Random Variables and Random Vectors.............. 81 A.1.1 Distributions, Distribution Functions, Densities and Independence........................... 82 A.1.2 Expected Value and Variance of Random Variables.... 83 A.1.3 Convergence Concepts................... 84 A.1.4 Conditional Expectation and Conditional Probability... 86 A.2 Stochastic Processes and Random Fields.............. 88 A.2.1 Kolmogorov s Existence Theorem.............. 89 A.2.2 Separability and Measurability............... 89 A.2.3 Stationarity and Ergodicity................. 91 A.2.4 Second-Order Processes................... 92 A.2.5 Linear Operations in Quadratic Mean........... 93 A.2.6 Derivatives in Quadratic Mean............... 94 A.2.7 Riemann Integrals in Quadratic Mean........... 94 A.2.8 Processes with Orthogonal Increments........... 97 A.2.9 Stieltjes Integrals in Quadratic Mean............ 98 A.2.10 Spectral Representation of WSS Processes......... 100 A.2.11 Linear Shift-Invariant Filtering of WSS Processes..... 103 A.2.12 Differential Equations Involving WSS Processes...... 105 A.2.13 Gaussian Processes..................... 108
Contents ix B Existence of the Quadratic Mean Integral 111 C Rate Distortion Functions for a White Sound Field 117 C.1 Centralized Coding......................... 117 C.2 Spatially Independent Coding.................... 118 C.2.1 Rectangular Sampling Lattice................ 118 C.2.2 Quincunx Sampling Lattice................. 119 Bibliography 121 Curriculum Vitae 129