Deadlock Immunity: Enabling General-Purpose Software to Defend Itself against Deadlocks

Transcription

1 Deadlock Immunity: Enabling General-Purpose Software to Defend Itself against Deadlocks THÈSE N O 5146 (2011) PRÉSENTÉE le 18 Août 2011 À LA FACULTÉ INFORMATIQUE ET COMMUNICATIONS LABORATOIRE DES SYSTEMES FIABLES PROGRAMME DOCTORAL EN INFORMATIQUE, COMMUNICATIONS ET INFORMATION ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE POUR L'OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES PAR Horatiu Jula acceptée sur proposition du jury: Prof. C. Petitpierre, président du jury Prof. G. Candea, directeur de thèse Prof. R. Bianchini, rapporteur Prof. P. Felber, rapporteur Prof. V. Kuncak, rapporteur Suisse 2011

2 Résumé L immunité contre les interblocages est une propriété par laquelle les programmes, après être affectés par un interblocage une première fois, développent une résistance contre les interblocages futurs. Nous donnons la possibilité aux programmes d être immunisés contre les interblocages impliquant des exclusions mutuelles, dessémaphores,desverrousde lecture-écriture, des initialisations de classes, et des synchronisations externes, le tout sans aucune intervention de la part de l utilisateur et sans modifier la sémantique du programme. En d autres termes, nous proposons une immunisation transparente et non-intrusive contre les interblocages. Notre système d immunisation, appelé Dimmunix, est disponible pour les applications Java, les applications C/C++ qui utilisent des threads POSIX, et le système d exploitation Android. Dimmunix pour Java offre une immunité au niveau de l application. Dimmunix pour les threads POSIX offre une immunité à toutes les applications C/C++ qui utilisent la bibliothèque de threads POSIX. Enfin, Dimmunix pour Android offre une immunité à toutes les applications fonctionnant sur le système Android. Nous avons aussi développé Communix, une plateforme d immunité distribuée grâce à laquelle les machines connectées àinternetcoopérentlesunesaveclesautrespours immuniser mutuellement contre les interblocages. Puisque les verrous d exclusion mutuelle sont vraisemblablement les primitivesde synchronisation les plus utilisées, nous nous intéressons principalement aux interblocages impliquant les exclusions mutuelles. Le prototype de DimmunixpourJavaestuneimplémentation complète de Dimmunix. Les autres prototypes ne supportent que les interblocages dus aux verrous d exclusion mutuelle. Nous avons optimisé la gestiondesexclusions mutuellesdans Dimmunixpour Java afin de gérer efficacement les applications qui utilisent iv

3 de manière intensive ces primitives de synchronisation. Nos prototypes de Dimmunix sont efficaces contre les interblocages rapportés dans des applications réelles, telles que Limewire, MySQL JDBC, ActiveMQ, MySQL Server, et SQLite. Le prototype de Dimmunix pour Java fonctionne efficacement sur les applications àsynchronisationintensive,commejbosseteclipse,quisont constituées de millions de lignes de code et de centaines de threads. Nous montrons aussi quelesprototypesde Dimmunix pour Java pour les autres types d interblocages, Dimmunix pour les threads POSIX, Dimmunix pour Android, et Communix sont efficaces. De plus, le prototype de Communix arrive à contenir les attaques par déni de service qui essayent d exploiter la plateforme d immunité collaborative. Mots-clés: interblocages, détection, évitement, immunité, collaborative v

4 Preface Deadlock immunityis a property by which programs, once afflicted by a deadlock, develop resistance against future occurrences of that deadlock. We enable real applications to automatically achieve immunity against deadlock bugs involving mutex locks, semaphores, read-write locks, class initialization, and external synchronization, with no user intervention, and without changing the semantics of the applications. In other words, we provide transparent, non-intrusive immunization against deadlocks. Our deadlock immunity system, called Dimmunix, is available forjavaapplications, C/C++ applications using POSIX Threads, and Android OS. Java Dimmunixprovides application-level immunity, i.e., deadlock immunity to individual Java applications. POSIX Threads Dimmunix provides library-level immunity, i.e., deadlock immunity to all the C/C++ applications using the POSIX Threads library. Android Dimmunixprovidesplatform- level immunity, i.e., deadlock immunity to all the applications running within the Android OS. We also developed, on top of Java Dimmunix, a collaborative deadlock immunity framework called Communix, in which machines connected to the Internet collaborate to immunize each other against deadlocks. Since mutex locks are likely the most widely used synchronization construct, we focus on mutex deadlocks, i.e., deadlocks involving mutexes. The Java Dimmunix prototype is a complete implementation of Dimmunix; the other prototypes handle only mutex deadlocks. We heavily optimized the part of the Java Dimmunix prototype responsible for mutex deadlocks, in order to efficiently handle synchronization-intensive applications. Our prototype implementations are effective against deadlocks reported in real applications, like Limewire, MySQL JDBC, ActiveMQ, MySQL Server, andsqlite.thejava vi

5 Dimmunix prototype for mutex deadlocks runs efficiently on synchronization-intensive applications, like JBoss and Eclipse, with millions of lines of codeandhundredsofthreads. We also show that Java Dimmunix for non-mutex deadlocks, POSIX Threads Dimmunix, Android Dimmunix, and Communix are efficient. Moreover, the Communix prototype manages to contain denial of service attacks that attempt to exploit the collaborative immunization framework. Keywords: deadlocks, detection, avoidance, immunity, collaborative vii

6 Contents Résumé Preface iv vi 1 Introduction 1 2 Related Work Language-level Deadlock Prevention Static Deadlock Detection Static Detection and Dynamic Avoidance of Deadlocks Dynamic Deadlock Avoidance (Recovery) Deadlock Immunity Protection Against Other Bugs Background Synchronization Primitives Mutex Locks Read-Write Locks Semaphores External Locks Condition Variables Ad-Hoc Synchronization Thread Joins Barriers viii

7 3.1.9 Message Passing Terminology Deadlocks Mutex Deadlocks Read-Write Deadlocks Semaphore Deadlocks Hybrid Deadlocks Initialization Deadlocks External Deadlocks Blocked Notifications Wait-Notify Deadlocks Self-Deadlocks Non-Deadlock Hangs Dimmunix Overview Observing andlearning DeadlockFingerprints Overview Detection of Mutex, Read-Write, and Semaphore Deadlocks Deadlock Detection and Signature Generation An Example Correctness Argument Detection of Initialization Deadlocks Detection of External Deadlocks Avoiding KnownDeadlocks atruntime Overview Avoidance of Deadlocks Involving Mutexes, Read-Write Locks, and/or Semaphores Deadlock Avoidance An Example Correctness Argument Avoidance of Initialization Deadlocks ix

8 5.4 Avoidance of External Deadlocks Discussion Unavoidable Deadlocks Blocked Notifications: At the Frontier Between Starvation and Deadlock Detection of Blocked Notifications Avoidance of Blocked Notifications Limitations False Positives and False Negatives Impact on Functionality Platform-wide vs. Application-level Immunity CollaborativeImmunity Concept and Design Design Communix Framework Signature Distribution Signature Validation Signature Generalization Optimizations Selective Program Instrumentation Inlining Call Stack Matching and Position Retrieval Reducing the Number of False Positives Detecting False Positives Calibrating the Signature Matching Precision Exploiting Escape Branches to Reduce Yielding Time Prototype Implementations Dimmunix for Java: Application-level Instrumentation Dimmunix for POSIX Threads: Library-level Interception Dimmunix for Android OS: Platform-level Interception x

9 9.4 Communix for Java: Collaborative Immunity Evaluation Java Dimmunix Mutex Deadlocks Effectiveness Against Real Deadlocks Real Applications Microbenchmarks False Positives Optimizations Java Dimmunix Non-Mutex Deadlocks POSIX Threads Dimmunix Android Dimmunix Communix Performance Impact of Denial of Service Attacks Time to Achieve Full Protection Conclusion 156 Bibliography 157 xi