Extraction de motifs dans des traces système bas-niveau

Transcription

1 Extraction de motifs dans des traces système bas-niveau Etienne Dublé, Alexandre Termier HADAS / LIG Séminaire PIMLIG, 2014/01/22

2 Introduction Recent embedded systems: MultiProcessor System-on-Chip (MPSoC) Reduced cost Reduced power consumption Better performance

3 Debugging/optimizing application on MPSoC: complex problem Parallelism Timing issues between components Tough time-to-market Classical tools inadapted => Collect execution traces, analyze them post-mortem Data miner s paradise! Problem Solution

4 FrameMiner (SoCTrace FUI project) raw trace optimization problem: 10 patterns that best cover a trace? rewritten trace Reduce trace size Identify regular/irregular behaviors dynamic packing problem FrameMiner algorithm: Input: a trace T, an integer k Output: k sequential patterns providing a good coverage of the trace 4 C.Kamdem Kengne, L. Fopa, A. Termier, N. Ibrahim, M.-C.Rousset, T. Washio, M. Santana: Efficiently rewriting large multimedia application execution traces with few event sequences. KDD 2013:

5 PerMiner (SoCTrace FUI project) Goal: Analyze traces of multimedia application Discover periodic patterns in the trace Discover disruptions of the periodicity 2 contributions: Notion of Core Periodic Patterns: (lossless) compression of the number of output patterns Parallel algorithm PerMiner: efficient computation of Core Periodic Patterns P. López Cueva, A. Bertaux, A. Termier, J.-F. Méhaut, M. Santana: Debugging embedded multimedia application traces through periodic pattern mining. EMSOFT 2012: 13-22

6 PerMiner: real world example STi7200 set-top box SoC HNDTest application (video/audio playback)

7 Parallel applications profiling 1 core trace N cores trace frequent patterns #occs scalability bottleneck patterns #occs avg time/occ avg time/occ S. Lagraa, A. Termier, F. Pétrot: Scalability Bottlenecks Discovery in MPSoC Platforms Using Data Mining on Simulation Traces. DATE 2014: to appear S. Lagraa, A. Termier, F. Pétrot: Data mining MPSoC simulation traces to identify concurrent memory access patterns. DATE 2013:

8 Votre disque au boot

9 Si les fichiers étaient groupés

10 Implémentation du filesystem NetworkManager terminal bash eclipse eclipse.ini Noyau Linux MIFS Core eclipse.ini eclipse.ini Module ext4 Système de fichiers MIFS Groupes chargés (RAM) Data mining eclipse.ini

11 Implémentation du filesystem NetworkManager terminal bash eclipse Noyau Linux MIFS Core Système de fichiers MIFS Groupes chargés (RAM) Module ext4 Data mining Trace de requête : «eclipse.ini»

12 Implémentation du filesystem NetworkManager terminal bash eclipse project.xml Noyau Linux project.xml Système de fichiers MIFS MIFS Core project.xml Module ext4 Groupes chargés (RAM) Data mining project.xml

13 Implémentation du filesystem NetworkManager terminal bash eclipse Noyau Linux MIFS Core Système de fichiers MIFS Groupes chargés (RAM) Module ext4 Data mining Trace de requête : «project.xml»

14 Le lendemain

15 Implémentation du filesystem NetworkManager terminal bash eclipse eclipse.ini Noyau Linux MIFS Core eclipse.ini eclipse.ini Module ext4 Système de fichiers MIFS Groupes chargés (RAM) Data mining eclipse.ini

16 Implémentation du filesystem NetworkManager terminal bash eclipse Noyau Linux MIFS Core Système de fichiers MIFS Groupes chargés (RAM) Module ext4 Data mining Trace de requête : «eclipse.ini»

17 Implémentation du filesystem NetworkManager terminal bash eclipse project.xml Noyau Linux project.xml Système de fichiers MIFS MIFS Core project.xml Module ext4 Groupes chargés (RAM) Data mining project.xml

18 Implémentation du filesystem NetworkManager terminal bash eclipse Noyau Linux MIFS Core Système de fichiers MIFS Groupes chargés (RAM) Module ext4 Data mining Trace de requête : «project.xml»

19 Implémentation du filesystem NetworkManager terminal bash eclipse Noyau Linux A chaque fois qu on lit eclipse.ini, on lit project.xml juste après Système de fichiers MIFS MIFS Core Module ext4 Groupes chargés (RAM) Data mining

20 Implémentation du filesystem NetworkManager terminal bash eclipse Noyau Linux Grouper eclipse.ini et project.xml MIFS Core Système de fichiers MIFS Nouveau Groupes groupe : { eclipse.ini, chargés (RAM) project.xml } Grouper eclipse.ini et project.xml Module ext4 Data mining

21 Le 3 e jour

22 Implémentation du filesystem NetworkManager terminal bash eclipse eclipse.ini Noyau Linux eclipse.ini Système de fichiers MIFS MIFS Core Groupes le groupe chargés (RAM) contenant eclipse.ini Module ext4 Data mining le groupe contenant eclipse.ini

23 Implémentation du filesystem NetworkManager terminal bash eclipse Noyau Linux Système de fichiers MIFS MIFS Core Module ext4 Groupes chargés (RAM) Garder ce groupe en RAM Data mining

24 Implémentation du filesystem NetworkManager terminal bash eclipse project.xml Noyau Linux project.xml Système de fichiers MIFS MIFS Core Groupes chargés (RAM) project.xml Module ext4 en RAM Data mining

25 Implémentation du filesystem NetworkManager terminal bash eclipse Noyau Linux Système de fichiers MIFS MIFS Core Module ext4 Groupes chargés (RAM) Data mining

26 3 facteurs d optimisation Moins de mouvements mécaniques (si disque dur) Moins de requêtes sur le bus Lecture anticipée (1 thread répond à la requête, 1 autre poursuit la lecture du groupe)

27 Principe d analyse des traces 1. Détecter les périodes inactives ( = délai prolongé entre 2 lectures de fichier consécutives) 2. Par différence on a les «périodes actives» 3. Pour chaque période active: tracer l ensemble des fichiers accédés (*) 4. Détecter les patterns fréquents (= pb classique de data mining) (*) on trace plutôt leur «inode», un entier qui les identifie de manière unique.

28 Etat du projet Implémentation : 70% (Le système de fichier n autorise que la lecture) Data mining : 40% Traitement «offline» pour l instant Concevoir un algo peu gourmand en ressources Environnement de test : 90% OS Ubuntu modifié Dans une VM VirtualBox (disque mappé sur 1 partition réelle) Tests grandeur nature avec Grid 5000? Résultats : 20 % Statistiques de fichiers lus en RAM vs sur le disque Amélioration d implémentation nécessaire (multi-threading) pour voir un boot ou un démarrage d éclipse plus rapide