De à 4 millions. Khanh Tuong

Transcription

1 De à 4 millions Khanh Tuong

2 2

3 Qui suis- Khanh Tuong Maudoux Développeur Java indépendant blog : [email protected] 3

4 Contexte Collecteur Stockage Lecture Traitement 4

5 Contexte 5

6 Contexte Fonctionnel Réception de relevés de compteurs (fichiers xml) Fournir une consolidation (valorisation) des consommations en fonction de différents critères Algorithmes de lissage et de détection à faire sur les données Algorithmes de valorisation à faire sur les données 6

7 Contexte Volumétrie Avant : clients Cible : clients Avec un pas de 30 minutes! ~ fichiers par jours (~156 Go/jour) 7

8 Contexte État des lieux Algorithmes de lissage et de détection fait au moment de la collecte long» => anomalies «courantes» Algorithmes de consolidation exécutés par batch sur les données stockées 8

9 Contexte État des lieux Stockage TimeSeries Stockage Collecteur Consolidation Applicatif Stockage 9

10 Contexte État des lieux 10

11 Contexte Objectifs Objectif : Remplacer la solution de stockage Ne pas oublier la phase le ré-import totale! (~3 ans de données) 11

12 Collecteur 12

13 Collecteur Objectifs Batch de collecte avec stockage dans une solution propriétaire Objectifs : Valider différentes solutions (Cassandra, MySQL Cluster) Valider le modèle de données 13

14 Transformation JAXB Transformation Objet pivot Routage par xpath Transformation JAXB Transformation Objet pivot Collecteur État des lieux XML Java DTO Stockage XML Java DTO 14

15 Collecteur Pistes Pistes : Spring Batch EIP Spring Batch + EIP 15

16 Collecteur Outils / Framework : Spring Integration Metrics JMX / Jolokia Hawt.io Maven! 16

17 Collecteur Spring Integration Architecture «Pipe and Filters» 17

18 Transformation JAXB Transformation Objet pivot Routage par xpath Transformation JAXB Transformation Objet pivot Collecteur Spring Integration XML Java DTO Stockage XML Java DTO 18

19 Collecteur Spring Integration 19

20 Collecteur Spring Integration 20

21 Collecteur Spring Integration 21

22 Collecteur Spring Integration 22

23 Collecteur Spring Integration 23

24 Collecteur Spring Integration Message-history Scalabilité horizontale 24

25 Collecteur Metrics 25

26 Collecteur Jolokia JMX via HTTP/JSON 26

27 Collecteur Hawt.io 27

28 Collecteur Maven maven-jaxb2-plugin (org.jvnet.jaxb2.maven2) appassembler-maven-plugin (org.codehaus.mojo) 28

29 Collecteur endpoint REST pour injection 29

30 Stockage 30

31 Stockage Objectifs Rappels : Remplacer la solution existante de stockage Chaque capteur remonte une donnée toutes les 30 minutes Time series (au plus colonnes par ligne) 31

32 Stockage Cassandra Base de données orientée colonnes Keyspace Column Family Column 32

33 Stockage Cassandra Time series : 1 ligne avec de multiples colonnes (clé composite) capteur_id event temperature event temperature CREATE TABLE capteur ( capteur_id text, event timestamp, temperature text, PRIMARY KEY (capteur_id, event) ) Ordonnée 33

34 Stockage Attention longueur/taille de ligne CREATE TABLE capteur ( capteur_id text, event_period text, event timestamp, value text, PRIMARY KEY ((capteur_id, event_period), event) ) Attention modélisation aggrégation 34

35 Stockage Jolokia Comme agent sur la JVM 35

36 Lecture 36

37 Lecture Objectifs Évaluer la pertinence de la solution de stockage Véloce Simple Remonté de métriques => injecteur! 37

38 Lecture Pistes Pistes : From scratch 38

39 Lecture Outils / Framework : RestEasy Netty Swagger JMX / Jolokia Hawt.io Maven Gatling / AB 39

40 Lecture RestEasy Netty : JAX-RS Netty Simple 40

41 Lecture Swagger : 41

42 Lecture Jolokia 42

43 Lecture Gatling 43

44 Traitement 44

45 Traitement Rappel Stockage TimeSeries Stockage Collecteur Consolidation Applicatif Stockage 45

46 Traitement Objectifs Objectif : Collecte Rapide Pas de pertes de données (sécurisation de la données) Détection des données fausses Faite en aval de la collecte Consolidation Faite sur les données «valides» avec stockage des mesures dans des «batch View» Séparation des concepts! 46

47 Traitement Objectifs Objectif : Lambda architecture Query = function (all data) 47

48 Transformation Objet pivot C*DAO Traitement Objectifs Objectif : collecte C* transformation C* C* Valo All datas Precompute views Batch views Batch Layer Service Layer Query = function (all data) 48

49 Traitement Spark / Hadoop 49

50 Traitement Objectifs? Volumétrie non acceptable pour la production : Duplication de la donnée Souhaite une solution avec calcul à la demande 50

51 Transformation Objet pivot C*DAO Traitement Objectifs? Traitement collecte C* transformation C* C* Valo All datas Precompute views Batch views Service Layer 51

52 Traitement Objectifs? Algorithme de lissage en amont 52

53 Conclusion 53

54 Merci! 54

55 Questions? 55

56 pas le feedback en sortant! ou?