Cassandra chez Chronopost pour traiter en temps réel 1,5 milliard d événements par an

Transcription

1 Cassandra chez Chronopost pour traiter en temps réel 1,5 milliard d événements par an

2 Qui suis-je? Alexander DEJANOVSKI Ingénieur EAI Depuis 15 ans chez

3 Chronopost International Notre métier Leader de la livraison express de colis jusqu à 30 kg aux entreprises comme aux particuliers partout dans le monde, Chronopost s appuie sur en France sur un réseau constitué de 75 sites opérationnels et 7 hubs. Chronopost dessert plus de 230 pays en Europe et dans le monde. En 2014 : salariés Plus de entreprises clientes tournées de livraison par jour 114,5 millions de colis livrés 230 pays desservis 33% des colis livrés en BtoC 25% de son CA à l International

4 L EAI chez Chronopost

5 Flux EAI chez Chronopost TIBCO BusinessWorks échanges/j 3M d étapes/j

6 Suivi des flux EAI Développement interne : FLUKS Base relationnelle

7 Suivi des flux EAI

8 Suivi des flux EAI

9 Suivi des flux EAI

10 Suivi des flux EAI

11 Problèmes Contentions Latences Statistiques

12 Proposition d un PoC NoSQL sur Fluks Portage Scalabilité Open Source

13 La jungle «NoSQL/Big Data» liste + de 150 bases NoSQL Hadoop Elasticsearch RaptorDB LevelDB HBase Cassandra Couchbase CouchDB djondb EJDB Berkeley DB Oracle NOSQL Hypertable RethinkDB densodb GenieDB Accumulo Cloudata Cloudera MonetDB HPCC Apache Flink Splice Machine MongoDB RavenDB MarkLogic Server Clusterpoint Server NeDB Terrastore AmisaDB JasDB SisoDB SDB ThruDB iboxdb DynamoDB Riak Redis Aerospike FoundationDB BangDB Scalaris Scalien Voldemort Dynomite KAI MemcacheDB Spark. #CassandraSummit

14 Notre short list HBase Cassandra MongoDB

15 Cassandra

16 Pourquoi Cassandra? Simplicité Réplication Tolérance aux pannes CQL JDBC Scalabilité

17 Partition et réplication Replication Factor = 3 3 répliques de chaque enregistrement

18 Requêtes

19 Scalabilité linéaire

20 CQL = Cassandra Query Language Création de table : CREATE TABLE ma_table( id int, value text, PRIMARY INDEX(id) ); Requêtage des données : SELECT * FROM ma_table WHERE id=?

21 Il faut réapprendre certaines choses Pas de relations Dénormalisation Clauses WHERE limitées Requêtes analytiques

22 Le PoC Cassandra

23 Portage de Fluks Driver JDBC Cassandra (TIBCO/IHM) Guava 2 mois / 1 personne

24 Passage en production Serveurs décommissionnés Août 2014 : 1 ère infrastructure Avril 2015 : évolution

25 Résultats en production Plus de contention Stats temps réel RDBMS : ms / message Cassandra : 16-20ms / message

26 Comparatifs des temps d intégration

27 Des stats temps réel? Dans la version relationnelle : Batch Recalculs à la demande Avec la montée en charge : Durée++ Perturbation insertions

28 Des stats temps réel? Type «counter» de Cassandra Incrémentation/Décrémentation : UPDATE ma_table SET my_counter = my_counter + 10 WHERE ma_cle=1 Le truc génial? UPDATE = INSERT Enregistrement créé s il n existe pas

29 Des stats temps réel? Attention : Cassandra < 2.1 = compteurs approximatifs rejeux OK pour des stats

30 Développements en cours sur Cassandra

31 Vision Base Cassandra alimentée depuis notre Base Colis Toutes les Informations colis Tous les événements

32 Vision 2 nouvelles offres Chronopost à la rentrée Stockage Cassandra Accent fort sur le temps réel Stockage en «time series»

33 Infrastructure analytique

34 Notre stack analytique «Big Data» Apache Spark 1.2 Cassandra (via connecteur Spark Datastax) Analyse sur profondeur réduite (opérationnel) HDFS Analyse sur profondeur étendue (archivage) Dataiku

35 Contribution à l écosystème Cassandra

36 Le driver JDBC «legacy» Non maintenu Limité Cassandra <= 1.2 Datastax Java driver

37 Mise à jour du driver JDBC «legacy» Cassandra 2.0/2.1 Load balancing Disponible sur code.google.com Google : «cassandra jdbc» API Thrift

38 Nouveau driver JDBC Réécriture Intégration Driver Java Datastax Disponible sur github.com/adejanovski

39 Requêtes asynchrones

40 Load balancing policies : Token Aware Policy

41 Load balancing policies : DC Aware Policy

42 Load balancing policies : DC Aware Policy

43 Remerciements Datastax pour : Son invitation aujourd hui Sa contribution au code source Cassandra (>80%) Son animation de la communauté Cassandra Vous pour : M avoir écouté jusqu au bout

44 Merci!