#HadoopCriteo. du laboratoire à la production 24/7. Criteo

Transcription

1 du laboratoire à la production 24/7 Criteo Jean-Baptiste NOTE Loïc LE BEL

2 A propos Jean-Baptiste NOTE Loïc LE BEL @loic_le_bel De l équipe Criteo HPC (+ Serge / Maxime / Samuel / Yann / Stuart)

3 Criteo? 6 DATA CENTERS, 4 CONTINENTS. 120 MILLIARDS DE REQUÊTES/JOUR*. 52 POSITIONS OUVERTES EN R&D À PARIS * EVERY DAY CRITEO IS CALLED MORE THAN 100 BILLION TIMES BY ADVERTISERS AND PUBLISHERS

4 L adoption d une nouvelle technologie «Anything that can go wrong - will go wrong» -- Murphy s Law

5 Croissance L utilisation d Hadoop va en s accélérant Le cycle d apprentissage est rapide Les analystes font de nouvelles découvertes dans les données brutes ce qui les amène à se poser plus de questions Une meilleure compréhension des données mène à un meilleur produit qui produit plus de données La donnée prend de la valeur, est conservée plus longtemps pour étude VOUS (l admin) êtes le goulot d étranglement!

6 Sommaire Automatisation de l administration Tuning de configuration Hadoop Réseau Gestion multi-utilisateur

7 Automatisation de l administration

8 Automatiser les déploiements Rackez et allumez! Chaque machine est rackée, câblée et provisionnée pour un rôle Chef est un tout-en-un pour l automatisation Installation sans disque système INSTA- CLUSTER!

9 Système «diskless» : pourquoi? Retenir les leçons du passé Précédent cluster : 1.5 années de service 78% de défaillance disque sur /dev/sda au redémarrage Symétrie de l utilisation des disques Garantie stateless

10 Système «diskless» : comment? Boot PXE sur une image CentOs custom Bootstrap automatique de Chef TOUT est fait par Chef Enregistrement dans l inventaire Mises à jour des Firmwares Installation de l OS et des services

11 Maintenance Maintenance évolutive (bump de version) Peu à faire en opération normale Pb. le plus fréquent : nœud lent ou instable Utilisation de Preprod / Prod pour les modifs d infra Progressive VS Black-out

12 Monitoring Interfaces quotidiennes des utilisateurs Jobtracker FSImage checkpointing Utilisation HDFS et disques locaux

13 Tuning de configuration Hadoop

14 Configurations système Augmenter le Read ahead Désactiver la compaction THP Utiliser une MTU jumbo frames Augmenter la rétention ARP (spécifique L2) Utiliser un cache NSCD

15 Configuration Hadoop

16 Configuration Hadoop (2) Ajuster le logging (INFO, console par défaut) Augmenter le nombre de handlers (JT, NN, DN) Utiliser namenode.service.handler.count Surveiller les boucles de checkpointing

17 Réseau

18 Topologie réseau Une topologie de datacenter ne convient pas pour tous les usages Trafic Web VS Trafic Hadoop Hiérarchie Fat-Tree historique (avec routing layer 2) Bascule vers un design en Mesh (bientôt en layer 3)

19 Topologie Hadoop La rack-awareness est indispensable! Performance Fiabilité Maintenance (eg. déménagement)

20 Multi-utilisateurs Quotas HDFS Scheduling (très visible aux utilisateurs) Ratio slot map / reduce Utilisez Yarn!

21 Sécurité

22 Kerberos Kdc / realm dédiés Principals de service dédiés Trusts cross-realm Délégation de la gestion utilisateurs humains à votre IT

23 HttpFs proxies Utiliser de multiples proxies Facilité d interconnexion avec l extérieur Injection / lecture de données avec un simple curl Transferts à grand débit

24 Formats de fichiers Cas d utilisation différents (ML, analyses BI) Json gzippé est suffisant Ne pas optimiser trop tôt Toujours utilisé (*) à l échelle (plusieurs PetaB) (*) Quelques équipes utilisent Parquet et ont contribué à son intégration avec Hive

25 Questions?

26 Criteo recrute! Nous avons de nombreux postes à pourvoir en 2014 Rejoignez-nous!

27 Crédit image / Creative Commons Rue pavée By-Nc-Sa Question Mark Block Jared Cherup Tuning East Coast Tuning Slide template created completed for Devoxx FR2014