Julien Nauroy - Direction Informatique

Transcription

1 INTRODUCTION À ET Julien Nauroy - Direction Informatique

2 Hadoop : Quel usage? J ai un ensemble de données assez grand Disons quelques To J ai des calculs à faire sur cet ensemble Ex.: compter les occurrences de chaque mot Mon problème se découpe bien «embarassingly parallel» Une seule machine ne suffit pas Ex.: débit disque, contrainte de temps Julien Nauroy Introduction à MapReduce et Spark

3 Un problème classique? Je souhaite traiter 8To de données En local? En réseau? Julien Nauroy Introduction à MapReduce et Spark

4 En local 8To = disque, ouf! (enfin presque) Disque dur «classique», ~0 HT 0k IOPS en lecture séquentielle ~00mo/s ~00mo/s => 0h de lecture continue Un problème de temps Julien Nauroy Introduction à MapReduce et Spark

5 Sur le réseau Baie de 60 disques Vitesse de lecture x60 => 0 min de transfert? NON : il faudrait 60Gbps de bande-passante Contrôleur et réseau Un problème de débit Julien Nauroy Introduction à MapReduce et Spark

6 Et les SSD? 8To = disques (par exemple) 0k IOPS en lecture séquentielle ~00mo/s 8To en ~h Pas de problème de temps Pas de problème de débit Un problème de calcul (à venir) Julien Nauroy Introduction à MapReduce et Spark 6

7 Hadoop : un paradigme adapté Prenons machines disques durs par machine Total 60 disques Découpons nos données en parties Chaque machine reçoit / e Calculons les résultats partiels Agrégeons le résultat final prélocalisation paradigme spécifique Julien Nauroy Introduction à MapReduce et Spark 7

8 Hadoop les fondamentaux Cœur de Hadoop Un système de fichiers réparti Hadoop Distributed File System (HDFS) Un système de répartition des calculs MapReduce Beaucoup d autres outils Stockage : Hbase, Parquet, Calcul : Hive (SQL), Spark, Julien Nauroy Introduction à MapReduce et Spark 8

9 Le paradigme MapReduce. «MAP» : Lecture des données et production de couples (clé, valeur) Les clés servent à organiser les données Équivalent de «group by» SQL. «REDUCE» : Regroupement des clés et traitement des valeurs Julien Nauroy Introduction à MapReduce et Spark 0

10 Un exemple : «wordcount» Préliminaire : Copie des fichiers HDFS : système de fichiers réparti Julien Nauroy Introduction à MapReduce et Spark

11 Un exemple : «wordcount» Etape : Map production de (clé, valeur) Julien Nauroy Introduction à MapReduce et Spark

12 Un exemple : «wordcount» Etape : Regroupement des clés «Shuffle & Sort» (automatique) Julien Nauroy Introduction à MapReduce et Spark

13 Un exemple : «wordcount» Etape : Reduce somme des valeurs Julien Nauroy Introduction à MapReduce et Spark

14 Un exemple : «wordcount» Etape : écriture du résultat automatique données distribuées calculs distribués calculs distribués Julien Nauroy Introduction à MapReduce et Spark

15 Fonctionnement de HDFS. Découpage des fichiers en blocs Taille indicative : 8Mo } bloc Julien Nauroy Introduction à MapReduce et Spark 6

16 Fonctionnement de HDFS. Copie des blocs sur plusieurs nœuds Nœud A Nœud B Nœud C Nœud D Nœud E Julien Nauroy Introduction à MapReduce et Spark 7

17 Fonctionnement de HDFS. Copie des blocs sur plusieurs nœuds En général, nœuds Nœud A Nœud B Nœud C Nœud D Nœud E Julien Nauroy Introduction à MapReduce et Spark 8

18 Fonctionnement de HDFS. Copie des blocs sur plusieurs nœuds En général, nœuds Nœud A Nœud B Nœud C Nœud D Nœud E Julien Nauroy Introduction à MapReduce et Spark 9

19 Fonctionnement de HDFS. Copie des blocs sur plusieurs nœuds En général, nœuds Nœud A Nœud B Nœud C Nœud D Nœud E Julien Nauroy Introduction à MapReduce et Spark 0

20 Fonctionnement de HDFS. Copie des blocs sur plusieurs nœuds En général, nœuds Nœud A Nœud B Nœud C Nœud D Nœud E Julien Nauroy Introduction à MapReduce et Spark

21 Fonctionnement de HDFS. Copie des blocs sur plusieurs nœuds En général, nœuds Nœud A Nœud B Nœud C Nœud D Nœud E Julien Nauroy Introduction à MapReduce et Spark

22 Fonctionnement de MapReduce. Sélection des nœuds portant les calculs Les données doivent être sur le nœud Nœud A Nœud B Nœud C Nœud D Nœud E Julien Nauroy Introduction à MapReduce et Spark

23 Fonctionnement de MapReduce. Sélection des nœuds portant les calculs Les données doivent être sur le nœud Nœud A Nœud B Nœud C Nœud D Nœud E Julien Nauroy Introduction à MapReduce et Spark

24 Fonctionnement de MapReduce. Sélection des nœuds portant les calculs Le nœud ne doit pas être occupé Nœud A Nœud B Nœud C Nœud D Nœud E Julien Nauroy Introduction à MapReduce et Spark

25 Fonctionnement de MapReduce. Sélection des nœuds portant les calculs Les données doivent être sur le nœud Nœud A Nœud B Nœud C Nœud D Nœud E Julien Nauroy Introduction à MapReduce et Spark 6

26 Fonctionnement de MapReduce. Sélection des nœuds portant les calculs Tous les blocs doivent être traités Nœud A Nœud B Nœud C Nœud D Nœud E Julien Nauroy Introduction à MapReduce et Spark 7

27 Forces de Hadoop Données de grande taille Lorsque goulet d étranglement = débit disque En particulier débit disque >> débit réseau Point fort : pré-localisation des données Décompression à la volée (Gzip, LZO ) Passage à l échelle 00 machines trient 00TB en moins de h Fiabilité Redondance dans HDFS Julien Nauroy Introduction à MapReduce et Spark 8

28 Faiblesses de Hadoop HPC (systèmes parallèles synchronisés) Pas de communication possible Temps réel Autres projets, p.ex.: Storm Infrastructures de petite taille < nœuds = sous-optimal Workflows à beaucoup d étapes Ecritures intermédiaires sur disque Julien Nauroy Introduction à MapReduce et Spark 9

29 EXECUTION D UN JOB MAPREDUCE

30 Représentation des données Julien Nauroy Introduction à MapReduce et Spark

31 Mapper Typage Production (clé, valeur) Julien Nauroy Introduction à MapReduce et Spark

32 Reducer Typage Production (clé, valeur) Julien Nauroy Introduction à MapReduce et Spark

33 Exemples d exécution Julien Nauroy Introduction à MapReduce et Spark

34 Exemples d exécution Workflow initial : 8min Julien Nauroy Introduction à MapReduce et Spark

35 Exemples d exécution Données réarrangées : min Julien Nauroy Introduction à MapReduce et Spark 6

36 Exemples d exécution Données réarrangées + Combiner: 7min Julien Nauroy Introduction à MapReduce et Spark 7

37 INFRASTRUCTURE DE LA DI U-PSUD

38 Infrastructure machines physiques IBM Bladecenter 8 cœurs, 6Go RAM, 0Go disque 0 machines virtuelles Total : ~00 cœurs ~To stockage utile Julien Nauroy Introduction à MapReduce et Spark 9

39 Merci Questions? Julien Nauroy Introduction à MapReduce et Spark