Outils pour le cloud - Autour de Spark

Dimension: px

Commencer à balayer dès la page:

Download "Outils pour le cloud - Autour de Spark"

Amandine Noëlle Lapierre
il y a 8 ans
Total affichages :

1 Outils pour le cloud - Autour de Spark Olivier Schwander <olivier.schwander@lip6.fr> UPMC 1 / 15

2 Retour sur MapReduce Spark MapReduce Facile Programmation parallèle plus facile et plus sûre Mais... Besoin d une version MapReduce des méthodes Traitement par lots (batch processing) Souvent Besoin d un enchaînement de MapReduce Écriture sur le disque des résultats intermédiaires 2 / 15

.. Besoin d une version MapReduce des méthodes Traitement par lots

3 Retour sur MapReduce Spark Retour vers le passé Chacun fait son système de parallélisme dans son coin. 3 / 15

4 Retour sur MapReduce Spark Retour vers le futur Généraliser MapReduce Plus de programmes Plus de styles de programmation Travailler en mémoire Éviter les écritures sur le disque Stocker tous les résultats intermédiaires dans la mémoire Spark Tout repose sur Hadoop Données sur le HDFS Bonus gratuit : interface en Python 4 / 15

écritures sur le disque Stocker tous les résultats intermédiaires dans la mémoire

5 Retour sur MapReduce Spark Spark Traitements Par lots Interactifs Temps réel Intégration Java, Python, Scala Haut niveau Moins besoin de se forcer à passer en MapReduce Plus de constructions 5 / 15

6 Opérations Description d un calcul Enchaînement de transformations Résultats intermédiaires en mémoire À la fin Évaluation de tout le bloc de calcul En parallèle Stockage permanent du résultat 6 / 15

mémoire À la fin Évaluation de tout le bloc de

7 Opérations Resilient Distributed Datasets (RDDs) Collection d éléments Stockée de façon distribuée Calculée et recalculée à la demande, en fonction des besoins Sources Données chargées depuis le HDFS Résultat intermédiaire d un calcul Propriété En mémoire Cache sur le disque possible Immutable Parallélisé 7 / 15

besoins Sources Données chargées depuis le HDFS Résultat intermédiaire d un

8 Opérations Transformations et actions Transformation RRD RRD Pas calculé immédiatement Action RRD résultat concret Déclenche le calcul 8 / 15

9 Opérations Description d un calcul Séquence d opérations Optmisation à la volée Recalcul si nécessaire 9 / 15

10 Opérations s de tranformations map(fonction) filter(fonction) flatmap(fonction) sample union(rrd) groupbykey reducebykey(fonction) sortbykey join(rrd) cartesian(rrd) Applique une fonction sur un RRD Filtre un RRD Applique une fonction et aplatit le résultat Échantillonage aléatoire Fusion de deux RRD Regroupe les valeurs associées à la même clé Réduction clé par clé Tri ((k, v), (k, w)) (k, (v, w)) Produit cartésien 10 / 15

Filtre un RRD Applique une fonction et aplatit le résultat Échantillonage aléatoire Fusion de deux RRD

11 Opérations s d actions reduce(fonction) collect count first take(entier) saveastextfile foreach(fonction) Réduction globale Récupère une valeur concrète Comptage Premier élément n premiers éléments Écriture Application d une fonction 11 / 15

globale Récupère une valeur concrète Comptage Premier

12 Opérations Autres opérations Cache En mémoire, sur disque Pour réutiliser des RRD Diffusion (broadcast) Hyper-paramètres partagés sur le réseau Pas des données Bases de données Pseudo-relationnel Pseudo-SQL 12 / 15

Hyper-paramètres partagés sur le réseau Pas des

13 WordCount >>> data = sc.textfile("readme.md") >>> wc = data.flatmap(lambda x: x.split( )).map(lambda x: (x, 1)).reduceByKey(lambda a, b: a + b) >>> wc Que contient wc? 13 / 15

14 Pas encore de calcul >>> wc PythonRDD[36] at RDD at PythonRDD.scala:43 Calcul abstrait wc est un RRD La description d un calcul Des données qu on peut transformer 14 / 15

15 Calcul effectif >>> result = wc.collect() 16/02/17 14:32:31 INFO SparkContext: Starting job: collect at <s 16/02/17 14:32:31 INFO DAGScheduler: Registering RDD 33 (reduceb 16/02/17 14:32:31 INFO DAGScheduler: Got job 8 (collect at <stdi 16/02/17 14:32:31 INFO DAGScheduler: Final stage: ResultStage Résultat >>> result [(u, 67), (u when, 1)...] 15 / 15

14:32:31 INFO DAGScheduler: Registering RDD 33 (reduceb 16/02/17 14:32:31 INFO

Documents pareils

Hadoop, Spark & Big Data 2.0. Exploiter une grappe de calcul pour des problème des données massives

Hadoop, Spark & Big Data 2.0. Exploiter une grappe de calcul pour des problème des données massives Hadoop, Spark & Big Data 2.0 Exploiter une grappe de calcul pour des problème des données massives Qui suis-je? Félix-Antoine Fortin Génie info. (B. Ing, M. Sc, ~PhD) Passionné de Python, Data Analytics,