Les données massives à Calcul Québec

Transcription

1 Les données massives à Calcul Québec Marc Parizeau, professeur et directeur scientifique de Calcul Québec

2 Plan Calcul Québec / Calcul Canada Les outils et les services disponibles Un outil en particulier : Spark 2

3 Calcul Québec 3

4 Mission Procurer au milieu de la R&D des infrastructures matérielles et logicielles en Calcul Informatique de Pointe (CIP) ainsi que des services d expertconseil, afin de contribuer à l avancement des connaissances dans toutes les branches du savoir et à la formation de personnel hautement qualifié en CIP, capable d exploiter efficacement le parallélisme des systèmes informatiques modernes. 4

5 Quelques chiffres Quatre sites principaux Laval McGill / ETS UdeM Sherbrooke Au total: un personnel d une quarantaine d employés environ 1200 utilisateurs dans 400 groupes de recherche 80,000 cœurs de calcul 300 accélérateurs 200 To de mémoire vive 8000 To de stockage sur disque 5

6 Statistiques 6

7 Nous rejoindre Site web Support technique Informations générales Pour un serveur spécifique 7

8 Calcul Canada Université membre Université membre avec personnel Université membre avec personnel et infrastructures 8

9 Infrastructures à l UL Colosse Grappe de 960 noeuds 2 x Intel X GHz (8 coeurs) Mémoire : DDR3 à 1333 MHz noeuds: 24 GB (3 GB / coeur) - 24 noeuds: 48 GB (6 GB / coeur) Réseau: Infiniband QDR (40Gbps) Stockage: 2 x 500 TB (1PB total) 17 GB/s (scratch), 12 GB/s (home) Hélios Grappe de 168 GPGPU 15 noeuds, 20 coeurs à 2,5 GHz, 128 Go RAM et 8 GPU NVIDIA K20 par noeud 6 noeuds, 24 coeurs à 2,7 GHz, 256 GB RAM et 8 GPU NVIDIA K80 par noeud 9

10 Services disponibles Administration et opération de grappes de calcul Déploiement de systèmes de calcul et de stockage parallèle Conception et mise en service de solutions de calcul surmesure Exploitation de grappes de calcul Développement d'algorithmes parallèles (MPI, OpenMP, CUDA, Hadoop, Spark, etc.) Configuration / utilisation de logiciels HPC (Ansys, OpenFoam, etc.) Adaptation et optimisation de workflows distribués Virtualisation Formation 10

11 Les formations De base Software Carpentry Ligne de commande Unix Gestion de code programmation (R / Python) Premiers pas sur les serveurs de calcul Programmation Python Programmation R MDCS : Matlab Distributed Computer Server Visualisation avec Paraview Analyse de données Hadoop / MapReduce Spark 11

12 Accélérateurs et GPU programmation Cuda Programmation Cuda avancée Bibliothèques GPU programmation de Xeon Phi Calcul parallèle de haute performance Introduction à OpenMP Programmation OpenMP avancée Introduction à MPI Programmation MPI avancée et programmation hybride Profilage et optimisation avec Open / SpeedShop Déboggage avec DDT Entrées/sorties parallèles avec HDF5 12

13 Outils: Hadoop + Spark 13

14 Les défis du «big data» les 3 Vs + la véracité 14

15 Apache Software Foundation Plus de 150 projets open source dont plus d une trentaine en lien avec les données massives 15

16 Hadoop mécanique de base stockage distribué autres outils 16

17 Les enjeux l approche classique ne fonctionne plus avec les données massives (Oracle) (Hadoop / Spark) (Google) 17

18 Stockage distribué (HDFS) HDFS = Hadoop Distributed File System 18

19 Map - shuffle - reduce 19

20 Redondance 20

21 problèmes majeurs: usage de disques 21

22 Spark remplace le map/reduce de Hadoop Permet de faire des itérations sans passer par le stockage sur disque Augmente la performance jusqu à 100x 22

23 Hadoop Spark 23

24 Pour en savoir plus? La prochaine formation Spark est mardi le 3 novembre! Voir notre calendrier: formation/calendrier-formations Pour s inscrire: 24

25 Conclusion Temps de calcul Extension de capacité de calcul. Capacité supplémentaire de courte durée (bursting). Stockage / transfert de données Consultation choix technologique développement algorithmique optimisation, etc. Formations spécialisées Soutien à la recherche Contrats avec l industrie 25