Calcul haute performance (CHP-HPC). Utilisation des supercalculateurs

Transcription

1 Calcul haute performance (CHP-HPC). Utilisation des supercalculateurs Pascal Rochon (UQO-ISFORT)

2 Sommaire 1. Pourquoi utiliser le CHP 2. Définition des termes utilisés 3. Organismes qui chapeautent le CHP au Canada 4. Allocation des ressources 5. Stratégies de parallélisassions 6. Ordonnanceur 7. Difficulté d utilisation

3 Pourquoi utiliser le CHP? Traiter de très grande quantité de données Répétition d un même calcul des milliers de fois Calcul qui demande une grande quantité de mémoire Calcul qui demande un long temps d exécution Tous les traitements informatiques qui ont une utilisation intensive des ressources ou qui sont limités par les ressources disponibles

4 Définitions Grappe de calcul: assemblage de plusieurs milliers de nœuds tous inter-reliés à haut débit Nœud: machine de calcul (ordinateur) qui partage la même mémoire Cœurs: unité de calcul (cpu) Stockage : Unité de disques durs ayant des vitesses d accès plus ou moins rapides selon les besoins

5 Chapeaute les ressources de CHP pour la recherche académique. Temps de calcul offert gratuitement aux chercheurs canadiens enregistrés. 6 Consortiums de calculs régionaux. Plus de 60 systèmes en opération. Tous les utilisateurs des supercalculateurs doivent-être inscrits dans cette base de données au préalable et demander un compte dans un des consortiums (ex. calcul Québec)

6 Qui peut demander un CCI? Pour vous inscrire à la CCDB, vous devrez soit être membre du corps professoral d une université canadienne (parrain), soit être parrainé par un membre du corps professoral d une université canadienne inscrit à la CCDB. Peuvent être parrainés les étudiants des cycles supérieurs et le personnel de recherche qui relèvent du membre du corps professoral de l université concerné.

7 Qui peut demander un compte à calcul Canada 1. Le chercheur principal (CP) doit d'abord s'inscrire sur la base de données de Calcul Canada (statut professeur) Une fois l'inscription confirmée, le CP obtiendra son code CCRI (Compute Canada Role Identifier), de la forme «abc » et devient le superviseur (parrain) de son futur groupe d'utilisateurs. 3. L'utilisateur régulier (parrainé) s'inscrit ensuite en utilisant le même formulaire. (Cette opération requiert le code CCRI du superviseur). 4. Il faut ensuite s inscrire à un consortium régional. À partir de la CCDB, suivre le lien: «Demander un compte à un consortium», et ouvrir un compte à Calcul Québec. 5. Une fois votre compte Calcul Québec créé, vous pourrez demander accès aux différents serveurs à partir du portail de Calcul Québec, sous l'onglet «Mon profil».

8 Regroupement des différent sites de super calculateur Québécois Colosse (Université Laval) 7680 cœurs Guillimin (Université McGill) cœurs (471 e au monde) 1 Cottos (université de Montréal) 1024 cœurs Mamouth (Université de Sherbrooke) cœurs (198 e au monde) 1 Briarée (université de Montréal) 8064 cœurs 1.

9 Allocation des ressources Mesuré en cœurs-année Un cœur-année correspond à une consommation moyenne de 1 cœur sur un système donné, 24h sur 24, 7j sur 7, sur une année complète Spécifique à chaque système Peut varier de 1 à 64+ cœurs-année Ex: Colosse 30 coeur*an, Cottos 15 coeur*an Cette limite est virtuelle: Tant et aussi longtemps qu il y a des nœuds de calcul disponibles, le traitement de vos données se fera, par contre, si vous vous approchez ou dépassez votre limite, vos calculs prendront plus de temps à démarrer (baisse de priorité)

10 Unités de stockage Système de fichiers réseau (NFS, network filesystem) Système de fichiers parallèle Système de fichiers sur disque local Système de fichiers en mémoire vive Ex: Colosse: /HOME et /RAP : 10 Go/s partagé, 1To par usager /SCRATCH : 10 Go/s partagé, 5To par usager /RAMDISK: 10Go/s non partagé, 12 Go par usager

11 Stratégies de parallélisassions 1. Parallélisme des tâches + Gain en performance énorme + Permet de maximiser chaque calcul du programme (mémoire, cpu) - Travailler directement dans le code source d un programme 2. Parallélisme des données + Facilité de mise en place, pas besoin de programmation + Gestion de la mémoire et de l accès aux disques plus facile - Chaque tâche doit attendre la fin des autres tâches 3. Hybride + Situation idéale!

12 Ordonnanceur temps Noeud1 Tâche 1 Tâche 7 Tâche 8 Noeud2 Tâche 2 Tâche 6 Noeud3 Tâche 3 Tâche 5 Tâche 9 Noeud4 Tâche 4 Noeud5 Tâche 4 Gère la liste des tâches Priorités Fair share Allocations Déploiement des tâches sur les nœuds de calculs 2 missions Optimiser le taux d utilisation du système S assurer que chaque groupe obtient sa juste part des ressources

13 Les modules Permettent de modifier l environnement pour l utilisation de certaines applications pré-installées Ex: R, Python, Mono, compilateur C++ Si l application n est pas présente sur le calculateur, on peut l installer soi-même avec le code source ou demander à l équipe de calcul-québec (équipe de soutien sur chaque serveur)

14 EXEMPLE DE LIBRAIRIES Python Scoop Mpi4py Multiprocessing DEAP R Snow Rmpi foreach C++ MPI OpenMp

15 BIG DATA Certains supercalculateurs permettent maintenant l utilisation d outils qui peuvent traiter de très grosses bases de données hadoop Apache spark LLNL Magpie Demain le 20 février à 12:00, il y aura un presentation sur ce sujet, par l'équipe de Calcul Québec à l'université Laval, de Colosse et d'helios. Pour s inscrire:

16 Difficultés d utilisation OS linux Tous les systèmes de CHP sont sous Linux R et Python peuvent être utilisés sur windows et Linux Les logiciels Windows ne peuvent fonctionner, mais: Il existe des modules qui permettent de faire fonctionner les logiciels windows (sans garantie de succès) Compilation des programmes directement sur le système Pas d interface graphique Tout doit se faire avec une console Terminal (DOS) Les rendues graphique sont possible (fenêtre Xwindows), mais pas encore au point

17 Adresses intéressantes

18 DES QUESTIONS? MERCI Une période de démonstration suivra