ENVIRONNEMENT DE COMPILATION ET LIBRAIRIES SUR ANTARES

Transcription

1 ACC-TB-v2 ENVIRONNEMENT DE COMPILATION ET LIBRAIRIES SUR ANTARES Référence du document: idata-dev-08- Révision 08 - Date de création : 24/02/2015 Validation : PBM le 24/02/2015 Documents référencés : aucun Résumé : Environnement de compilation et librairies sur ANTARES Ce document fournit les informations nécessaires à la compilation d un code : exemples de Makefile, utilisation de l une ou l autre des deux librairies MPI (Intel MPI, Open MPI), compilation des codes accélérés sur GPU, options du compilateur Intel, utilisation des librairies mathématiques (MKL, FFTW) et des librairies de format de données (HDF5, NETCDF). Révisions : 01 : 03/11/2010, P. Bousquet-Mélou 02 : 14/03/2011, P. Bousquet-Mélou : description de la configuration mise à jour (armoire «Westmere), modifications librairie MKL 10.2 (mise à jour de l aide en ligne Intel pour l édition de lien) 03 : 03/08/2011, P. Bousquet-Mélou : mises à jour pour la compilation des codes accélérés sur GPU 04 : 06/09/2012, P. Bousquet-Mélou : description de la configuration mise à jour (matériel installé début 2012), référence à l URL de documentation GPU 05 : 08/10/2012, P. Bousquet-Mélou : extension «EQUIPEX» du cluster 06 : 24/07/2013, P. Bousquet-Mélou : nouvel environnement sur Red Hat : 09/04/2014, P. Bousquet-Mélou : description de la configuration mise à jour (matériel Ivy bridge installé début 2014) 08 : 24/02/2015, P. Bousquet-Mélou : norme MPI-3 Accessibilité CRIHAN : OUI EXTÉRIEURS : OUI RESTREINT : NON CRIHAN Technopôle du Madrillet 745, avenue de l Université SAINT-ÉTIENNE DU ROUVRAY Tél. : Fax : mailto:crihan-admin@crihan.fr SIRET Nº CODE APE 7219Z

2 SUR ANTARES Page 2/14 Table des matières Description de la configuration 3 Matériel 3 Logiciel 3 Environnement de compilation 4 Compilation des codes séquentiels 4 Compilation des codes parallèles MPI 4 Normes MPI-1 et MPI-2 4 Norme MPI-3 4 Compilation avec la librairie Intel MPI 4 Compilation avec la librairie Open MPI 5 Compilation de code CUDA ou OpenCL pour accélération sur GPU 5 Récapitulatif des commandes de compilation 5 Options de compilation Intel 6 Options d optimisation 6 Options de débogage 8 Options utilitaires 9 Options de gestion des formats libre ou fixe des fichiers Fortran 9 Librairies mathématiques 10 MKL (Intel Math Kernel Library) 10 FFTW 11 Librairies de formats de données 12 HDF5 12 NetCDF (Network Common Data Form) 14

3 TECHNIQUE ENVIRONNEMENT DE COMPILATION ET LIBRAIRIES SUR ANTARES 1. Révision 08 Page 3 /14 Description de la configuration La grappe de calcul ANTARES est une solution IBM idataplex d une puissance de 45 TFlops en CPU (3692 cœurs), 13 TFlops GPU et 2 TFlops Xeon Phi. Elle constituée de cinq armoires identiques à celle représentée ci-dessous Matériel 158 nœuds de calcul dx360-m2 (processeur «Nehalem EP», 1264 cœurs), dont 33 appartiennent à l Ecole Centrale de Nantes (ECN) 169 nœuds de calcul dx360-m3 (processeur «Westmere EP», 2028 cœurs) 20 nœuds de calcul dx360-m4 (processeur «Ivy Bridge», 400 cœurs), dont 18 ECN 13,4 To de mémoire DDR3 Réseau Intel InfiniBand QDR à faible latence et haut débit (40 Gbit/s) 280 To d espace disque rapide (brut) Nœud de calcul dx360-m2 : bi - processeurs 4-cœurs Intel Nehalem 2,8 GHz 24 Go de mémoire DDR3 Nœud de calcul dx360-m3 : bi - processeurs 6-cœurs Intel Westmere 2,8 GHz 48 ou 96 Go de mémoire DDR3 12 nœuds dx360-m3 sont dotés chacun d un espace disque interne de 10 To. 3 nœuds dx360-m3 sont dotés de 96 Go de mémoire. 13 nœuds dx360-m3 contiennent chacun deux modules GPU NVIDIA Fermi M2050. Nœud de calcul dx360-m4 : bi - processeurs 10-cœurs Intel Ivy 2,5 GHz 64 ou 256 Go de mémoire DDR3 1 nœud dx360-m4 (de visualisation) contient 2 GPU NVIDIA Quadro et 256 Go de mémoire DDR3 1 nœud dx360-m4 contient 2 cartes Xeon Phi et 256 Go de mémoire DDR Logiciel Système d exploitation Linux 64 bits (Red Hat 6.3) Gestionnaire de soumission de travaux IBM LoadLeveler Scripts de soumission : /soft/loadl/crihan_modeles_scripts Système de fichiers rapide IBM GPFS Environnement de développement : Compilateurs Intel 13.1 et Gnu Fortran, C, C++ (support OpenMP) Librairies Intel MPI 4.1.0, Intel MPI (support MPI-3) et Open MPI Librairie mathématique Intel MKL (dont BLAS, LAPACK, FFT) et FFTW API CUDA 5.0 et 6.5 (programmation GPU) Makefiles : /soft/makefiles Grappe de calcul ANTARES de type IBM idataplex (réduite à une armoire)

4 2. Environnement de compilation Sur l architecture d ANTARES, les sont naturellement conseillés. Les compilateurs Gnu g77 (Fortran 77), gfortran (Fortran 90), gcc (C) et g++ (C++) sont aussi disponibles Compilation des codes séquentiels Les commandes de compilation Intel pour un code séquentiel sont les suivantes : pour le Fortran 77 / 90 / 95 : ifort pour le C : icc pour le C++ : icpc Des modèles élémentaires de de fichiers Makefile ainsi qu un README se trouvent dans le répertoire : /soft/makefiles/serialcodes 2.2. Compilation des codes parallèles MPI Des modèles élémentaires de fichiers Makefile ainsi qu un README se trouvent dans le répertoire : /soft/makefiles/mpicodes Normes MPI-1 et MPI-2 Les deux librairies Intel MPI et Open MPI sont disponibles pour des applications utilisant des fonctions des normes MPI-1 et MPI-2. Lors du portage d une telle application sur ANTARES, il est conseillé de tester ces deux librairies MPI Norme MPI-3 Pour des applications utilisant des fonctions de la norme MPI-3 (communication collective non bloquante par exemple), la librairie Intel MPI est disponible. Son environnement s active par la commande suivante (qui peut être placée dans un fichier ~/.bash_profile (et non ~/.bashrc) à créer par l utilisateur, s il n utilise pas d autre librairie MPI) : source /opt/intel/impi/ /bin64/mpivars.sh Compilation avec la librairie Intel MPI L environnement de la librairie Intel MPI est activé par défaut. Les commandes de compilation avec Intel MPI sont les suivantes : pour le Fortran 77 / 90 / 95 : mpiifort pour le C : mpiicc pour le C++ : mpiicpc SUR ANTARES Page 4/14 Ces trois commandes utilisent respectivement les ifort, icc et icpc avec Intel MPI. ATTENTION : Noter les deux «i» dans le nom de la commande mpiicc précédente Avec Intel MPI, les commandes mpif90, mpicc (un seul «i») et mpicxx existent également, mais elles utilisent respectivement les compilateurs de Gnu gfortran, gcc et g++, moins conseillés que les.

5 Compilation avec la librairie Open MPI L environnement de la librairie Open MPI n est pas activé par défaut. Avant de compiler un code avec Open MPI, il faut activer son environnement avec la commande suivante : login@antares-adm:~: source /soft/environment/openmpi/openmpi-intel.sh Les commandes de compilation avec Open MPI sont les suivantes : pour le Fortran 77 / 90 / 95 : mpif90 pour le C : mpicc pour le C++ : mpicxx Après exécution de la commande «source» précédente, mpif90, mpicc et mpicxx utilisent respectivement les ifort, icc et icpc avec Open MPI. Pour l utilisation des compilateurs Gnu (moins conseillés) avec Open MPI, il faut mettre à jour l environnement avec la commande suivante : login@antares-adm:~: source /soft/environment/openmpi/openmpi-gnu.sh Les commandes mpif90, mpicc et mpicxx, dans ce cas, utilisent respectivement les compilateurs Gnu gfortran, gcc et g++ avec Open MPI. Si à l issue de ses tests, un utilisateur ne souhaite pas utiliser la librairie Intel MPI, mais uniquement la librairie Open MPI, il peut activer l environnement nécessaire de manière permanente dans son fichier ~/.bash_profile : login@antares-adm:~: cat.bash_profile # Librairie Open MPI / compilateur Intel source /soft/environment/openmpi/openmpi-intel.sh > /dev/null 2.3. Compilation de code CUDA ou OpenCL pour accélération sur GPU Se référer à la page Récapitulatif des commandes de compilation SUR ANTARES Page 5 /14 Type de code / librairie utilisée Hybridation MPI / OpenMP Activation de l environnement Compilateur Commandes de compilation Fortran / C / C++ Séquentiel (ou OpenMP) - - Intel (conseillé) Gnu ifort / icc / icpc gfortran / gcc / g++ MPI / Intel MPI (normes MPI-1 et MPI-2) Support complet (niveau «MPI_THREAD_ MULTIPLE») - Intel (conseillé) Gnu mpiifort / mpiicc / mpiicpc mpif90 / mpicc / mpicxx

6 SUR ANTARES Page 6/14 Type de code / librairie utilisée Hybridation MPI / OpenMP Activation de l environnement Compilateur Commandes de compilation Fortran / C / C++ MPI / Intel MPI (norme MPI-3) Support complet (niveau «MPI_THREAD_ MULTIPLE») source /opt/ intel/impi/ / bin64/ mpivars.sh Intel (conseillé) Gnu mpiifort / mpiicc / mpiicpc mpif90 / mpicc / mpicxx MPI / Open MPI (normes MPI-1 et MPI-2) Non supportée (niveau «MPI_THREAD_ SINGLE») «source /soft/ environment/ openmpi/ openmpiintel.sh» «source /soft/ environment/ openmpi/ openmpignu.sh» Intel (conseillé) Gnu mpif90 / mpicc / mpicxx mpif90 / mpicc / mpicxx 2.5. Options de compilation Intel Les guides utilisateur des pour Linux sont fournis en ligne : Fortran : C et C++ : compiler/cpp-lin/ Options d optimisation Les options d optimisation conseillées sont les suivantes (compilation et édition de lien) : Option d optimisation Description -O2 Optimisation de base -O2 -xsse4.2 Optimisation de base, avec instructions SSE spécifiques Nehalem (vectorisation) -O3 Optimisation avancée -O3 -xsse4.2 Optimisation avancée, avec instructions SSE spécifiques Nehalem (vectorisation)

7 SUR ANTARES Page 7 /14 Option d optimisation -openmp Description Activation des directives OpenMP Lors du portage d un code sur ANTARES, il est conseillé de tester la validité et la performance des quatre premières options du tableau précédent. Pour les codes multi-threadés contenant des directives OpenMP, l option «-openmp» doit être utilisée à la compilation et à l édition de lien. D autres options peuvent parfois améliorer les performances ; leur validité sur un code donné doit être vérifiée : Option d optimisation -ip -ipo -no-prec-div -fast (codes séquentiels ou OpenMP, mais pas MPI) Description Interprocedural optimization (autorise l «inlining» de sousprogrammes présents dans un même fichier source) Interprocedural optimization (autorise l «inlining» de sousprogrammes présents dans des fichiers sources séparés) Optimisation du calcul de divisions de nombres réels Correspond au jeu d instructions : «-O3 -xhost -ipo -no-prec-div -static» où «-xhost» génère le même niveau d optimisation que «-xsse4.2» sur l architecture du processeur Nehalem

8 SUR ANTARES Page 8/14 Option d optimisation «-O3 -xhost -ipo -no-prec-div» (tous types de code, y compris MPI) Description - Optimisation avancée, - Instructions SSE spécifiques Nehalem (vectorisation), - Optimisations interprocédurales, - Optimisation du calcul de divisions de nombres réels «-fast» peut s utiliser à la compilation et à l édition de lien d un code séquentiel ou OpenMP, mais pas à l édition de lien d un code MPI : l instruction «-static» (utilisation de librairies statiques) est incompatible avec les librairies dynamiques MPI. Pour un code MPI, l option «-O3 -xhost -ipo -no-prec-div» peut être utilisée à la compilation et à l édition de lien Options de débogage L option «-g» est indispensable pour obtenir des informations de débogage. Les trois instructions suivantes sont conseillées, la première à essayer en premier : -O2 -g -traceback -O2 -g -traceback -check bounds -O0 -g -traceback -check bounds «-traceback» permet d obtenir la pile d exécution des sous-programmes d un code jusqu à un arrêt provoqué par une exception : le nom du fichier source et le numéro de ligne de l instruction de code où l erreur se produit sont obtenus. «-check bounds» permet de détecter à l exécution, et parfois à la compilation, les débordements d indices de tableaux hors des limites déclarées ; cette option peut toutefois ralentir beaucoup l exécution d un calcul. L option «-O0» supprimant toute optimisation, le temps de calcul peut être considérablement augmenté si l exception de code se produit assez loin dans le temps après le début de son exécution. ATTENTION : Avec ifort, sans aucune option de compilation, l option «-O2» est appliquée. En revanche, lorsque la seule option «-g» est utilisée, «-O0» est appliquée automatiquement ; si «-O2» est souhaitée, il faut spécifier cette option («-O2 -g»).

9 SUR ANTARES Page 9 / Options utilitaires Option -cpp -I /home/group/login/inc -module /home/group/login/mod -p Description Interprétation du preprocessing C (#define, #ifdef, etc.) dans les codes sources Fortran. Répertoire des fichiers inclus (insérés dans des sources avec : #include «fichier.h») Répertoire des fichiers.mod produits par la compilation de modules Fortran 90 (par défaut, ces fichiers sont produits dans le répertoire courant). Option de profilage (compilation et édition de lien) ; après exécution, un profil s obtient avec gprof : gprof./code.exe gmon.out > prof.out Options de gestion des formats libre ou fixe des fichiers Fortran Dans le «format libre», les instructions Fortran débutent et finissent dans un intervalle quelconque de numéros de colonne ; les sauts de ligne sont désignés par le caractère & en fin de ligne. Dans le «format fixe», les instructions commencent à partir de la septième colonne et doivent se terminer, par défaut, avant la soixante-douzième colonne (comprise) ; les sauts de ligne sont désignés par un caractère quelconque en sixième colonne. Pour un fichier d extension.f : Le format fixe est supposé par défaut par le compilateur. Si le format est fixe, mais avec des lignes dépassant la colonne 72, il faut ajouter l option «-extend-source» (la limite est alors située en colonne 132). Si le format est libre, il faut introduire l option «-free». Pour un fichier d extension.f90 : Le format libre est supposé par défaut par le compilateur. Si le format est fixe, il faut introduire l option «-fixed». Si le format est fixe, mais avec des lignes dépassant la colonne 72, il faut introduire les options «-fixed -extend-source» (la limite est alors située en colonne 132).

10 2.6. Librairies mathématiques MKL (Intel Math Kernel Library) Le Manuel de Référence de MKL est disponible sur le lien suivant : 11/11.0.3/mklman.pdf Fonctionnalités TECHNIQUE MKL contient des sous-programmes optimisés pour architecture Intel : 1. Librairie d algèbre linéaire BLAS (Basic Linear Algebra Subprograms) : BLAS 1 : opérations vecteur - vecteur BLAS 2 : opérations matrice - vecteur BLAS 3 : opérations matrice - matrice Versions «Sparse» de BLAS 1-3 : extensions aux vecteurs et matrices creux, représentés sous forme compressée 2. Librairie d algèbre linéaire LAPACK (Linear Algebra PACKage) : Cet ensemble de sous-programmes permet de résoudre des systèmes d équations linéaires d inconnues réelles ou complexes, pour différents types de matrice (générale, bande, triangulaire, triangulaire bande, tridiagonale, symétrique définie positive, hermitienne définie positive, etc.) Les opérations suivantes sont réalisables avec les sous-programmes LAPACK de MKL : factorisation de matrice, équilibrage de matrice, résolution de systèmes d équations linéaires, estimation du nombre-condition d une matrice, raffinement de la solution d un système et calcul de l erreur numérique (après factorisation de la matrice d un système et calcul de la solution), inversion de matrice Deux catégories de sous-programmes sont distinguées : des sous-programmes de calcul («computational routines») pour chaque étape de la résolution d un système, par exemple la factorisation LU avec dgetrf, le calcul de la solution d un système avec dgetrs, le raffinement et la détermination de l erreur avec dgerfs, des sous-programmes pilotes («driver routines») qui effectuent les différentes étapes de résolution en un seul appel ; par exemple les trois opérations précédentes sont réalisées par un appel unique à dgesvx. 3. Librairies parallèles d algèbre linéaire PBLAS, BLACS et ScaLAPACK : SUR ANTARES Page 10/14 ScaLAPACK (Scalable Linear Algebra PACKage) contient un ensemble de sous-programmes parallèles, pour architecture à mémoire distribuée, issus des sous-programmes LAPACK. ScaLAPACK s appuie sur deux autres librairies : PBLAS (Parallel Basic Linear Algebra Subprograms) : version parallèle de BLAS pour architecture à mémoire distribuée, BLACS (Basic Linear Algebra Communication Subprograms) : librairie de communication par passage de message, fondée sur MPI. Elle permet, après avoir défini une grille de processus, d échanger des blocs de matrice.

11 SUR ANTARES Page 11/14 4. Sous-programmes de calcul FFT (Fast Fourier Transform) : MKL possède ses propres sous-programmes de calcul de DFT (Discrete Fourier Transform) séquentiels, multi-threadés ou à parallélisme distribué. Le chapitre 12 du Manuel de Référence de MKL (voir lien précédent) décrit l expression générale des FFT disponibles et les fonctions de calcul «forward» (signe négatif dans l exposant) et «backward» (signe positif dans l exposant). Une Interface de support des sous-programmes de la librairie FFTW est également disponible pour le calcul de DFT. Cette interface permet de compiler avec MKL, sans les modifier, des codes utilisant des sous-programmes de la librairie FFTW ( Edition de lien avec MKL Un README et des modèles de fichiers Makefile, avec les options d édition de lien pour des codes utilisant les composantes BLAS, LAPACK ou FFTW de MKL, figurent dans le répertoire : /soft/makefiles/mkl Intel fournit une aide pour le choix des options d édition de lien à utiliser pour la compilation de codes utilisant la librairie MKL : Sur cette page, il faut sélectionner : «Intel(R) product» : MKL 11.0 «OS» : Linux «architecture» : Intel(R) 64 «compiler» : Intel (Fortran ou C/C++) ou Gnu (Fortran ou C/C++) «dynamic or static linking» : Static et les autres caractéristiques spécifiques au cas traité : entiers simple ou double précision, code séquentiel / threadé (OpenMP), librairie Intel MPI ou Open MPI dans le cas d utilisation de sous-programmes parallèles de FFT (option CDFT), ScaLAPACK ou BLACS. Par exemple, dans le cas d un code utilisant des sous-programmes BLAS ou LAPACK et des entiers simple précision, compilé avec le compilateur Intel, le jeu des librairies MKL à placer en édition de lien est le suivant : -Wl,--start-group ${MKLROOT}/lib/intel64/libmkl_intel_lp64.a ${MKLROOT}/lib/intel64/ libmkl_sequential.a ${MKLROOT}/lib/intel64/libmkl_core.a -Wl,--end-group -lpthread -lm FFTW Cette librairie permet le calcul de transformées de Fourier discrètes (DFT) sur des données de type réel ou complexe dans une ou plusieurs dimensions. Le répertoire /soft/library/fftw3.3.2 contient quatre versions de la librairie FFTW :

12 SUR ANTARES Page 12/14 Répertoire /soft/library/fftw3.2.2/ fftw3.2.2 /soft/library/fftw3.2.2/ fftw3.2.2-single-precision /soft/library/fftw3.2.2/ fftw3.2.2-openmp /soft/library/fftw3.2.2/ fftw3.2.2-single-precisionopenmp Version de la librairie FFTW version séquentielle, double précision version séquentielle, simple précision version multi-threadée OpenMP, double précision version multi-threadée OpenMP, simple précision Un README et un modèle de fichier Makefile, avec les options d édition de lien pour un code Fortran utilisant la librairie FFTW, figure dans le répertoire : /soft/makefiles/fftw Le manuel utilisateur de FFTW se trouve sur le lien La librairie MKL possède également une interface de support des sous-programmes de FFTW : les codes utilisant ces sous-programmes peuvent être compilés avec la librairie MKL, sans modifications Librairies de formats de données HDF5 Cette librairie est particulièrement adaptée à l exécution performante d écriture et de lecture de grands volumes de données scientifiques. Son utilisation est décrite sur le lien Les versions et de HDF5 sont disponibles sur ANTARES. HDF Répertoire Version de la librairie HDF /soft/library/hdf ifc-impi-parallel /soft/library/hdf ifc-ompi-parallel version Fortran, C, parallèle Intel MPI, compatible version Fortran, C, parallèle Open MPI, compatible Les commandes de compilation pour l utilisation des différentes versions de HDF sont indiquées dans un README placé dans chacun des répertoires indiqués.

13 SUR ANTARES Page 13/14 HDF Répertoire /soft/library/hdf ifc-static Version de la librairie HDF version Fortran, C, C++, séquentielle, compatible Les commandes de compilation pour l utilisation de cette version de HDF sont indiquées dans un README placé dans chacun le répertoires indiqué. HDF Répertoire Version de la librairie HDF /soft/library/hdf ifc-static /soft/library/hdf ifc-impi-parallel /soft/library/hdf ifc-ompi-parallel version Fortran, C, C++, séquentielle, compatible version Fortran, C, parallèle Intel MPI, compatible version Fortran, C, parallèle Open MPI, compatible Les commandes de compilation pour l utilisation des différentes versions de HDF sont indiquées dans un README placé dans chacun des répertoires indiqués. HDF Répertoire Version de la librairie HDF /soft/library/hdf gnu-static /soft/library/hdf gnu-impi-parallel /soft/library/hdf gnu-ompi-parallel version Fortran, C, C++, séquentielle, compatible compilateurs Gnu version Fortran, C, parallèle Intel MPI, compatible compilateurs Gnu version Fortran, C, parallèle Open MPI, compatible compilateurs Gnu Les commandes de compilation pour l utilisation des différentes versions de HDF sont indiquées dans un README placé dans chacun des répertoires indiqués.

14 NetCDF (Network Common Data Form) Cette librairie permet la création, l accès ou le partage de données scientifiques organisées en tableaux, sous un format indépendant des architectures matérielles. Son utilisation est décrite sur le lien docs/. NetCDF TECHNIQUE SUR ANTARES Page 14/14 Répertoire /soft/library/netcdf /soft/library/netcdf-4.1.3_gnu4.4.6 Version de la librairie NETCDF version Fortran, C, C++, séquentielle, compatible version Fortran, C, C++, séquentielle, compatible compilateurs Gnu Les commandes de compilation pour l utilisation de ces librairies sont indiquées dans un README placé dans chacun des répertoires indiqués. NetCDF Répertoire /soft/library/netcdf /soft/library/netcdf hdf5 Version de la librairie NETCDF version Fortran, C, C++, séquentielle, compatible version Fortran, C, C++, séquentielle, compatible, avec support HDF5 Les commandes de compilation pour l utilisation de ces librairies sont indiquées dans un README placé dans chacun des répertoires indiqués.