Rapport d'activité 2014 de la plate-forme technologique CISM

Transcription

1 Rapport d'activité 2014 de la plate-forme technologique CISM Rédigé par Damien François, Luc Sindic, Bernard Van Renterghem et Thomas Keutgen (responsable). version électronique disponible à l'adresse

2 Table des matières Introduction 6 1 L année 2014 en bref 7 2 CISM plate-forme technologique 8 3 Les salles informatiques 9 4 Matériel et infrastructure Les infrastructures de calcul La grappe MANNEBACK La grappe HMEM La grappe LEMAITRE Les systèmes de stockage de masse Serveurs spécifiques Serveurs SAS SMCS1&2 (SMCS) Serveur Matlab LM9 (INMA) Gestion et développement de l infrastructure Gestion des incidents Déclassement des serveurs plus anciens Consortium des Equipements de Calcul Intensif Les infrastructures disponibles Enquête de satisfaction Développement d un nouveau système de fichiers partagé Tier1 en FWB et accès à PRACE Développement d un outil d aide à la soumission de jobs Support aux utilisateurs et formations Support aux utilisateurs Formations et au delà A Inventaire des infrastructures de stockage 34 B Inventaire des infrastructures de calcul 35 C D Répartition des utilisateurs de l UCL dans l utilisation des infrastructures de stockage 38 Répartition des utilisateurs de l UCL dans l utilisation des infrastructures de calcul 39 E Activités de formation, veille technologique, et réseautage 40 E.1 Slurm User Group

3 E.2 Réunion Xeon Phi chez HP E.3 Storage Expo F Publications 41 Rapport d activité 2014 du CISM 3 47

4 Le CISM en quelques mots... Le CISM est une plate-forme technologique rattachée au Secteur des Sciences et Technologies (SST). Son rôle est de fournir aux chercheurs de l Université des solutions de calcul intensif sur de puissants systèmes informatiques et des solutions de stockage sûr et sécurisé de grandes masses de données. Un outil indispensable à la recherche En informatique scientifique, bien que la puissance des ordinateurs individuels s accroit de génération en génération, les besoins en calcul et stockage augmentent de manière bien plus grande encore, particulièrement dans les domaines de la simulation numérique, de la modélisation, de la bioinformatique, etc. Cette année 2014 a vu plus de 170 utilisateurs UCL (et 480 en tout), utiliser, souvent jusqu au maximum de leur capacité, les infrastructures du CISM et du CÉCI. Ce qui représente, rien que pour l UCL, plus de 16 millions d heures de calcul (dont 10M uniquement sur les infrastructures du CISM), et 222 TB de stockage, permettant la production de 84 publications scientifiques. Une expertise reconnue L équipe de gestion de la plate-forme CISM regroupe quatre informaticiens spécialisés entretenant un savoir-faire de pointe en calcul scientifique et en gestion de parc informatique. Cette expertise est reconnue au sein de l Université où le CISM contribue à la réalisation des projets de plusieurs entités : hébergement de machines de calcul statistique pour SMCS, étude d une nouvelle salle machine avec SIPR, coopération avec CP3, unité gérant également des grappes de calcul, etc. Cette expertise est également reconnue au sein de la Fédération Wallonie-Bruxelles : les formations organisées par l équipe du CISM ont attiré en 2014 plus de 70 chercheurs issus de chacune des universités wallonnes et bruxelloise. 2014, l année du 10ième anniversaire. Cette année anniversaire a été pour le CISM l occasion d une refonte importante de ses organes de gestion. Et même si les infrastructures n ont pas beaucoup évolué en terme de puissance installée, la puissance de calcul disponible globalement a plus que doublée avec l ouverture au CÉCI du Supercalculateur Tier-1 wallon. De nouvelles formations pour les utilisateurs, et la poursuite des grands chantiers que sont la nouvelle salle machine et le projet de stockage partagé CÉCI viennent compléter le tableau.

5

6 INTRODUCTION Le présent rapport a pour but de fournir un résumé des activités de la plate-forme technologique sectorielle Calcul Intensif et Stockage de Masse (SST/CISM) et de l équipe qui en gère les équipements, pour l année Le lecteur disposant de la version imprimée est invité à consulter la version électronique 1 où les hyperliens donnent accès aux références de ce rapport. Les faits saillants de l année 2014 y sont extraits d une masse brute de procès-verbaux et de statistiques. Le rôle de la plate-forme, pour son aspect «calcul intensif» est d assurer aux chercheurs de l université l accès à des outils informatiques de calcul scientifique de grande puissance, appelés «grappes de calcul», ou «clusters» ; il s agit d ensembles d ordinateurs présentant de très grosses configurations interconnectés de manière à combiner leurs puissances individuelles en un super-ordinateur. Le rôle «stockage de masse» consiste à offrir aux chercheurs l accès à des infrastructures de stockage de données de grande capacité disponibles à toute la communauté universitaire. Les activités prises en charge par la plate-forme vont donc de l acquisition du matériel, et de sa maintenance, au support et à la formation des chercheurs à l utilisation de ce matériel, sur base d une expertise de haut niveau entretenue activement au sein de l équipe, et d une veille technologique permanente, en collaboration avec les autres services de l UCL mais également avec les autres universités belges. La suite de ce rapport présente les faits importants de 2014 (Section 1), l évolution des organes de la plate-forme (Section 2), l état des lieux des infrastructures du CISM (Sections 3 et 4), les nouveaux projets mis en place dans le cadre du CÉCI (Section 5), le bilan des activités de support aux utilisateurs (Section 6.1) et les perspectives pour 2015 (Section 7). Les annexes reprennent les détails des infrastructures (Annexes A et B), la répartition par pôle des utilisateurs de l UCL (Annexes C et D), ainsi que la liste des publications obtenues cette année grâce aux outils du CISM (Annexe F). 1 http :// Rapport d activité 2014 du CISM

7 1 L ANNÉE 2014 EN BREF En 2014, le CISM a fêté ses 10 ans d existence. C était l occasion pour nous d organiser un évènement regroupant les personnes à l origine de notre plate-forme et nous remémorer les souvenirs de 2004, année où le calcul intensif et le stockage de masse ont pris leur place au sein de l Université par la création de l Institut CISM. Plate-forme technologique depuis 2009, notre organisation n a cessé d évoluer. Encore cette année, un nouveau règlement d ordre intérieur (ROI) a été approuvé par les autorités de l Université et la gestion du CISM a été confiée à deux nouveaux comités : le comité de gestion et le comité des utilisateurs. Ce point sera détaillé à la Section 2. Globalement, nos infrastructures n ont pas connu de grosse modification cette année. On notera les serveurs ajoutés au cluster Manneback mais cela reste relativement limité en terme d occupation d espace et de puissance. Pour rappel, nous sommes en attente de la mise à disposition d une nouvelle salle machine nous permettant le déploiement de nouvelles infrastructures. Cette nouvelle salle sera construite en 2015 comme nous le verrons à la Section {salles}. En ce qui concerne le calcul intensif, la mise en service du supercalculateur Tier-1 au Cenaero et son ouverture à tous les utilisateurs du CÉCI[ˆConsortium des Équipements de Calcul Intensif en Fédération Wallonie Bruxelles] est certainement un des évènements les plus importants de l année écoulée. On reviendra plus largement sur cet évènement à la Section 5.4. Dans les activités du CÉCI, un nouveau projet Grands Équipements a été accepté pour financement par le FNRS. Il concerne la mise en place d un système de fichiers partagé favorisant la mobilité des chercheurs entre les différentes plates-formes de calcul mises à disposition par le consortium. Ce point sera discuté à la Section 5.3. On peut également rappeler la séance de debuggage qui a eu lieu en début d année permettant à quelques utilisateurs avertis de tester l efficacité de leur code en utilisant, sur une courte période, les 1344 processeurs disponibles sur le cluster Lemaitre2. Cette session a été un réel succès et certains utilisateurs ont obtenu ainsi les informations nécessaires pour envisager l accès à des infrastructures plus importantes. Pour le stockage de masse, malgré le démantèlement de Storage02, l espace de stockage disponible est resté suffisant pour ne pas devoir envisager son remplacement immédiat. Un renforcement sera cependant nécessaire en Nos formations se sont à nouveau étoffées avec deux nouvelles sessions (programmation Fortran et C++) et trois nouveaux formateurs (voir la section {formations}). Enfin, il reste à citer les 84 publications qui ont bénéficié de l apport essentiel des infrastructures CISM en 2014 ; elles sont listées en annexe F. Rapport d activité 2014 du CISM 7 47

8 2 CISM PLATE-FORME TECHNOLOGIQUE Cette année, le CISM a fêté ses 10 ans d existance! C était l occasion de rassembler les différents acteurs qui ont contribué activement à la réussite de notre plate-forme et se souvenir des premières années de calcul intensif et de stockage de masse à l UCL. Une séance académique a donc été organisée à cette fin le 2 octobre Dès 2013, le CISM avait entamé la modification de son fonctionnement avec la scission de son conseil de gestion en deux nouvelles assemblées : le comité de gestion et le comité des utilisateurs. Au même moment, le Conseil du Service à la Société (CSES) a remis une note au Conseil Académique proposant une nouvelle ligne de conduite pour le fonctionnement des plate-formes technologiques. Notre objectif rencontrant l essentiel des points mentionnés dans cette note, notre nouveau règlement d ordre intérieur (ROI) a rapidement pris forme et a été déposé pour approbation au bureau du Secteur des Sciences et Technologies (SST). Il a officiellement été approuvé par le Conseil Académique du 3 juin Les points importants de notre nouvel ROI sont les suivants : Le CISM devient une plate-forme technologique sectorielle du secteur SST. Il est représenté auprès des autorités de l UCL par son institut de référence, IMCN, et en particulier par son président. Le Comité de Gestion du CISM se réunit environ deux fois par an pour définir les stratégies à moyen et long terme et évaluer le fonctionnement de la plate-forme. Il est composé d un représentant par institut grand utilisateur de nos infrastructures et présidé par un académique nommé pour 4 ans. Le comité des utilisateurs se réunit au moins six fois par an pour proposer la politique de gestion et d utilisation des équipements scientifiques et techniques. Il est composé d au moins un membre des pôles de recherche regroupant les utilisateurs les plus significatifs et présidé par le président du comité de gestion Rapport d activité 2014 du CISM

9 3 LES SALLES INFORMATIQUES Comme discuté dans nos rapports précédents, les deux salles actuelles (l Aquarium et la salle Tier-2) ne permettent plus aujourd hui d héberger simultanément les serveurs des services centraux (SIPR), de IRMP/CP3 et du SST/CISM. Par manque de place d abord : les armoires sont remplies au maximum de leur capacité. Par manque de puissance ensuite : les projets orientés calcul intensif (CISM et CP3) nécessitent des armoires permettant d atteindre les 20 kw alors que la capacité actuelle est de 12 kw par armoire. Enfin, les besoins deviennent de moins en moins compatibles entre les services centraux qui doivent assurer un service ininterrompu et donc, recherchent à assurer la redondance de chaque élément de la salle, et les utilisateurs du calcul haute performance (CP3 et CISM) qui ont besoin d un maximum de puissance par armoire afin d optimiser la densité des serveurs de calcul. Un projet de nouvelle salle (DCIII, DataCenter III) a donc vu le jour grâce au travail efficace de ADPI/GTPL. Un nouveau bâtiment sera construit dans le courant de l année Dans un premier temps (phase I), 12 armoires de 20 kw seront disponibles pour la fin de l année Une seconde phase est prévue en 2017 où la salle sera mise à niveau et atteindra les 20 armoires. La figure 1 présente le site choisi pour l implantation de cette nouvelle salle (cette figure nous a été transmise par ADPI/GTPL). FIGURE 1 : SITE D IMPLANTATION DE LA NOUVELLE SALLE DCIII L optimisation énergétique est un point essentiel dans la conception d une salle machine tant le niveau de consommation électrique est important. Par exemple, en 2014, la consommation cumulée des deux salles existantes s est élevée à 2466 MWh dont un peu moins de la moitié provenant des installations du CISM. Chaque kw économisé par l efficacité de l installation représente donc une économie substantielle pour le gestionnaire de la salle. Un des paramètres les plus utilisés pour mesurer l efficacité d une salle machine est le PUE (Power Usage Effectiveness) qui représente le rapport entre la consommation électrique globale de la salle sur celle des serveurs qu elle héberge. Dans un monde idéal, Rapport d activité 2014 du CISM 9 47

10 si le refroidissement des machines ne produit aucun surcoût énergétique, le PUE est de 1. Ce qui n est bien sûr pas le cas mais plus la conception de la salle est optimisée, plus le PUE se rapprochera de l unité. Pour les salles actuelles, nous avons pu estimer le PUE en comparant les valeurs obtenues sur le compteur général des salles (consommation totale) et les mesures prises sur l UPS, fournissant la puissance électrique des serveurs. Cette valeur doit être considérée comme minimale. La figure 2 présente l évolution annuelle du PUE pour l Aquarium et la salle Tier-2. FIGURE 2 : EVOLUTION ANNUELLE DU PUE POUR LES SALLES AQUARIUM ET TIER-2 On peut remarquer que cette valeur n est pas constante et qu elle dépend des saisons et donc, des conditions de température extérieure. Cette dépendance est particulièrement marquée pour la salle Tier-2 qui, contrairement à l Aquarium, est équipée d un aéroréfrigérant qui permet de refroidir le circuit hydraulique de la salle par simple ventilation, lorsque la température extérieure est suffisamment basse. La salle Aquarium, installée en 2005, présente un PUE moyen de 1.55 alors que la salle Tier-2, datant de 2007, plus efficace, tourne autour de L objectif de la nouvelle salle machine, le DCIII, sera de descendre en dessous de 1.3. Fin 2015, lorsque la première phase du DCIII sera terminée, il est prévu de commencer le transfert de toutes les activités de SST/CISM et IRMP/CP3 dans la nouvelle salle. L objectif final étant de libérer la totalité des armoires utilisées dans les anciennes salles pour permettre aux services centraux d augmenter leur capacité. Le CISM gardera cependant une armoire à l Aquarium pour assurer une solution de backup délocalisé de ses services. IRMP/CP3 gardera également une armoire en salle Tier-2 pour certains services ne pouvant pas déménager du bâtiment Marc de Hemptinne. Le rapprochement des serveurs IRMP/CP3 et SST/CISM dans le même local est une chance unique de mutualiser nos différents services. Une collaboration étroite avec les administrateurs de IRMP/CP3 a donc débuté cette année pour étudier les possibilités de ce rapprochement Rapport d activité 2014 du CISM

11 4 MATÉRIEL ET INFRASTRUCTURE FIGURE 3 : EVOLUTION DE LA PUISSANCE THÉORIQUE DE CALCUL AU CISM DEPUIS 2006 En 2014, afin de prolonger un peu l utilité de ses processeurs plus anciens, la majorité des nœuds de calcul de GREEN ont été transférés sur Manneback. Combinée aux huit nouvelles machines que nous avons ajoutées à ce cluster, la puissance théorique cumulée a atteint en 2014 les 42 TFlops comme le montre la figure 3. Un tableau récapitulatif est présenté en Annexe B ainsi que la répartition par Secteurs/Instituts/Pôles des utilisateurs de l UCL (Annexe D). Le détail du taux d utilisation de ces différents clusters sera développé dans les paragraphes ci-dessous. FIGURE 4 : EVOLUTION DE L ESPACE DE STOCKAGE DISPONIBLE AU CISM DEPUIS 2006 Rapport d activité 2014 du CISM 11 47

12 En ce qui concerne le service de stockage de masse, avec le déclassement programmé de Storage02, le CISM met à la disposition de l ensemble de la communauté universitaire environ 260 terabytes[ˆ1 terabyte représente 1000 gigabytes soit l équivalent d un disque dur externe, ou environ 250 DVD] (TB). La répartition de cet espace sur nos serveurs est détaillée à la figure 4. Un tableau récapitulatif est également présenté en annexe {inventaire_st}. La répartition des utilisateurs par secteur/institut/pôle se retrouve en annexe C. Le reste de cette section présente en détail les différentes infrastructures de calcul, grappes et machines interactives ainsi que le récapitulatif des interventions opérées sur ces machines en Les infrastructures de calcul Les infrastructures de calcul du CISM sont de deux types : des grappes de calcul, où les utilisateurs soumettent leurs calculs au logiciel chargé de la gestion des ressources (Manneback, Hmem, Lemaitre2) ; des machines interactives où les utilisateurs se connectent et lancent leurs calculs directement (SMCS1&2, LM9) La grappe MANNEBACK Manneback, baptisée en hommage à Charles Manneback, est une grappe réservée aux membres de l UCL ; elle héberge les machines issues de projets de recherche industriels, les machines spécialement achetées pour tester de nouvelles technologies, et les machines ne trouvant pas leur place ailleurs. Ce qui en fait un cluster hétérogène, regroupant des processeurs AMD et des processeurs Intel, des nœuds avec une interconnexion rapide et à faible latence, et d autres équipés d accélérateurs matériels. Cette année, la puissance maximale de cette grappe a doublé, passant de 10TFlops à un peu plus de 20TFlops. Ainsi, Manneback compte Charles Manneback ( ) à présent 1616 cœurs et dépasse en puissance maximale théorique la grappe Lemaitre2 (1380 cœurs, 14TFlops). Cet accroissement important est dû essentiellement à trois apports : la reconversion de 79 machines de l ancien cluster Green, intégrées à Manneback (+ 6,32Tflops) ; l ajout en mars, d un serveur de 32 cœurs Xeon E5-4620@2.2GHz/128 GB RAM, intégré à la partition OBAN (+ 563Gflops) ; et pour finir, l ajout en juin, de 8 nœuds de 16 cœurs Xeon E5-2650v2@2.6GHz/64GB RAM (+ 2.66Tflops). Le front-end (ou serveur d accès) avait été renforcé l an passé. Il s agit d une machine puissante équipée de deux processeurs Intel(R) Xeon(R) CPU 2.00GHz (soit Rapport d activité 2014 du CISM

13 100.. CPU.. Mem Jan Feb Apr May Jul Sep Oct Dec FIGURE 5 : TAUX D UTILISATION CUMULÉ DE MANNEBACK cœurs de calcul en tout), 64GB de RAM, et 30TB de disque configurés en RAID6. Ce serveur d accès supporte sans difficulté le doublement de la charge (de 856 à 1616 cœurs). La partition INDUS a été mise en place suite à un contrat de recherche en collaboration avec des partenaires industriels. Cette partition est réservée aux activités liées à ce contrat durant la durée des travaux, et n est disponible pour les utilisateurs n y étant pas impliqués directement qu en cas de surcapacité. En pratique, chacun peut y soumettre un job, mais ce job pourra être arrêté et annulé pour laisser la place aux jobs prioritaires si besoin est. NAPS 70%. 10% COSY 8% 5% Autres 7% ELEN MIRO FIGURE 6 : RÉPARTITION PAR PÔLE POUR MANNEBACK La partition OBAN est également réservée en priorité aux utilisateurs qui ont financé les machines qui la composent ; cependant, si leurs jobs ont une priorité nettement supérieure à celle des autres jobs, ils n ont pas la possibilité d arrêter un job en cours pour prendre sa place. Le taux d utilisation cumulé de Manneback (Figures 5) présente la somme de la consommation de CPU et de mémoire des branches par défaut (c est-à-dire tous les nœuds sauf ceux des partitions INDUS et d OBAN). Sur cette figure, on remarque en juillet une interruption due à la semaine de maintenance et de mise à jour de l ensemble des serveurs de calcul. Et hormis les deux périodes plus creuses de mars et de mai, la tendance est à une augmentation de la charge de Manneback. Rapport d activité 2014 du CISM 13 47

14 4.1.2 La grappe HMEM La grappe de calcul Hmem est une infrastructure orientée calcul intensif réclamant une quantité de mémoire vive importante ; d où le choix du nom Hmem pour «High-Memory». Cette infrastructure, installée en février 2011, est à la disposition des utilisateurs de l UCL pour moitié et des membres du Consortium CÉCI pour l autre moitié. Cette grappe est composée de 16 machines DELL (fournies par ClusterVision) 4x12 cœurs AMD Opteron 6174 dont deux sont équipées de 512 GB de RAM, 7 de 256 GB et 7 de 128 GB. Un financement La grappe Hmem d ELIC a permis d ajouter un huitième nœud équipé de 128 GB de RAM (Hmem17). L ensemble est interconnecté par un réseau rapide à faible latence Infiniband QDR (40 Gbits/s). Le CISM a ajouté un serveur d accès et de sessions interactives équipé de 2x6 cœurs AMD Opteron 4180, 64GB de RAM, et de 11TB d espace disque pour les répertoires utilisateurs. Il permet l identification des utilisateurs et la gestion des jobs en attente de soumission. Enfin, 3 serveurs Transtec Calleo 530 acquis en novembre 2008 (4 dual-cœur AMD Opteron et 128GB RAM) faisant anciennement partie de Lemaitre ont été ajoutés à la grappe Hmem (Hmem18, 19 et 20, dans une queue «fast» de 24 heures maximum) CPU.. Mem Jan Feb Apr May Jul Sep Oct Dec FIGURE 7 : TAUX D UTILISATION CUMULÉ DE HMEM Le matériel qui compose Hmem est particulier car très peu de serveurs de calcul disposent d un demi TB de RAM, et les valeurs de 128 et 256 GB sont également plus élevées que ce qui est classiquement disponible sur des serveurs de calcul. Cela permet d y faire tourner des simulations qui ne pourraient s exécuter ailleurs (manipulant des tableaux très grands, par exemple). Néanmoins, le taux d utilisation de Hmem, bien que relativement élevé, a fléchi cette année. C est ce que présente la figure 7. Cela peut s expliquer par différents facteurs : Le CÉCI dispose, avec Dragon1, d une grappe de 26 serveurs équipés chacun de 128 GB de RAM et, avec Vega, de 43 nœuds de 256GB de RAM. Hormis les deux premiers nœuds Hmem1 et Hmem2 (512 GB de RAM), Hmem n est plus le seul à pouvoir accueillir des modélisations gourmandes en mémoire. De plus, les processeurs AMD Opteron 6174 sont moins rapides que les processeurs de générations suivantes, qui équipent les grappes plus récentes. La figure 8 montre une utilisation de Hmem bien répartie au sein des universités du CÉCI (seulement 4% UMons et 6% ULB qui hébergent respectivement Dragon1 et Vega). Sur la partition High (les nœuds Hmem1-Hmem2 équipés de 512 GB de RAM), SLURM, le gestionnaire de jobs, a été configuré de telle manière que seules les Rapport d activité 2014 du CISM

15 UCL 43% 27%. 4% UMons UNamur 20% ULB 6% ULg FIGURE 8 : RÉPARTITION DE L UTILISATION DE HMEM PAR UNIVERSITÉ simulations demandant plus de 256GB puissent y démarrer, pour utiliser judicieusement ces serveurs particuliers. Ils sont ainsi plus disponibles mais cela fait diminuer leur taux moyen d utilisation. SLURM doit veiller au partage équilibré entre les utilisateurs des 5 universités de la Fédération Wallonie Bruxelles. La configuration choisie tient compte du fait que la machine est dédiée à 50% aux membres de l UCL et 50% aux membres du CÉCI (dont l UCL). A part cela, tous les utilisateurs sont mis sur le même pied. La figure 8 présente la répartition de l utilisation de la grappe Hmem entre les 5 universités de la FWB pour l année La grappe LEMAITRE2 L accord du Consortium des équipements de Calcul Intensif CÉCI de 2010 a permis en 2011 le financement par le FNRS d une machine massivement parallèle, disposant d un grand nombre de CPUs performants interconnectés par un réseau rapide. La grappe Lemaitre2 est composée de 1344 cœurs de calcul Intel X5649@2.53GHz interconnectés par un réseau Infiniband QDR (3 :1) blocking. Un système de fichiers parallélisé de type Lustre assure Georges Lemaitre l accès en écriture le plus rapide possible à un espace d hébergement ( ) temporaire de données de 120 TB. Les serveurs de gestion, d accès aux répertoires utilisateurs (contenant les données essentielles, les sources et les programmes des utilisateurs) et de gestion du système de fichiers Lustre (plus performant, contenant les données de production des utilisateurs) sont tous dédoublés et sécurisés via Linux High Availibility (LHA). La grappe Lemaitre2, avec sa puissance maximale théorique de 13.6 Tflops, représente 35% de la puissance offerte par le CISM à la communauté. La figure 9 présente le taux d utilisation mensuelle de la grappe Lemaitre2 pour l année Rapport d activité 2014 du CISM 15 47

16 100.. CPU.. Mem Jan Feb Apr May Jul Sep Oct Dec FIGURE 9 : TAUX D UTILISATION CUMULÉ DE LEMAITRE2 UCL UNamur 12% 37%. 33% 10% 8% UMons ULB ULg FIGURE 10 : RÉPARTITION DE L UTILISATION DE LEMAITRE2 PAR UNIVERSITÉ Rapport d activité 2014 du CISM

17 4.2 Les systèmes de stockage de masse Le serveur Storage02, acquis en 2009, est arrivé en fin de garantie début 2014 et a été déclassé. L espace disponible a ainsi été réduit de 36 TB. Actuellement, les trois serveurs Storage03, Storage04 et Storage05 fournissent à la communauté universitaire 261 TB d espace disque en ligne, répartis comme suit (voir également la figure 4) : Storage03 : 42 TB Storage04 : 64 TB Storage05 : 155 TB Cet espace disque est sécurisé : la configuration RAID des machines tolère la panne de disques, remplaçables à chaud, c est-à-dire sans devoir éteindre la machine. De plus, la récupération en cas de désastre est assurée par la délocalisation des serveurs (Storage04 et Storage05 au Pythagore ; Storage03 au Marc de Hemptinne) et la mise en place d un système de réplication des données, activé uniquement si l utilisateur le souhaite. FIGURE 11 : RÉPARTITION DES UTILISA- TEURS PAR SECTEUR FIGURE 12 : RÉPARTITION DES UTILISA- TEURS PAR INSTITUT FIGURE 13 : RÉPARTITION DES UTILISA- TEURS PAR PÔLE FIGURE 14 : RÉPARTITION DU STOCKAGE UTILISÉ DEPUIS 2008 Les Figures 11 à 13 présentent la répartition des utilisateurs par secteur, par institut et par pôle de recherche. ELI reste l institut le plus important avec les pôles ELIC et ELIE. La Figure 14 montre l évolution de l espace de stockage utilisé et son accélération ces dernières années. En 2015, les prévisions basées sur les estimations des utilisateurs du calcul intensif nous annoncent une augmentation importante de l espace utilisé. Un renforcement de notre infrastructure de stockage deviendra nécessaire. Rapport d activité 2014 du CISM 17 47

18 Suite à la réduction de l espace disponible sur les serveurs Storage04 et Storage05, lors de la consolidation du niveau de sécurisation des données en 2013, l espace de stockage alloué à ELIE et ELIC a été réduit proportionnellement. FIGURE 15 : LA RESTRUCTURATION DES SERVEURS DE STOCKAGE Les données ont été redistribuées entre les serveurs de façon à regrouper celles de chaque pôle de recherche sur un même serveur. L accès aux machines de stockage a également été restructuré. La figure 15 représente la consolidation des différents serveurs Storage02 à Storage05, entreprise en début d année, afin de permettre à tout les utilisateurs d accéder à leurs données de façon identique (sur storage.cism.ucl.ac.be, dans son /home/pôle/login). Dans la salle Aquarium se trouvent Storage02, Storage04 et Storage05, alors que Storage03 est installé dans la Salle Tier2. Une procédure de montage automatique (NFS auto mount) permet d établir la correspondance /home/pôle/login, même si les données accédées se trouvent sur un autre serveur. Par exemple, sur Storage05, /home/naps est un lien vers /net/storage03/storage/naps car les données du pôle NAPS se trouvent sur Storage03. Le serveur déclassé Storage02 a été reconditionné : quatre liens directs relient les quatre grappes de calcul. Ainsi, les espaces de travail /workdircism et /workdirceci sont visibles depuis tout les nœuds de calcul de chaque cluster. Enfin, signalons que Pascal Frisque (SIMM) a été nommé représentant des petits utilisateurs du stockage de masse, en remplacement d Emile Berckmans, que le CISM tient à remercier tout partiuclièrement Rapport d activité 2014 du CISM

19 4.3 Serveurs spécifiques Outre les grappes de calcul, le CISM héberge des serveurs de calculs interactifs, mis en place pour répondre aux besoins spécifiques de certaines entités Serveurs SAS SMCS1&2 (SMCS) Pour permettre aux chercheurs dont les travaux nécessitent de travailler sur des grosses bases de données, de mener à bien leur recherche, la plate-forme technologique Service de Méthodologie et de Calcul Statistique (IMAQ/SMCS) a financé, en 2011, deux serveurs de calcul que nous hébergeons dans nos infrastructures... CPU.. Mem Jan Feb Apr May Jul Sep Oct Dec FIGURE 16 : TAUX D UTILISATION DE SMCS1.. CPU.. Mem Jan Feb Apr May Jul Sep Oct Dec FIGURE 17 : TAUX D UTILISATION DE SMCS2 Ces deux machines, conçues principalement pour le logiciel statistique SAS, permettent également l utilisation des logiciels R et Stata. En 2014, la gestion de ces deux machines s est poursuivie sans incident, avec comme fait notable la mise à jour du logiciel SAS en version 9.4, et la reconfiguration de la connexion de ces machines à leur espace de stockage de manière à augmenter significativement les vitesses d accès aux données. Dans les figures 16 et 17, on peut voir l évolution de l utilisation des processeurs (surface bleue) et de la mémoire (trait rouge) des deux machines. Une utilisation au-delà de 100% indique une utilisation sous-optimale de la machine ; plus de processus (instances de programmes utilisateurs) que de processeurs (et donc changements de contextes fréquents car plusieurs processus se partagent un même processeur) ou plus de mémoire Rapport d activité 2014 du CISM 19 47

20 de travail utilisée que de mémoire disponible (et donc utilisation d espace disque de type swap pour la mémoire) Serveur Matlab LM9 (INMA) Début 2011 toujours, le pôle d Ingénierie Mathématique (ICTM/INMA), avait financé un serveur spécifique pour l utilisation interactive du logiciel Matlab. En 2013, la gestion de cette machine par le CISM s est poursuivie également, avec, à noter, deux interventions sur panne de disque dur. Cette machine est régulièrement utilisée, comme le montre la figure 18. Elle est en fait beaucoup utilisée pour convertir des programmes Matlab en programmes C de manière à pouvoir les faire tourner sur un cluster comme MANNEBACK ou HMEM CPU.. Mem Jan Feb Apr May Jul Sep Oct Dec FIGURE 18 : TAUX D UTILISATION DE LM9 4.4 Gestion et développement de l infrastructure Gestion des incidents Au cours de l année 2014, nous avons dû faire face à une trentaine de pannes ou problèmes matériels. Certains ont nécessité un remplacement, d autre une reconfiguration. La figure 19 montre la fréquence des incidents selon leur type. On voit sans surprise que ce sont les disques durs et les mémoires qui sont les éléments devant être le plus souvent remplacés. Il est à noter que grâce à la configuration en redondance des disques durs des homes et des stockages de masse, aucune perte de données n est à déplorer lors des crash de disques. A contrario, les disques des systèmes de scratch sont configurés sans redondance ; ainsi le crash d un disque du système /scratch de Hmem a conduit à la perte de certains fichiers pour certains utilisateurs. Heureusement, il s agissait de fichiers reconstructibles, ou dont une copie existait ailleurs. Et alors que les autres types d interventions se font obligatoirement lors d un arrêt de la machine, les remplacements de disques se font à chaud, alors que la machine tourne et répond aux commandes des utilisateurs, de manière totalement invisible pour ces derniers. Il est évident que le nombre d interventions sur un système dépend à la fois de la taille de ce système et de son ancienneté. Comme on le voit sur la figure 20, la majorité des Rapport d activité 2014 du CISM