EXPÉRIENCE HNAS AVEC UN CLUSTER DE CALCUL. Dr Tru HUYNH Responsable Informatique DBSC/BIS INSTITUT PASTEUR

Transcription

1 EXPÉRIENCE HNAS AVEC UN CLUSTER DE CALCUL Dr Tru HUYNH Responsable Informatique DBSC/BIS INSTITUT PASTEUR

2 RETOUR D EXPÉRIENCE HNAS SOLUTION POUR UN CLUSTER DE CALCUL DANS L UNITÉ DE BIO-INFORMATIQUE STRUCTURALE À L'INSTITUT PASTEUR Institut Pasteur Son Identité, les chiffres, ses missions, Contexte et Acteurs du projet Environnement IT Le Projet et l Architecture Expression du besoin Gestion au quotidien Axes d amélioration Accompagnement par FPS Partenaire-Intégrateur de solutions HDS

3 INSTITUT PASTEUR CARTE D IDENTITÉ Naissance le 14 novembre 1881 Souscription internationale à l initiative de Louis Pasteur Au cœur d un réseau international de 32 instituts sur les cinq continents Vietnam: 1891 Laos:2012

4 STATUS ET MISSIONS DE L INSTITUT PASTEUR QUI SOMMES NOUS? L Institut Pasteur est une fondation privée à but non lucratif, reconnue d utilité publique. «Notre institut sera à la fois un dispensaire pour le traitement de la rage, un centre de recherche pour les maladies infectieuses et un centre d enseignement.» Louis Pasteur

5 5 Intervenant Titre de la présentation jj/mm/aaaa L INSTITUT PASTEUR À PARIS Un campus de 5,5 hectares (Paris 15 ème ) Environ 2400 collaborateurs salariés (IP) 464 salariés d organismes extérieurs 60 nationalités 63 stagiaires Structure de financement

6 SANTÉ PUBLIQUE Centre médical un centre de vaccinations internationales ( actes) un centre de consultations médicales spécialisées: allergies, médecine tropicale, maladies du voyage ( consultations) un centre antirabique (2 129 consultations) 15 Centres nationaux de référence (sur 47 en France) A la fois des unités de recherche et des observatoires microbiologiques pour la surveillance des maladies infectieuses (grippe, salmonelles, méningites, papillomavirus, rage ) pour le compte du Ministère de la Santé.

7 ENSEIGNEMENT ET FORMATION L Institut Pasteur a toujours été précurseur dans l enseignement de nouvelles disciplines scientifiques : premier cours de «microbie technique» au monde 2002 : analyse du génome 500 élèves plus de 60 nationalité 220 doctorants 2003 : École Pasteurienne d Infectiologie 2007 : École de santé publique Pasteur/CNAM

8 INSTITUT PASTEUR: LA RECHERCHE 10 prix Nobel 14 plates-formes technologiques 10 départements de recherche (130 entités de recherche) département de Biologie cellulaire et infection département de Biologie du développement et cellules souches département de Biologie structurale et chimie département de Microbiologie département de Parasitologie et mycologie département de Virologie département Génomes et génétique département Immunologie et des responsables département Infection et épidémiologie département Neuroscience

9 DÉPARTEMENT DE BIOLOGIE STRUCTURALE ET CHIMIE Michael Levitt, Prix Nobel chimie 2013: Molecules work because of their structure. And cells work because of where things are placed inside. The only way to interfere is to first learn their threedimensional structure. If you wanted to change a city, but had no idea of where the buildings are, you would have no idea where to start Comprendre les détails atomiques des processus fondamentaux de la vie (p.e. transport moléculaire) les mécanismes des maladies (hôte-pathogène, interactions, régulation et métabolisme, désordre génétiques, cancer, ) l organisation des machineries moléculaires en relation avec le contexte cellulaire Déduire agents thérapeutiques: design et synthèse de vaccins outils de diagnostique moléculaires

10 DÉPARTEMENT DE BIOLOGIE STRUCTURALE ET CHIMIE En quelques chiffres 5 plateformes technologiques 8 unités de recherche 2 groupes «à 5 ans» 140 personnes (39 scientifiques permanents, 20 thésards, 22 post-docs, 26 ingénieurs, 3 CAT, 22 techniciens et 4 agents de laboratoire) Particularité: une informatique dédiée et non centralisée/campus servie par des ressources (matérielles, humaines) internes au département/unités.

11 UNITÉ DE BIOINFORMATIQUE STRUCTURALE 1/2 Thèmes de recherche: Comprendre les relations Structure-dynamique-fonction des molécules biologiques Développer des méthodes en bio informatique structurale (détermination de structures, drug design) BISKIT ARIA

12 UNITÉ DE BIOINFORMATIQUE STRUCTURALE 2/2 Chiffres: 7 chercheurs permanents 5 post docs, 4 thésards 1 ingénieur, 1 secrétaire et 1 CAT Moyens informatiques 1 poste à temp plein (matériel/logiciel) Cluster de calcul dédié: 600 cœurs $HOME avec snapshots et réplication

13 QUI SUIS-JE Ingénieur Chimiste ESPCI 1995 Docteur «Chimie informatique et Théorique» 2000 UPMC/ Financement CEA/Saclay. Ingénieur système et réseaux depuis le début du labo CentOS Adepte du «Do It Yourself» NAS linux XFS puis Solaris10 ZFS/ snapshots et réplication 10s TO Cluster de calcul: 600 coeurs Limites du DIY -> comparaison HNAS et solutions locales

14 LE PROJET BAYCELLS BESOINS: Démarrage en mars 2012 Cadre Infrastructure : NFSv3, liens 10GbE et Snapshot+Réplication quotidienne Disaster Recovery Cluster initial de 40 serveurs, 640 coeurs Organisation spécifique 2 Système de Fichiers et 2 Politiques de performances Snapshot Evolutivité sur 1 client Performance verrouillage des fichiers/accès simultanés

15 Partage LES CHOIX DBSC - DÉPARTEMENT DE BIOLOGIE STRUCTURALE ET CHIMIE Intégrateur FPS Intégrateur spécialisé Partenaire Hitachi Solution HNAS Mise en production en Juin 2013 HNAS 3090-G2 HUS 130 et HUS 110 Hitachi NAS 3080

16 PRESENTATION DE FPS FRANCE ELEMENTS CLES DE PRESENTATION DE FPS FRANCE Fondée en 1992 Intégrateur de solutions de stockage et de sauvegarde depuis 1995 Une équipe de 27 personnes à forte connotation technique CA 2013 > 12 M (croissance continue depuis la création) PLUS de 250 références privées et publiques 14 MONTPENSIER Finance Paris ST CA M

17 PRESENTATION DE FPS FRANCE DOMAINES DE COMPETENCES Les valeurs de FPS France: FPS France est intégrateur de: De solutions de stockage (NAS/SAN), De virtualisation de stockage D infrastructure de production (serveurs/stockage/réseau) De virtualisation de serveurs et postes de travail De solutions de sauvegarde et d archivage, D architecture de PRA /PCA / PCI Pertinence technologique (le meilleur produit au bon moment) Compétence technique ( expérience, formation, passion) et moyens associés Rigueur intellectuelle et respect des engagements

18 UTILISATION AU QUOTIDIEN BIS: UNITÉ DE BIOINFORMATIQUE STRUCTURALE HNAS 3090-G2 (FC 4 Gbps) sur HUS130 (FC 8 Gbps) Volumétrie Quota Réplication Mode CLI - SSH Rapport Meilleures performances 1 client (Linux spew 200Go) RTR: KiB/s. IOPS: WTR: KiB/s. IOPS: Exemple autre information - fs_home Max file count:

19 PERFORMANCES 1 CLIENT NFS/SPEW spew -P -b 2m --write 200g /baycells/scratch/tru/ g.spew WTR: KiB/s Transfer time: 00:03:19 IOPS: spew -P -b 2m --read 200g /baycells/scratch/tru/ g.spew WTR: KiB/s Transfer time: 00:10:51 IOPS:

20 CLI: HNAS ssh pour l'admin et clef ssh: pas de mot de passe à taper EVSAdmin:$ help ssh-register-public-key Command: ssh-register-public-key Description: Add SSH public key for user User level: Supervisor Needs: Admin Service Native to: Syntax: ssh-register-public-key [-u <user-name>] -f <file-name>

21 CLI: HNAS EVSAdmin:$ df ID Label Size Used Snapshots Avail FS Type fs_scratch 48.0 TB 23.8 TB (49%) 210 GB (0%) 24.3 TB (51%) 32 KB,WFS-2, fs_home 24.0 TB 788 GB (3%) 9.29 GB (0%) 23.2 TB (97%) 4 KB,WFS-2,128 EVSAdmin:$ fs-user-quotas-visible User quotas visible: On EVSAdmin:$ snapshot-list --file-system fs_home Date/Time Created Preserved Space Name :30:01+01:00 By Rule 2.50 MB _ Horaire_home :30:00+01:00 By Rule 3.26 MB _ Horaire_home EVSAdmin:$ snapshot-create --file-system fs_home toto EVSAdmin:$ snapshot-list --file-system fs_home toto Date/Time Created Preserved Space Name Status :18:48+01:00 Manually 0B toto Usable EVSAdmin:$ snapshot-delete --file-system fs_home toto

22 CLI: HNAS (CAS REEL) To: Subject:EVSAdmin, :53:28+01:00: Quota critical Hardware version: NAS Platform (M2SEKW ) MAC ID: 0B-DD Quota critical threshold was reached. Usage=90 GB(limit=100 GB). Volume : fs_home Target : User: root

23 HNAS CLI: MODIFICATION DE QUOTA EN CLI 1/2 ~]$ ssh hnas Linux EVSAdmin bpo.5-amd64 #1 SMP Mon May 2 11:40:03 UTC 2011 x86_64 Last login: Fri May 31 09:19: from sillage.bis.pasteur.fr HDS NAS OS Console MAC ID : 0B-DD EVSAdmin:$ evssel 1 EVSAdmin:$ quota get --user root fs_home Usage Limit Critical : 97.6 GB : 100 GB (Hard) : 90% (90 GB)

24 HNAS CLI: MODIFICATION DE QUOTA EN CLI 2/2 EVSAdmin:$ quota mod --user root \ --usage-limit 0T fs_home EVSAdmin:$ quota get --user root fs_home Usage Limit Critical : 97.6 GB : Unset : 90% (90 GB)

25 CLI: HNAS ssh pour l'admin et clef ssh gestion facile/scriptables des quotas et snapshots debian inside pas grand chose à faire :D (mise à jour java?) EVSAdmin:$ uptime Uptime: 249 days 9 hours 42 minutes

26 CONCLUSION ET EVOLUTIONS Aujourd hui: une solution qui fonctionne et que l'on oublie [X] quota et NFS (+quota visible via df pour utilisateur) [X] snapshots [X] réplication Axes d améliorations Monitoring Hitachi Command Suite Statistique par Client Tuning Manager Réplication HUS Demain Cluster FS File Tiering Plus de performance en lecture HNAS NFS Read Caching Metadata Tier File System

27 MERCI