Exemples d utilisation de plate-formes de calcul. Camille Coti. 12 mai 2011

Transcription

1 Exemples d utilisation de plate-formes de calcul Camille Coti 12 mai 2011

2 Plan de l exposé IDRIS L IDRIS et ses machines Administratif Utilisation Prestations et services de l IDRIS Grid 5000 Présentation de Grid 5000 Administratif : utilisateurs Rejoindre Grid 5000 Utilisation de Grid 5000 Conclusion

3 L IDRIS Institut du Développement et des Ressources en Informatique Scientifique Créé en 1993 Centre de calcul du CNRS Héberge les plus gros calculateurs du CNRS il participe à la mise en place de ressources informatiques nationales, au service de la communauté scientifique de la recherche publique, qui nécessite des moyens informatiques extrêmes. Status administratif Unité Propre de Service du CNRS Vocation pluridisciplinaire Sous la tutelle de l INS2I Autres centres nationaux Centre de Calcul Recherche et Technologie (CCRT) : CEA-DAM Centre Informatique National de l Enseignement Supérieur (CINES) : Montpellier

4 Machines de l IDRIS Les calculateurs Nom Type Cœurs Puissance crête Babel BlueGene/P Tflops Vargas IBM SP Power Tflops Brodie NEC SX ,28 Tflops Babel 4 cœurs par nœud PowerPC MHz 32 bits 8 Go de mémoire 20 To au total Réseau tore 3D Top 500 6/07 : 9ème 11/10 : 55ème Vargas 32 cœurs par nœud Power6 4,7 GHz 64 bits Mémoire : 128/256 Go Réseau Infiniband x 4 Top /08 : 51ème 11/10 : 143ème Brodie Machine vectorielle 8 cœurs par nœud Power6 2 GHz 64 bits 64 Go de mémoire

5 Obtenir du temps de calcul à l IDRIS Dépôt d un projet Deux phases : Développement : peu d heures, peu de nœuds Production : code qui scale (courbes produites pendant la phase de dev) Actuellement : 420 projets, plus de 200 laboratoires Comités techniques 1. Environnement 2. Mécanique des fuildes, fuildes réactifs, fluides complexes 3. Simulation biomédicale et applications à la santé 4. Astrophysique et géophysique 5. Physique théorique et physique des plasmas 6. Informatique, algorithmique et mathématiques 7. Systèmes moléculaires organisés et biologie 8. Chimie quantique et modélisation moléculaire 9. Physique, chimie et propriétés des matériaux 10. Nouvelles applications et applications transversales du calcul

6 Ouverture de compte à l IDRIS Raccordement du laboratoire Formulaires : Formulaire technique de connexion TCP/IP avec l IDRIS Pour mettre les adresses IP des machines dans le firewall de l IDRIS Rempli par le directeur du labo et le gérant des machines Formulaire administratif de connexion TCP/IP avec l IDRIS Comptes utilisateurs Formulaire de gestion de compte Déclaration des utilisateurs dans le cadre du projet Ouverture / fermeture de compte(s) Formulaire d engagement de protection de compte Engagement de chaque utilisateur à n utiliser son compte qu à des fins déclarées dans la ddemande de ressources, à ne pas prêter son compte, etc

7 Environnement logiciel Système d exploitation et outils Machine OS Compilateurs Babel Vargas AIX xlf, xlc, xlc... Brodie SUPER-UX sxf90, sxcc, sxc++... MPI, OpenMP, BLAS, LAPACK, ScaLAPACK, MUMPS, NAG, ESSL (sur Babel et Vargas), JMFFT (sur Brodie), FFTW, PETSc, NAMD, GROMACS, LAMMPS, METIS... Soumission et exécution Tout se fait en mode batch Pas de mode interactif Asynchrone : on soumet, l ordonnanceur de tâches met le job dans la file d attente, le job est exécuté quand il peut. Nécessité d avoir débuggé le code sur un système interactif! Batch scheduler : LoadLeveler sur Babel et Vargas, PBS sur Brodie

8 Services de l IDRIS Formations L IDRIS propose des formations sur 2 à 5 jours et met à disposition les supports de cours en ligne Cours de programmation (C, Fortran95, Fortran ) Cours de programmation parallèle (MPI et OpenMP) En outre, une dizaine de séminaires par an. Assistance aux utilisateurs Assistance téléphonique et par mail Aide au débuggage Aide à l optimisation des performances

9 Grid 5000 Testbed d ampleur nationale 9 sites 23 clusters Mais aussi : Un site à Porto Alegre et un site au Luxembourg Raccordé à DAS-3 Hardware Chaque cluster est homogène rennes bordeaux toulouse lille orsay Diversité matérielle sur la grille : AMD Opteron, Intel Itanium, Intel Xeon, Apple Xserve G5 (anciennement) Diversité réseau : Ethernet, InfiniBand, Myrinet Clusters reliés par de la fibre noire Renater 10 Gb/s pour la plupart des liens Le graphe n est pas complet Restrictions d accès : impossible de sortir de Grid 5000 nancy lyon grenoble nice

10 Administration de Grid 5000 Comités Comité de direction (Frédéric Desprez, Frnack Cappello, David Margery) Comité exécutif 14 membres Le comité de direction Un directeur par site Un directeur technique + chef de projet + RENATER Équipe technique (staff Grid 5000) Adminsitration des sites L administration de chaque site est sous la responsabilité du staff local Serveurs propres (pas de NFS global, LDAP répliqué...) Quelques normes à respecter pour l interopérabilité Exemple : adressage IP Certains sites en adressage publique D autres en adressage privé D autres en adressage privé Adresses privées routées au sein de Grid 5000 Exemple : Rennes en sait parler à Lille en

11 Administratif : utilisateurs Obtenir un compte Grid 5000 Restrictions : Membres de la recherche publique française Exceptions pour les partenaires de chercheurs français si cadre formel (projet européen...) Utilisation expérimentale et pas en production Compte utilisateur sous la responsabilité d un directeur de site Utiliser Grid 5000 Contraintes techniques : Déclaration d une machine client (firewall) Responsabilité de la protection de son compte Utilisation correcte de Grid 5000 Justification de l utilisation des ressources : rapport utilisateur Remonter les publications utilisant Grid 5000 Respect de la charte utilisateur (évite les utilisations abusives)

12 Rejoindre Grid 5000 (pour un nouveau site) Accord du comité de direction Aspects techniques Ajout de ressources matérielles Mais surcoût en ressources humaines Aspects administratifs Fiabilité du nouveau site Disponibilité d une équipe locale : correspondants, directeur local, staff local Accord de RENATER Faisabilité de l interconnexion Par exemple, pas plus d un site en région parisienne Fiabilité des équipements réseau, sécurité

13 Utilisation de Grid 5000 Réservation de ressources Système de réservation OAR Réservations ou soumissions Mode batch, best-effort ou interactif Réservations multi-cluster coordonnées avec oargrid Propriétés des ressources Type et fréquence de CPU, présence d une carte réseau particulière, présence d une GPGPU, etc Possibilité de spécifier à la réservation Déploiement d un environnement Utilisation de Kadeploy Possibilité de déployer sur un ensemble de nœuds OS-agnostique, FS-agnostique Sorte de sandbox Accès root sur les machines À la fin de la réservation, l environnement par défaut est restauré.

14 Visualisation de l état des réservations

15 Nature des expériences Expériences de cluster Exemples de taille des clusters : 680 cœurs AMD Opteron à Orsay, réseau Myri10g 736 cœurs Intel Xeon à Nancy (Griffon), réseau Infiniband 20G Caractéristiques : réseau rapide, homogène Expériences de grille Accès à plus de nœuds Mais hétérogénéité Hiérarchisation réseau 2 ordres de grandeur en latence 1 ordre de grandeur en bande passante

16 Conclusion Deux contextes IDRIS : contexte de production Maximisation de l exploitation de la puissance de calcul Peu de flexibilité Notion de service aux laboratoires Grid 5000 : contexte expérimental Grande flexibilité Pas forcément maximisation de l exploitation Mode réservation = très suboptimal Place d un cluster à Paris 13 En amont d une utilisation dans les centres de calcul Mode interactif indispensable Possibilité de déployer souhaitée Interface avec un centre de calcul (passerelle)