Introduction à Grid'5000

Transcription

1 A Nation Wide Experimental Grid Introduction à Grid'5000 ou de la dure réalité des grilles Olivier Richard (MdC UJF) CT/CP Grenoble Laboratory ID-IMAG / MESCAL Projet INRIA

2 Sommaire! Rappels! Champ du possible! Démo! Etat des lieux! Limitations! Du bon usage! Les usagers de G5K! Roadmap! Conclusion

3 The Grid 5000 Project A Large Scale, Reconfigurable, Controlable and Monitorable(?) Grid Platform Building a nation wide experimental platform for Grid researches (like a particle accelerator for the computer scientists) 9 geographically distributed sites every site hosts one to three clusters (from 256 CPUs to 1K CPUs) All sites are connected by RENATER (French Academ. Network) 10 Gbits (2006) RENATER hosts probes to trace network condition load Design and develop a system/middleware environment for safely test and repeat experiments Some Tools: Resource Mangment System (Mescal/Moais) [ACI-GRID CIGRI CIMENT] Fast And Scalable Deployment Tool (Mescal)

4 Grid'5000 une vision simplifiée! Une plate-forme multi-clusters! Les noeuds de calcul peuvent communiquer directement entre-eux! Un compte unique (LDAP)! Un home par site (voire par cluster) (NFS)! Un gestionnaire de ressource par cluster (OAR) présent sur tous les sites! Un «méta-gestionnaire» très simple (OARGRID)! Outils pour le déploiement (Kadeploy2)! Politique de sécurité on protège d'abord l'extérieur

5 Un cluster Grid 5000 Très limité Computing Nodes Proxy Site Distribution http Server Users ssh Login to other Grid'5000 sites Firewall Renater G5K Server : OAR, Kadeploy, NFS, Hardware Remote Managment,Console Proxy : Http, apt-cacher

6 Le champ du possible! Cluster classique (TP débutant / calcul)! Multi-clusters (grille légère) classique (TP débutant / calcul)! Avec déploiement " Cluster classique et multi-clusters classique " Cluster dans cluster (TP avancé) : tester TORQUE (OpenPBS) " Grille dans Grille (TP avancé/expert) : tester Globus " Cluster dans Grille " Grille dans Cluster! Autres utilisations " Emulation / Virtualisation " Tests / développements noyaux (TP avancé/expert) " Récursion (ex: Grid'5000 dans Grid'5000, PlanetLab dans Grid'5000) "...

7 Utilisations! Classique " Réservation " Execution " Libération! Avec Déploiement " Réservation " Déploiement " Activation " Execution " Libération

8 #Environnement (Image) Déploiement : L'expérimentateur fournit /choisit son environnement Exemple : Solaris + softs spécifiques Souches existantes debian4all ubuntu4all fedora4all rocks4all debian4rms globus freebsd solaris kerrighed aioli... Données Outils Intergiciels OS (Linux,FreeBSD,...) Matériel Application Réseau L'utilisateur dispose d'un environnements qui comprend tous les services dont il a besoin Spécifiable Paramétrable (dans l'idéal et en théorie)

9 " Permettre le déploiement d'environnement! efficace! robuste! le moins contraignant (environnement/site)! simple " Gestion des droits! Capacité de reboot limité! Déploiement autorisé sur les noeuds/partitions alloués " Intégration avec le gestionnaire de ressource (batch scheduler)! OAR (epilogue/prologue sur serveur kadeploy)

10 Une expérience : une Grille dans une Grille Cluster 1 Cluster 2 Computing Node Computing Node Server Cluster + Grid Network

11 Une expérience : une Grille dans une Grille Proxy http Proxy r http ssh Server User's Servers Server Renater G5K Login To other G5K servers

12 Démonstration de l'utilisation de Grid'5000 Déploiement d'une solution pour grille légère CIGRI ACI-GRID CIGRI CIMENT

13 CiGri : Une grille opérationnelle pour un usage applicatif particulier,! dont Objectifs les ressources disponibles sont mutualisées Utilisateurs CiGRI CIGRI BD : Mysql ACI-GRID CIGRI CIMENT Utilisateurs locaux Batch Scheduler (OAR) Cluster! Particularités : " Grand nombre de tâches indépendantes (> 100k) " Applications multi-paramétriques " Cohabitation avec les gestionnaires de ressources pour grappe

14 Demonstration : CIGRI middleware for Light Grid! Reserve / Connect to reservation! Deploy: Debian4rms! CiGri middleware! Batch Scheduler! Mysql, apache, nfs...! Avancée " Réservation " Déploiement " Activation " Execution " Libération! Application (povray), data...! Launch services CIGRI BD : Mysql! Run test! Reboot on reference environment,oar ou PBS Cluster

15

16

17

18

19 ! 13 clusters (1 en attente) Etat des lieux! Un matériel en constante évolution (extension, achat, mise à jour, climat...)! Configurations / Logiciels (qui évoluent un peu trop)! Administrateurs " Peu d'ingénieurs dédiés " Mode BestEffort! Conséquences " La stabilité n'est pas toujours au rendez-vous :( " Exploiter pleinement la plate-forme demande de l'énergie

20 Les limitations! Maîtrise de la stabilité " logiciels, configurations, matériels, configuration du matériel "+ les problèmes liés aux expérience (ex 1Gbits -> 100 Mbits, disques, fenêtre TCP) à l'utilisateur de contrôler tout ca!!!!! Pas de backup organisé (à la discrétion des sites)! Pas de redondance systématique (raid)! Stockage " Où sont les téraoctets? (cherchez pas y en a pas, pas encore)! Autres: " pas d'isolation des trafics ( vlan par réservation?) [réserver toute les plate-formes?] " tous les clusters n'ont pas un réseau Ethernet non-bloquant (équiv. crossbard)

21 Du bon usage de Grid'5000! Pas encore de règles rigides d'accès aux ressources! Quelques consignes " pas de réservation prolongée la journée et en semaine (sur un site distant) " mais on peut réserver un/pls cluster(s) entier (max 2 h en journée) " la nuit, week-end et congés => OK à fond! A terme mise en place d'une demi-journée / journée grandes expériences " autorisation de réservation prolongée d'expériences dimensionnantes " ingénieurs disponibles sur cette période (analyse de problème, nettoyage)! Attention au nfs et au ldap " lancer 400 (ou plus) processus en lecture d'un fichier sur un serveur NFS c'est pas une bonne idée

22 ! Grande variété d'usagers Les usagers! Utilisateurs " Débutant : cluster, ssh et son fichier de config, rsync,... " Faux débutant : (pourquoi oargrid ca fait pas ca...) "la grille c'est encore de la recherche, et globus ben... " Confirmé : vendredi 1h du matin (m...e j'ai planté la frontale...grand moment de solitude) " Expert : et hop dans le CT (welcome!)! Administrateurs (existe-t-il un admin qui maîtrise toutes les facettes?) " Débutant (LDAP, oar, reboot hard, kadeploy, oargrid, mysql, apache,...) " Confirmé (il est joli ton script mais on comprend rien?) " Expert (super ton truc mais ca sert à qui?) " Technicien, Doctorant, Stagiaire, MdC! Grands chefs " Comment je me connecte? Elles sont où les grandes expériences et la vidéo :-/! Mascotte (Poulou?)

23 Roadmap! > > 3000 CPUs! IBM e325 -> IBM e326 [reboot matériel correct?]! Logiciels " 1) Gel des fonctionnalités -> stabilisation (3 mois)! test de non-regression " 2) Gel des fonctionnalités -> stabilisation " 3) Extensions, OAR 2 " 4) Outils pour l'aide aux expériences

24 Conclusion! Une plate-forme pour les grandes expériences mais pas seulement!! Avant Grid'5000 " Grandes expériences quasi-impossibles en france (VTHD et E-toile, PlugTest, centres nationaux, Icluster1 et 2, CIMENT...)! Avec Grid'5000 et maintenant " C'est possible mais cela demande encore beaucoup (trop?) d'effort (autres disciplines?)! Anecdote : En 1995 Little Tipi : un grand petit cluster de 4 bipro + myrinet Installer un système => 1 semaine! Bon TP!