Déploiement et contrôle d applications parallèles sur grappes de grandes tailles Cyrille Martin Directrice : Brigitte Plateau Co-encadrant : Jacques Briat Laboratoire ID-IMAG http://www-id.imag.fr Projet Lips Action DYADE BULL-INRIA Pascale Rosse (BULL) BULL http://www.bull.fr Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 1
Contexte : Grappes de calcul Machines usuelles: Stations de travail Serveurs SMP Réseaux d interconnexion : + / - rapides Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 2
Programmes parallèles Ensemble distribué de programmes (processus) Collaboration : échange de données via réseau Noeud Noeud Noeud Noeud Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 3
Déploiement Noeud Noeud Noeud Noeud Déploiement Noeud Noeud Noeud Grappe de calcul Noeud Grappe de calcul + programme parallèle Création des processus Interconnexion logique Services: communication, contrôle Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 4
Problématique Déploiement efficace d applications sur des grappes de grandes tailles ( 1000 noeuds) Deux domaines d application : Applications de calcul parallèle - Tps d exécution (heures, jours) >> Tps de déploiement (secondes) - phase de développement Outils d exploitation - Tps de déploiement (secondes) >> Tps d exécution (milli-secondes) - opérations de maintenance : robustesse Performances Interactivité Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 5
Plan Contexte & Problématique Etat de l art Notre approche Concepts algorithmes Bibliothèque Taktuk Projets reposant sur Taktuk Conclusion et perspectives Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 6
Etat de l art Déploiement = Créer un ensemble distribué de processus Brique de base: Création distante d un processus Protocoles standards : rsh, ssh Répandus Sécurité Coût : rsh 100 ms, ssh 350 ms Protocoles dédiés : Faible coût : latence réseau Niveau de sécurité adapté Dédiés (pas de solution générique) Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 7
Approche naïve de déploiement 1 Processus de lancement 2 3 1. création des processus 2. interconnexion de contrôle 3. interconnexion applicative 4. programme parallèle 4 Processus de contrôle Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 8
Limites de cette approche "simple" Approche séquentielle Passage à l échelle limité Tps total = N tps opération unitaire Coût linéaire Exemple: ssh 100 noeuds : 35 secondes ls sur grappe : 35 secondes Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 9
Améliorations 1/3 Réseaux rapides : Myrinet, Quadrics Cplant, Storm très performant (opérateurs matériels de diffusion) dépendant du matériel Logiciel : protocoles dédiés rexec performant implantation spécifique centralisé (coût linéaire) Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 10
Améliorations 2/3 Diviser pour régner : distribution récursive en arbre coût logarithmique Ksix Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 11
Améliorations 3/3 Factorisation : mpich, mpilam, score performant générique, niveau utilisateur robustesse de l implantation (mode connecté) 0 1 2 Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 12
Bilan sur les outils existants Grande diversité d outils (1 par centre de calcul) Approches dédiées : (outils d exploitations) - hautes performances (interactivité), passage à l échelle (milliers de noeuds) - déploiement d applications parallèles (trivial avec ces outils) Approches génériques : (calcul parallèle) - passage à l échelle factorisation - outils d exploitation (robustesse, peu utilisé) Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 13
Bilan sur les méthodes existantes Deux méthodes : Améliorations "locales" - matériel - logiciel Améliorations "globales" - distribution - "factorisation" Implantations génériques existantes : Pas de combinaison de ces méthodes Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 14
Plan Contexte & Problématique Etat de l art Notre approche Concepts algorithmes Bibliothèque Taktuk Projets reposant sur Taktuk Conclusion et perspectives Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 15
Parallélisation "globale" Paralléliser le déploiement : protocoles standards Distribution récursive : Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 16
Parallélisation "globale" Paralléliser le déploiement : protocoles standards Distribution récursive : Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 16
Parallélisation "globale" Paralléliser le déploiement : protocoles standards Distribution récursive : 1 Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 16
Parallélisation "globale" Paralléliser le déploiement : protocoles standards Distribution récursive : 1 2 2 Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 16
Parallélisation "globale" Paralléliser le déploiement : protocoles standards Distribution récursive : 1 2 3 2 3 3 3 Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 16
Parallélisation "globale" Paralléliser le déploiement : protocoles standards Distribution récursive : 1 2 3 2 3 3 3 Coût logarithmique Passage à l échelle Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 16
Parallélisation "globale" Paralléliser le déploiement : protocoles standards Distribution récursive : 1 2 3 2 3 3 3 Coût logarithmique Passage à l échelle Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 16
Parallélisation "locale" Opérations de base: Un noeud initie N processus 1 3 2 distants. Optimisation locale: Appels concurrents : recouvrement 1 Temps 2 3 Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 17
Appels concurrents et distribution t non recouvrable T α recouvrable noeud 1 noeud 2 noeud 3 0 Temps Taux de concurrence = T / t Répartition efficace : Déterminer le taux de concurrence Sur-estimation : performances (surcharge "locale") Sous-estimation : performances (capacité "locale" mal exploitée) Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 18
Mesure du taux de concurrence 30 25 RSH SSH Evolution du temps de lancement en fonction de la fréquence, pour 97 noeuds duree (s) 20 15 10 pipeline explicite < pipeline implicite t ssh pipeline explicite > pipeline implicite 5 0 t rsh 0 50 100 150 200 250 300 Temps d attente explicite entre chaque initiation (ms) pipeline implicite Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 19
Modélisation Modèle : - création d un processus = T - Tps non recouvrable t entre 2 initiations successives - diffusion en arbre Equivalent au problème de diffusion d un message dans le modèle Postal [BarKip92] Ordonnancement optimal : "Stratégie au plus tôt" Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 20
Stratégie "au plus tôt" Stratégie "au plus tôt" en fonction de T proto et t proto : noeud 1 noeud 2 noeud 3 t T Temps Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 21
Expérimentations Méthode statique : si t proto et T proto connus trivial Méthode dynamique : Algorithme de vol de travail Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 22
Méthode dynamique Vol de travail hiérarchique ("glouton") Coût d une communication << Coût d un appel distant Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 23
Méthode dynamique Vol de travail hiérarchique ("glouton") Coût d une communication << Coût d un appel distant Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 23
Méthode dynamique Vol de travail hiérarchique ("glouton") Coût d une communication << Coût d un appel distant Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 23
Méthode dynamique Vol de travail hiérarchique ("glouton") Coût d une communication << Coût d un appel distant Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 23
Méthode dynamique Vol de travail hiérarchique ("glouton") Coût d une communication << Coût d un appel distant Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 23
Méthode dynamique Vol de travail hiérarchique ("glouton") Coût d une communication << Coût d un appel distant Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 23
Méthode dynamique Vol de travail hiérarchique ("glouton") Coût d une communication << Coût d un appel distant Evaluation dynamique du taux de concurrence Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 23
Evaluation du taux de concurrence Problème difficile : - CPU, E/S disque, communications réseau,... - Quels paramètres pertinents pour le déploiement? Solution naïve : indice de charge du système Prise en compte CPU, disque, réseau, nb processus Réactivité (moyenne amortie), précision Prend en compte l état du noeud Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 24
Evaluation méthode statique Icluster : 100 Pentium 733mhz, Ethernet 100 Mb/s commuté Comparaison du temps théorique et réel du lancement de Taktuk en fonction du nombre de noeuds 6 RSH optimal SSH optimal RSH statique 5 SSH statique 4 duree (s) 3 2 1 0 0 10 20 30 40 50 60 70 80 90 nombre de noeuds - Paramètres T et t - Homogénéité de la plate-forme Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 25
Evaluation méthode dynamique Icluster : 100 Pentium 733mhz, Ethernet 100 Mb/s commuté Comparaison du temps théorique et réel du lancement de Taktuk en fonction du nombre de noeuds 3.5 RSH optimal SSH optimal 3 RSH dynamique SSH dynamique 2.5 duree (s) 2 1.5 1 0.5 0 0 10 20 30 40 50 60 70 80 90 nombre de noeuds - Proche optimal - Homogénéité de la plate-forme Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 26
Bilan Performances 3s avec ssh sur 100 noeuds (ssh = 350ms) Passage à l échelle coût logarithmique Robuste approche dynamique Générique indépendant d un protocole Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 27
Plan Contexte & Problématique Etat de l art Notre approche Concepts algorithmes Bibliothèque Taktuk Projets reposant sur Taktuk Conclusion et perspectives Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 28
Taktuk Objectifs : Performance / passage à l échelle Générique / flexible Bibliothèque de programmation Contraintes : Robustesse Adaptabilité Installation / utilisation niveau utilisateur Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 29
Taktuk : Services offerts Auto-propagation (déploiement) Contrôle (arrêt, démarrage, etc...) Redirection Entrées / Sorties Communication - routage logique (arbre) - messages actifs Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 30
Taktuk: Description Méthode statique : Langage de description de l arbre de diffusion Taktuk indépendant de l algo d ordonnancement Langage parenthésé : A A (B, C (D,E)) Interpréter récursivement Méthode dynamique : Liste de machines B D C E Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 31
Taktuk: Flexibilité Enrichissement du langage Spécification d attributs pour un noeud ou un groupe de noeuds : protocole (rsh, ssh, autre...) passerelles nom d utilisateur temps limite de détection de défaillances arguments applicatifs Facilement extensible Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 32
Exemple: "grille légère" Liens statiques Liens adaptatifs Protocole rsh Protocole ssh Racine noeud 0 Intranet Grappe A Passerelle Intranet noeud 1 Intranet noeud 2 Intranet noeud 3 noeud 1 noeud 2 noeud 3 Passerelle Grappe B 150 noeuds Intranet noeud 4 Intranet noeud 5 Ligne de commande : Taktuk -cssh -m passerelle_g_b -[ -c rsh -d -f Liste_machines -] -m passerelle_g_a -[ -c ssh -d -f Liste_machines -] -d -f Liste_intranet Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 33
Taktuk : Architecture fonctionnelle IO Rtr ssh sshd Rtr IO ssh Lanc Programme utilisant Taktuk Machine A Programme utilisant Taktuk Machine B sshd Rtr IO ssh sshd Rtr IO Lanc ssh Programme utilisant Taktuk sshd Rtr IO Programme utilisant Taktuk Machine C Programme utilisant Taktuk Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 34
Taktuk: Achitecture logicielle Bibliothèque Taktuk API Entrées Sorties Description / Analyse langage Spawner Connecteur ssh rsh AM scheduler nommage routage Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 35
Taktuk : Bilan Interactif Générique (connecteurs virtuels) Flexible (langage de description) Robuste (approche dynamique) En exploitation depuis 1 an [W. Billot] Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 36
Plan Contexte & Problématique Etat de l art Notre approche Concepts algorithmes Bibliothèque Taktuk Projets reposant sur Taktuk Conclusion et perspectives Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 37
Inuktitut Intergiciel de communication Multi-réseaux / multi-protocoles Messages actifs / écriture distante C++ - Fort couplage avec Taktuk - Utilisé par Athapascan (grappes et grilles légères) Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 38
KaRun Ensemble de commandes Unix parallèles Rshp : invite de commandes parallèle Mput : diffusion de fichiers Utilisé et distribué dans la distribution Mandrake CLIC (Projet BULL-INRIA) : urpmi : installation de packages sur grappes (mput + rshp) Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 39
KaRun : Mput Taktuk Taktuk Taktuk réseau TCP dynamique réseau TCP dynamique réseau TCP dynamique Mput Mput Mput Taktuk réseau TCP dynamique Mput Taktuk réseau TCP dynamique Mput Taktuk réseau TCP dynamique Mput Mput < 3sec pour diffuser 16Mo sur 200 noeuds (Icluster PIII + Ether 100Mb) Storm 110ms pour diffuser 12M0 sur 64 noeuds (Quadrics + Alpha 866Mhz) Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 40
OAR Gestionnaire de ressources pour grappes ("batch scheduler") Taktuk : Vérifier l état des noeuds (niveau applicatif) "Découverte" de noeuds (grappes dynamiques IDPOT) Traitements de pré ou post réservation Soumission de travail interactive Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 41
Bilan sur l utilisation de Taktuk Environnement d exécution Applications Données Intergiciels Bibliothèques Système d exploitation Matériel Rshp Mput Inuktitut Urpmi Kadeploy 2 (à venir) Bibliothèque Taktuk Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 42
Conclusion Taktuk : ordonnanceur d appels d exécution distante Passage à l échelle Performant Robuste Installation et utilisation simple Portable et générique Disponible sous la forme d une bibliothèque Utilisé et fonctionnel Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 43
Améliorations Réduction du surcoût de Taktuk Expérimentations sur SMP - IDPOT (48 bi-xéons, Gb/s) - Icluster2 (104 bi-ia64, Gb/s et Myrinet) Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 44
Perspectives (1/2) Estimateur de concurrence (SMP) Approche statique / résultats théoriques Approche optimiste - Combinaison approche statique et dynamique - Pré-répartition coût du vol Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 45
Perspectives (2/2) Diffusion de fichiers (Mput + Inuktitut) - Topologie variable du réseau de diffusion - Exploitation d un réseau physique performant Ajout / retrait dynamique de noeuds "Découverte" de ressources - Arrêt de découverte sur critères (Tps, Nb ressources) Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 46
Questions? Projet C3 (rsh) C3 (ssh) Taktuk (rsh) Taktuk (ssh) Storm Mput (rsh) Temps de déploiement 2.57 sec 200 noeuds (PIII 700 Mhz icluster) 14.52 sec 200 noeuds (PIII 700 Mhz icluster) 0.7 sec 100 noeuds (PIII 700 Mhz icluster) 3.5 sec 100 noeuds (PIII 700 Mhz icluster) 0.11 sec 64 noeuds + diffusion 12Mo (Alpha 833 Mhz + Quadrics) 2.5sec 200 noeuds + diffusion 16Mo (PIII 700 Mhz icluster) Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 47
Prévisions 6 SSH t=150ms T=410ms 5 4 Temps (s) 3 2 1 0 0 500 1000 1500 2000 2500 3000 3500 4000 Nombre de noeuds Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 48
Exemples en fonction de λ 0 1 2 4 0 3 5 6 1 2 3 5 4 6 7 7 Arbre de diffusion avec λ = 2 Arbre de diffusion binomial avec λ = 1 0 1 2 3 4 5 6 7 Arbre de diffusion avec λ = 10 Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 49
Ordonnancement: Borne inférieure 1.8 1.6 "optimal_ssh_100.data" "optimal_rsh_100.data" 1.4 1.2 1 0.8 0.6 0.4 0.2 0 0 10 20 30 40 50 60 70 80 90 100 Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 50
Théorique Optimal Dynamique Comparaison du temps théorique et réel du lancement de Taktuk en fonction du nombre de noeuds 6 Tps de lancement avec le connecteur rsh Tps de lancement avec le connecteur ssh Tps de lancement Théorique pour rsh 5 Tps de lancement Théorique pour ssh Tps de lancement pour rsh adaptatif Tps de lancement pour ssh adaptatif 4 duree (s) 3 2 1 0 0 10 20 30 40 50 60 70 80 90 nombre de noeuds Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 51
Taktuk: Exemple d utilisation Taktuk.init(...) print("bonjour tout le monde") Taktuk.terminate() : >./bonjour -v -cssh -m machinea -m machineb -m machinec <machine_locale> [rank:0] :->:bonjour tout le monde <machinea> [rank:2] :->:bonjour tout le monde <machineb> [rank:1] :->:bonjour tout le monde <machinec> [rank:3] :->:bonjour tout le monde Cyrille.Martin@imag.fr Déploiement et contrôle d applications parallèles sur grappes de grandes tailles p. 52