CLIC Cluster LInux pour le Calcul

Transcription

1 CLIC Cluster LInux pour le Calcul Wilfrid Billot ID-IMAG Projet Apache

2 Plan ¾ Introduction à CLIC ¾ CLIC et les clusters ¾ Ce qui existe déjà ¾ Objectifs ¾ Partenaires ¾ les clusters à ID ¾ Contenu technologique de CLIC ¾ CLIC aujourd hui ¾ Ka-tools ¾ Perspectives

3 CLIC et les clusters ¾Clusters pour le calcul haute performance ¾Clusters graphiques ¾Clusters pour la répartition de charge ¾Clusters pour le stockage ¾Clusters pour les services web ¾Clusters pour les bases de données ¾Clusters pour la haute disponibilité

4 Les distributions cluster pour le calcul ¾Solutions libres (Oscar, Score, Npacki Rocks) ¾Solutions payantes (Scyld, Alinka) ¾Simple collection de briques de base ¾Manque d intégration ¾Ne passent pas à l échelle ¾Cher

5 Cluster LInux pour le Calcul ¾ Distribution Linux ¾ basée sur la Mandrake ¾ architectures IA32/IA64 ¾ installation rapide ¾ administration facile ¾ outils pour le calcul parallèle et la programmation ¾ Partenaires ¾ Mandrakesoft : Distribution Linux ¾ Laboratoire ID : expertise sur grappes, outils d exploitation ¾ Bull : Grands systèmes, architecture IA64

6 Le laboratoire Informatique et Distribution ¾Programmation parallèle ¾Grappes et grilles de grappes ¾Performance et déboggage ¾Optimisation et ordonnancement

7 Les clusters à ID ¾Le i-cluster ¾don de la société HP (calcul sur intranet) ¾225 PC Mhz Mo - 20 Go ¾Réseau 100 mbits - switch 2 Gbits ¾Ouvert à la communauté (laboratoires, industriels) ¾La grappe Itanium ¾104 bi-pro itanium Mhz - 3Go ¾Réseau Myrinet ¾Baie disque 4 To

8 Le i-cluster

9 CLIC aujourd hui ¾ Solution clé en main sur IA32 (Mandrake 9.0) ¾ Outils de base pour utiliser et visualiser un cluster (PBS, Ganglia, commandes parallèles ) ¾ Environnements de développements parallèles ¾ Points forts ¾ Installation facile et rapide (CD, réseau, Ka) ¾ nœuds avec réseau privé + serveur frontal (DNS, NFS, NIS, DHCP, ) ¾ Maintenance aisée (urpmi parallèle)

10 ¾Ka-deploy Les Ka-tools ¾Déploiement par clonage de nœud ¾Partitionnement du disque ¾Pipeline des données ¾Ka-run ¾lanceur de commande parallèle (rshp) ¾copieur de fichier optimisé (mput)

11 Ka-deploy Serveur

12 Ka-deploy (2) Serveur

13 Ka-deploy (3) Serveur

14 RSHP Principe Lanceur de commande parallèle Les E/S standards sont redirigées vers le nœud de lancement Appels distants distribués et asynchrones : Utilisation de méthodes asynchrones Processus, Threads, code asynchrone Tirer partie de l utilisation de plusieurs hôtes : arbres de lancement

15 Construction d un arbre de lancement avec rshp

16 Comparaison de différentes configurations de lancement Rsh Rshp asynchronous client Rshp 200 threads Rshp binomial Rshp binary Ssh Rshp (ssh + processus) arity 4 C3 rsh C3 ssh Tps sec Work (%CPU x Tps) <7 < Nb processus Execution d un programme de temps nul sur 200 noeuds

17 Mput Diffusion rapide de fichiers sur un cluster Topologie optimale pour le lancement : arbre à plat Topologie optimale pour la diffusion : chaine Mput = méthode combinée mput est lancé par l intermédiaire d un arbre à plat Les nœuds se reconnectent par une chaine

18 Connection et diffusion avec mput node0 node1 node2 node3 node4

19 Comparaison entre mput sur 200 noeuds et rcp sur 2 noeuds Mput Mput Mput Mput Mput 1Mo 2Mo 4Mo 8Mo 16Mo Tps sec , cp cp cp cp cp 1Mo 2Mo 4Mo 8Mo 16Mo Tps sec

20 Urpmi parallèle ¾Exploiter les propriétés de rshp et mput pour faire des mises à jour rapides sur un cluster et le maintenir homogène ¾Utilisation de rshp et mput ¾Avec rshp on calcule toutes les dépendances sur tous les nœuds du cluster

21 Urpmi parallèle (2) ¾Utilisation de rshp et mput ¾Toutes les dépendances sont fusionnées puis recopiée sur l ensemble des nœuds par mput ¾Chaque nœud installe le rpm cible et les dépendances correspondantes ¾Le même outil existe pour supprimer les rpms (urpme)

22 ¾Portage sur Itanium Perspectives ¾Support réseau rapide (Myrinet SCI) ¾Support réseau dédié pour administration ¾Systèmes de fichiers optimisés cluster (PVFS, NFSp)