Clusters for Application Service Providers. T. Monteil, J.M. Garcia P. Pascal, S. Richard

Transcription

1 Clusters for Application Service Providers ( T. Monteil, J.M. Garcia P. Pascal, S. Richard 1

2 Généralités Le monde du calcul dans un environnement ASP Les ASP : Application Service Provider : fournisseurs de services liés à du calcul intensif pour des clients Avantages : Souplesse d'utilisation Gain en investissement et disponibilité à la carte Notion ASP évolutive : ASP local, fourniture d un service interne à une société 2

3 Objectifs du projet Maîtriser la répartition de charge du calcul sur une plate-forme évolutive : les clusters sous Linux Les composantes : Une application gourmande en calcul : NetQUAD de DELTA Partners SA groupe Anite Une gestion très fine des ressources : AROMA (scalable Resources Oberver and MAnager) du LAAS-CNRS Un cluster Linux à administrer : Raisin de ALINKA Mise en pratique : application NetQUAD fi Fourniture de toute l infrastructure logicielle pour mettre un cluster en mode ASP et l administrer 3

4 Les partenaires ALINKA : Industriel, membre du Groupe Prologue, spécialisé dans la gestion des clusters haute performance ou de répartition de charges Internet LAAS-CNRS - groupe RST (réseaux et Systèmes de Télécommunications) : Équipe spécialisée dans les télécommunications, l évaluation de performances, le calcul intensif et la gestion des ressources dans les systèmes distribués DELTA Partners SA groupe Anite : PME, membre du groupe Anite, éditeur du logiciel NetQUAD permettant la conception de réseaux basés sur des technologies variées (IP, ATM, Frame Relay, Commutation de circuits) Ministère de l économie, des finances et de l industrie: RNTL (Réseau National de recherche et d innovation en Technologies Logicielles 4

5 Architecture globale Clients Contrat de QoS Clusters ASP - Négociation - Applications légères exécution déportée INTERNET /INTRANET Résultats - Administration - Optimisation des Ressources Facturation 5

6 Architecture détaillée Logiciels applicatifs poste client Haute disponibilité Administrat. Cluster Gestion des comptes clients (facturation, Qualité de services) INTERNET / INTRANET Gestion Ressources fichiers. Clusterisés clients ASP Logiciels applicatifs serveur (parallèles ou séquentielles) 6

7 Planning du projet Projet pré-compétitif financé par le RNTL: ficréation de produits industriels ou pré-industriels Planning: Sous projet Mars 2002-Septembre 2002 Septembre Mars 2003 Mars 2003-Septembre 2003 Parallélisation NetQUAD Parallélisation de NetQUAD NetQUAD on-line et documentation Administration et gestion ressources Etat de l art Algorithmes de gestion de ressources, qualité de services Administration logiciels CASP, AROMA Services pour la haute disponibilité Failover produits alinka système de fichiers, failover AROMA Accès distant annuaire accès distant, intégration des logiciels Points importants NetQUAD sur cluster gestionnaire de ressources, annuaire clusterisé NetQUAD on line, fichiers clusterisés, accès distant, gestion de noeuds 7

8 Alinka Raisin Objectifs: Administration d un ensemble de nœuds sous Linux (société Alinka) Principes: Installation d un poste référentiel pour un ensemble de configurations système Fonctionnalités Installation automatique de nouveaux nœuds Synchronisation des fichiers de configuration ou binaire Gestion de groupe de machines, utilisateurs Gestion à terme de plusieurs milliers de nœuds Haute disponibilité pour le système d administration fi Administration aisée d un ensemble de machines 8

9 Alinka raisin 9

10 AROMA: Observation et Gestion des Ressources Structure d un gestionnaire de ressource: Un système d observation: collecte l état des ressources avec un minimum de surcharge Un système de communication : diffusion de l information Un système tolérant aux fautes : garantie d une qualité de service acceptable: temps de réponse, équipements défaillants Accès à l information : gestion de classes d utilisateurs avec authentification et permission Stockage de l information : gestion de statistiques évoluées, facturation, analyse à long terme fi pour une utilisation industrielles: Importance de la qualité de service Gestion de contrat et facturation 10

11 AROMA: principes Système portable: interfaces graphiques basées sur JAVA et SWING (SUN) Communication basées sur JINI (SUN) quelques fonctions non portables pour le service d exécution distant et d observation (langage C pour l efficacité) fi Gérer la grande diversité des plate-formes, exemple: client sous windows et serveurs de calcul sous UNIX Système extensible: plusieurs milliers de nœuds Fonctionnement sur une grille 11

12 AROMA: principes Système dynamique: Intégration ou suppression dynamique de nœuds Ajout suppression dynamique de services Gestion dynamique d accès aux services en fonction des permissions Téléchargement automatique chez l utilisateur de nouveaux services ou versions fi Intégrer la forte dynamique autour des clusters et des grilles au niveau des services offerts Système spécialisable: Possibilité de définir un nouveau service pour une application donnée: Exemple: client ASP NetQUAD 12

13 AROMA: Architecture Grid Client replica Domain Cluster Host 13

14 AROMA: Interface de base 14

15 AROMA: services d administration Création de la grille 15

16 AROMA: services d administration Gestion des utilisateurs 16

17 AROMA: Observation 17

18 AROMA: Exécution 18

19 AROMA: suivi exécution 19

20 AROMA: service spécifique 20

21 Application test: NetQUAD Produit NetQUAD (DELTA Partners SA groupe Anite): dimensionnement et analyse de performance des réseaux de télécommunication Clients: Opérateurs téléphoniques Constructeurs d équipement réseaux Clients variés avec des besoins fluctuants: Besoin pic en puissance de calcul Besoin de plug-in ponctuel Envie de déporter les logiciels nécessitant du matériel spécifique 21

22 Application test: NetQUAD Elargissement des parts de marché de NetQUAD réseaux de grande taille flux multiservices Fonctionnement réel de Netquad on-line avec qualité de service garantie une partie fonctionnant chez le client Possibilité de déporter à distance en fonction du contrat fi Utilisation du «plug-in ASP» Contraintes Applications fonctionnant avec des fichiers en entrées et en sorties Qualité de service (durée guarantie, etc): Applications régulières 22

23 NetQUAD: interface NetQUAD => plug-in ASP => fournisseur ASP 23

24 Conclusion Fourniture d une suite complète pour l ASP sur cluster Livraison septembre 2003 Outils cohérents les uns vis à vis des autres Industriels du domaine des clusters et du calcul Alinka raisin offre d une nouvelle version extensible et tolérante aux pannes avec de nouveaux services AROMA Intégration progressive de services: Statistiques globaux, facturation, suivi dynamique des applications, algorithme d ordonnancement NetQUAD Manipulation des réseaux du futur avec la parallélisation et possibilité d accés en ligne: application au réseau British telecom 24

25 Contacts CASP: Alinka: DELTA Partners SA groupe Anite AROMA - LAAS-CNRS [email protected] 25