CASP : Clusters for Application Service Provider

Transcription

1 CASP : Clusters for Application Service Provider G. Gayola, B. Lecointe Alinka, 33 boulevard Saint Martin Paris P. Bacquet, J.M. Parot DELTA Partners SA groupe Anite, Immeuble Actys I voie 3, Labège G. authié, J.M. Garcia, T. Monteil, P. Pascal, S. Richard LAAS-CNRS, 7 avenue du Colonel Roche Toulouse I. Introduction Beaucoup d'utilisateurs dans le monde font appel à tout un ensemble d'applicatifs pour la gestion des entreprises, la relation avec les clients, la bureautique ou bien encore les problèmes scientifiques. Ces outils peuvent : être des logiciels importants, être onéreux, nécessiter un ensemble de bibliothèques annexes (Plug in), nécessiter une assistance suivant les périodes et suivant les problèmes traités, peuvent nécessiter parfois des machines puissantes (en processeur, en mémoire ou en capacité de stockage) ou bien encore être utilisés de manière saisonnière ou ponctuelle et donc coûter cher en terme d'achat de licence annuelle. Suivant les cas, et pour différentes raisons (financières, ressources humaines disponibles, complexité de mise en place) l'utilisateur potentiel de tels produits, peut être en difficulté pour une utilisation efficace de ces applications sur la machine de son bureau. D'autre part, il doit très souvent faire face à des problèmes contraints par un délai de réaction très court. Dans ce cas, l'utilisation de moyens et de services déportés au sens large, vont permettre à cet utilisateur de résoudre son problème à moindre coût et dans un temps minimal. Offrir de tels services via Internet est actuellement la solution naturelle la plus opérationnelle. La machine hébergeant de telles applications doit s'interfacer avec ces applications. Elle doit offrir de la puissance de calcul multiprocesseur pour certains noyaux de calcul parallélisés et offrir simultanément un Pool de processeurs permettant d'exécuter des applications séquentielles lourdes lancées par de multiples utilisateurs. Le cluster ou grappe de PC est à l'heure actuelle le support le plus apte à rendre ce service grâce à ses qualités en terme d'extensibilité, de modularité, d'évolutivité et de coût. Néanmoins, la mise en place de ce type de support d'exécution nécessite des couches logicielles spécifiques afin d'administrer la machine et de gérer ses ressources pour assurer une haute disponibilité et une qualité de service apte à séduire les utilisateurs. Le but du projet

2 CASP est de répondre à ces problèmes. Après avoir présenté les partenaires, le projet CASP sera décrit ainsi que le partenariat en cours. II. Les partenaires Le consortium mis en place pour réaliser ce projet est actuellement constitué de trois partenaires. Il regroupe d'une part des acteurs actifs dans le domaine du calcul et des clusters (Alinka, LAAS-CNRS) et un industriel des télécommunications (DELTA Partners SA) confrontés à des problèmes dont la résolution met en oeuvre d'importantes ressources de calcul. Le projet est né de la volonté des différents acteurs de réaliser une plate-forme de calcul haute performance, d'accès aisé et tournée vers les applications en y intégrant très rapidement une application significative. 1. Alinka Fondée en août 1999, Alinka [1] est une société éditrice de logiciels pour l'installation et l'administration de clusters (ou grappes) de machines sous Linux. Alinka est une filiale du groupe Prologue Software, côté au Nouveau Marché de la bourse de Paris. Le groupe se compose de 500 personnes et dispose entre autre d'une filiale, ASP ONE, seul ASP européen à fournir dès aujourd hui des applications variées et professionnelles en mode ASP (Rentanet, suite Microsoft Office, ). Les solutions Alinka offrent des réponses pertinentes aux problématiques de haute performance (serveurs de calcul) et de haute disponibilité (serveurs web), s'appuyant sur différentes technologies parmi les plus innovantes et pertinentes en environnement Linux. Les clusters Alinka sont fondés sur du matériel de commodité comme les PCs, dont le rapport prix-performance est aujourd'hui le meilleur de l'industrie. Les logiciels Alinka répondent aux critères de simplicité d'utilisation, rapidité de déploiement, évolutivité et sont associés à des offres de support technique à destination des professionnels. Avec Alinka Raisin (haute performance pour le calcul scientifique) et Alinka Oranges (haute disponibilité et répartition de charge pour serveurs Internet), Alinka est aujourd'hui le seul acteur du clustering à prendre en compte les problématiques de construction et d'administration des grappes, essentielles pour l'industrialisation de la technologie. 2. DELTA Partners SA Fondée en DELTA Partners [2] est une PME éditrice de logiciels reconnue dans le domaine des télécommunications. DELTA Partners est membre du groupe Anite. Le groupe est constitué de 2000 personnes et dispose de plusieurs filiales. Initialement distributeur de logiciels de simulation événementielle de réseaux de télécommunication et fournisseur de service dans ce domaine, DELTA Partners s'est récemment muée en éditeur de logiciel pour mettre sur le marché ses concepts, élaborés en partenariat recherche avec le groupe RST (Réseaux et Systèmes de télécommunications) du LAAS CNRS. DELTA Partners commercialise le logiciel NetQUAD, plate-forme ouverte pour le design et l'analyse de performance des réseaux de télécommunication. NetQUAD permet la conception de réseaux utilisant des technologies variées telles que : IP, ATM, Frame Relay, téléphonie ou SDH.

3 DELTA Partners possède des compétences dans les domaines suivants : conception de réseaux, modélisation de systèmes discrets stochastiques, théorie du trafic, modélisation par files d'attente, optimisation des ressources (routage, dimensionnement), techniques de simulation (simulation stochastique à événements discrets, simulation hybride distribuée), technique de calcul parallèle scalaire (projet LANDA [4] /Network-Analyser [5][6] du LAAS soutenu par l'anvar). 3. LAAS-CNRS Le LAAS [3] (Laboratoire d'analyse et d'architecture des Systèmes) est une unité propre de recherche du Centre National de la Recherche Scientifique (CNRS), rattachée au nouveau département Science et Technologie de l'information et de la Communication ( STIC). Le LAAS conduit des recherches dans les trois grandes disciplines : AUTOMATIQUE, INFORMATIQUE et MICROELECTRONIQUE. Ses activités de recherche sont menées dans le cadre de groupes de recherche et de laboratoire commun avec l'industrie. L'activité de recherche du groupe RST (Réseaux et Systèmes de Télécommunications) se fonde sur le développement de nouvelles approches en algorithmique et en parallélisme pour l'optimisation, l'estimation et le filtrage appliqués aux domaines des réseaux et des télécommunications. Le groupe mène plusieurs projets de recherche dans le domaine spatial (missions interplanétaires, constellations de satellites), militaire (traitement du signal RADAR, lutte sous-marine) et des systèmes distribués (projet LANDA [4], projet STAR). II. Le projet CASP 1. Objectifs Le projet CASP vise la création de services Internet déportés sur une machine parallèle de type Cluster pour de grosses applications industrielles. La mise en place de ce système passe par la construction de l'infrastructure logicielle nécessaire à la gestion du cluster pour réaliser de l'asp (Application Server Provider): administration du cluster, gestion des ressources (avec garantie de qualité de service), portail internet. L'architecture Cluster est utilisée pour ses capacités d'extension, de modularité et d'allocation de ressources afin de mettre en place un "portail" Web ayant pour ambition d'offrir à une entreprise un accès personnalisé à des applications. Les applications pouvant fonctionner selon ce mode sont nombreuses. On peut citer les applications de gestion de l entreprise, de gestion de la relation client, de bureautique ou bien encore les applications scientifiques. La plate-forme ASP créée s appuiera sur cette dernière famille avec l application NetQUAD (simulation et optimisation de réseaux de télécommunications) pour valider le système développé.

4 2. Principes Un utilisateur dispose sur son poste d applications client. Ces dernières permettent d exécuter localement le travail à réaliser. Ils peuvent aussi faire appel à des services déportés. Dans ce cas, une demande est réalisée via le client local du gestionnaire de ressources en fonction du contrat liant le client et un fournisseur de services et en fonction des paramètres de l application. La requête de service passe à travers internet ou un réseau spécialisé vers le fournisseur. Cette transmission se fait en utilisant des mécanismes d'authentification et de confidentialité des informations transmises. Le site du fournisseur utilise un annuaire clusterisé des accès distants. Ce dernier prend en compte les aspects spécifiques de la gestion d utilisateurs nombreux et variables en mode ASP. La requête de demande de ressource est alors transmise au gestionnaire de ressources du site. Ce dernier doit garantir une efficacité d'utilisation des ressources de calcul, de mémoire et de réseaux et une qualité de service prédéfinie. Le gestionnaire de ressources est alors chargé d exécuter la demande de l utilisateur en la transmettant au logiciel applicatif serveur adéquate. Afin de garantir une qualité de service prédéfinie et une haute disponibilité, un certain nombre de mécanismes et d outils seront utilisés. Tout d abord, l administration du système et des logiciels sera gérée par un logiciel à même de fournir une vue cohérente de clusters hétérogènes dans leur utilisation et leur installation. Ceci utilisera un système de fichier dit «clusterisé» permettant de gérer les différentes installations sur les machines des clusters. Ensuite, à cause du rôle clé de certaines machines, un mode «failover» permettra de garantir la haute disponibilité de l'ensemble des machines sensibles. La plate-forme ainsi créée sera validée sur le logiciel NetQUAD. Une parallélisation efficace du logiciel NetQUAD sera faite. Le logiciel sera découpé en une partie client et serveur. figure 1 : Découpage du projet CASP

5 3. Positionnement du projet L ASP est un marché émergeant, où la plupart des solutions actuelles sont sous windows. Citrix (Metaframe) et Microsoft (.NET et Windows NT TSE) sont les principaux acteurs actuels sous Windows. Il existe aussi des projets américains visant à utiliser des machines distantes comme un seul élément de calcul. Antropia par exemple va essayer de mettre en place un système qui se rapproche pour certains éléments de CASP. Par contre il n'est pas question d offrir une qualité de service car toutes les machines sur lesquelles reposent les calculs ne sont en fait que le cumul de particuliers qui acceptent de «prêter» leurs machines quand elles ne travaillent pas. Ce projet est en quelque sorte similaire au SETI@home. Alinka va proposer une solution Linux, qui a comme point fort, outre le fait de fonctionner sous Linux, de gérer l ensemble du cluster non seulement au niveau système, mais aussi intégrant les contraintes de l ASP. La plupart des logiciels de gestion de cluster linux actuels (par exemple IBM cluster kit, VA Linux VACM ) ne gèrent pas vraiment l exploitation du cluster, mais plutôt son monitoring. L objectif de Alinka avec CASP est de conserver l avance R&D acquise sur les autres acteurs (car Alinka travaille sur le clustering depuis plus de 3 ans déjà) et d être les premiers à proposer des solutions cluster orientées ASP sous Linux, au moment où les concurrents auront intégré dans leurs produits futurs des fonctionnalités de gestion similaires à celles disponibles dans les produits Alinka actuellement. Dans le domaine de la gestion de ressources, il existe de nombreux produits issus du milieu universitaire et industriel : Sun Grid Engines / CODINE, PBS (Portable Batch System), SCE (Scalable Cluster Environment), PRM (Prospero Resource Manager), CONDOR, DQS, LSF (Load Sharing Facility), LOADLEVELER, NQS (Network Queuing System), NQE (Network Queuing Environment), etc. Aucun ne réunit tous les éléments nécessaires à la mise en place industrielle de l ASP. Les points importants manquants sont : pas de système de facturation (à notre connaissance aucun ne possède cette fonctionnalité en fonction de contrat de qualité de service et des ressources utilisées), pas ou peu de garantie de qualité de service (date de terminaison garantie par exemple, en général c est une politique «on essaie de faire au mieux» ), pas forcément des outils pouvant fonctionner en multi-sites. Certains n intègrent pas non plus l aspect tolérance aux fautes et sécurité. Ces lacunes s expliquent par le fait que tous ces outils ont été plutôt développés pour optimiser l utilisation des centres de ressources et pas pour assurer des services tournés vers les clients. Des logiciels de simulation sont disponibles aux Etats-Unis et bientôt en Europe via du e- commerce (pay per use) ou ASP. Il n'y a pas de solution Française à ce jour permettant de faire de la conception de réseaux en mode ASP. Nous risquons donc de nous retrouver avec un tissu de PME/PMI Françaises et Européennes utilisant des solutions américaines et donc payant des royalties directement aux Etats-Unis. Aujourd'hui les concurrents de NetQUAD sont Nord Américains (OPNET, COMPUWARE, Make Systems, Image Net) et s'orientent tous vers une architecture client léger/serveur sur cluster. Par contre, aucun ne possède pour l'instant la technologie de la simulation hybride et des modèles analytiques différentiels qui constituent une avance concurrentielle pérenne pour NetQUAD pour peu qu'elle soit mise en oeuvre avec une disponibilité et une qualité de service suffisantes sur des machines à haut débit de calcul facilement atteignables sur la Toile.

6 L'idée est donc de mettre en place de tels outils en utilisant des technologies Françaises, déjà reconnues par ailleurs au niveau mondial pour inverser la situation se développant actuellement. 4. Innovations Les innovations attendues concernent différents aspects. Tout d'abord, le projet aboutira à la conception de produits logiciels se voulant relativement générique pour faire de l ASP sous LINUX et fournissant une solution bout en bout. Cette dernière est constituée entre autres de : Tous les logiciels pour faire communiquer de manière sûre un client léger avec une application déportée (gestion des utilisateurs et de la communication) Les outils permettant de garantir une qualité de services pour une utilisation industrielle et commerciale (gestion des ressources, haute disponibilité) Les logiciels permettant de faire vivre et d administrer aisément la plate-forme du fournisseur de services De nouveaux logiciels offrant des services non encore disponibles seront développés: système de fichiers clusterisés, gestionnaire de ressources intégrant facturation et qualité de service pouvant fonctionner sur une grille de clusters (grid computing) outil pour tolérer les pannes des noeuds clés du cluster. Le projet permet de réaliser le passage des grappes de PC du champ d'expérimentation universitaire au monde industriel et commercial dans le domaine du calcul intensif et de l'asp. Ensuite, le projet permettra de mettre en ligne un logiciel de modélisation de réseaux demandant des puissances de calcul importantes. Ceci permettra de valider directement la viabilité de l'asp pour les logiciels attaquant le même type de clientèle: utilisateur d'outils de modélisation, de simulation, de CAO. 5. Marchés Le marché des outils de planification de réseau connaît une croissance exponentielle comparable à l'évolution de l'offre en services de télécommunication fixe et mobile. La taille de ce marché qui était de 6 Milliards d'euros en 1997 est estimée à 16 milliards d'euros en 2002 selon Forrester. Pour d'autres sources (IDC), les chiffres sont nettement plus ambitieux. Quoi qu'il en soit, ce marché sera dominé par quelques produits dotés des capacités nécessaires en puissance de calcul, en facilité d'accès, en ergonomie et en sécurité pour toucher la majorité des acteurs. Voici quelques exemples de marchés possibles pour la plate-forme ASP : Le marché de la gestion de l'entreprise (comptabilité, finance, Ressource Humaine), éditeurs ERP = Enterprise Resource Planning : aborder les très petites entreprises avec déport des services Le marché des applications de CRM (Customer Relationship Management). Le développement très rapide du marché des applications de gestion de la relation client coïncide avec les nouveaux modèles ASP et devrait permettre aux PME et TPE d'accéder aux technologies CRM sous de nouvelles formes.

7 Le marché de la bureautique en ligne. Ce marché concerne plus particulièrement les applications dites de commodités (bureautique, , ). Le marché des applications verticalisées. L'objectif est de regrouper une communauté d'entreprises autour d'une solution ASP. Le montage d'une offre verticalisée est pratiquement toujours couplé avec une offre de gestion d'entreprise. Cette offre permet d'étendre le champ des services proposés et de consolider le positionnement de l'offre ASP par une offre de type portail ou même " place de marché " (marketplace). le marché des applications scientifiques : simulation, calcul numérique III. Partenariat 1. Historique Des membres de l'équipe RST (Réseaux et Systèmes de Télécommunications) du LAAS ont déjà plusieurs collaborations avec la société DELTA Partners : les modèles analytiques contenus dans le logiciel NetQUAD sont en partie issus des recherches du groupe, le logiciel LANDA (environnement de calcul parallèle) a fait l'objet d'un transfert industriel entre le LAAS et DELTA Partners. Alinka et le LAAS travaillent sur des services identiques en ce qui concerne l'observation et la gestion des ressources. Le LAAS dispose déjà d'un petit cluster avec 8 nœuds bi-processeurs permettant de faire des tests préliminaires. Alinka dispose d'une large expérience dans la mise en place de cluster. Les clients sont les principaux ISP français, des industriels de l'aéronautique, de la finance et des académiques. Le LAAS utilise également pour ses propres besoins la solution Alinka Raisin sur son cluster. 2. Spécification, conception et réalisation d outils en commun Un travail commun est en cours pour spécifier les fonctionnalités de l annuaire des utilisateurs. Ce dernier doit intégrer : les notions de droits UNIX : utilisateur, groupe, etc le contrat de qualité de service pour chaque utilisateur et groupe d utilisateurs : tolérance aux fautes, programme unique sur la machine, etc les applications et services disponibles pour cet utilisateur le nombre important et variable des utilisateurs Ceci se concrétisera par un système commun de gestion des utilisateurs. En parallèle, la conception de «plug in» pour l observation des machines est en cours. Cette observation est nécessaire pour l administration des clusters, l utilisation efficace des ressources ou bien encore la gestion de la facturation. D autres logiciels seront produits en commun dans la suite du projet. 3. Intégration des outils des partenaires Les différents partenaires possèdent déjà un ensemble d outils qu ils mettent en commun durant le projet. Le but est d obtenir une plate-forme ASP cohérente avec des outils bien intégrés les uns avec les autres et permettant d offrir une solution de bout en bout. Ceci se

8 concrétise notamment au niveau de l installation et l administration des outils qui se fera de manière centralisée dans un unique outil : alinka raisin. Ce principe est aussi appliqué pour les interfaces homme machine où les différents outils seront à même d interagir au niveau graphique afin de faciliter leur usage par l utilisateur. 4. Transferts de compétences Un transfert de compétence sur les méthodologies de parallélisation employées au LAAS sera réalisé afin de paralléliser efficacement le futur noyau de NetQUAD. Ceci comportera une modélisation du logiciel afin de déduire les différentes efficacités en fonction de la parallélisation. Ceci sera utilisé pour le découpage dynamique de l application lors de l exécution et aussi pour d éventuels rééquilibrages de charge en cours d exécution. 5. Dissémination Le projet a débuté en mars Un site WEB a été mis en place pour la communication avec l extérieur et entre les partenaires [7]. Par ailleurs les premiers résultats sur le gestionnaire de ressources ont permis de réaliser une publication dans une conférence internationale [8]. Le sitef 2002 sera aussi l occasion de présenter une première démonstration commune du travail réalisé dans le cadre de CASP sur un stand. 6. Difficultés/Facilités rencontrées Le projet fait intervenir un nombre faible de participants, ce qui facilite une interaction rapide et efficace. Ce projet fait partie intégrante de la politique de développement et de recherche des partenaires. Ceci se vérifie par une volonté forte d avancer et d aboutir à un système utilisable. Les trois partenaires possèdent des compétences complémentaires avec un recouvrement sur certains domaines. Ceci permet de confronter son expérience sur des activités communes et de s enrichir de la connaisance de l autre sur les nouveaux domaines. Le projet mise sur des technologies de pointes. Ceci a pour conséquence, l utilisation de technologies non stabilisé ou évoluant rapidement. IV. Etat du projet Le projet arrive à sa première étape importante avec une première livraison. Le gestionnaire de ressources est à même de recevoir les services de CASP (observation, placement, service spécialisé, etc). Le logiciel applicatif NetQUAD peut dorénavant profiter des possibilités du mode de fonctionnement ASP avec un découpage client serveur et une parallélisation efficace. Ceci permet de présenter un premier démonstrateur de NetQUAD fonctionnant en mode ASP fonctionnant sur un cluster administré par Alinka Raisin.

9 Le travail de spécification se termine pour les autres éléments importants de CASP et la conception et le codage vont pouvoir commencer. V. Conclusion Le cadre du RNTL a permis de mettre en œuvre un projet désiré par les trois partenaires. Le travail réalisé dans ce projet devrait permettre la mise sur le marché d un produit pour faire de l ASP sous LINUX fournissant une solution bout en bout et s appuyant sur : Tous les logiciels pour faire communiquer de manière sûre un client léger avec une application déportée (gestion des utilisateurs et de la communication) Les outils permettant de garantir une qualité de service pour une utilisation industrielle et commerciale (gestion des ressources, haute disponibilité) Les logiciels permettant de faire vivre la plate-forme du fournisseur et de l administrer aisément. La plate-forme ASP sera validé sur NetQUAD mais elle pourra être utilisée pour d autres applications. Un certain nombre de contacts avec des industriels sont en cours. Les technologies basées sur les clusters bénéficieront des nouveaux concepts étudiés et validés durant ce projet (annuaire, système de fichiers pour la gestion de configuration, haute disponibilité, intégration ASP). Ceux-ci conduiront à une utilisation plus simple de ces systèmes (au niveau de leur administration) et dans de nouveaux domaines d application. VI. Références [1] [2] [3] [4] T. Monteil, J.M. Garcia, P. Guyaux. «LANDA : une machine parallèle virtuelle», Revue Calculateur Parallèle, Hermès, vol 7 No 2, pp , [5] T. Monteil, J.M. Garcia. «Network-Analyser : un système de collecte et de prédiction de l état d un réseau local pour le placement dynamique de processus». Journée de recherche sur le placement dynamique et la répartition de charge : application aux systèmes répartis et parallèles, Paris, mai [6] J.M. Garcia, D. Gauchard, T. Monteil et O. Brun, «Process mapping given by processor and network dynamic load prediction», Euro-Par99 5th International Euro-Par Conference pp , Toulouse, France, [7]

10 [8] P. Pascal, S. Richard, T. Monteil. «Architecture of a Grid Resource Manager», International Conference on Parallel and Distributed Processing Techniques and Applications : PDPTA 02, Las Vegas, june 2002.