DEPARTEMENT D'INFORMATIQUE MEMOIRE. Présenté par. K AR A M O S TE F A M o ha mme d Ilye s. Pour obtenir LE DIPLOME DE MAGISTER

Transcription

1 DEPARTEMENT D'INFORMATIQUE MEMOIRE Présenté par K AR A M O S TE F A M o ha mme d Ilye s Pour obtenir LE DIPLOME DE MAGISTER Spécialité Informatique Option : Système Informatique Réparti Intitulé : OPTIMISATION DES COMMUNICATIONS COLLECTIVES SUR LES GRILLES DE CALCULS Soutenu le : 04 / 05 / 2011 à la salle de conférences de la faculté des sciences. Devant les membres du jury : Président : B. Atmani MCA Université d Oran (Es-Sénia) Directeur : G. Belalem MCA Université d Oran (Es-Sénia) Examinatrice : S. Nait Bahloul MCA Université d Oran (Es-Sénia) Examinateur : A.H. Benyamina MCA Université d Oran (Es-Sénia)

2 «On se lasse de tout, sauf de comprendre». i

3 ii A ma très chère mère qui a toujours été là pour moi, ainsi qu a mon grand père. Merci de m avoir donné un magnifique modèle de labeur et de persévérance. J espère qu ils trouveront dans ce travail toute ma reconnaissance et tout mon amour A mes frères Habib et Amine et mes sœurs, je leurs dis merci de m avoir tant soutenu et aidé pour la réalisation de ce travail A mon encadreur Mr Belalem qui a toujours été à mes côtés et aidé avec ses conseils dont je n oublierai jamais

4 iii Remerciements En préambule à ce mémoire, nous souhaiterons adresser nos remerciements les plus sincères aux personnes qui nous ont apporté leur aide et qui ont contribué à l élaboration de ce mémoire. Nous tenons à remercier sincèrement Monsieur BELALEM Ghalem, qui, en tant que Directeur de mémoire, s est toujours montré à l écoute et très disponible tout au long de la réalisation de ce mémoire, ainsi pour l inspiration, l aide et le temps qu il a bien voulu nous consacrer et sans qui, ce mémoire n aurait jamais vu le jour. Nous exprimons notre gratitude à tous les membres du jury : Monsieur ATMANI Baghdad, qui nous a fait l honneur de présider ce jury, Monsieur BENYAMINA Abou El Hassen d avoir accepté de juger ce travail ainsi que Madame NAIT-BAHLOUL Safia d avoir accepté d évaluer ce travail. Nous tenons à adresser nos plus sincères remerciements à tous nos proches et amis, qui nous ont toujours soutenues et encouragés au cours de la réalisation de ce manuscrit. Et puis finalement, nous tenons à remercier le professeur SLIMANI Yahia pour tous les efforts qu il fourni afin de promouvoir la recherche scientifique dans le domaine de l informatique réparti à l Université d Oran.

5 iv Table des matières Table des figures Liste des tableaux vi viii Introduction générale 1 Les grilles 1.1 Introduction Les débuts de la grille Un modèle de grille communautaire Les modules de la grille Les réseaux Les nœuds de traitement Les standards L évolution des grilles Première génération des grilles Deuxième génération des grilles Troisième génération des grilles Conclusion État de l art et étude comparative sur les communications collectives sur grilles 2.1 Introduction Les communications collectives Communication collective de type un vers plusieurs Communications collective de type plusieurs vers un Communication collectives de type plusieurs vers plusieurs Paramètres d hétérogénéité et modèles de performance

6 v 2.4 Étude comparative Approche sans clustering Approche à base de clustering Optimisations des communications collectives de type plusieurs vers plusieurs sur des architectures à large échelle Conclusion Approches hybrides pour l optimisation de l opération de diffusion dans les grilles 3.1 Introduction Travaux relatifs Travaux de Banikazemi et al [80] Travaux de Bhat et al [69] Approches proposées Description du système Première stratégie TP-ECEF (Two Phases-ECEF ) Deuxième stratégie HFE (HLOT-Flat-ECEF) Conclusion Implémentation des deux stratégies proposées TP-ECEF et HFE 4.1 Introduction Choix des métriques Présentation du simulateur Résultats de simulations TP-ECEF (Two Phases ECEF) HFE (HLOT-Flat-ECEF) Conclusion Conclusion générale et perspectives Bibliographie

7 vi Table des figures 1.1 Ressources de la grille interconnectées Architecture en couches du modèle de grille communautaire La diffusion La distribution La réduction Le rassemblement La barrière de synchronisation All diffusion All distribution rassemblement Scan Diffusion en LogP avec P = 8,L = 6,g = 4,o = Transmission d un message modélisé par plogp Schéma arborassant des solutions proposées le statu réel du réseau et son réseau d information, (a) :le statu réel du réseau, (b) : le réseau d information pour (a) Les arbres TTCC de la Figure 1.12 ; (a) : T 0, (b) : T 1, (c) : la solution finale pour la Figure Diffusion par la stratégie MagPIe Exemple de transfert de données bloquant : (a) arbre de communication, (b) table de temps Exemple de transfert de données de niveau paquet : (a) arbre de communication (b) table de temps Infrastructure utilisée dans les expérimentations Arbre multi niveaux correspondant à l architecture précédente Communication multi niveaux avec l algorithme HLOT Matrice de latence relative à une organisation virtuelle d un réseau large échelle de grille Comparaison des différents coûts de communication de l opération de diffusion

8 vii 3.1 Système hétérogène distribué : L ordonnancement FEF pour 4 nœuds de la table Opération de diffusion à base de la connaissance de topologie et sans connaissance de topologie Stratégie deux phases Diagramme d activité UML de la stratégie à deux phases Deuxième approche 3 niveaux : HLOT, PLAT, ECEF Diagramme d activité UML de la deuxième stratégie HFE Diffusion utilisant un arbre binomial sur 4 processeurs Vue de haut niveau du cas d utilisation du «Grid Communication Simulator» Diagramme de cas d utilisations de la définition de la topologie globale du «Grid Communication Simulator» Diagramme des cas d utilisations des simulations du «Grid Communication Simulator» Interface principale de «Grid Communication Simulator», pour la définition de la topologie globale Diagramme de séquences «définition de la topologie globale de la grille» Interface "Simule" du «Grid Communiation Simulator» Diagramme de séquence de l interface «Simule» Résultats de simulations en variant le nombre de sites pour l approche TP-ECEF Résultats de simulations suivant un nombre de sites plus large pour l approche TP-ECEF Résultats de simulations en faisant varier le nombre de nœuds pour l approche TP-ECEF Résultats de simulations en variant le nombre de sites entre 1 et 10 pour l approche HFE Résultats de simulations pour un système passant à l échelle pour l approche HFE Résultats de simulations en variant le nombre de nœuds pour l approche HFE

9 viii Liste des tableaux 2.1 Exemple de facteurs d hétérogénéité Coûts des stratégies intra-cluster Temps de complétion suivant les sites pour l approche TP-ECEF Temps de complétion suivant un nombre plus large de sites pour l approche TP-ECEF Temps de complétion suivant le nombre de nœuds pour l approche TP-ECEF Temps de complétion en variant le nombre de sites entre 1 et 10 pour l approche HFE Temps de complétion en variant le nombre de sites entre 5 et 25 pour l approche HFE Temps de complétion en variant le nombre de nœuds entre 5 et 25 pour l approche HFE. 82

10 Introduction générale 1

11 Introduction 2 La dernière décennie a bien été marqué par la croissance d un nombre important d infrastructures de type grilles informatiques large échelles dont la construction est devenue l objectif principale de différents chercheurs pacifiques à travers le monde en se faisant acquérir la collaboration d agences de financements, fournisseurs commerciaux, chercheurs universitaires, centres et laboratoires nationaux en formant une communauté d une vaste expertise afin d exécuter des applications de calcul intensif dans différentes disciplines scientifiques tels que le traitement d image, la biochimie la simulation et la fouille de données. Le domaine du calcul à haute performance a beaucoup évolué ces dernières années, ainsi, la technique d agrégation de ressources distribuées et non dédiées est venue prendre la place des grosses machines parallèles à mémoire partagée. Néanmoins, la dissémination de l Internet à partir des années 1990s a permis l interconnexion des ressources distantes et potentiellement hétérogènes qui est devenue la prochaine étape de l évolution des systèmes parallèles. Ainsi, le partage de ressources de calculs (ordinateurs personnels, stations de travails, machines parallèles à mémoires partagées, etc.) entre plusieurs partenaires scientifiques est devenu possible et a donné naissance à ce qu on appelle les grilles de calculs. Dans une grille de calcul, différents nœuds avec différentes capacités de communication sont interconnectés par des liens de communications avec différents niveaux de performances. L exécution du calcul intensifs distribué sur ce genre d architecture présente un très grand défit dans le sens où les facteurs d hétérogénéités augmentent et rendent cette tâche complexe et difficile à maitriser. Parmi les problèmes qui relèvent au calcul distribué, le problème des communications collectives entres les différents nœuds de la grille, opérations qui correspondent aux patrons de communication à plusieurs interlocuteurs. L optimisation des opérations collectives joue un rôle prépondérant dans la performance des applications parallèles et distribuées à large échelle et permet de l améliorer considérablement en réduisant la durée de complétion de ces opérations. Différentes solutions d optimisations ont été proposées pour les environnements homogènes de type machines parallèles et réseaux locaux et ont été implémentés dans des librairies de communications telles que la bibliothèque MPI. Cependant, ce genre de librairie n est pas adapté pour les environnements fortement hétérogènes comme les grilles de calculs. Dans le cadre du travail présenté dans ce manuscrit, nous visons à traiter le problème des communications collectives sur des systèmes à grande échelle et fortement hétérogènes tels que les grilles de calculs en faisant une étude comparative entre les différentes approches et techniques proposées, ainsi qu en présentant une contribution qui vise à optimiser l opération de diffusion exécutée sur des grilles distribuées hiérarchiques et hétérogènes. Le présent manuscrit est structuré en quatre chapitres : Dans le premier chapitre, nous décrivons les grilles qui constituent l architecture de base sur laquelle notre recherche s effectue en évoquant son architecture, ses caractéristiques, sa complexité ainsi que son évolution à travers le temps. Dans le second chapitre, nous introduisons le problème des communications collectives sur les grilles

12 Introduction 3 de calculs. Nous commençons par décrire la problématique, les solutions et approches proposées pour résoudre cette problématique, les facteurs pris en considération ainsi qu une étude comparative entre ces différentes approches. Dans le troisième chapitre, nous participons avec une contribution qui vise à optimiser l opération de diffusion exécutée sur des environnements hétérogènes hiérarchiques à large échelle en proposant deux nouvelles solutions qui visent cette fin. Dans le quatrième chapitre, nous implémentons nos deux approches proposées. Pour cela, nous présentons le simulateur des communications collectives conçu pour tester et démontrer l apport de notre contribution vis-à-vis des solutions existantes, ainsi que les résultats de simulations obtenus. Nous terminons notre mémoire par une conclusion générale et un ensemble de perspectives pour les travaux futurs.

13 4 Chapitre 1 Les grilles Sommaire 1.1 Introduction Les débuts de la grille Un modèle de grille communautaire Les modules de la grille Les réseaux Les nœuds de traitement Les standards L évolution des grilles Première génération des grilles Deuxième génération des grilles Troisième génération des grilles Conclusion

14 1.1. INTRODUCTION Introduction La grille est l infrastructure de l informatique et de la gestion de données qui sert le fondement électronique d une société globale dans les domaines des affaires, du gouvernement, de la recherche scientifique et du divertissement. La grille (voire Figure 1.1) intègre les réseaux d interconnexion, les communications, le traitement et l information pour fournir une plateforme virtuelle pour le calcul et la gestion des données de la même manière que l Internet intègre des ressources pour former une plateforme virtuelle de l information. La grille actuellement participe à la transformation de la science, le Business, la santé et la société. Dans ce chapitre, nous considérons la grille en profondeur en décrivant son évolution, son immense promesse et sa complexité du point de vue de la communauté des personnes qui la conçoivent pour faire de la vision de la grille une réalité. L infrastructure de la grille permet de lier dynamiquement des ressources ensemble comme une entité FIG. 1.1 Ressources de la grille interconnectées qui supporte l exécution d applications intensives, distribuées et à larges échelles. Les grilles de calculs à large échelles sont intrinsèquement distribuées, hétérogènes et dynamiques. Elles fournissent des capacités de stockage et de traitement infinis ainsi que l accès aux instruments, dispositifs de visualisation et ainsi de suite sans égard à la situation géographique. Pour atteindre cette fin, des systèmes complexes de logiciels et de services doivent être développés, qui permettent d utiliser des ressources efficacement ensemble et comme une entité virtuelle unique. Dans les années à venir, la grille deviendra l infrastructure fondamentale non seulement pour l e-science, mais aussi pour le e-business et e-gouvernement [3]. Cette nouvelle infrastructure va exploiter les révolutions entrainées par la loi de moore [3] pour les CPUs, disques et instruments, ainsi que la loi de Gilder [4] pour les réseaux optiques. Dans le reste de ce chapitre, nous donnons un aperçu sur ce domaine extrêmement important, puis le reste des chapitres traiteront le problème des communications sur les grilles dont il est l objet de notre recherche.

15 1.2. LES DÉBUTS DE LA GRILLE Les débuts de la grille Il est instructif de commencer par comprendre les influences qui se sont réunis pour finalement influencer le développement de la grille. Le meilleur endroit pour commencer est aux années 1980s, une décennie d une recherche intense, développement et déploiement de matériel, logiciel et applications pour des machines parallèles. Le calcul parallèle dans les années 1980 a concentré les efforts des chercheurs sur le développement d algorithmes, de programmes et d architectures qui supportaient la simultanéité. De la même façon que les développeurs d applications ont commencé à développer des codes à larges échelle qui dépassent les limites des machines parallèles les plus rapides, d autres groupes ont commencé à voire la distribution au-delà des frontières d une seule machine afin d avoir des solutions pour des problèmes de tailles extrêmement large. Durant les années 1980s à 1990s, différents logiciels pour des machines parallèles ont été développé afin de fournir des mécanismes puissants pour gérer les communications entre les processeurs, et de créer des environnements d exécution pour les machines parallèles. PVM (Parallel Virtual Machine), MPI (Message Passing Interface), HPF (High Performance Fortran) et OpenMP ont été développé pour supporter la communication pour des applications passantes à l échelle [5]. Des paradigmes réussis d applications ont été développés pour démultiplier le potentiel immense des architectures à mémoires partagées et distribuées. Initialement, il a été jugé que les grilles seraient les plus utiles dans l extension des paradigmes de calcul parallèle des grappes fortement couplées aux systèmes géographiquement distribués. Cependant, en pratique, la grille a été utilisée plus qu une plateforme pour l intégration d applications faiblement couplées (Certains éléments qui pourraient être exécutés en parallèles sur une machine parallèle à faible latence) et pour lier des ressources séparées (stockage, calcul, visualisation, instruments), la tâche fondamentale de la grille est la gestion de ces ressources hétérogènes. Durant les années 1980s, des chercheurs de différentes disciplines ont également commencé à se réunir pour attaquer les problèmes de tailles importantes considérés comme grand exploit (Grand Challenge), des problèmes en science et en ingénierie dont ces nouvelles architectures de calcul à large échelles fournissent un outil fondamental pour achever de nouvelles découvertes scientifique. Les problèmes inhérents à la conduite des collaborations dispersées géographiquement ont fournis aux chercheurs une expérience à la fois avec la coordination et la distribution : deux concepts fondamentaux en grilles de calculs. Dans les années 1990s, le programme de test US Gigabit [7] incluait une concentration sur des applications distribuées à une échelle métropolitaine et mondiale. Chacun des programmes de test (Aurora, Blanca, Nectar et Vistanet) ont été conçu avec doubles objectifs : investiguer le potentiel des architectures réseaux test et explorer leurs utilités vis-à-vis de l utilisateur final. La grille I-WAY (Information Wide Area Year) est généralement considérée comme la première grille moderne, développée comme étant un projet de démonstration expérimental pour le CS95. En 1995, durant une conférence en supercomputing, des chercheurs pionniers se sont réunis ensemble pour agréger

16 1.2. LES DÉBUTS DE LA GRILLE 7 un banc d essai national distribué avec plus de 17 sites mis en réseau par le vbns. Plus de 60 applications ont été développées pour la conférence et déployées sur le I-WAY. Le développement d infrastructures et applications pour le I-WAY a fourni une forte expérience pour la première génération des recherches et projets en grilles informatique moderne [3]. Le I-WAY a ouvert la porte pour des activités considérables dans le développement de logiciels pour les grilles. Les projets d infrastructures Globus [8] et Legion [9] ont explorés des approches afin de fournir des système de bas niveau pour l infrastructure grille. Le projet condor [32] expérimenté avec un ordonnancement haut débit, alors que les projets AppLeS [11], APST, Mars [12] expérimenté avec un ordonnancement de haute performance. Le projet NWS (Network Weather Service) [74] se concentrait sur le contrôle des ressources et la prédiction des pannes. Alors que le SRB (Storage Resource Broker)[36] se concentrait sur l accès uniforme aux ressources de données hétérogènes. Les projets NetSolve [14] et Ninf [15] se concentraient sur le traitement à distance via un modèle client serveur. Ces projets et plusieurs autres ont fournis des logiciels et des idées de base des grilles informatiques d aujourd hui. Dans la fin des années 1990s, les chercheurs dans le domaine des grilles se sont réunis dans un forum de grille GGF [19], où la plupart des premières recherches étaient en train d évoluer dans la base des standards pour les futures grilles. Récemment, le GGF [19] a joué un rôle dans le développement de l OGSA (Open Grid Services Architecture), qui a intégré les approches Globus et services Web [8]. L objectif de l OGSA vise à définir les services de base pour une grande variété de domaines incluant : 1. Systèmes de gestion et d automatisation. 2. Gestion de la charge et de la performance. 3. Sécurité. 4. Gestion de la disponibilité des services. 5. Gestion des ressources logique. 6. Services de clustering. 7. Gestion de la connectivité. 8. Gestion des ressources physique. Aujourd hui, les grilles sont devenues globales, avec plusieurs collaborations internationales entre les États Unis et d autres pays de l Europe et de l Asie. Des agences de financement, des vendeurs commerciaux, des chercheurs académiques, des centres et des laboratoires nationaux se sont réunis en formant une communauté d une large expertise avec l énorme engagement de la construction de la grille. En plus, des recherches dans des secteurs liés tels que les réseaux, les librairies numériques, le traitement pairs-à-pairs et ainsi de suite donnent des idées supplémentaires relatives aux grilles. Bien que nous ayons la tendance à penser que les grilles actuelles sont les résultats de l influence des 20 dernières années, certaines des premières racines des grilles peuvent êtres trouvées chez J.C.R Licklider plusieurs années avant cela [3]. Licklider était l un des premiers pionniers de l informatique et

17 1.3. UN MODÈLE DE GRILLE COMMUNAUTAIRE 8 des réseaux, qui mettra les premières bases de la création de l ARPANET, le précurseur de l Internet d aujourd hui [3]. A son époque aux années 1960s, il développa une nouvelle vision des systèmes informatiques en réseaux, qui pourraient servir comme systèmes de supports automatisé pour la prise de décisions humaines. A cette même époque, les ordinateurs étaient chers. Aujourd hui, après 40 ans de cette époque, la situation est inversée et des ordinateurs portables maintenant ont plus de puissance que Licklider n a jamais pu imaginer possible. Néanmoins, son aperçu que le déluge des données scientifiques exigerait l exploitation des ressources de calculs distribuées était correct. Vue les avancées dans le domaine de la gestion des réseaux et des technologies logicielles, des chercheurs travaillent maintenant pour mettre en œuvre cette vision [3]. Dans la section suivante, nous donnerons une vue d ensemble sur la grille informatique actuelle et sa vision émergente du futur. 1.3 Un modèle de grille communautaire Durant la dernière décennie, la communauté grille a commencé à converger vers un modèle en couches qui permet le développement du système complexe de services et de logiciel exigés pour intégrer les ressources de la grille. Ce modèle fournit une abstraction de la grille en couches [3]. La Figure 1.2 illustre le modèle de grille communautaire étant développé dans une façon faiblement coordonnée dans le monde universitaire et dans le secteur commercial. Nous commençons la discussion en comprenant chacune des couches dans le modèle. FIG. 1.2 Architecture en couches du modèle de grille communautaire. 1. La couche inférieure horizontale du modèle de grille est constituée des ressources matérielles de la grille. Ces ressources comprennent les ordinateurs, les réseaux, les bases de données, les instru-

18 1.3. UN MODÈLE DE GRILLE COMMUNAUTAIRE 9 ments, les dispositifs de visualisations, etc. Elles sont distribuées, hétérogènes et ont des profits de performances très différents (performance mesurée en FLOPS ou bande passante de mémoire avec une performance mesurée en octets, et le temps d accès aux données). En outre, l ordonnancement des ressources représenté par cette couche est très dynamique, tant en raison des ressources nouvelles étant ajoutées à la composition et les ressources anciennes étant retirées, et à la suite d une performance variable observable des ressources dans l environnement multi utilisateurs et partagé de la grille. 2. La couche horizontale suivante ou l infrastructure commune se compose des services logiciels et systèmes qui virtualisent la grille. Des efforts communautaires tels que l initiative intergiciel de NSF (NMI) [20], OGSA, ainsi que de nouveaux standards comme Globus [8] fournissent un accord commun sur la sur-couche de la grille sur laquelle les ressources hétérogènes et dynamique peuvent être accédées. Le concept clé de la couche infrastructure commune est l accord communautaire sur le logiciel qui représente la grille comme une plateforme virtuelle unifiée et fournit la cible pour des logiciels de plus en plus spécialisés et des applications. 3. La couche horizontale suivante (intergiciel grille orienté application et utilisateur, services et outils), contient des packages logiciels construits sur l infrastructure commune. Cet intergiciel sert à permettre aux applications d utiliser les ressources de la grille de façon plus productive en masquant une partie de la complexité impliquée dans les activités systèmes tels que l authentification, le transfert de fichiers et ainsi de suite. Les portails, les logiciels d ordonnancements des applications et ainsi de suite résident dans cette couche et fournissent l intergiciel qui connecte les applications et les utilisateurs avec l infrastructure de la grille. 4. La couche horizontale la plus haute (les applications de la grille) représente les applications et les utilisateurs. La grille sera enfin de compte réussie à condition que sa communauté d utilisateurs et toutes ses couches horizontales puissent assurer que la grille présente une plateforme de traitement et de gestion de données robuste, stable, utilisable et utile pour l utilisateur. Il faut noter que dans le sens le plus large, même des applications qui utilisent uniquement une seule ressource sont aussi considérées comme des applications grilles si elles accèdent à la ressource cible via des interfaces uniformes fournis par l infrastructure grille. 5. Les couches verticales représentent les étapes suivantes pour le développement de la grille. La couche verticale à gauche représente l influence des nouveaux appareils capteurs, PDAs, et connections sans fils. Durant ces 10 années, ces appareils et d autres auront besoin d être intégrés dans la grille et vont compromettre les exploits de la gestion de l hétérogénéité et la promotion de la

19 1.4. LES MODULES DE LA GRILLE 10 performance. Au même temps, l augmentation de la globalisation de la grille exigera des considérations sérieuses des politiques pour le partage et l exploitation des ressources, des connectivités réseaux à échelle globale ainsi que le développement des modèles économiques destinés à l utilisation des ressources de la grille (la couche verticale à droite). Comme nous reliant des grilles nationales pour former une grille globale, il sera de plus en plus important de développer une grille sociale et des politiques économiques qui assurent la stabilité du système, et promeut la performance aux utilisateurs et intègre avec succès des cultures d application technologiquement et politiquement séparées. 1.4 Les modules de la grille Les réseaux Le cœur de chaque grille informatique est son réseau, les réseaux interconnectent des ressources géographiquement distribuées et leurs permettent d être utilisées collectivement pour supporter l exécution d une application simple. Si les réseaux fournissent des capacités de communication assez grandes, des applications réussies peuvent utiliser des ressources distribuées d une façon plus adéquate avec des données plus intensives ; si les réseaux fournissent de petites capacités de communication, des applications réussies sont susceptibles d impliquer des communications minimales et un transfert de données entre composants de programme et/ou être capable de tolérer une latence assez élevée Les nœuds de traitement Les réseaux interconnectent les ressources de la grille, les plus répondus sont les ordinateurs avec leurs ressources de stockage associés. Bien que les ressources de traitement puissent être de n importe quel niveau de puissance et de capacité, parmi les grilles les plus intéressantes pour les scientifiques impliquent des nœuds qui sont eux même des machines parallèles de hautes performances et des clusters. De tels nœuds de grille de haute performance fournissent des ressources principales pour la simulation, l analyse, la fouille de données ainsi que d autres activités qui sont intensives en traitement. Parmi les nœuds des grilles actuelles, peuvent figurer des machines qui appartiennent aux sites Top500 incluant les supercalculateurs les plus puissants du monde, des machines qui peuvent atteindre la puissance de 1 petaflops (10 15 opérations par seconde) Les standards Pour l avenir, la technologie va continuer à fournir des potentiels de possibilités et de capacités de plus en plus grands dont il faudra intégrer dans les technologies de la grille. Pour gérer et contrôler ce paysage technologique constamment en évolution, les grilles utilisent une infrastructure commune afin

20 1.5. L ÉVOLUTION DES GRILLES 11 de fournir une représentation virtuelle pour les développeurs des logiciels et les utilisateurs, tout en permettant l incorporation de nouvelles technologies. Le développement de standards est la clé qui permet de gérer la complexité des grilles par les développeurs de logiciels et les utilisateurs sans que des efforts héroïques soient critiques au succès de la grille. Internet, le Web ainsi que les W3C consortium [18] ont défini des standards clés tels que TCP/IP, HTTP, SOAP, XML et maintenant le WSDL (Web Service Definition Langage) qui est un élément clé de l OGSA. Le GGF [19] est maintenant en train de construire un standard clé spécifique aux grilles, c est le standard émergeant de facto pour les grilles. En plus, NMI (NSF Middleware Initiative) [20] et le programme du royaume-uni Grid Core [21] cherchent à s étendre, à se standardiser et faire des pièces logicielles clés plus robustes pour l arsenal de la grille tel que Globus [8], Condor [32], OGSA-DAI et le NWS (Network Weather Service) [74]. Dans les deux dernières décennies, le développement de PVM et MPI a anticipé la vision moderne de la grille en introduisant les concepts du traitement parallèle et distribué à toute une communauté. Il y a d autres standards importants sur lesquels la grille est établie. Parmi lesquels, on peut citer le rôle que Linux joue comme standard pour les systèmes d exploitation des nœuds [22]. OASIS [23] est aussi en train de standardiser les Services Web pour les portails à distance WSRP (Web Services for Remote Portails). Ces standards supportent des logiciels commerciaux et non commerciaux et laissent la tendance s accroitre pour les logiciels Open Source. Le projet Apache [24] fournit une infrastructure clé telle que les serveurs et les outils, afin de supporter les interfaces Java-WSDL [25] et les portails [26]. On peut même s attendre que dans les jours à venir, tous les logiciels soient Open Source et fournissent des interfaces ouvertes pour des implémentations propriétaires. Aujourd hui, les projets de grilles cherchent à utiliser des infrastructures communes et des standards afin de promouvoir l interopérabilité et la réutilisabilité. L Open Source et les efforts de standardisation sont en train de changer les voies de l écriture des logiciels et les voies de conception des systèmes. Cette approche va être le tournant pour l évolution des grilles. 1.5 L évolution des grilles La dernière décennie a vu un changement substantiel dans la manière avec laquelle on perçoit et on utilise les ressources de traitement. Ceci est dû, entre autres, au progrès technologique qui a donné naissance à un matériel plus rapide, plus robuste et un logiciel de plus en plus sophistiqué. Une conséquence à ces changements a été la capacité d utiliser des ressources distribuées de façon efficace. Dés que des ordinateurs sont interconnectés et communiquent, nous avons un système distribué. La recherche dans les domaines de la conception, la construction et le déploiement des systèmes distribués a été explorée depuis des années. Un nombre croissant de groupes de recherches ont travaillé dans le domaine du traitement distribué à large échelle. Ces groupes ont implémentés des intergiciels, des librairies, des outils qui permettent une utilisation coopératives des ressources géographiquement distribuées