REPUBLIQUE ALGERIENNE DEMOCRATIQUE ET POPULAIRE MINISTERE DE L ENSEIGNEMENT SUPERIEUR ET DE LA RECHERCHE SCIENTIFIQUE UNIVERSITE D ORAN ES-SENIA

Transcription

1 REPUBLIQUE ALGERIENNE DEMOCRATIQUE ET POPULAIRE MINISTERE DE L ENSEIGNEMENT SUPERIEUR ET DE LA RECHERCHE SCIENTIFIQUE UNIVERSITE D ORAN ES-SENIA FACULTE DES SCIENCES DEPARTEMENT D INFORMATIQUE THESE Présentée par Melle Hadj-Tayeb Lilia Pour obtenir LE DIPLOME DE MAGISTER Spécialité Informatique Option : Modèles et Méthodes pour la sécurité des Systèmes d Information Intitulé : Modèle Distribué d Equilibrage de Charge pour les Grilles de Calcul Soutenu le : 02/07/2008 à la salle de la bibliothèque des sciences exactes Devant les membres du jury: M M.K. RAHMOUNI Professeur, Université d Oran, ES-Sénia, Algérie (Président) M G. BELALEM Maître de Conférence, Université d Oran, ES-Sénia, Algérie (Examinateur) M Y. LEBBAH Maître de Conférence, Université d Oran, ES-Sénia, Algérie (Examinateur) M M. SENOUCI Maître de Conférence, Université d Oran, ES-Sénia, Algérie (Examinateur) M B. YAGOUBI Maître de Conférence, Université d Oran, ES-Sénia, Algérie (Encadreur)

2 Remerciements Je tiens à remercier mon encadreur, Mr Yagoubi Belabbas de m avoir soutenue et dirigée dans l élaboration de mon travail. Je remercie également, le président du jury, Mr Mustapha Kamel Rahmouni ainsi que les membres du jury, Mr Belalem Ghalem, Mr Lebbah Yahia et Mr Senouci Mohamed qui ont bien accepté de composer mon jury de thèse et de juger mon travail. Merci à tous ceux qui m ont apporté leur aide et leur soutien pour parvenir au terme de ce travail. 2

3 Dédicaces Je dédie mon travail, A la mémoire de mon PERE, qui guide mes pas, à ma MERE, à qui je dois d être là aujourd hui, à mes sœurs, NAWEL, MAHA, SABRIA et KARIMA, ainsi qu à OMAR qui m ont soutenue si affectueusement, aux nouvelles venues, mes nièces RYHEM et NORHENE, à toute la famille KRISSAT, surtout mes GRANDS PARENTS, qui m ont prodigué amour et soutiens ; enfin à tous mes amis et camarades de la promotion.

4 Résumé L équilibrage de charge dans les grilles de calcul représente un défi pour les chercheurs et les développeurs de ce type de systèmes. Ce défi est en rapport avec les particularités de ces infrastructures, à savoir, l hétérogénéité, la dynamicité et le passage à l échelle. Dans le cadre de la résolution de ce problème, nous proposons dans ce mémoire notre contribution et nos analyses. Cette contribution consiste dans le développement d une stratégie d équilibrage de charge, dont les principaux objectifs sont la réduction du temps de réponse et du coût de transfert des tâches soumises. Cette stratégie est fondée sur un modèle arborescent et distribué qui permet de faire correspondre à n importe quelle grille un arbre à deux niveaux, quelque soit la complexité topologique. Mots-clés : Grille de calcul, Equilibrage de charge, Modèle distribué, Temps de réponse moyen, Coût de communication, Transfert de tâches. Abstract Load balancing in the grid computing is a challenge for researchers and developers of such systems. This challenge is matched with the needs of these infrastructures, namely, heterogeneity, dynamicity and scalability. In order to solve this problem, we present in this report our contribution and analyses. This contribution consists in developing a strategy for load balancing, whose main objectives are to reduce response time and communication cost of the submitted jobs. This strategy is based on hierarchical and distributed model that allows matching at any grid a tree with two levels, regardless of the complexity of the topology. Keywords: Grid computing, Load balancing, Distributed model, Average response time, Communication cost, Task transfer.

5 Table des matières Introduction générale 1. Contexte Problématique Organisation du manuscrit... 2 Chapitre I: Systèmes distribués et gilles de calcul I.1. Introduction I.2. Les systèmes distribués. 5 I.2.1. Définition des systèmes distribués... 5 I.2.2. Evolution des systèmes distribués... 5 I.2.3. Architectures des systèmes distribués.. 7 I.2.4. Classification des architectures réseau I.2.5. Motivations des systèmes distribués I.2.6. Propriétés des systèmes répartis I.2.7. Modèles d interaction I.3. Les grilles de calcul 14 I.3.1. Définition des grilles de calcul. 14 I.3.2. Types de grilles I.3.3. Caractéristiques des grilles de calcul 17 I.3.4. Architecture des grilles de calcul.. 18 I.3.5. Composants des grilles de calcul.. 20 I.3.6. Applications sur les grilles de calcul 21 I.3.7. Topologies des grilles de calcul 22 I.3.8. Projets sur les grilles de calcul. 24 I.3.9. Sécurité dans les grilles de calcul. 25 I.4. Conclusion. 27 Chapitre II : Equilibrage de charge dans les systèmes distribués II.1. Introduction.. 29 II.2. Distribution de charge dans les systèmes distribués 29 II.3. Classification des systèmes d équilibrage de charge... 30

6 II.3.1. Politiques d équilibrage de charge.. 31 II.3.2. Mécanismes d équilibrage de charge II.4. Taxonomie des approches d équilibrage de charge. 35 II.5. Evaluation de la charge d une ressource.. 39 II.6. Critères de performance d un équilibrage de charge 40 II.7. Principaux algorithmes d équilibrage de charge dans les systèmes distribués classiques. 41 II.7.1. Algorithme paire.. 41 II.7.2. Algorithme vecteur.. 42 II.7.3. Algorithme drafting (ou double seuil). 42 II.7.4. Algorithme du gradient 43 II.7.5. Algorithme Shortest Expected Delay (SED).. 43 II.7.6. Algorithme Never Queue (NQ) II.7.7. Algorithme d équilibrage hiérarchique II.8. Equilibrage de charge dans les grilles de calcul II.8.1. Procédure d équilibrage de charge dans les grilles de calcul. 46 II.8.2. Défis de l équilibrage de charge dans les grilles de calcul.. 46 II.9. Algorithmes d équilibrage de charge dans les grilles de calcul 49 II.9.1. Algorithmes d équilibrage de charge adaptatifs.. 50 II.9.2. Méthodes d équilibrage de charge inspirées des règles naturelles. 51 II.9.3. Algorithmes d équilibrage de charge cognitifs 53 II.10. Conclusion.. 54 Chapitre III : Modèle distribué d équilibrage de charge III.1. Introduction. 55 III.2. Modèle proposé III.2.1. Topologie de la grille. 55 III.2.2. Caractéristiques du modèle 57 III.3. Stratégie d équilibrage de charge 57 III.3.1. Principe de la stratégie III.3.2. Hypothèses. 57 III.3.3. Description des paramètres utilisés... 58

7 III.3.4. Description de la stratégie proposée.. 61 III Mécanismes de communication d information 61 III Politique de participation.. 62 III Politique de sélection de localisation 63 III Politique de sélection de candidat 64 III Détermination du type d équilibrage 64 III Evaluation de l offre et de la demande du cluster III.3.5. Structure de la stratégie d équilibrage 67 III Diagrammes d état transition de la stratégie. 67 III Diagrammes de séquence de la stratégie III.3.6. Algorithmes d équilibrage de charge. 73 III.4. Conclusion.. 80 Chapitre IV : Etude expérimentale IV.1. Introduction 81 IV.2. Simulateur de l équilibrage de charge. 81 IV.3. Implémentation du modèle.. 82 IV.4. Expérimentations et interprétation des résultats.. 83 IV.4.1. Expérimentations en Intra-Cluster. 83 IV.4.2. Expérimentations en Inter-Clusters IV.5. Conclusion.. 98 Conclusion générale Bibliographie. 101

8 Liste des figures Figure I.1 : Machine UMA à bus.. 8 Figure I.2 : Machine NUMA 9 Figure I.3 : Multi-ordinateurs 9 Figure I.4. Modèle Cient-Serveur et modèle Pair-à-Pair.. 14 Figure I.5 : Un membre de la grille soumet une requête à la grille à travers l interface de grille. L application est divisée en tâches qui sont exécutées indépendamment sur des machines distantes [8] 16 Figure I.6. Architecture générale d une grille de calcul 18 Figure I.7. Différentes topologies de grilles [43].. 23 Figure II.1. Composantes d un système d équilibrage de charge 31 Figure II.2. Evaluation de la charge d une ressource de calcul 40 Figure II.3. Organisation hiérarchique d un système de huit nœuds 45 Figure II.4. Taxonomie des algorithmes d équilibrage de charge dans les grilles calcul 50 Figure III.1. Modèle proposé d équilibrage de charge 56 Figure III.2. Diagramme d état transition général d un cluster 67 Figure III.3. Diagramme d état transition de la gestion du déséquilibre.. 68 Figure III.4. Diagramme d état transition de l équilibrage Intra-Cluster. 69 Figure III.5. Diagramme d état transition de l équilibrage Inter-Clusters 70 Figure III.6. Diagramme de séquence d un équilibrage Intra-Cluster.. 71 Figure III.7. Diagramme de séquence d un équilibrage Inter-Clusters. 72 Liste des tableaux Tableau I.1. Principales catégories d applications sur les grilles de calcul.. 22 Tableau III.1. Paramètres associés aux nœuds de travail. 59 Tableau III.2. Paramètres associés au cluster gestionnaire des NT 60 Tableau III.3. Différents seuils utilisés. 60 Tableau III.4. Paramètres associés aux tâches.. 61

9 Tableau IV.1. Résultats et gains sur le temps de réponse moyen en Intra-Cluster.. 85 Tableau IV.2. Résultats et gains sur le temps d attente moyen Intra-Cluster 86 Tableau IV.3. Résultats et gains sur le temps d exécution moyen en Intra-Cluster. 87 Tableau IV.4. Pourcentage de tâches transférées en Intra-Cluster 88 Tableau IV.5. Résultats et gains sur le temps de réponse moyen en Inter-Clusters 92 Tableau IV.6. Résultats et gains sur le temps d attente moyen en Inter-Clusters. 93 Tableau IV.7. Résultats et gains sur le temps d exécution moyen en Inter-Clusters. 94 Tableau IV.8. Pourcentage de tâches transférées en Inter-Clusters.. 95 Liste des graphes Graphe IV.1. Gains sur les temps de réponse moyens en Intra-Cluster 89 Graphe IV.2. Gains sur les temps d attente moyens en Intra-Cluster. 89 Graphe IV.3. Gains sur les temps d exécution moyens en Intra-Cluster. 90 Graphe IV.4. Pourcentage de tâches transférées en Intra-Cluster.. 90 Graphe IV.5. Gains sur les temps de réponse moyens en Inter-Clusters. 96 Graphe IV.6. Gains sur les temps d attente moyens en Inter-Clusters.. 96 Graphe IV.7. Gains sur les temps d exécution moyens en Inter-Clusters.. 97 Graphe IV.8. Pourcentage de tâches transférées en Inter-Clusters 97

10 Introduction générale 1. Contexte Les progrès, que connaît notre époque, dans les différents domaines et les différentes activités quelles soient celles liées aux entreprises ou aux recherches scientifiques, font que leurs besoins en terme de puissance de calcul et de capacité de stockage ont augmenté de manière particulièrement significative. Cette augmentation survient alors que les supercalculateurs deviennent de plus en plus inabordables pour le budget de nombreuses entreprises et laboratoires. Ces circonstances ont donné naissance à une nouvelle idée, qui vise à mutualiser des ressources informatiques sous utilisés et qui peuvent être disponibles au sein de ces structures ou sur des sites géographiquement éloignés, communiquant à travers des infrastructures réseau existantes tel que l Internet. Ce principe est désigné par le concept de grilles de calcul [15]. Les grilles de calcul sont de ce fait, des systèmes distribués à grande échelle, de composition hétérogène et dynamique. Ce sont là, leurs principales caractéristiques que nous allons aborder tout au long de ce mémoire. Les grilles de calcul paraissent comme une tendance prometteuse pour trois raisons principales [9] : - La capacité d utiliser de manière plus efficace un nombre donné de ressources de calcul. - Une manière de résoudre des problèmes ne pouvant être solutionnés sans une énorme puissance de calcul. - La possibilité d assembler et de faire coopérer les capacités des ressources, vers un objectif commun. 2. Problématique Les grilles de calcul tentent d agréger des ressources réparties géographiquement sur de grands nombres de sites, pour obtenir une puissance de calcul significative. Cependant, parvenir à utiliser de telles puissances de calcul 1

11 implique une gestion plus complexe et pose de véritables défis devant être relevés par l utilisateur, le programmeur d applications distribuées et l administrateur [31]. Parmi ces défis, nous citons, en particulier, celui lié à l allocation et le partage des ressources de manière équitable entre les différents utilisateurs de la grille ; ce partage doit d une part, optimiser l utilisation des ressources en réduisant les temps de réponse des applications utilisateur ; et d autre part, optimiser les coûts de communication en minimisant les échanges entre les ressources de la grille. C est dans ce contexte qu interviennent nos solutions et nos contributions, en proposant un modèle arborescent d équilibrage de charge, sur lequel nous développons une stratégie d équilibrage, qui tente de répondre aux deux objectifs précédents, à savoir : - Réduire les temps de réponses des tâches soumises à une grille de calcul tout en exploitant au mieux ses ressources. - Réduire les coûts de communication, en favorisant une distribution de la charge de calcul au sein d un même cluster qu au niveau de la grille entière. 3. Organisation du manuscrit Ce mémoire résume le travail que nous avons entrepris, les contributions apportées et les résultats obtenus. A cet effet, il est organisé en quatre chapitres, que nous décrivons dans ce qui suit. Le chapitre I est constitué de deux parties. La première, donne un aperçu sur les systèmes distribués, leurs propriétés et motivations. La deuxième partie, introduit le concept de grilles, et principalement les grilles de calcul, à travers leur architecture, topologies et applications. Il présente également, quelques projets entrepris sur ce type de grilles. Le chapitre II traite de la problématique d équilibrage de charge dans les systèmes distribués classiques, en général et dans les grilles de calcul, en particulier. Il présente en premier, les politiques et mécanismes qui composent un système d équilibrage de charge. Par la suite, il expose un état de l art sur les 2

12 algorithmes d équilibrage de charge développés pour les systèmes distribués en général et pour les grilles de calcul en particulier. Le chapitre III illustre d une part, le modèle distribué que nous proposons, et d autre part, il décrit la stratégie d équilibrage de charge adoptée. Ce chapitre présente également, les algorithmes d équilibrage de charge dans le cas intracluster et inter-clusters. La chapitre IV est consacré à la description du simulateur de grille de calcul que nous avons développé, et à la présentation des expérimentions réalisées, lesquelles portent sur l équilibrage de charge en intra-cluster et en inter-clusters. Nous terminons ce mémoire par une conclusion générale dans laquelle nous résumons notre travail et rappelons la problématique étudiée et les résultats obtenus. Nous proposons également, quelques perspectives de recherche relatives à l équilibrage de charge dans les grilles de calcul. 3

13 Chapitre I Systèmes distribués et grilles de calcul I.1. Introduction Avec l accroissement des activités dans les entreprises et l évolution de leurs besoins, leurs exigences en terme de capacités de stockage et de calcul se sont fait ressentir, notamment dans les domaines scientifiques de la biologie et de la génétique et dans beaucoup d autres domaines. Le besoin de distribuer les informations à diverses équipes géographiquement éloignées, a conduit les dirigeants informatiques à sentir l'utilité de pouvoir opérer à distance, d'avoir une infrastructure distribuée, ainsi que divers services et applications, et c'est dans cet aspect qu'interviennent les grilles de calcul. Les grilles de calcul évitent aux entreprises d investir dans des machines coûteuses en utilisant les ressources inexploitées d un ensemble de machines (un parc informatique complet ou bien une partie de celui-ci par exemple). Ainsi, en récupérant les cycles processeurs inutilisés sur chaque machine, on peut se constituer presque l'équivalent d'un supercalculateur. Les principaux intérêts des grilles de calcul résident dans le fait d exploiter les ressources sous utilisées, tirer avantage de la nature distribuée des applications et diminuer le temps d attente et de traitement des tâches soumises par les utilisateurs. Nous donnons dans ce chapitre, un aperçu sur les systèmes distribués et les grilles de calcul à travers leurs définitions, leurs types d applications et quelques exemples de systèmes développés pour les grilles de calcul. 4

14 I.2. Les systèmes distribués I.2.1. Définition des systèmes distribués Un système distribué est un ensemble d ordinateurs indépendants, connectés à l aide d un réseau de communication. Il est équipé d un intergiciel (middleware) qui permet aux différents composants du système de coordonner leurs activités d une telle façon que l utilisateur le perçoive comme une capacité de traitement unique, cohérente et intégrée [44]. Comme exemples de systèmes distribués, nous pouvons citer : Le web : un serveur web reçoit des requêtes de plusieurs utilisateurs, auxquelles il répond par envoi de pages HTML statiques qu il stocke localement, ou en interrogeant une base de données pour générer dynamiquement le contenu de la page. Ce traitement est transparent pour l utilisateur, puisque les informations s affichent dans son navigateur quelque soit la façon dont le serveur les génère. Les calculs scientifiques : dans les recherches scientifiques, plusieurs architectures matérielles sont utilisées. Il peut s agir d un ensemble de machines identiques reliées entre elles par un réseau dédié et très rapide, ou un ensemble de machines hétérogènes connectées dans un réseau local ou par Internet. Dans ce dernier cas, on parle de grilles, que nous détaillerons plus loin. I.2.2. Evolution des systèmes distribués Les systèmes distribués sont apparus pour remédier aux limites des systèmes centralisés. Nous présentons dans ce qui suit, l évolution chronologique de ces systèmes [48] : 1. Mainframes La période des mainframes marque l apogée des systèmes centralisés. Tout est concentré sur un seul ordinateur, il gère les traitements, le réseau qui connecte des terminaux passifs et l interface utilisateur. 5

15 Cette architecture pose un certain nombre de problèmes, à savoir : - La non robustesse du système en cas de pannes : autrement dit, le système devient non disponible en cas de défaillances au niveau du serveur. - La congestion en entrée du serveur lors de l arrivée massive de requêtes. - La congestion de traitements, puisque le système central est chargé de l administration des données, le traitement de l application et l interface utilisateur. 2. Technologie Client-Serveur et les serveurs SQL Avec cette architecture, l application devient répartie. Le serveur ne se charge que de l administration des données et le reste de l application se déroule sur le poste client. L architecture à base de serveurs SQL est un modèle de cette technologie. Cette architecture présente certaines limites : - Elle ne convient pas au traitement de données complexes et situées sur des serveurs différents. - La gestion des transactions est limitée (pas de transactions imbriquées, serveur unique, etc.). - Les Middlewares ne sont pas standard. Chaque fournisseur propose sa propre couche de communications. - La gestion des requêtes et commandes SQL est particulièrement lente. 3. Moniteurs transactionnels Les moniteurs transactionnels sont apparus afin de régler les problèmes de charge de communication et de traitement sur les gros systèmes. Ils sont chargés d orchestrer le fonctionnement des grands logiciels en découpant ceux-ci en sous ensembles qui seront considérés comme atomiques (les transactions). La gestion des ressources ne se fait plus au niveau du logiciel, mais au niveau des transactions. Les moniteurs transactionnels présentent un modèle fiable et robuste pour la gestion des données réparties. 6

16 4. Groupware Le groupware (collecticiel) permet de modéliser et traiter les processus et activités liés au travail en équipe. On peut distinguer cinq technologies de base sur lesquelles repose le groupware : 1. Les documents multimédias pour la représentation des données. 2. Les flux d activités utilisés pour acheminer automatiquement des événements et des tâches d un programme à un autre dans les environnements clients serveurs. 3. Le courrier électronique. 4. La gestion d agenda (ou gestion des sessions de travail) qui concerne la gestion des rendez-vous, la préparation et la réalisation des conférences et autres réunions de travail. 5. La planification des tâches. Certaines solutions logicielles proposées à cet effet sont orientées sur la diffusion des informations plutôt que sur la protection des données. 5. Objets répartis Un objet réparti est un composant logiciel indépendant contenant sa propre intelligence de fonctionnement et capable d interopérer avec d autres objets distribués, indépendamment des types d ordinateurs, des langages de programmation ayant servi à les développer, ou des systèmes d exploitation. Les objets distribués modifient les phases de conception, de développement et de distribution des logiciels, puisque, l objet devient à la fois une unité de distribution, de déploiement et de maintenance. I.2.3. Architectures des systèmes distribués Les systèmes distribués peuvent être répartis en deux classes principales, suivant l organisation de la mémoire [29] [37] : 1. Multiprocesseurs Un multiprocesseur est un système informatique dans lequel deux ou plusieurs processeurs partagent l accès total à une mémoire commune. Les processeurs, la mémoire et les périphériques d entrée et sortie sont reliés par un réseau 7

17 d interconnexion (tel qu un bus commun). Les multiprocesseurs sont de deux types: les machines UMA et les machines NUMA. Multiprocesseurs UMA (Uniform Memory Access) : dans ce modèle, appelé aussi SMP (Symmetric MultiProcessing), la mémoire est unique, partagée par tous les processeurs et est équidistante de tous les processeurs ce qui rend similaire leur temps d accès sur une référence mémoire. Les processeurs peuvent avoir des caches privées et partager les périphériques d entrée et sortie (Figure I.1). Toute opération effectuée sur la mémoire est immédiatement visible par l ensemble des autres processeurs. Ces systèmes ne supportent pas le passage à l échelle car au-delà de quelques dizaines de processeurs il devient difficile de maintenir la cohérence des caches et un temps d accès uniforme à la mémoire. CPU CPU CPU CPU cache cache cache cache bus mémoire E/S Figure I.1 : Machine UMA à bus Multiprocesseurs NUMA (No Uniform Memory Access): les machines NUMA sont des systèmes à mémoire partagée et physiquement distribuée, ce qui fait varier le temps d accès en fonction de l emplacement mémoire. Chaque processeur dispose d une mémoire locale (Figure I.2). L ensemble de toutes ces mémoires forme un espace d adressage global et unique, accessible à tous les processeurs. Les machines NUMA ont l avantage de supporter le passage à l échelle. En effet, les performances restent bonnes, même avec des centaines de processeurs. Cependant, il devient plus difficile de garantir la cohérence des données et un espace d adressage global. 8

18 CPU CPU CPU CPU mémoire mémoire mémoire mémoire Réseau d interconnexion Figure I.2 : Machine NUMA 2. Multi-ordinateurs Un système multi-ordinateurs est constitué d un ensemble de machines indépendantes reliées entre elles par un réseau d interconnexion. Chaque machine possède sa propre mémoire privée à laquelle elle accède directement. La mémoire distante n est pas directement adressable et les données sont partagées en envoyant explicitement ou en recevant des messages. Les multiordinateurs se repartissent en deux catégories : les multi-ordinateurs homogènes et les multi-ordinateurs hétérogènes. Multi-ordinateurs homogènes : ils sont constitués de nœuds identiques reliés par un réseau d interconnexion unique qui utilise la même technologie. Chaque nœud est un ordinateur autonome avec un processeur, une mémoire et une interface réseau (IR) (Figure I.3). Ces systèmes supportent le passage à l échelle puisqu ils ne demandent pas un dispositif logiciel ou matériel pour maintenir la cohérence des données. CPU CPU CPU CPU mémoire mémoire mémoire mémoire IR IR IR IR Réseau d interconnexion Figure I.3 : Multi-ordinateurs 9

19 Multi-ordinateurs hétérogènes : c est le cas le plus commun pour les systèmes distribués. Il s agit de plusieurs ordinateurs aux caractéristiques matérielles et logicielles différentes connectés à travers des réseaux utilisant des technologies différentes. Ces systèmes sont relativement faciles à construire et à étendre ; en outre, ils présentent un excellent rapport coût/performance. Ce rapport est dû d une part, à la puissance sans cesse croissante des ordinateurs et leur bas coût et d autre part, aux progrès technologiques réalisés dans les réseaux haut débit. Cependant, le partage des ressources pose des problèmes de sécurité et nécessite un dispositif logiciel qui masque l hétérogénéité de l environnement. I.2.4. Classification des architectures réseau La classification suivante des architectures a été proposée par Flynn [12] en 1966 et repose sur le flux d instructions, qui est une séquence d instructions exécutées par la machine, et le flux de données qui représente une séquence de données appelées par le flux d instructions [7] : SISD (Single Instruction Single Data stream) : un seul flux d instructions et un seul flux de données. Cette architecture correspond aux stations de travail traditionnelles. Le processeur est capable de traiter, par cycle d horloge, qu une instruction sur une donnée. SIMD (Single Instruction Multiple Data stream): un flux d instructions et plusieurs flux de données. Du point de vue architecture, on trouve une seule unité de contrôle et plusieurs processeurs reliés par un réseau. Chaque processeur exécute de manière synchrone la même instruction à chaque cycle d horloge, mais travaille sur des données différentes. MISD (Multiple Instruction Single Data stream): plusieurs flux d instructions et un seul flux de données. Cette architecture est également appelée pipeline, son fonctionnement est synchrone. Elle correspond aux systèmes capables d exécuter plusieurs instructions sur la même donnée durant le même cycle d horloge. 10

20 MIMD (Multiple Instruction Multiple Data stream): plusieurs flux d instructions et plusieurs flux de données. Au niveau architecture, on trouve plusieurs ordinateurs complètement interconnectés. A chaque cycle d horloge, chaque processeur exécute une instruction différente sur une donnée différente. Le fonctionnement peut être synchrone ou non et la communication entre les différents processeurs se fait soit par mémoire partagée ou par échange de messages. I.2.5. Motivations des systèmes distribués L architecture des systèmes distribués permet de répondre aux besoins grandissant des utilisateurs tout en garantissant la performance, la fiabilité et l évolutivité du système [44] [48]: - Performance : les systèmes distribués offrent une grande capacité de calcul grâce à la répartition de charges entre les sites et la possibilité de découper un calcul complexe en sous calculs répartis sur différents sites. - Robustesse et fiabilité : la redondance des ressources fournit une haute disponibilité et la défaillance d un site n affecte pas le fonctionnement global du système. - Evolutivité : les systèmes distribués sont plus flexibles et faciles dans leur extension, quelle soit matérielle ou logicielle. I.2.6. Propriétés des systèmes répartis Les systèmes distribués possèdent certaines propriétés qui permettent de respecter leurs motivations et de les rendre opérationnels [44] : - Transparence : elle a pour objectif d offrir à l utilisateur un service comparable à celui d un système monoprocesseur, en faisant abstraction des problèmes liés au multiprocessing et en tirant parti au maximum des ressources mises à sa disposition. Cette transparence s applique à la localisation, à la migration, à la réplication, à la concurrence et au 11

21 parallélisme. En effet, les utilisateurs n ont pas à savoir où se trouvent les ressources dont ils ont besoin, ni à s apercevoir du déplacement d une ressource ou la migration d une tâche. Ils ne doivent pas également, s apercevoir qu un élément (un fichier par exemple) a été dupliqué (copié en plusieurs exemplaires). La concurrence lors de l accès à une ressource partagée doit être invisible, ainsi qu une exécution parallèle d une application sur plusieurs processeurs. - Extensibilité : cette propriété concerne le côté architecture des systèmes distribués qui doit permettre l évolution de celui-ci en fonction des besoins, par exemple en ajoutant des ressources sur le réseau pour l augmentation de la puissance de calcul. - Fiabilité : la fiabilité d un système distribué se reflète dans sa disponibilité, sa tolérance aux fautes et la sécurité qu il offre. La disponibilité du système peut être assurée par la redondance des dispositifs, alors que la tolérance aux fautes requiert la coopération entre les différents processeurs pour gérer et résister à l ensemble de problèmes pouvant survenir. La sécurité, quant à elle, est très importante dans ces systèmes qui sont plus vulnérables à cause des communications réseaux qui peuvent être interceptées, et des partenaires distants qu on ne connaît pas toujours. La sécurité peut être assurée par l authentification des éléments distants et le cryptage des messages circulant sur le réseau. I.2.7. Modèles d interaction Les ressources distribuées interagissent et communiquent entre elles selon plusieurs modèles possibles [44]: Client-Serveur Le modèle client-serveur considère deux entités : le client qui demande des requêtes ou des services, et le serveur qui fournit ces services. L interaction entre le client et le serveur se fait par l envoi de messages ; le premier représente la requête émise par le client vers le serveur. Cette requête est traitée au niveau 12

22 du serveur, et un autre message représentant le résultat de la requête est envoyé vers le client. Diffusion de messages Ce modèle repose sur le principe de diffusion de messages qui peuvent être à destination de tous les récepteurs (broadcast) ou d un sous ensemble de récepteurs (multicast). On peut distinguer deux modes de réception. Dans le premier mode, le récepteur vérifie lui-même qu il a reçu un message (pull). Par contre, dans le deuxième mode, le récepteur est prévenu qu un message est disponible et il lui est transmis (push). Mémoire partagée Dans ce modèle, les éléments communiquent via une mémoire partagée à l aide d une interface d accès à la mémoire. Aucune interaction directe n existe entre les participants. Cependant, on peut relever la complexité de ce modèle dans la gestion de la mémoire, puisqu il s agit d un système distribué. Plusieurs solutions existent : la première propose de déployer toute la mémoire dans un seul site, ce qui pose le problème de goulot d étranglement dans l accès au site. La deuxième solution propose d éclater la mémoire sur plusieurs sites avec ou sans duplication des données. Pair à Pair (Peer to Peer) [18] [22] Le modèle pair à pair, désigné également comme modèle coopératif, ne considère aucune distinction entre les participants, ils effectuent tous les mêmes types d actions et chaque participant est connecté avec tous les autres. Le problème de goulot d étranglement au niveau des serveurs ne se pose pas dans ces réseaux, car plusieurs pairs peuvent fournir des services et router d autres pairs aux fournisseurs de services similaires, ce qui réduit la congestion du réseau. 13

23 Figure I.4 : Modèle Client-Serveur et modèle Pair-à-Pair I.3. Les grilles de calcul I.3.1. Définition des grilles de calcul Ian Foster et Carl Kesselman [14] ont défini la grille de calcul comme étant une infrastructure matérielle et logicielle qui fournit un accès fiable (dependable), cohérent (consistent), à taux de pénétration élevé (pervasive) et à moindre coût (inexpensive) à des capacités de traitement et de calcul. Cette définition regroupe les termes suivants [9] : Fiable: l utilisateur à besoin de s assurer de recevoir un bon niveau de performance de la part des composants de la grille. Cohérent: il est fondamental que la grille fournisse des services stables et réguliers, même en présence de systèmes hétérogènes. Taux de pénétration élevé : disponibilité des services à tout instant, sans se soucier de l état de l environnement. Moindre coût : l objectif d une grille est de s élargir, son coût doit donc, être faible pour les utilisateurs. Dans [15] Ian Foster et al, ont approfondi cette définition par : La grille de calcul est un concept permettant de coordonner le partage de ressources et la 14

24 résolution de problèmes au sein d organisations virtuelles, dynamiques et muliinstitutionnelles. Cette définition prend en compte le partage (des ressources, des logiciels et des données) entre un ensemble d individus et d institutions (organisations virtuelles) et qui nécessite un contrôle rigoureux par les fournisseurs et les consommateurs en définissant clairement et précisément qui a le droit d effectuer ce partage et sous quelles conditions et ce qui doit être partagé. Nous pouvons donner une définition globale des grilles de calcul en se basant sur leur capacité à exploiter des ressources de calcul, de stockage, de visualisation, etc ; quasi-illimitées, hétérogènes et distribuées sur différents sites géographiques interconnectés par un réseau Intranet ou un réseau à grande échelle comme Internet. Leur utilisation soulève des questions liées à l'administration, l'allocation, la volatilité de ressources distribuées et hétérogènes, la sécurité des données, etc. Les principaux objectifs des grilles de calcul sont [33] : - Exploiter les capacités des ressources lorsque celles-ci sont inactives ; ces capacités peuvent être des cycles processeurs ou des capacités de stockage. - Fournir une importante capacité de calcul parallèle. - Permettre une meilleure utilisation de ressources ou de logiciels spécifiques dont le prix d acquisition peut être élevé. - Garantir la fiabilité et la disponibilité des services grâce à la grande quantité de ressources agrégées par la grille de calcul. 15

25 Figure I.5 : Un membre de la grille soumet une requête à la grille à travers l interface de grille. L application est divisée en tâches qui sont exécutées indépendamment sur des machines distantes [9]. I.3.2. Types de grilles Il existe différents types de grilles qui correspondent aux différents types de problèmes à résoudre. Quelques grilles sont conçues pour tirer avantage de la puissance de calcul des ressources, alors que d autres sont conçues pour exploiter la capacité de stockage de ces ressources. Le type de grille est donc, sélectionné suivant le type d application à traiter. Nous pouvons citer les trois principaux types de grilles [10] : Grilles de calcul : elles agrégent les puissances de calcul des ressources du système. Elles correspondent de ce fait, aux applications gourmandes en calcul. 16

26 Grilles de données [21] : ce type de grille convient aux applications nécessitant une importante capacité de stockage. Elles assurent un accès sécurisé aux données distribuées. Les grilles de données incluent le concept de bases de données fédérées dans lequel un groupe disponible de ces bases fonctionne comme une seule. Grilles de services (ou grilles d information) : elles sont utilisées pour les systèmes qui offrent des services ne pouvant être disponibles sur une simple machine. On distingue deux catégories [38] : - grille à la demande : elle agrége dynamiquement différentes ressources pour fournir de nouveaux services. On peut citer comme exemple, le problème de simulation qui nécessite des ressources (en nombre et en type), qui dépendent des paramètres d exécution. - grille de collaboration : elle rassemble utilisateurs et applications en groupes de travail collaboratifs. Ce type de grille permet une interaction entre utilisateurs et applications en temps réel, au moyen d un espace de travail virtuel. I.3.3. Caractéristiques des grilles de calcul Parmi les principales caractéristiques des grilles de calcul, on peut distinguer[33]: Autonomie et diversité des domaines administratifs : les ressources sont géographiquement distribuées et appartiennent à différentes organisations, chacune ayant ses propres politiques de gestion et de sécurité. Ainsi, il est indispensable de respecter l autonomie et les politiques de chacune de ces organisations. Hétérogénéité des ressources [43] : dans une grille de calcul, les ressources sont de deux catégories : les réseaux et les ressources de calcul. L hétérogénéité existe dans ces deux catégories. D un côté, les réseaux interconnectant les ressources de calcul peuvent se différencier par leur bande passante et les protocoles de communication. D un autre côté, les ressources de calcul peuvent être hétérogènes au niveau matériel (tels que 17

27 l architecture des calculateurs, nombre de processeurs, taille de la mémoire physique, vitesse du CPU, etc.), au niveau logiciel (tel que systèmes d exploitation, système de fichiers, etc.). Passage à l échelle : le nombre de ressources dans une grille peut augmenter de manière considérable, ce qui peut conduire à une dégradation de la performance de la grille et nécessite ainsi, de nouvelles contraintes sur les applications et les algorithmes de gestion des ressources[5]. Nature dynamique des ressources : les applications sur les grilles de calcul doivent prendre en considération le changement dynamique des ressources, à savoir leur nombre, les contraintes de tolérance aux pannes, etc. I.3.4. Architecture des grilles de calcul Applications Recherche scientifique, ingénierie, finances, portails Environnement et outils de développement Langages, interfaces, librairies, compilateurs Intergiciels Ordonnancement des tâches, gestion des ressources, sécurité Infrastructure matérielle Stations de travail, équipements réseau, logiciels Figure I.6 : Architecture générale d une grille de calcul L architecture des grilles de calcul est décrite en terme de couches, chacune offrant des fonctions spécifiques [2] [15]: 18

28 Infrastructure matérielle (fabric) L infrastructure matérielle inclut les protocoles et les interfaces qui permettent l accès aux ressources partagées (ordinateurs, systèmes de stockage, bases de données, réseaux ). Couche Intergiciels (middleware) [35] La couche intergiciels représente les middlewares nécessaires à la gestion des ressources, la coordination de l accès, l ordonnancement des tâches, la sécurité, etc. Les principales fonctions assurées par ces intergiciels sont : - L ordonnancement (scheduling) : il consiste à allouer une tâche à une machine. Cette allocation peut être de différents types (par round robin, à base de priorité, etc). Ils peuvent être organisés en hiérarchie avec certains interagissant directement avec les ressources, et d autres (métaordonnanceurs) interagissant avec les ordonnanceurs intermédiaires. Ils peuvent aussi superviser le déroulement d une tâche jusqu à sa terminaison, la soumettre à nouveau si elle est brusquement interrompue et la terminer prématurément si elle se trouve dans une boucle infinie d exécution. - Réservation : il est possible, dans les grilles de calcul, de réserver les ressources à l avance afin de garantir une certaine qualité de service et respecter certaines échéances. Pour cela, le middleware devra fournir un système de réservation permettant aux utilisateurs d exprimer leurs besoins en ressources et d effectuer la réservation. - Services d information et d annuaire (Information and Directory services) : une grille est un environnement où le nombre et la charge des ressources sont dynamiques. Un des objectifs lors de la conception d une grille, est de rendre les ressources facilement accessibles à tous les processus. Il est alors nécessaire de fournir des mécanismes permettant d enregistrer et de découvrir ces ressources et d identifier leur état. - Service de nom (Naming Service) : comme dans tout système réparti, une grille devra permettre de référencer ses ressources d une façon standard et uniforme. - Sécurité : elle fournit les mécanismes de sécurité nécessaires à la protection des ressources dans la grille de calcul et inclut les protocoles pour l authentification et les autorisations. 19

29 Outils La couche outils regroupe les outils et paradigmes pouvant aider le développeur à concevoir et écrire des applications sur les grilles. On y trouve des compilateurs, des librairies, des API, etc. Application La couche application représente les différentes applications utilisateurs (projets scientifiques, médicaux, financiers, etc.), portails et utilitaires de développement qui permettent à l utilisateur de soumettre et collecter les résultats de leurs tâches sur les ressources distantes à travers le web. I.3.5. Composants des grilles de calcul Le calcul de grille peut être divisé en six composantes principales [9] : - Interface utilisateur : elle permet l accès aux informations de la grille ; elle peut se présenter de deux manières : interface produite par l application lancée par l utilisateur, ou interface produite par l administrateur de la grille, tel un portail web aux applications et ressources disponibles dans la grille. - Sécurité : les données manipulées dans une grille peuvent être sensibles ou de grande valeur ; les composants de sécurité sont ainsi essentiels, ils incluent la cryptographie, l authentification et l autorisation. - Gestion de la charge : ce composant fournit aux applications utilisateurs des informations sur les ressources disponibles et leur état. - Ordonnanceur : il localise les ressources et leur assigne les tâches soumises par les utilisateurs. - Gestion des données : ce module assure la migration des données, à travers les différentes ressources et les différents protocoles, lorsque celles-ci ne résident pas dans la même ressource que l application qui les utilise. - Gestion de ressources : ce composant permet la gestion des tâches, à savoir, leur soumission à des ressources spécifiques, la surveillance de leur état et le recouvrement des résultats. 20

30 I.3.6. Applications sur les grilles de calcul Nous présentons dans ce qui suit cinq principales classes d applications utilisant le calcul de grille [14] : 1- Supercalculateur réparti (distributed supercomputing): une grille de calcul peut agréger un grand nombre de ressources fournissant ainsi, une puissance de calcul nécessaire à de nombreuses applications telles que la météorologie, l aéronautique, etc. 2- Calcul haut débit (high-throughput computing): la grille de calcul est utilisée pour ordonnancer un grand nombre de tâches indépendantes, en exploitant les cycles processeur non utilisés. 3- Calcul sur demande (on-demand computing) : ce type d applications utilise les capacités de la grille pour satisfaire des requêtes à court terme qui ne peuvent être satisfaites par les ressources locales. Le défi principal dans ce type d application réside dans la nature dynamique des requêtes et le grand nombre d utilisateurs et de ressources. 4- Calcul sur données intensives (data intensive computing) : dans ce type d applications, une grande quantité de données est traitée, stockée et générée. Le défi dans ce type d application est celui de l ordonnancement et la configuration d un flux de données complexe et volumineux. 5- Calcul collaboratif (collaborative computing): les applications collaboratives concernent principalement les interactions entre les humains dans des environnements de simulation en temps réel, ce qui constitue le principal défit dans ces applications. Le tableau suivant donne un récapitulatif des principales applications des grilles de calcul avec leurs caractéristiques et quelques exemples : 21

31 Catégorie Exemples Caractéristiques -Supercalculateur réparti Aéronautique, météorologie, Problèmes nécessitant de la mémoire, CPU, etc. -Calcul haut débit Problèmes Utilisation des ressources cryptographiques, oisives pour augmenter le débit agrégé. -Calcul sur demande Instrumentation médicale, Intégration des ressources détection des nuages, distantes avec le calcul locale, souvent pour un temps limité. -Calcul sur données Données physiques, Synthèse d informations intensives Prévisions climatiques, nouvelles provenant de diverses sources de données. -Calcul collaboratif Travail collaboratif, Communication ou travail éducation, exploration de données, collaboratif entre de multiples participants. Tableau I.1 : Principales catégories d applications sur les grilles de calcul I.3.7. Topologies des grilles de calcul On peut distinguer trois topologies de grilles de calcul en se basant sur leur étendue géographique et leur complexité [43] : - IntraGrille : ce type de grille est composé d un ensemble relativement statique et homogène de ressources appartenant à une organisation unique. Ces ressources sont connectées par un réseau local à haut débit, elles partagent le même domaine de sécurité et sont gérées par un seul domaine administratif. Une entreprise peut être amenée à construire une intragrille pour augmenter la puissance de calcul de ses équipes de recherche et développement tout en maintenant un niveau d investissement faible en terme de nouvelles infrastructures. - ExtraGrille : une extragrille agrège deux ou plusieurs intragrilles. Ses principales caractéristiques sont la présence de plusieurs domaines 22

32 administratifs, d un réseau d interconnexion hétérogène, de divers domaines de sécurité et d un ensemble plus ou moins dynamique de ressources. Un exemple d utilisation d une extragrille est celui existant lors d alliances et d échanges «Business to Business (B2B)» entre entreprises partenaires. - InterGrille (en analogie avec Internet) : une intergrille consiste à agréger les grilles de multiples organisations, en une seule grille. Les principales caractéristiques d une telle grille sont la présence d un réseau d interconnexion hétérogène, de plusieurs domaines de sécurité et d un ensemble très dynamique de ressources. Les intergrilles sont souvent mises en oeuvre lors de grands projets industriels (conception d un avion par un consortium aéronautique par exemple) ou scientifiques (modélisation de protéines, lutte contre le réchauffement climatique) où plusieurs organisations sont amenées à participer. La figure suivante illustre les relations entre les différentes topologies. Figure I.7 : Différentes topologies de grilles [43] 23

33 I.3.8. Projets sur les grilles de calcul Nous présentons dans cette section quelques exemples de simulateurs et de systèmes de gestion de grilles : Condor [1][27][46] C est un système de gestion de ressources conçu pour supporter un calcul à haut débit, en allouant les requêtes des applications aux ressources oisives du réseau. La principale fonction de Condor est d exploiter les machines oisives. Cependant, il peut être configuré pour partager les ressources, il supporte également les applications séquentielles et parallèles [25]. Dans ce système, les tâches soumises par les utilisateurs sont mises dans une file d attente et ordonnancées, de manière transparente pour l utilisateur, aux machines disponibles qui sont gérées dans un Condor pool. Une tâche distante ne peut s exécuter sur une machine, que si celle-ci est oisive. Autrement dit, la machine n a aucune tâche locale. Une fois que la machine dispose une tâche locale, la tâche distante qui s exécutait sera interrompue et migrée vers une autre machine oisive [43]. Legion [2] [19] [43] C est un système à base d objets qui permet de connecter des réseaux, stations de travail, supercalculateurs, et d autres ressources de calcul dans un système pouvant renfermer différentes architectures, systèmes d exploitation, et sites géographiques. [9] Dans Legion, toutes les composantes matérielles et logicielles sont représentées par des objets ; chaque objet est géré par sa propre classe qui peut activer ou désactiver un objet, créer de nouvelles instances et les ordonnancer pour être exécutées. Un utilisateur peut redéfinir des classes en ajoutant ou supprimant des fonctionnalités pour répondre à ses besoins. Legion définit une API pour l interaction des objets, non un langage de programmation ou un protocole de communication. Globus [2] [3] [9] [10] C est un projet de recherche fournissant les capacités et les services de bases (sécurité, allocation et gestion de ressources, réservation de ressources, 24

34 communications, etc.) requis pour la construction de grilles de calcul. Il offre une infrastructure logicielle permettant aux applications de manipuler les ressources hétérogènes et distribuées comme étant une seule machine virtuelle. Globus est un support pour de nombreux langages, modèles de programmation, outils et applications. Il offre un ensemble de services parmi lesquels on peut citer[13][47] : Grid Security Infrastructure (GSI): offre des outils pour l authentification et la sécurité des transactions dans la grille (certificat d autorité, cryptographie,...) Metacomputing Directory Service (MDS): est un annuaire de ressources qui enregistre les machines permettant la réalisation de la grille. GridFTP : version spécialisée de FTP pour les grilles. Globus Resource Allocation Manager (GRAM) [17]: permet l allocation des ressources et la gestion des processus. Global Access to Secondary Storage (GASS): permet l accès à distance aux données via des interfaces séquentielles et parallèles. Advanced Resource Reservation and Allocation (GARA): pour la reservation des resources. I.3.9. Sécurité dans les grilles de calcul Les grilles de calculs actuelles contiennent souvent des dizaines de milliers d ordinateurs de bureau interconnectés entre eux par Internet, de ce fait, la sécurité est un facteur important dans leur planification et leur maintien. Sachant également, que dans les grilles de calcul le partage des données inclut la majorité des activités, et que les ressources sont configurées pour l exécution des programmes et pas seulement pour le transfert des données. Il est par conséquent, important de définir les composants de la grille devant être sécurisés et les services de sécurité devant être employés pour faire face à n importe quel type d attaque. Nous présentons dans ce qui suit les services de sécurité standards définis par l ISO (International Organization for Standardization) [10][45]: Authentification L authentification est la propriété qui assure que seules les entités autorisées ont accès au système. Elle protége de l usurpation d identité. L authentification 25