Workflows scientifiques sur plusieurs clouds

Dimension: px
Commencer à balayer dès la page:

Download "Workflows scientifiques sur plusieurs clouds"

Transcription

1 Workflows scientifiques sur plusieurs clouds Mémoire de fin d études Stage effectué à l ENS de Lyon Laboratoire de l Informatique du Parallélisme (LIP) pour l obtention du diplôme de Master Informatique option Système et Réseaux Par DAO Van Toan Encadrants : Frédéric DESPREZ (INRIA - Avalon) Jonathan ROUZAUD-CORNABAS (CNRS - CC-IN2P3/LIP - Avalon) Lyon, Novembre 2013

2

3 Remerciements Je tiens à remercier tous ceux qui m ont aidé à la réalisation de ce travail. Mes premiers remerciements vont à mes encadrants Fédéric DESPREZ et Jonathan ROUZAUD-CORNABAS à l École Normale Supérieure de Lyon pour m avoir donné de nombreux conseils ainsi que des orientations importantes dans l approche académique et scientifique. J ai obtenu des connaissances inestimables et de très bonnes compétences dans le domaine de la recherche. De plus, j aimerais remercier Laurent LEFEVRE qui a présenté ce stage sur son site. J aimerais remercier tous les membres de l équipe AVALON du LIP, pour leur amitié et leur soutien. Je tiens à remercier ensuite tout le personnel et enseignants de l Institut de la Francophonie pour l Informatique (IFI) à Hanoi pour leur conseil et le suivi qu ils m ont accordé pendant mes études de master. Je tiens également à remercier mes camarades étudiants de l IFI avec qui j ai passé de bons moments pendant les périodes de stress et des cours. J aimerais remercier mes amis de Lyon. J adresse un merci particulier à toute ma famille qui malgré la distance n a cessé de me prêter main forte.

4 Résumé Les calculs scientifiques sont compliqués et les données manipulées sont très grandes alors ils nécessitent un grand ensemble de ressources de calcul et de stockage ainsi qu une méthode pour les utiliser efficacement. La technique dite workflow scientifique est devenue l un des principaux choix dans la communauté scientifique pour formaliser et structurer les calculs scientifiques. Le but premier du workflow scientifique est de maximiser la performance. De plus, le concept de cloud computing amène une nouvelle dimension dans la technologie de l information, grâce à ses avantages, on peut augmenter les ressources disponibles avec celles provenent de clouds privés et publiques. De plus, le cloud privé peut facilement renforcer sa performance en tirant parti des clouds publiques, hybride cloud computing. Les workflows ont tout intérêt à tirer parti des environnements multi-clouds. Dans ce rapport, nous nous intéressons aux algorithmes d ordonnancement pour les workflows scientifiques dans les environnements multi-clouds de type IaaS pour maximiser leurs performances d exécution tout en minimisant son coût et son temps d exécution. Pour cela, nous proposons notre solution qui se compose de 3 phases : découpage d un graphe en sous-graphes (cutting-graph), faire l allocation des ressources, faire l ordonnancement des tâches et des données. Après, notre proposition est validé via simulateur grâce à SimGrid Cloud Broker du projet ANR INFRA SONGS 1 qui a été construit pour simuler Amazon Web Service 2. Les résultats expérimentaux montrent une corrélation entre le temps d exécution, la distribution des tâches dans des clusters et le coût du workflow, révélant ainsi la nécessité d algorithmes qui s adaptent aux demandes de l utilisateur. Mots-clés : Le cloud computing, le modèle IaaS, l environnement multi-clouds, le workflow scientifique, l algorithme d ordonnancement, le coût et le makespan, SimGrid Cloud Broker, le simulateur Amazon Web Service. 1. http ://infra-songs.gforge.inria.fr/ 2. http ://aws.amazon.com/fr/

5 Abstract The scientific applications are complex and manipulated very large datasets. So they require a large set of computing resources and storage as well as a method to use them effectively. The scientific workflow technique has become one of the main choice in the scientific community to formalize and structure scientific computations. The main goal of scientific workflow is to maximize performance. Furthermore, the cloud computing is a new dimension in the information of technology, thank to its advantages, you can increase the available resources with those coming from private and public cloud computing. In addition, the private cloud computing can easily enhance its performance or its infrastructure through the public cloud computing, hybrid cloud computing. Scientific workflows must take adavantage of multi-clouds environment. In this report, we focus on the scheduling algorithms for the scientific workflows in the IaaS multi-clouds environments to maximize runtime performance while minimizing its costs and execution time. For this, we propose our solution consists of three phases : cutting a graph into subgraphs, resource provisioning, task allocation. Finally, our proposal is validated via the simulator with SimGrid Cloud Broker of the project ANR INFRA SONGS that was built to simulate Amazon Web Service. Experimental results show a correlation between the execution time, the distribution of the tasks in the clusters and the cost of workflow, revealing that algorithms needs to adapt to user s requirements. Key-words : The cloud computing, the model IaaS, the multi-clouds environment, the scientific workflow, the scheduling algorithm, the cost and the performance, SimGrid Cloud Broker, the simulator Amazon Web Service.

6

7 Table des matières 1 INTRODUCTION Motivations Objectifs et Domaines d application Structure du document Présentation de l environnement de travail LE CLOUD COMPUTING ET LE WORKFLOW SCIENTIFIQUE LE CLOUD COMPUTING LE WORKFLOW SCIENTIFIQUE SGCB : Simulation d environnement multi-clouds avec SimGrid DES ALGORITHMES D ORDONNANCEMENT DES TÂCHES DU WORKFLOW 16 4 SOLUTION ET RÉLIASATION PRATIQUE LA SOLUTION PROPOSÉE LE TRAVAIL PRATIQUE EXPÉRIMENTATIONS ET ANALYSES DES RÉSULTATS 31 6 CONCLUSION 39 A La taille de données dans un cluster 44 B Des autres expérimentations 46 1

8 Table des figures 2.1 La convergence des avantages du cloud computing Les types de cloud computing Des structures simples du workflow Un workflow simple par DAG Des types de découpage des tâches dans le workflow L architecture du broker de cloud SIMGRID Un exemple des workflows dans plusieurs clouds Des étapes de l algorithme de l ordonnancement dans mon étude Un processus avec des étapes de faire l ordonnancement Le workflow Montage Le workflow Epigenomics Le workflow Inspiral La distribution des tâches dans des clusters avec Inspiral La distribution des tâches dans des clusters avec Montage La distribution des tâches dans des clusters avec Epigenomics Le prix total, le temps total d exécution et ratio entre eux du Montage Le prix total, le temps total d exécution et ratio entre eux du Inspiral Le prix total, le temps total d exécution et ratio entre eux du Epigenomics A.1 La taille de données dans des clusters avec Inspiral A.2 La taille de données dans des clusters avec Montage A.3 La taille de données dans des clusters avec Epigenomics B.1 Le prix total, le temps d exécution et ratio entre eux du Montage B.2 Le prix total, le temps d exécution et ratio entre eux du Inspiral B.3 Le prix total, le temps d exécution et ratio entre eux du Epigenomics B.4 Le prix total, le temps d exécution et ratio entre eux du Montage B.5 Le prix total, le temps d exécution et ratio entre eux du Inspiral

9 B.6 Le prix total, le temps d exécution et ratio entre eux du Epigenomics B.7 Le prix total, le temps d exécution et ratio entre eux du Montage B.8 Le prix total, le temps d exécution et ratio entre eux du Inspiral B.9 Le prix total, le temps d exécution et ratio entre eux du Epigenomics

10 Liste des tableaux 2.1 Types de VMs du cloud computing Étude des algorithmes de l ordonnancement du workflow Une comparaison des algorithmes en basant sur les facteurs différents La relation entre le numéro de clusters et le temps d exécution

11 Chapitre 1 INTRODUCTION 1.1 Motivations Dans la réalité, les organismes scientifiques ont besoin d un système informatique pour exécuter leurs calculs, leurs applications scientifiques et stocker leurs données et ceci dans un grand nombre de domaine scientifique comme : l astronomie, la bioinformatique, la génétique, la physique, la physique nucléaire, etc. Ces calculs et ces applications sont très grands, s exécutent de manière concurrente et peuvent tirer parti des ressources fournies par les clouds. Pour cela, il y a plusieurs solutions pour construire un environnement multi-cloud : Construire un nouveau système ou reconstruire sur un système existant (le cloud privé a été construit localement en utilisant un logiciel ouvert comme : OpenStack, OpenNebula, Eucalyptus, StratusLab, etc.). Si l organisme scientifique a un propre cloud privé, il est alors possible de créer une liaison avec des autres organismes scientifiques, ayant également des clouds privés (federated cloud) ou une combinaison de plusieurs cloud publics (cloud hybrid). Utiliser directement plusieurs cloud publics via un logiciel ou une interface commune entre eux. Le workflow scientifique est une méthode pour formaliser et structurer les calculs scientifiques. Le but du workflow scientifique est de maximiser la performance, un budget minimale, la sécurité, etc. Pour le moment, il n est pas aisé d utiliser ces workflows dans le cadre du cloud computing, en particulierement dans l environnement multi-clouds alors qu ils ont tout intérêt à en tirer parti. 1.2 Objectifs et Domaines d application L objectif du stage est d étudier des algorithmes d ordonnancement pour les workflows scientifiques dans les environnements multi-clouds de type IaaS. Nous proposons 5

12 des algorithmes qui sont meilleurs selon différents objectifs comme maximiser la performance, minimiser le coût et minimiser le temps d exécution, etc. et ainsi que nous présentons notre solution. Les workflows scientifiques sont utilisés dans un grand nombre de projets qui travaillent sur des grands ensembles de données comme : Montage, Epigenomics, LHC Atlas, etc. Dans ce rapport, nous proposons des algorithmes d ordonnancement pour les workflows dans un environnement multi-clouds pour maximiser la performance, minimiser le coût et le temps d exécution, etc. C est-à-dire, nous présentons des solutions pour améliorer l exécution de calculs scientifiques qui nécessitent un grand emsemble avec de ressources qui proviennent d un environnement dynamique et distribué comme le cloud computing. 1.3 Structure du document Le contenu du rapport se compose de 6 chapitres : Dans le premier, nous présentons brièvement notre sujet et notre motivation. Le chapitre 2 présente un état de l art des travaux en liaison avec notre travail. Tout d abord, ce rapport revient sur les définitions du cloud computing, un cloud computing IaaS et hybride, le workflow scientifique et ses problèmes comme la structure, ses caractéristiques, le système de gestion du workflow. De plus, nous présenterons des stratégies pour découper un workflow. Enfin, nous présentons brièvement l outil de simulation, SIMGRID Cloud Broker (SGCB). Dans le chapitre 3, nous présenterons une recherche bibliographique contenant une synthèse et une analyse critique combinée des algorithmes d ordonnancement optimiser pour l utilisation des clouds par les workflows scientifiques. Ce rapport présente les algorithmes existants et leurs paramètres particuliés (répondre au problème du temps, du coût, de la performance, etc). Après, dans le chapitre 4, nous donnons un modèle des étapes de notre algorithme et une considération des stratégies et des algorithmes qui peuvent utiliser pour chacune des étapes. Ensuite, le chapitre 5, nous introduisons notre extension à SGCB pour supporter les workflows scientifiques. Puis, nous présentons l expérimentation et donnons notre analyse des résultats. Enfin dans la dernière partie du rapport, le chapitre 6, nous résumerons les points faibles et forts de notre algorithmes et concluons notre étude. 6

13 1.4 Présentation de l environnement de travail Mon stage de fin d études de Master a été effectué à l Ecole Normale Supérieure de Lyon (ENS de Lyon) sous encadrants M. Fédéric DESPREZ et M. Jonathan ROUZAUD- CORNABAS dans l équipe de recherche AVALON du laboratoire de l Informatique du Parallélisme (LIP). Le LIP est associé à l Institut National de Recherche en Informatique et en Automatique (INRIA), le Centre national de la recherche scientifique (CNRS) et l Université de Lyon 1. L équipe AVALON 1 est grande avec environ de 30 membres, est un groupe commun entre l INRIA, le CNRS, le LIP, l université Claude Bernard Lyon 1 et l université de Lyon. Les sous-projets dans l équipe contient : les algorithmes distribuées, les modèles de programmation, le déploiement de services, la composition de service et l orchestration, la gestion des donées à grande échelle, etc. Mon stage est une partie dans le sous-projet des algorithmes distribuées. Nous proposons des algorithmes d ordonnancement par les workflows scientifiques dans les clouds computing qu ils vont tester par simulation via le projet ANR INFRA SONGS. 1. http ://avalon.ens-lyon.fr/ 7

14 Chapitre 2 LE CLOUD COMPUTING ET LE WORKFLOW SCIENTIFIQUE 2.1 LE CLOUD COMPUTING L idée d Utility computing dont est fortement inspiré le concept de Cloud computing a été présentée par M. John McCarthy en 1961 dans sa thèse. De plus, l architecture du cloud computing est issue de la recherche sur la grille de calcul, le calcul distribué, la virtualisation, l utility computing, etc. Grâce à ces avantages, le cloud computing est un nouveau modèle de calcul pour les applications scientifiques, l entreprise et l utilisateur lambda. Le cloud computing 1 est un concept qui consiste à déporter sur des serveurs distants le stockage et les traitements informatiques traditionnellement localisés sur des serveurs locaux ou sur le poste de l utilisateur. D après la définition de l Institut des sciences et techniques de l ingénieur de Lyon, le cloud computing : "C est un concept qui fait référence à l utilisation d un "cloud" de serveurs et d ordinateurs répartis dans le monde entier et liés par un réseau, tel Internet. Le concept du Cloud Computing est comparable à celui de la distribution de l énergie électrique. L hébergeur fournit une plateforme technique capable d accueillir à peu près tout type d application et facture son service en fonction de la consommation des ressources", [11]. Différentes définitions ont été présentées mais elles ne sont pas des définitions standards et officielles. L Institut National des Normes et de la Technologie des États-Unis (NIST) a donné une définition officielle : "Le cloud computing est un modèle qui apparaît partout et permet d accèder facilement via Internet aux services qui permettent de partager des ressources informatiques (par exemple : des ressources de calcul, réseaux, serveurs, stockages, applications et services)". De plus, "Une infrastructure du 1. http ://fr.wikipedia.org/wiki/cloud_computing 8

15 cloud est la collection du logiciel et du matériel qui respectent 5 caractères essentiels du cloud computing (on-demand self service, broad network access, resource pooling, rapid elasticity, measured service). Il peut être considéré comme un système qui contient deux couches : la physique et l abstraction. La couche physique contient des ressources matériels (serveurs, stockages, composants de réseau) et autres services du cloud. La couche abstraite qui se trouve au-dessus la couche physique, contient des logiciels qui s exécutent sur le cloud et manifestent des caractères essentielles du cloud", [37]. D après ces définitions, on voit que le cloud computing est un modèle de services et n est pas une technologie. C est une combinaison complexe de matériels et logiciels mais aussi de techniques d ingénieurie. On peut décrire les spécificités du cloud computing par un modèle visuel présenté dans la Figure 2.1. Selon [38], le cloud computing est une convergence des points forts des systèmes, des méthodes scientifiques, des technologies modernes et des nouvelles techniques. En pratique, il devient une nouvelle dimension de la technologie. Le cloud computing permet d augmenter les profits et la rentabilité des consommateurs et des fournisseurs du service d informatique. Toutes les ressources du cloud computing sont fournies comme des services (as a service) à l utilisateur comme : les ressources de calcul, les ressources réseau, les ressources virtuelles, les ressources logiciel, les nouvelles technologies, etc. Le cloud computing se présente comme un modèle de service allant de l infrastructure à la plate-forme et au logiciel comme une machine universelle. Un client lambda peut facilement l utiliser ou l exploiter. Il garantit la qualité de service (QoS), la sécurité, etc. Figure 2.1 La convergence des avantages du cloud computing. 9

16 En pratique, il n est pas seulement un nouveau système générique pour une organisation quelconque (l entreprise, l institut de la recherche, l université, etc.) comme les systèmes précédents mais encore il est un produit des services qui permet de tirer un bénéfice. LE CLOUD COMPUTING IAAS ET HYBRIDE Le IaaS signifie Infrastructure as a Service, est un cloud de service d infrastructure, la plus basse des 3 couches du cloud computing. Pour le modèle IaaS, NIST a donné la définition suivante : "Le IaaS fournit du calcul, stockage, réseau au consommateur pour qu il puisse déployer des logiciels, faire fonctionner des applications (incluant le système d exploitation). Le consommateur ne peut pas gérer ou contrôler l infrastructure du cloud computing mais il peut contrôler le système d exploitation et ses applications", [37]. L Institut des sciences et techniques de l ingenieur de Lyon a donné sa définition suivante : "L Infrastructure-as-a-Service (IaaS) apporte la possibilité pour l utilisateur de bénéficier, à la demande, d une infrastructure matérielle lui fournissant une capacité de traitement, sans avoir à gérer le réseau en tant que tel", [11]. Nous présentons brièvement un tableau des types de VMs dans des clusters. Dans notre travail, nous utilisons les types de Amazon 1. Type ArchitectureVCPUsMémoire Stockage Prix Linux Windows Amazon EC2 t1. micro 32/64 bits Go 0 Go $0.02/h $0.02/h m1.small 32/64 bits Go 1 x 160 Go$0.06/h $0.09/h m1.xlarge 64 bits 4 15 Go 4 x 420 Go$0.48/h $0.73/h OpenStack m1.tiny N/A Mo 0 Go N/A N/A m1.small N/A 1 2 Go 10 Go N/A N/A m1.xlarge N/A 8 16 Go 10 Go N/A N/A StratusLab t1.micro N/A Mo 0 Go N/A N/A m1.small N/A Mo N/A N/A N/A m1.xlarge N/A 2 1 Go N/A N/A N/A Table 2.1 Types de VMs du cloud computing Selon moi, le IaaS est un modèle de service du cloud qui fournit une infrastructure d informatique comme un service en permettant de créer ou installer, intégrer, gérer et superviser des services et de construire un système virtuel complet sur un système 1. http ://aws.amazon.com/fr/ec2/pricing/ 10

17 réel aussi que l administrer, etc. Différentes techniques de virtualisation peuvent être utilisées : KVM, VirtualBox, Xen, OpenVZ, VMWare, HyperV, etc. Maintenant, il existe beaucoup d IaaSs différents en incluant les publics et les privés. Les offres de cloud publique, les plus connues sont Amazon EC2 1, VMware vcloud Suite 2, GoGrid 3, Microsoft Azure 4, etc. De plus, des logiciels qui permettent de construire un cloud sur ses propres ressources ont été proposés : Openstack 5, OpenNebula 6, StratusLab 7, etc. Dans la Table 2.1, nous présentons brièvement des types différents de VMs disponibles dans plusieurs clouds : Amazon EC2, OpenStack, StratusLab. Figure 2.2 Les types de cloud computing. La combinaison entre deux ou plus types différents de cloud (privé, communautaine ou public) s appelle hybride, [37]. La Figure 2.2 donne une explication synthétique, des différents types de cloud, [33]. Un cloud hybride n est qu un ensemble de clouds séparés par contre il garantit l unité étroite, le standard commun, la correspondance de la technologie, la flexibilité d applications entre le cloud privé et le cloud public. De plus, il limite les inconvénients du cloud privé et public en tirant parti des points forts du cloud privé et public en concernant : la sécurité, le stockage de données, le coût, la QoS, etc. En d autres mots, le cloud privé peut facilement renforcer sa performance grâce au cloud public quand il en a besoin en prenant en compte le coût des ressources provenant d un ou plusieurs clouds public. Grâce à cela, le cloud privé économise le coût d acheter du matériel, le temps pour étendre le système, etc. Aujourd hui, il existe beaucoup des logiciels facilitant cette hybridation : VMware vcloud Hybrid, etc. 1. http ://aws.amazon.com/fr/ec2/ 2. http ://www.vmware.com/products/datacenter-virtualization/vcloud-suite/overview.html 3. http ://www.gogrid.com 4. http ://www.windowsazure.com 5. http ://www.openstack.org/ 6. http ://opennebula.org/start 7. http ://stratuslab.eu/ 11

18 2.2 LE WORKFLOW SCIENTIFIQUE Le concept du workflow est originaire du commerce pour faire l organisation et la gestion commerciale, selon le WFMC (est signe de "workflow management coalition") a défini un workflow comme : "l automatisation d un processus, en totalité ou en partie, au cours laquelle des documents, des informations ou des tâches sont transmises d un participant à l autre pour l action, selon un ensemble de règles de procédure", [30][33][42]. Maintenant, on l utilise dans le domain scientifique. Il existe beaucoup d applications scientifiques qui utilisent le workflow : Montage, Ligo [13][31][39]. Le workflow (flux de travail en français) est une façon de réorganiser, de gérer et d exécuter automatiquement des tâches compliquées ou des grands calculs dans un système comme le cloud computing par un ensemble d étapes. La notation workflow scientifique dans mon étude parle de l utilisation d un workflow pour l application ou le calcul scientifique. Un workflow scientifique est un modèle qui contient des tâches, des éléments de données, des contraints entre des tâches, des séquences de contrôle. On utilise un graphe orienté acyclique (directed acyclic graph - DAG) pour représenter un workflow scientifique, qui est composé d un ensemble de sommets V et d un ensemble d arcs E avec E VxV alors on a G = (V, E). Les sommets représentent les tâches calculs et les arcs représentent des dépendances de données et des contrôles entre les sommets correspondants comme : le poids d arc, la dépendance hiérarchique parentenfant ou la flèche ou l ordre d exécution, [13][39]. Le coût de communication entre deux noeuds est déterminé par le poids (une valeur ou un ensemble de valeurs différentes) de l arc. Le coût de calcul de la tâche est déterminé par le poids du sommet. Chaque DAG a seulement un sommet entré et un sommet sorti. D après [20], on a une classification du workflow selon son architecture comme : séquentiel, paralléle ou conditionnel. Selon [39], il y a 5 structures simples du workflow, il contient : le processus, le pipeline, la distribution de données, l agrégation de données, la redistribution de données dans la Figure 2.3. Grâce à ces structures, on facilite de construire un grand workflow compliqué. Figure 2.3 Des structures simples du workflow. 12

19 Dans le workflow, le type de communication entre des tâches le plus utilisé se fait via des fichiers. Le fichier sorti de la tâche précédente est le fichier entré de la tâche suivante. Les fichiers sont stockés dans un système de fichiers partagés (NFS, GlusterFS, cluster storage, pvfs, etc) ou transférer d un noeud à une autre, [14]. En effet, on a un seul fichier entré, un seul fichier sorti et beaucoup de fichiers intermédiaires qui sont créés par les noeuds intermédiaires du workflow. On a une illustration d un workflow simple dans la Figure 2.4 avec deux fichiers entré et sorti : f1in, f7out et des fichiers intermédiaires : f1out, f2out, f3out, f4out, f5out, f6out. Chaque sommet a une valeur wi avec i=1, 7 qui représente son coût en MIPs 1, chaque arc représente une relation entre deux sommets ainsi que les données à transférer de l un vers l autre. Par l utilisation du DAG, quand une tâche finit son travail alors il envoie sa sortie à son enfant, dans ce moment-là, son enfant peut commencer son travail avec la donnée sortie comme une entrée. Si un noeud parent n a pas encore fini son travail alors un noeud enfant ne peut pas commencer jusqu à ce qu il reçoive les données d entrée. Dans le cloud computing, un DAG correspond à un ensemble de machines virtuels et leurs liaisions qui sont des tâches d un job entrée et transmettent des données correspondants entre eux. Figure 2.4 Un workflow simple par DAG. Le cloud computing peut exécuter plusieurs DAGs différents en paralléle, on appelle cela multi-dags, [19][38]. [17] présente des stratégies pour changer un multi-dags en un DAG. Le problème d ordonnancement est une partie ou une module du Workflow Engine(s), [36][42] qui permet l exécuter de workflows sur une plate-forme. 1. http ://en.wikipedia.org/wiki/instructions_per_second 13

20 LE DÉCOUPAGE DES TÂCHES DANS LE WORKFLOW Comme dit précédemment les tâches d un workflow sont interdépendantes concernant les données, l ordre d exécution, les contraintes. Afin de faciliter son ordonnancement la première étape consiste à découper les tâches (le découpage permet de minimiser le déplacement des données entre des tâches). Le but est de minimiser l utilisation des ressources et le budget alloué des ressources, par exemple : un workflow a 400 Go de données alors on choisit 3 x m1.small plutôt que 1 x m1.xlarge parce qu on considère le budget alloué et l utilisation des ressources dans l environnement présenté dans la Table 2.1. Comme plusieurs tâches et/ou workflows demandent des ressources, il n est pas optimal de réserver toutes les ressources pour exécuter toutes les tâches en même temps car ce problème va entraîner du gaspillage de temps, d argent, etc. Le découpage va permettre de créer des sous-graphes ou sous-workflows qui correspondent aux ressources d exécution, s appelle un groupe ou un cluster. Figure 2.5 Des types de découpage des tâches dans le workflow. Plusieurs méthodes existent pour découper un workflow en sous-workflows. La Figure 2.4 montre 3 approches : level-based/cut-horizon [10], label-based [10], triplet [6] ; "minimum k-way cut" [25], décomposition en composantes fortement connexes ; le hasard, etc. 14

21 2.3 SGCB : Simulation d environnement multi-clouds avec SimGrid SGCB (SimGrid Cloud Broker) est un simulateur et un logiciel ouvert qui fournit un cadre de simulation pour les systèmes distribués. De plus, il a été construit pour simuler AWS. En d autres mots, il est une implémentation complète de AWS (il contient 3 services : AC2, S3, EBS). Alors, on l utilise pour simuler des algorithmes d ordonnancement des tâches du workflow. Il a été développé par Fédéric DESPREZ et Jonathan ROUZAUD-CORNABAS, [12]. Figure 2.6 L architecture du broker de cloud SIMGRID. L approche de développement du module est une seule interface interactive entre le cloud computing et l utilisateur, c est comme un API. De plus, il supporte le multi-clouds et le multi-régions. On a un modèle visuel comme Figure 2.5 pour présenter l architecture du SGCB. L architecture se compose de 3 couches : multi-clouds infrastructure, la couche middleware et la couche interface (API). 15

22 Chapitre 3 DES ALGORITHMES D ORDONNANCEMENT DES TÂCHES DU WORKFLOW Le but de l ordonnancement des tâches est de trouver un plan d exécution optimal des tâches qui prend en considération leurs contraintes : les ressources, le budget, la date de fin, la performance, etc. En général, un problème contraint se compose de : tâches, ressources, conditions contraintes et une ou plusieurs fonctions objectifs. Il existe beaucoup d algorithmes d ordonnancement des tâches de workflow dans le cloud computing. Ce rapport s intéresse au problème de l ordonnancement d un ensemble de tâches à un ensemble des processeurs ou machines virtuelles. Le processus d ordonnancement se composent de tout ou partie des étapes suivantes : task prioritizing, resource provisioning/allocation et scheduling/mapping. La phase task prioritizing, établit l ordre des tâches de départ leurs propriétés et leurs contraintes. Après cette phase, on a une liste ordonnée. La phase resource provisioning/allocation réserve/alloue un ensemble de ressources c est-à-dire qu elle calcule le nombre de VMs pour chaque type. On voit des types de VMs dans le Table 2.1. La phase scheduling/mapping sélectionne les ressources parmi celles précédemment allouer qui permettent d exécuter les tâches selon l ordre prédéfini. Ou elle fait l ordonnancement de chaque tâche à des ressources qui lui sont optimals. 16

23 Figure 3.1 Un exemple des workflows dans plusieurs clouds. La Figure 3.1 décrit l exécution de plusieurs workflows sur plusieurs clouds. Tout d abord, le client envoie son job à la couche Broker [16] où l algorithme d ordonnancement est installé. On suppose que tous les jobs sont formés par des DAGs, chaque tâche est représentée par un cercle. Après, l algorithme prioritise les tâches et réserve des ressources dans le cloud privé et public. Ensuite, il choisit pour chaque tâche la ressource correspondant la mieux pour l exécuter. Enfin, le résultat de calcul du job est renvoyé à l utilisateur. La résolution de l ordonnancement des tâches, spécialement dans un système distribué et hétérogène, est de complexité NP-hard 1. En général, des algorithmes courants utilisent des heuristiques pour trouver une solution qui est quasi-optimal, [16]. Le Table 3.1 présente les algorithmes d ordonnancement de workflows pour les environnements multi-clouds pour optimiser l utilisation coût et performance. 1. http ://en.wikipedia.org/wiki/np-hard 17

24 AlgorithmeIntroduction brève Méthode ParamètresFacteur Stratégie Outil Avantages Inconvénients ACO [18] L utilisation de l algorithme deqos mode/ Fiabilité, Une listemodèle du ser-java Il permet de garantiril fait une sélection colonies de fourmis (ACO) estmarked- temps dedes work-vice avec un une qualité de servicealéatoire un service basé sur des exigences diversesbased réponse, flows pré-sla aussi bien pour l utili-candidat du cloud de la qualité de services pour coût, cisés avec ser que le fournisseur. pour each fourmi et optimiser l ordonnancement des sécurité leurs propriétés le repeate alors le flux de services dans le cloud et temps d exécution computing. L idée du ACO est leurs exigences soit en haut. De plus, d utiliser de la recherche aléatoire des la quantité de calcul dans le problème TSP. services de chaque fourmi augmente lorsque le nombre de services de cloud candidats augmente. Bi-criteira L article présente trois ap-contraintproches Makespan, Le DAG Pareto (non-simulationl ordonnancement etla complexité est [24] pour l ordonnancementde Dead-coût moné-dedominated) l allocation sont baséshaute par l approche et l allocation des tâches pourline ettaire tâches, leselection phase sur multiple objetspareto qui présente un le workflows avec deux critères : Budget graph des optimals : cost et ma-ensemblkespan. de solutions côut monétaire et temps. ressources Les aprochespour choisir. et les valeurs d attribut concernés Les auteurs ont construit à unimmediate Makespan, Un DAG, Reverse modèle d ordonnancement dy-modenamique coût moné-un mo-auction-based des flux de travauxmarked- taire dèle de scientifiques par une extensionbased prix, un du mécanisme BOSS. L algorithme mécanancement proposé est un ordonnisme heuristique de liste. vérité ont un bon résultat dans le cas "lower bounds" des critères. BOSSextensiomations WIEN2k Il remplace les infor-il ne fait pas un réor- non-exactesdonnancement quand [16] de ressource des four-unnisseurs tâche n est pas par un modèleterminée. De plus, il de prix qui est définisuppose que chaque par l auteur. fournisseur ait un seul ressource. CTC [26] Un algorithme d ordonnance-qoment Makespan, Un ta-stream-pipe SwinDeW-L algorithme a uneil ne considère pas si- CTC pour l éxecution de coût moné-bleau destechnique C pré-étape pour dé-multanément les deux workflow dans le cloud computing. taire workflows couvrir et réordonnercontraintes dans le Il est centré sur des des tâches échouées. workflow pour miniser contraintes d une relation interactive Il exploite l effet in-la performance totale. entre le temps et le cost teractif entre le côut comme un compromis qui est et le deadline qui agit basé sur des caractéristiques du sur la performance cloud. du workflow. De plus, il permet à l utilisateur de redéfinir leurs deadline et coût dans chaque cycle de l ordonnancement. DBD-CTO Cet algorithme minimise le costbatch Makespan, Une listegrouper desjava Il garantit toute lesil ne fait pas avec [4] d exécution tout en répondantmode coût moné-detairviceflow ser-tâches du work- tâches sont fait parun réordonnancement au timeframe pour l obtention dans des leurs contraintes cor-quand une tâche n est des résultats et analyse le comportement possibles partitions avec respondantes pas terminée. De plus, de l algorithme. et des pa-le deadline et le il est statique. ramètres budget corressvice du ser-pondentes. pour toute les tâches HSGA [5] C est une méthode heurisitiquealgorithmemakespan, Un en-lsemble fusion entresimulationil considère les in-les critères d arrêt hybride pour trouver un ordon-génétiqunancement speedup debest-fit et formations statiquene sont pas clairs. De approprié pour le ratio, ressourcesround Robin et dynamqiue de laplus, il ne considère workflow dans le cloud computing l équili- dispo- ressource et la tâche. pas la change du qui est basé sur l algobrage denibles et De plus, il réduit lenombre de ressource. rithme génétique en ordre. charge les tâches nombre d opération sur lanon- itérative GA au départ mappée. ressource. de l algorithme par une population initiale optimisée. LA [9] L article propose une nouvellealgorithmemakespan, Un work-l utilisation descloudsim Il s adapte automati-l espace d état pour approche de l ordonnancementgénétique coût moné-flotaire. Solver Agents, quement au change-faire des tâches du workflow dans le cloud l ordonnancement d environnementest grande en in- computing, c est l architecture ment évoulé des ressources parcluant l utilisation ou d apprentisage qui utilise un par l utilisation l apprentissage. Denon-utilisation des Markov Decision Process pour du Markov plus, il garantit l exé-ressourcecution selon le diriger optimisement le processus Decision Prolon réussie dutemps au contraire d exécution du workflow secess avec la workflow par le MDP. il ne considère pas l état d environnement. conjonction de les types de VMs. Il l algorithme répète l évaluation de Bayesian Model la fonction fitness. Learning. 18

25 MQMW [35] La stratégie peut faire l ordon-multiplnancement pour multiple work-qos mode Taux flows qui sont démarrés tous en même temps et les exigences de QoS sont prises en compte. Il a considéré 4 facteurs qui affectent grandement le makespan, le coût et le taux de réussite du workflow. réussite, coût, temps, makespan deun en-définisemble l utilisateur multiples workflows etun réordonnancement parcloudsim Il s accorde avec lesil ne fait pas avec des avec un modèle le multiple-objectif op-quantimal en même-temps. pas terminée. une tâche n est tâches, unde 4 étapes. ensemble Il seléctionne De plus, il considère des ser-devices ont le surplus par 3 contraintes. Un tâches qui la performance totale disponibles decoût minimal minée. de temps et tâche est toujours ter- pour faire l ordonnancement avant. QWS [20] QWS est l ordonnancement dumultiple Coût, ma-ukespan, en-négocier la QoSVMware Il s accorde avec lesil ne garantit pas l uti- fia-semble workflow basé sur la QoS. Il cal-qocule mode entre l utili-virtual multiples workflows etlisation meilleure des les surplus d information bilité des sateur et lemachines le multiple-objectif op-ressources. De plus, il d obtenir une négociation QoS tâches, unfournisseur par timal en même-temps. ne considère pas les ca- pour un workflow par l utilisation ensemble le calcul des de VMs. De plus, il va fait avecractéristiques des paramètres entre des des ser-surplus infor- un réordonnancement tâches. vices mations des quand une tâche n est disponiblefilling). tâches. pas terminée (back- S-CLPSO S-CLPSO est une extensionalgorithmecoût, ma-ukespan, en-la sélection10 appli-il va trouver untout d abord, il [42] de l algorithme PSO (particlegénétique fia-semble d un ensemblecations demeilleur ensembledonne des ressources swarm optimization) dans bilité. des tâchesoccasionnel workflow des ressources pourfaisables au hasard l espace discrète pour améliorer et undes ressources exécuter des tâchespour sélectionner par l effet de l ordonnancement ensemble enregistrées par qui sont définis parl élimination. dans le cloud computing avec occasionnel la mise à jour l utilisateur. multi-qos. des des valeurs qui ressourcessont satisfaits. SHEFT [7] SHEFT fait l ordonnancementdependencyle tempsun en-isemble est basé sur lecloudsim Il considère les chan-il groupe des res- un workflow élastique sur lemode d exécution, temps de début gements élastiques dusources qui sont même cloud computing pour optimiser des tâchesau plus tôt et le ressources quand lecapacité de calcul dans le temps d exécution du workflow capacité temps de fin au workflow marche. Deun cluster au contraire et mettre à échelle élas- plus tôt. plus, les ressourcesil ne considère pas des tique des ressource lors de l exécution peuvent être assignésautres caratéristiques seulement quand ellesde VMs comme : le sont nécessaires. prix, le stockage, la bande passante, etc. Table 3.1 Étude des algorithmes de l ordonnancement du workflow Le tableau 3.1 se compose de 9 colonnes où chaque ligne présente un algorithme avec son nom, une description, sa stratégie, ses caractéristiques, ses avantages et inconvénients, etc. Pour la deuxième colonne, nous présentons brièvement l algorithme et son idée. La troisième colonne, nous indiquons la méthode formelle utilisée par l algorithme. Après, nous présentons les paramètres qu elle optimise. La première, c est makespan, il présente le temps complet d exécution du workflow de la première tâche à la dernière tâche. L algorithme doit trouver la valeur minimale. Ensuite, c est le coût comme un frais minimal doit payer quand on utilise les services. Les autres sont : la fidélité, la sécurité, le taux de réussite, le taux de vitesse, etc. La colonne facteur représente les paramètres d entrée de l algorithme. La colonne stratégie présente la méthode ou la façon dont il l utilise dans l ordonnancement pour avoir le meilleur résultat. La colonne outil présente la simulation de l algorithme ou l environement de déploiement de l algorithme. Enfin, les 2 dernières colonnes présentent les avantages et les inconvénients. Un résumé complet des algorithmes est disponible dans le Table 3.2. Dans cette table, la colonne type et mode sont construites selon la taxonomie présentée dans [22]. La colonne autres de la partie Contraintes présente les contraintes comme : la sécurité, la fiabilité, le taux de vitesse, etc. De plus, la colonne "D-B" est signe de considérer simultanément le deadline et le budget. 19

26 Algorithme Contraintes Objets Plan Nom Type Mode DeadlineBudgetD-BAutresMakespanCoûtCapacitéFiabilitéTDR*SécuritéAutresDynamiqueStatique ACO [18] QoS Heuristique x x x x x x Bi-criteira QoS Heuristique x x x x x x x [24] BOSS-extens Best-effortHeuristique x x x x x x x x x [16] CTC [26] QoS Heuristique x x x x x x x x DBD-CTO Best-effortHeuristique x x x x x x x x x [4] HSGA [5] Best-effortMétaheuristique x x x x x x x x x LA [9] QoS Métaheuristique x x x x x x x x x MQMW [35] QoS Heuristique x x x x x x QWS [20] QoS Heuristique x x x x x x S-CLPSO[42] QoS Métaheuristique x x x x x x x SHEFT [7] Best-effortGlouton x x x x x x x x x x TDR* = Taux de réussites Table 3.2 Une comparaison des algorithmes en basant sur les facteurs différents Dans la partie Objets, nous présentons les objectifs que l algorithme veut optimiser. Pour le plan de l ordonnancement, il y a deux types d algorithmes : dynamique et statique. Pour le statique, l algorithme ne considère pas la charge dynamique des ressources. Les tableaux présentent les algorithmes sur le problème de l ordonnancement de workflows dans le cloud computing. En général, les algorithmes incluent deux étapes : la première l ordre des tâches et la sélection des services du cloud, ensuite, la deuxième le meilleur choix entre les deux ensembles. Cette sélection dépend des différentes contraintes ou leurs stratégies, comme : MQMW, QWS, etc. L algorithme S-CLPSO, fait l ordonnancement avec deux phases : l allocation de ressources et la sélection. Des algorithmes ajoutent une phase, comme Bi-criteria et BOSS-extension, il y a trois phases : l ordre des tâches, l allocation des ressources, la sélection. L algorithme SHEFT utilise deux phases : task priority, resource allocation. DBD-CTO fait de la découverte de services, ensuite groupe un workflow dans des partitions de tâche et distribue un budget et une deadline aux partitions, et fait la meilleure sélection. ACO utilise un modèle SLA. La garantie d exécution de la tâche comme : CTC, QWS. L algorithme intelligent est comme : LA, etc. On a des algorithmes heuristique comme : ACO, Bi-criteria, BOSS-extension, CTC, DBD-CTO, MQMW, QWS, un glouton comme SHEFT, des autres sont méta-heuristique. Des algorithmes sont statiques comme : DBD-CTO ou HSGA et d autres dynamiques comme : ACO, Bi-criteira, BOSS-extens, etc. Ensuite, des autres s intéressent aux workflows multiples et multiple-objectifs optimal : ACO, MQMW, QWS, etc. 20

27 Chapitre 4 SOLUTION ET RÉLIASATION PRATIQUE 4.1 LA SOLUTION PROPOSÉE D après des stratégies de découpage et des algorithmes de l ordonnancement des tâches du workflow, nous présentons notre approche qui construit un plan d exécution avec des objectif de QoS comme : le temps d exécution, le coût et le ratio entre eux. Selon la Table 3.1 et 3.2, notre approche est dynamique, son facteur est un ensemble des tâches et la contrainte est la taille de stockage des tâches du cluster. Enfin, elle optimise l utilisation dans un environnement multi-clouds. Notre approche se compose de 3 phases : graph-cut, resource provisioning et task allocation. La Figure 4.1 présente notre solution pour faire l ordonnancement des tâches du workflow. Pour la phase graph-cut, nous utilisons des stratégies que ce rapport a présenté dans la partie 2.2 comme : label-based, Triplet, DCC-based, BCC-based. Ensuite, la deuxième phase, nous présentons des stratégies pour faire la réservation des ressources comme : Cheapest, One cluster per VM. Ces approches sont originales même si fondamentales est proche d autres. Enfin, il faut faire un ordonnancement des tâches aux ressources allouées en prenant en compte les contraintes pour maximiser la performance et minimiser le côut. Ici nous proposons une version modifiée de l algorithme First-Fit. Nous utilisons la phase graph-cut dans notre solution car les raisons que nous avons présenté avant (des stratégies de découpage et des algorithmes existantes). De plus, nous avons une autre raison : on ne peux pas considérer qu une tâche correspond à une VM car il gaspille de l argent et il est compliqué de faire la réservation des ressources quand le nombre de tâches est plus grand. 21

28 Figure 4.1 Des étapes de l algorithme de l ordonnancement dans mon étude. Pour la première phase, nous présentons brièvement leurs idées et leurs pseudocodes. Tout d abord, pour l algorithme Label-based, l idée principale est de faire un cluster des tâches dans le workflow qui contient des tâches qui ont la même étiquette i.e. label. L algorithm 1 présente cette idée sous une pseudocode. Algorithm 1 Algorithme de coupage des tâches dans un graphe par l utilisation Labelbased Require: Un graphe des tâches. Ensure: Ensemble des clusters des tâches. Créer une liste du nom des tâches. Mettre chaque élément de cette liste dans un cluster avec sa marque et la valeur correspondant. for chaque cluster do for chaque tâche do if end if end for end for (Une tâche a le même nom avec que le cluster) then Ajouter cette tâche au cluster. Ensuite, nous présentons deux algorithmes de parcours en largeur d abord (BFS) et en profondeur d abord (DFS) qui ont été modifiés par l ajout des contraintes afin de 22

29 trouver des composantes connexes qui satisfaient notre demande, ils s appellent DCCbased et BCC-based. Nous définissons dans l algorithme 2 la fonction de calcul du total prédit totalpredit(c,k), c est le total des valeurs du cluster C et k (si on ajoute k dans le cluster C). La base de l algorithme, est en largeur d abord mais nous avons ajouté une contrainte que nous utilisons dans la deuxième phase de la solution. Cette contrainte peut-être la performance de la machine virtuelle, la taille de stockage de la machine virtuelle, le ratio de données transférées entre des clusters, le budget, le makespan, etc. Dans notre cas, nous choisissons la taille de stockage de la machine virtuelle. Cette valeur est dynamique car elle dépend la deuxième phase i.e. resources provioning. Algorithm 2 Algorithme de coupage des tâches dans un graphe par l utilisation BCCbased Require: Un graphe des tâches G. Ensure: Ensemble des clusters et des leurs tâches. for chaque tâche do if (une tâche n est pas marquée) then Créer une queue de cette tâche Q. Créer une liste adjacente L. Mettre cette tâche à Q. Marquer cette tâche. if (L ne contient pas cette tâche) then Ajouter cette tâche à L. end if while Q n est pas vide do Une tâche t Q.dequeue() for tout les arcs e dans G.adjacentEdges(t) do Une tâche k G.adjacentEdges(t, e)) if (k n est pas marquée AND totalp redit(c, k) seuil) then Mettre k à Q. Marquer k. if end if end if end for end while if end if end if end for (L ne contient pas k) then Ajouter k à L. (Cluster C ne contient pas L) then Mettre L à C. 23

30 L algorithm 3 se nomme DCC-based et applique la recherche en profondeur (DFS) ainsi que en utilisant la fonction totalpredit(c,k) tout comme BCC-based. Algorithm 3 Algorithme de coupage des tâches dans un graphe par l utilisation DCCbased Require: Un graphe des tâches. Ensure: Ensemble des clusters et leurs tâches. for chaque tâche do if (une tâche n est pas marquée) then Créer une stack de cette tâche S. S.push(cette tâche). Marquer cette tâche. Créer une liste adjacente L. if (L ne contient pas cette tâche) then Ajouter cette tâche à L. end if while S n est pas vide do Une tâche t S.pop() for tout les arcs e dans G.adjacentEdges(t) do Une tâche k G.adjacentEdges(t, e)) if (k n est pas marquée AND totalp redit(l, k) seuil) then S.push(k). Marquer k. if end if end if end for end while if end if end if end for (L ne contient pas k) then Ajouter k à L. (Cluster C ne contient pas L) then Mettre L à C. Notre troisième algorithme de découpage de graphe est nommé Triplet et que nous avons présenté par l avant dans la partie 2.2. Nous présentons deux variantes : TripletVersion1- based (Algorithm 4) et TripletVersion2-based (Algorithm 5). Les différences principales entre TripletVersion1 et TripletVersion2 sont la manière dont est générée la liste de triplets et la façon de traiter la fusion des triplets qui satisfait notre condition. 24

31 Algorithm 4 Algorithme de coupage des tâches dans un graphe par l utilisation TripletVersion1-based Require: Un graphe des tâches. Ensure: Ensemble des clusters et de leurs tâches. Créer une liste des tâches adjacents à chaque tâche. Créer une liste des triplets T avec son concept : i j et j k OR i j et i k. for chaque triplet do for chaque triplet do if (Deux triplets ont un ou deux tâche(s) commun(s) AND totalp redit(c, tachesdut riplet) seuil) then Fusionner deux triplets sans duplications, après les mettre dans un cluster C. end if end for end for for chaque cluster do if (Deux clusters ont un ou des tâche(s) commun(s)) then Supprimer des tâches communs dans un cluster. end if end for for chaque cluster do if end if end for (Un cluster est vide) then Supprimer ce cluster. Pour TripletVersion1, nous fusionnons tous les triplets qui satisfont nos contraintes. Après ça, si il existe des tâches se trouvent dans 2 clusters différents, nous supprimons les redondances. Après cela, s il existe des clusters qui sont vides, nous les supprimons. Par contre, pour TripletVersion2, nous construisons des clusters sans duplication grâce à l utilisation de marque, c est-à-dire, après avoir ajouter une tâche dans un cluster, nous marquons cette tâche comme traité. La fonction totalpredit(c,tâche) dans deux versions du triplet est la même que celle des algorithmes précédants. Le but de la fonction est de calculer le changement de la valeur d un cluster si on met une tâche dans ce cluster. Cette fonction est notre contrainte et sert de solution d arrêt. 25

32 Algorithm 5 Algorithme de coupage des tâches dans un graphe par l utilisation TripletVersion2-based Require: Un graphe des tâches. Ensure: Ensemble des clusters et leurs tâches. Créer une liste des triplets T avec son concept : i j et j k OR i j et i k. avec la condition : si un arc contient la première tâche d autres arcs. for chaque triplet do Créer une liste Tmp. for chaque triplet do if (Deux triplets ont un ou deux tâche(s) commun(s)) then for chaque tâche dans un triplet do if (une tâche n est pas marqué AND totalp redit(t mp, cettet ache) seuil) then Mettre cette tâche dans Tmp. Marque cette tâche. end if end for end if end for if end if end for (Cluster C ne contient pas Tmp) then Mettre Tmp à C. Notre dernier algorithme NoGraphCut sert uniquement à comparer nos algorithmes de graph-cut contre un cas où il n y avait pas cette étape. Dans ce cas, on peut voir chaque tâche comme un cluster. 26

33 Algorithm 6 Algorithme de la provision par l utilisation OneClusterPerVM Require: Des clusters et une liste des modèles de la ressource : les VMs et ses prix. Ensure: Une liste des modèles qui satisfaient des contraintes. Calculer la taille de chaque cluster. Créer une liste des modèles qui satisfait la taille de stockage demande. for chaque cluster do for chaque région des ressources do for chaque ressource do if (Cette ressource est satisfaite) then Ajouter cette ressource à la liste. end if end for end for Choisir une valeur dans cette liste qui est moins cher pour ce cluster. end for Pour la deuxième phase Resources provisioning, nous présentons deux algorithmes : Cheapest et OneClusterPerVM présentés dans l algorithme 6 et 7. Algorithm 7 Algorithme de la provision par l utilisation Cheapest Require: Des clusters et une liste des modèles de la ressource : les VMs et ses prix. Ensure: Une liste des modèles qui satisfaient des contraintes. Calculer la taille de chaque cluster. Créer une liste des modèles qui satisfait la taille de stockage demande. for chaque cluster do for chaque région des ressources do for chaque ressource do if (Cette ressource est satisfaite) then Ajouter cette ressource à la liste. end if end for end for end for Recalculer selon la corrélation entre la taille du cluster et le budget du cluster pour choisir une meilleure valeur dans cette liste avec la critère : l espace du stockage libre restant. L idée principale de l algorithme 6 est d allouer chaque cluster dans une VM, en d autres termes, le nombre de machines virtuelles correspond au nombre de clusters. Pendant ce temps, l algorithme 7 recalcule à utiliser le prix qui est le moins cher et garantir à satisfaire le nombre de clusters. Enfin, nous utilisons l algorithme First-Fit pour faire la dernière phase (task allocation). 27

34 Algorithm 8 Algorithme de l ordonnancement par l utilisation First-Fit Require: Des clusters et une liste des modèles de la ressource : les VMs et ses prix. Ensure: Pour chaque VM et cluster, allocation des données et prioritisation des tâches. Créer une liste de toutes les tâches sans dépendance parent. Créer une liste triée de toutes les tâches de chaque cluster. Allouer des données à l instance où la première tâche qui l utilise sera alloué. Écrire une liste de données de sortie (pour extraire à la fin). L idée principale de l algorithme 8 est d allouer les données à l instances et les tâches. 28

35 4.2 LE TRAVAIL PRATIQUE Tout d abord nous présentons l installation du simulateur SIMGRID 1 (sur le système d exploitation Ubuntu) : sudo apt-get install git cmake cmake-curses-gui mkdir./simgrid git clone git ://scm.gforge.inria.fr/simgrid/simgrid.git simgrid cd simgrid cmake -Denable_maintainer_mode=on -DCMAKE_INSTALL_PREFIX=../install_simgrid. make make install Nous utilisons également R pour analyser et présenter nos résultats ainsi que pajeng pour lire des fichiers des données généré par SGCB. Figure 4.2 Un processus avec des étapes de faire l ordonnancement. 1. http ://simgrid.gforge.inria.fr/simgrid/latest/doc/use.html 29

36 Ensuite, nous présentons notre approche en réel, elle se compose de trois phases : découper un graph en sous graphes ou clusters, faire la réservation des ressources, faire l ordonnancement selon la Figure 4.2. C est un processus complet qui permet l exécution d un workflow scientifique dans notre environnement multi-cloud simulé. Des triangles présentent les algorithmes, les rectangles présentent l entrée et le sortie de l algorithme. De plus, des chiffres présentent l ordre de l exécution. Selon cette figure, l entrée de notre solution est un fichier au format.xml qui présente un workflow, la sortie est les tâches et ses données avec les ressouces correspondantes. Selon notre solution, tout d abord, l étape "Lire XML", notre programme lit des fichiers entrés sous le format *.xml qui définissent un graph avec ses données. Après avoir charger le DAG, nous le découpons en sous-graph avec des algorithmes que nous avons présenté précédemment : Label-based, DCC-based (Depth-Constraint based Clustering), BCC-based (Breath-Constraint based Clustering), Triplet, NoGraphCut. En sortie, nous avons des cluster des tâches qui satisfont notre condition. Pour la deuxième phase, nous présentons deux algorithmes : Cheapest et One Cluster per VM. Enfin, nous utilison l algorithme First-Fit pour faire l ordonnancement. Figure 4.3 Le workflow Montage. Figure 4.4 Le workflow Epigenomics. Figure 4.5 Le workflow Inspiral. Dans notre pratique, nous utilisons des fichiers qui décrivent des workflows comme : Montage, Epigenomics, LIGO Inspiral Analysis 1. Ces workflows sont présentés dans des figures 4.3, 4.4 et https ://confluence.pegasus.isi.edu/display/pegasus/workflowgenerator 30

Systèmes Répartis. Pr. Slimane Bah, ing. PhD. Ecole Mohammadia d Ingénieurs. G. Informatique. Semaine 24.2. Slimane.bah@emi.ac.ma

Systèmes Répartis. Pr. Slimane Bah, ing. PhD. Ecole Mohammadia d Ingénieurs. G. Informatique. Semaine 24.2. Slimane.bah@emi.ac.ma Ecole Mohammadia d Ingénieurs Systèmes Répartis Pr. Slimane Bah, ing. PhD G. Informatique Semaine 24.2 1 Semestre 4 : Fev. 2015 Grid : exemple SETI@home 2 Semestre 4 : Fev. 2015 Grid : exemple SETI@home

Plus en détail

Cloud Computing : Généralités & Concepts de base

Cloud Computing : Généralités & Concepts de base Cloud Computing : Généralités & Concepts de base Les 24èmes journées de l UR-SETIT 22 Février 2015 Cette oeuvre, création, site ou texte est sous licence Creative Commons Attribution - Pas d Utilisation

Plus en détail

Optimisation multi-critère pour l allocation de ressources sur Clouds distribués avec prise en compte de l énergie

Optimisation multi-critère pour l allocation de ressources sur Clouds distribués avec prise en compte de l énergie Optimisation multi-critère pour l allocation de ressources sur Clouds distribués avec prise en compte de l énergie 1 Présenté par: Yacine KESSACI Encadrement : N. MELAB E-G. TALBI 31/05/2011 Plan 2 Motivation

Plus en détail

Iyad Alshabani SysCom - CReSTIC Université de Reims 17/02/2011 1

Iyad Alshabani SysCom - CReSTIC Université de Reims 17/02/2011 1 SysCom - CReSTIC Université de Reims 17/02/2011 1 Motivation Gestion des expérimentations Avec les workflows Simulation Simulation des Systèmes Distribués ANR USS SimGrid Campagne de Test et gestion de

Plus en détail

Séminaire Partenaires Esri France 6 et 7 juin 2012 Paris. ArcGIS et le Cloud. Gaëtan LAVENU

Séminaire Partenaires Esri France 6 et 7 juin 2012 Paris. ArcGIS et le Cloud. Gaëtan LAVENU Séminaire Partenaires Esri France 6 et 7 juin 2012 Paris ArcGIS et le Cloud Gaëtan LAVENU Agenda Qu'attendent nos clients du Cloud Computing? Les solutions de Cloud ArcGIS dans le Cloud Quelles attendent

Plus en détail

Bonjour. Yohan PARENT, Cyprien FORTINA, Maxime LEMAUX, Hyacinthe CARTIAUX

Bonjour. Yohan PARENT, Cyprien FORTINA, Maxime LEMAUX, Hyacinthe CARTIAUX Bonjour I.Le contexte II.Le cloud computing III.L'expérimentation des solutions libres sur Grid'5000 1.Eucalyptus 2.OpenNebula 3.OpenStack IV.Tableau Comparatif V.Conclusion I.Le contexte 1)Le projet

Plus en détail

CNAM 2010-2011. Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010

CNAM 2010-2011. Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010 CNAM 2010-2011 Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010 Déploiement d une application dans le cloud. 1. Cloud Computing en 2010 2. Offre EC2

Plus en détail

Cloud Computing, Fondamentaux, Usage et solutions

Cloud Computing, Fondamentaux, Usage et solutions SEMINAIRE sur le «CLOUD COMPUTING» DU 24 AU 28 NOVEMBRE 2014 TUNIS (TUNISIE) Cloud Computing, Fondamentaux, Usage et solutions Objectifs : Cette formation vous permettra de comprendre les principes du

Plus en détail

VMware : De la Virtualisation. au Cloud Computing

VMware : De la Virtualisation. au Cloud Computing VMware : De la Virtualisation. au Cloud Computing Tunis, le 12 Décembre 2012 Jamal Belhachemi BDM South EMEA 2010 VMware, Inc. Tous droits réservés. 2010 #1 dans les priorités des Directeurs Informatiques

Plus en détail

Chapitre 4: Introduction au Cloud computing

Chapitre 4: Introduction au Cloud computing Virtualisation et Cloud Computing Chapitre 4: Introduction au Cloud computing L'évolution d'internet Virt. & Cloud 12/13 2 Définition Le cloud computing est une technologie permettant de délocaliser les

Plus en détail

DevOps / SmartCloud Orchestrator. Dominique Lacassagne Cloud Architect

DevOps / SmartCloud Orchestrator. Dominique Lacassagne Cloud Architect DevOps / SmartCloud Orchestrator Dominique Lacassagne Cloud Architect DevOps / SmartCloud Orchestrator ( SCO ) Introduction: where does SCO fit in the DevOps story? A quick review of SCO main features

Plus en détail

Orchestrer son cloud OpenStack avec Heat

Orchestrer son cloud OpenStack avec Heat Orchestrer son cloud OpenStack avec Heat Adrien Cunin adrien.cunin@osones.com Osones 7 juillet 2014 Adrien Cunin (Osones) Orchestrer son cloud OpenStack avec Heat 7 juillet 2014 1 / 43 Adrien Cunin (Osones)

Plus en détail

Le Cloud Open-Mind! Emilien Macchi

Le Cloud Open-Mind! Emilien Macchi Le Cloud Open-Mind! 1 Sommaire Introduction Comprendre Swift Comprendre Glance Comprendre Nova Déploiement Divers 2 OpenStack Introduction 3 Qu est-ce-qu OpenStack? Projet OpenSource ambitieux Catégorie

Plus en détail

La tête dans les nuages

La tête dans les nuages 19 novembre 2010 La tête dans les nuages Démystifier le "Cloud Computing" Jean Bernard, Directeur, Gestion des services Radialpoint SafeCare Inc. Au sujet de Radialpoint Radialpoint offre des solutions

Plus en détail

Big Data et Graphes : Quelques pistes de recherche

Big Data et Graphes : Quelques pistes de recherche Big Data et Graphes : Quelques pistes de recherche Hamamache Kheddouci Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université

Plus en détail

Ordonnancement sous contraintes de Qualité de Service dans les Clouds

Ordonnancement sous contraintes de Qualité de Service dans les Clouds Ordonnancement sous contraintes de Qualité de Service dans les Clouds GUÉROUT Tom DA COSTA Georges (SEPIA) MONTEIL Thierry (SARA) 05/12/2014 1 Contexte CLOUD COMPUTING Contexte : Environnement de Cloud

Plus en détail

Enseignant: Lamouchi Bassem Cours : Système à large échelle et Cloud Computing

Enseignant: Lamouchi Bassem Cours : Système à large échelle et Cloud Computing Enseignant: Lamouchi Bassem Cours : Système à large échelle et Cloud Computing Les Clusters Les Mainframes Les Terminal Services Server La virtualisation De point de vue naturelle, c est le fait de regrouper

Plus en détail

+ = OpenStack Presentation. Raphaël Ferreira - CoFounder. @ enovance. Credits : Thanks to the OpenStack Guys 1

+ = OpenStack Presentation. Raphaël Ferreira - CoFounder. @ enovance. Credits : Thanks to the OpenStack Guys 1 + = OpenStack Presentation Raphaël Ferreira - CoFounder @ enovance Credits : Thanks to the OpenStack Guys 1 INTRODUCTION 2 Les entreprises déploient des clouds pour... Répondre aux besoins de ressources

Plus en détail

Cloud et SOA La présence du Cloud révolutionne-t-elle l approche SOA?

Cloud et SOA La présence du Cloud révolutionne-t-elle l approche SOA? Cloud et SOA La présence du Cloud révolutionne-t-elle l approche SOA? Jean-Marc Pierson pierson@irit.fr IRIT, Université de Toulouse Agenda! Le Cloud! Le SOA! Quelle différence!?! Cloud et SOA! Mise en

Plus en détail

Introduction à la Recherche en Laboratoire

Introduction à la Recherche en Laboratoire Introduction à la Recherche en Laboratoire Transferts de données pour le vol de travail Tristan Darricau tristan.darricau@ensimag.grenoble-inp.fr 26 mai 2014 Grenoble INP - ENSIMAG Ecadrement Frédéric

Plus en détail

Breizhcamp - Cloud - Ruby

Breizhcamp - Cloud - Ruby from-mon-blog@ledez.net 17 Juin 2011 Depuis bientôt 5 ans Chef de projet technique http ://www.breizhcamp.org/ Cloud et NoSQL http ://www.rennesonrails.com/ Coding Dojo & Confs http ://www.granit.org/

Plus en détail

Serveur d'application à la juste taille

Serveur d'application à la juste taille Serveur d'application à la juste taille 18 Mars 2010 Benoit.Pelletier@bull.net Plan Contexte JOnAS 5, plate-forme de convergence JavaEE/OSGi Caractéristiques essentielles pour le Cloud Computing & l'autonomic

Plus en détail

Le Cloud Computing L informatique de demain?

Le Cloud Computing L informatique de demain? Le Cloud Computing L informatique de demain? Henri Piriou Business Development ActiveEon Rémy Bigot WebMarketing WIMI yannick.janssen@youcloud.fr fabien.schmitz@wanadoo.fr henri.piriou@activeeon.com remy.bigot@gmail.com

Plus en détail

Cloud Computing - présentation d un outil complet

Cloud Computing - présentation d un outil complet Mihaela JUGANARU-MATHIEU mathieu@emse.fr École Nationale Supérieure des Mines de St Etienne 2013-2014 Bibliographie : Christopher M. Moyer, Building Applications in the Cloud : Concepts, Patterns, and

Plus en détail

Testing : A Roadmap. Mary Jean Harrold. Présentation de Olivier Tissot

Testing : A Roadmap. Mary Jean Harrold. Présentation de Olivier Tissot Testing : A Roadmap Mary Jean Harrold Présentation de Olivier Tissot Testing : A Roadmap I. L auteur II. Introduction sur les test : les enjeux, la problématique III. Les tests : roadmap IV. Conclusion

Plus en détail

état et perspectives

état et perspectives La Normalisation de l informatique en Nuage «Cloud Computing» état et perspectives Séminaire Aristote: L'interopérabilit rabilité dans le Cloud Ecole Polytechnique 23/03/2011 Jamil CHAWKI Orange Labs Networks

Plus en détail

Parallel Tree-based Exact Algorithms using Heterogeneous Many and Multi-core Computing for Solving Challenging Problems in Combinatorial Optimization

Parallel Tree-based Exact Algorithms using Heterogeneous Many and Multi-core Computing for Solving Challenging Problems in Combinatorial Optimization Parallel Tree-based Exact Algorithms using Heterogeneous Many and Multi-core Computing for Solving Challenging Problems in Combinatorial Optimization Rudi Leroy Encadrement : N. Melab (Univ. Lille 1),

Plus en détail

Cloud Computing. Introduction. ! Explosion du nombre et du volume de données

Cloud Computing. Introduction. ! Explosion du nombre et du volume de données Cloud Computing Frédéric Desprez LIP ENS Lyon/INRIA Grenoble Rhône-Alpes EPI GRAAL 25/03/2010! Introduction La transparence d utilisation des grandes plates-formes distribuées est primordiale Il est moins

Plus en détail

Cloud Computing et Calcul Haute Performance (HPC High Performance C

Cloud Computing et Calcul Haute Performance (HPC High Performance C Cloud Computing et Calcul Haute Performance (HPC High Performance Computing) LIG/UJF/INPG/CNRS/UPMF/INRIA 21 octobre, 2011, Formation-CNRS/ANGD Sommaire Généralité, Historique et Classification Modèle

Plus en détail

Historique. Évolution des systèmes d exploitation (à travers les âges)

Historique. Évolution des systèmes d exploitation (à travers les âges) Historique Évolution des systèmes d exploitation (à travers les âges) Historique L histoire des systèmes d exploitation permet de dégager des concepts de base que l on retrouve dans les systèmes actuels

Plus en détail

Tests de SlipStream sur les plateformes StratusLab@LAL et OpenStack@CC-IN2P3 : vers la. Vers la fédération du Cloud computing

Tests de SlipStream sur les plateformes StratusLab@LAL et OpenStack@CC-IN2P3 : vers la. Vers la fédération du Cloud computing Tests de sur les plateformes StratusLab@LAL et OpenStack@CC-IN2P3 : vers la fédération du Cloud computing Cécile Cavet1 & Charles Loomis2 (1) Centre François Arago, Laboratoire, Université Paris Diderot,

Plus en détail

Hébergement MMI SEMESTRE 4

Hébergement MMI SEMESTRE 4 Hébergement MMI SEMESTRE 4 24/03/2015 Hébergement pour le Web Serveurs Mutualités Serveurs Dédiés Serveurs VPS Auto-Hébergement Cloud Serveurs Mutualités Chaque Serveur héberge plusieurs sites Les ressources

Plus en détail

EMC AVAMAR FOR VMWARE

EMC AVAMAR FOR VMWARE EMC AVAMAR FOR VMWARE Sauvegarde et restauration optimisées pour les environnements VMware AVANTAGES CLÉS Sauvegarde VMware optimisée au niveau invité et image Prise en charge de VMware vsphere Intégration

Plus en détail

BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ

BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ Laboratoire LaTICE Univ. de Tunis INRIA LYON Avalon Team Laboratoire d Informatique de Paris Nord (LIPN) BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ Heithem Abbes Heithem Abbes Rencontres

Plus en détail

Fiche Technique Windows Azure

Fiche Technique Windows Azure Le 25/03/2013 OBJECTIF VIRTUALISATION mathieuc@exakis.com EXAKIS NANTES Identification du document Titre Projet Date de création Date de modification Fiche Technique Objectif 25/03/2013 27/03/2013 Windows

Plus en détail

Brochure Datacenter. www.novell.com. Novell Cloud Manager. Création et gestion d un cloud privé. (Faire du cloud une réalité)

Brochure Datacenter. www.novell.com. Novell Cloud Manager. Création et gestion d un cloud privé. (Faire du cloud une réalité) Brochure Datacenter Novell Cloud Manager Création et gestion d un cloud privé (Faire du cloud une réalité) Novell Cloud Manager : le moyen le plus simple de créer et gérer votre cloud WorkloadIQ est notre

Plus en détail

Cinq principes fondamentaux

Cinq principes fondamentaux Cinq principes fondamentaux de la protection moderne des données David Davis vexpert Veeam Backup & Replication 6.5 Encore plus IMPRESSIONNANT! Veeam permet une protection des données puissante, facile

Plus en détail

Network Shutdown Module V3 Extension du Manuel Utilisateur pour architecture Virtualisée VMWare ESX Server

Network Shutdown Module V3 Extension du Manuel Utilisateur pour architecture Virtualisée VMWare ESX Server Network Shutdown Module V3 Extension du Manuel Utilisateur pour architecture Virtualisée VMWare ESX Server Machine virtuelle Machine virtuelle Machine virtuelle VMware ESX 3 Network Shutdown Module Network

Plus en détail

Ordonnancement sous contraintes de Qualité de Service dans les Clouds

Ordonnancement sous contraintes de Qualité de Service dans les Clouds Ordonnancement sous contraintes de Qualité de Service dans les Clouds GUÉROUT Tom DA COSTA Georges (SEPIA) MONTEIL Thierry (SARA) 14/9/215 1 Profil Profil Parcours : Laboratoires LAAS et IRIT à Toulouse

Plus en détail

Chapitre 1. Infrastructures distribuées : cluster, grilles et cloud. Grid and Cloud Computing

Chapitre 1. Infrastructures distribuées : cluster, grilles et cloud. Grid and Cloud Computing Chapitre 1. Infrastructures distribuées : cluster, grilles et cloud Grid and Cloud Computing Problématique Besoins de calcul croissants Simulations d'expériences coûteuses ou dangereuses Résolution de

Plus en détail

ARCHITECTURE ET SYSTÈMES D'EXPLOITATIONS

ARCHITECTURE ET SYSTÈMES D'EXPLOITATIONS ARCHITECTURE ET SYSTÈMES D'EXPLOITATIONS Axel François bureau C19 (2eme étage) cours disponibles en pdf sur : www.iut-arles.up.univ-mrs.fr/francois 1 PLAN En Cours : qu'est-ce qu'un ordinateur? à quoi

Plus en détail

FOURNIR UN SERVICE DE BASE DE DONNÉES FLEXIBLE. Database as a Service (DBaaS)

FOURNIR UN SERVICE DE BASE DE DONNÉES FLEXIBLE. Database as a Service (DBaaS) FOURNIR UN SERVICE DE BASE DE DONNÉES FLEXIBLE Database as a Service (DBaaS) 1 The following is intended to outline our general product direction. It is intended for information purposes only, and may

Plus en détail

LES APPROCHES CONCRÈTES POUR LE DÉPLOIEMENT D INFRASTRUCTURES CLOUD AVEC HDS & VMWARE

LES APPROCHES CONCRÈTES POUR LE DÉPLOIEMENT D INFRASTRUCTURES CLOUD AVEC HDS & VMWARE LES APPROCHES CONCRÈTES POUR LE DÉPLOIEMENT D INFRASTRUCTURES CLOUD AVEC HDS & VMWARE Sylvain SIOU VMware Laurent DELAISSE Hitachi Data Systems 1 Hitachi Data Systems Corporation 2012. All Rights Reserved

Plus en détail

Big Data et Graphes : Quelques pistes de recherche

Big Data et Graphes : Quelques pistes de recherche Big Data et Graphes : Quelques pistes de recherche Hamamache Kheddouci http://liris.cnrs.fr/hamamache.kheddouci Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de

Plus en détail

Informatique en nuage Cloud Computing. G. Urvoy-Keller

Informatique en nuage Cloud Computing. G. Urvoy-Keller Informatique en nuage Cloud Computing G. Urvoy-Keller Sources de ce documents Next Stop, the cloud Objectifs de l'étude : Comprendre la popularité des déploiements de services basés sur des clouds Focus

Plus en détail

Vers une IT as a service

Vers une IT as a service Vers une IT as a service 1 L évolution du datacenter vers un centre de services P.2 2 La création d une offre de services P.3 3 La transformation en centre de services avec System Center 2012 P.4 L évolution

Plus en détail

Plate-forme Cloud CA AppLogic pour les applications d entreprise

Plate-forme Cloud CA AppLogic pour les applications d entreprise FICHE PRODUIT : CA AppLogic Plate-forme Cloud CA AppLogic pour les applications d entreprise agility made possible CA AppLogic est une plate-forme Cloud Computing clés en main permettant aux clients de

Plus en détail

Vers une approche Adaptative pour la Découverte et la Composition Dynamique des Services

Vers une approche Adaptative pour la Découverte et la Composition Dynamique des Services 69 Vers une approche Adaptative pour la Découverte et la Composition Dynamique des Services M. Bakhouya, J. Gaber et A. Koukam Laboratoire Systèmes et Transports SeT Université de Technologie de Belfort-Montbéliard

Plus en détail

Le Cloud au LIG? Pierre Neyron PimLIG - 2013-04-14

Le Cloud au LIG? Pierre Neyron PimLIG - 2013-04-14 Le Cloud au LIG? Pierre Neyron PimLIG - 2013-04-14 Cloud = buzz word Employé à toutes les sauces... http://www.youtube.com/watch?v=rdkbo2qmyjq (pub SFR) tout le monde fait du cloud? Qui fait du cloud au

Plus en détail

Automatisation de l administration système

Automatisation de l administration système Automatisation de l administration système Plan Problèmatique : trop de systèmes, trop de solutions Typage des solutions Puppet : gestion de configuration de systèmes Capistrano : déploiement d applications

Plus en détail

Virtual Data Center d Interoute. Prenez la main sur votre Cloud.

Virtual Data Center d Interoute. Prenez la main sur votre Cloud. Virtual Data Center d Interoute. Prenez la main sur votre Cloud. Faites évoluer vos ressources informatiques à la demande Choisissez la localisation d hébergement de vos données en Europe Le réseau européen

Plus en détail

Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales

Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe), Laboratoire

Plus en détail

e need L un des premiers intégrateurs opérateurs Cloud Computing indépendants en France

e need L un des premiers intégrateurs opérateurs Cloud Computing indépendants en France e need L un des premiers intégrateurs opérateurs Cloud Computing indépendants en France Sommaire Cloud Computing Retours sur quelques notions Quelques chiffres Offre e need e need Services e need Store

Plus en détail

Evolution des technologies et émergence du cloud computing Drissa HOUATRA, Orange Labs Issy

Evolution des technologies et émergence du cloud computing Drissa HOUATRA, Orange Labs Issy Evolution des technologies et émergence du cloud computing Drissa HOUATRA, Orange Labs Issy Séminaire Aristote, 17 Déc. 2009 Ecole Polytechnique Palaiseau Plan L'univers du cloud Ressources Grilles, middleware

Plus en détail

Architectures informatiques dans les nuages

Architectures informatiques dans les nuages Architectures informatiques dans les nuages Cloud Computing : ressources informatiques «as a service» François Goldgewicht Consultant, directeur technique CCT CNES 18 mars 2010 Avant-propos Le Cloud Computing,

Plus en détail

CloudBees AnyCloud : Valeur, Architecture et Technologie cloud pour l entreprise

CloudBees AnyCloud : Valeur, Architecture et Technologie cloud pour l entreprise CloudBees AnyCloud : Valeur, Architecture et Technologie cloud pour l entreprise Alors que les plates-formes PaaS (Platform as a Service) commencent à s imposer comme le modèle privilégié auprès des entreprises

Plus en détail

OpenStack, l Infrastructure as a Service libre

OpenStack, l Infrastructure as a Service libre OpenStack, l Infrastructure as a Service libre Adrien Cunin adrien.cunin@osones.com - @Adri2000 OS Lionel Porcheron lionel@alveonet.org - @lporcheron Capitole du Libre 2014 Introduction Le cloud recouvre

Plus en détail

Managed Services Comment décliner la gamme en mode Cloud. Fabienne Druis Offering leader

Managed Services Comment décliner la gamme en mode Cloud. Fabienne Druis Offering leader Managed Services Comment décliner la gamme en mode Cloud Fabienne Druis Offering leader Les services d infogérance autour du Data Center DE APPLICATIONS DES SYSTEMES D INFRASTRUCTURE Intégration en pré

Plus en détail

Business & High Technology

Business & High Technology UNIVERSITE DE TUNIS INSTITUT SUPERIEUR DE GESTION DE TUNIS Département : Informatique Business & High Technology Chapitre 09 : CC : Cloud Computing Sommaire Introduction... 2 Définition... 2 Les différentes

Plus en détail

Administrez vos clouds privés et Windows Azure avec System Center 2012

Administrez vos clouds privés et Windows Azure avec System Center 2012 Administrez vos clouds privés et Windows Azure avec System Center 2012 Fabrice Meillon Architecte Infrastructure Microsoft France https://blogs.technet.com/fabricem_blogs 2 Objectifs de la session Présenter

Plus en détail

Chapitre V : La gestion de la mémoire. Hiérarchie de mémoires Objectifs Méthodes d'allocation Simulation de mémoire virtuelle Le mapping

Chapitre V : La gestion de la mémoire. Hiérarchie de mémoires Objectifs Méthodes d'allocation Simulation de mémoire virtuelle Le mapping Chapitre V : La gestion de la mémoire Hiérarchie de mémoires Objectifs Méthodes d'allocation Simulation de mémoire virtuelle Le mapping Introduction Plusieurs dizaines de processus doivent se partager

Plus en détail

CA Server Automation. Vue d ensemble. Avantages. agility made possible

CA Server Automation. Vue d ensemble. Avantages. agility made possible FICHE PRODUIT : CA Server Automation CA Server Automation agility made possible La solution intégrée CA Server Automation permet d automatiser le provisioning, la correction et la configuration des composants

Plus en détail

VMWare Infrastructure 3

VMWare Infrastructure 3 Ingénieurs 2000 Filière Informatique et réseaux Université de Marne-la-Vallée VMWare Infrastructure 3 Exposé système et nouvelles technologies réseau. Christophe KELLER Sommaire Sommaire... 2 Introduction...

Plus en détail

Network Shutdown Module V3 Extension du Manuel Utilisateur pour architecture Virtualisée VMWare ESX Server 3, 3.5

Network Shutdown Module V3 Extension du Manuel Utilisateur pour architecture Virtualisée VMWare ESX Server 3, 3.5 Network Shutdown Module V3 Extension du Manuel Utilisateur pour architecture Virtualisée VMWare ESX Server 3, 3.5 Machine virtuelle Machine virtuelle Machine virtuelle VMware ESX Network Shutdown Module

Plus en détail

Les cinq raisons majeures pour déployer SDN (Software-Defined Networks) et NFV (Network Functions Virtualization)

Les cinq raisons majeures pour déployer SDN (Software-Defined Networks) et NFV (Network Functions Virtualization) Les cinq raisons majeures pour déployer SDN (Software-Defined Networks) et NFV (Network Functions Virtualization) Préparé par : Zeus Kerravala Les cinq raisons majeures pour déployer SDN et NFV NetworkWorld,

Plus en détail

Sauvegarde et restauration en environnement VMware avec Avamar 6.0

Sauvegarde et restauration en environnement VMware avec Avamar 6.0 Livre blanc Sauvegarde et restauration en environnement VMware avec Avamar 6.0 Analyse détaillée Résumé Dans les entreprises, les environnements virtuels sont de plus en plus déployés dans le cloud. La

Plus en détail

ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE

ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE Mémoires 2010-2011 www.euranova.eu MÉMOIRES ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE Contexte : Aujourd hui la plupart des serveurs d application JEE utilise des niveaux de cache L1

Plus en détail

CA Automation Suite for Data Centers

CA Automation Suite for Data Centers FICHE PRODUIT : CA Automation Suite for Data Centers CA Automation Suite for Data Centers agility made possible «La technologie a devancé la capacité à la gérer manuellement dans toutes les grandes entreprises

Plus en détail

Cloud computing Votre informatique à la demande

Cloud computing Votre informatique à la demande Cloud computing Votre informatique à la demande Thomas RULMONT Définition du Cloud Computing L'informatique dans le nuage (en anglais, cloud computing) est un concept ( ) faisant référence à l'utilisation

Plus en détail

G. Lesauvage. Laboratoire d Informatique et du Traitement de l Information et des Systèmes

G. Lesauvage. Laboratoire d Informatique et du Traitement de l Information et des Systèmes Gestion dynamique des activités des chariots cavaliers sur un terminal portuaire à conteneurs en environnement incertain - approche par intelligence collective - G. Lesauvage Unité de Formation et de Recherche

Plus en détail

Une méthode d apprentissage pour la composition de services web

Une méthode d apprentissage pour la composition de services web Une méthode d apprentissage pour la composition de services web Soufiene Lajmi * Chirine Ghedira ** Khaled Ghedira * * Laboratoire SOIE (ENSI) University of Manouba, Manouba 2010, Tunisia Soufiene.lajmi@ensi.rnu.tn,

Plus en détail

Cloud computing Architectures, services et risques

Cloud computing Architectures, services et risques Cloud computing Architectures, services et risques Giovanna Di Marzo Serugendo Institute of Information Service Science Giovanna.Dimarzo@unige.ch iss.unige.ch FACULTY OF ECONOMIC AND SOCIAL SCIENCES Department

Plus en détail

Algorithmique distribuée d exclusion mutuelle : vers une gestion efficace des ressources

Algorithmique distribuée d exclusion mutuelle : vers une gestion efficace des ressources Algorithmique distribuée d exclusion mutuelle : vers une gestion efficace des ressources Jonathan Lejeune LIP6-UPMC/CNRS, Inria 19 septembre 2014 Directeur : Pierre Sens Encadrants : Luciana Arantes et

Plus en détail

CA ARCserve D2D. Une récupération après sinistre ultra-rapide vous permet d'éviter une interruption de service. DOSSIER SOLUTION : CA ARCserve D2D r16

CA ARCserve D2D. Une récupération après sinistre ultra-rapide vous permet d'éviter une interruption de service. DOSSIER SOLUTION : CA ARCserve D2D r16 CA ARCserve D2D CA ARCserve D2D est un produit de récupération sur disque conçu pour offrir la combinaison idéale de protection et de récupération rapides, simples et fiables de vos données professionnelles.

Plus en détail

Cours de Master Recherche

Cours de Master Recherche Cours de Master Recherche Spécialité CODE : Résolution de problèmes combinatoires Christine Solnon LIRIS, UMR 5205 CNRS / Université Lyon 1 2007 Rappel du plan du cours 1 - Introduction Qu est-ce qu un

Plus en détail

Lettre d'information n 17 - Janvier 2011

Lettre d'information n 17 - Janvier 2011 Lettre d'information n 17 - Janvier 2011 Sommaire 1. Meilleurs voeux 2011 2. Quand la gestion des services et les technologies de virtualisation s'associent pour donner le Cloud Computing (informatique

Plus en détail

A Libre Ouvert. Médiathèque Jacques Ellul. le 12-03-2010

A Libre Ouvert. Médiathèque Jacques Ellul. le 12-03-2010 A Libre Ouvert Médiathèque Jacques Ellul le 12-03-2010 à PESSAC avec l'abul La Virtualisation (avec VirtualBox) C'est quoi, la 'virtualisation'? A quoi ça peut me servir à la maison? Et dans mon travail,

Plus en détail

L UNIVERS INSTANTANÉ:

L UNIVERS INSTANTANÉ: L UNIVERS INSTANTANÉ: Samy Benzekry Speaker Name Title 2011 Hewlett-Packard Development Company, 2010 L.P. Hewlett-Packard Development Company, L.P. The information contained herein is subject to change

Plus en détail

EMC VSPEX SOLUTION FOR INFRASTRUCTURE AS A SERVICE WITH MICROSOFT SYSTEM CENTER

EMC VSPEX SOLUTION FOR INFRASTRUCTURE AS A SERVICE WITH MICROSOFT SYSTEM CENTER GUIDE DE CONCEPTION ET DE MISE EN ŒUVRE EMC VSPEX SOLUTION FOR INFRASTRUCTURE AS A SERVICE WITH MICROSOFT SYSTEM CENTER EMC VSPEX Résumé Ce guide de conception et de mise en œuvre décrit la conception

Plus en détail

Virtualisation & Sécurité

Virtualisation & Sécurité Virtualisation & Sécurité Comment aborder la sécurité d une architecture virtualisée? Quels sont les principaux risques liés à la virtualisation? Peut-on réutiliser l expérience du monde physique? Quelles

Plus en détail

Introduction a la Virtualisation

Introduction a la Virtualisation Qu'est-ce que la virtualisation? Introduction a la Virtualisation Techniques de virtualisation, dangers, Cloud Computing Julien Garet, SMI - Lille INRIA 7 septembre 2011 Infrastructure cible Qu'est-ce

Plus en détail

ASG CloudFactory Transformez votre IT avec l orchestration du Cloud & l automatisation des services TECHNOLOGY TO RELY ON

ASG CloudFactory Transformez votre IT avec l orchestration du Cloud & l automatisation des services TECHNOLOGY TO RELY ON ASG CloudFactory Transformez votre IT avec l orchestration du Cloud & l automatisation des services TECHNOLOGY TO RELY ON L industrie automobile comme modèle Transformer l IT Dans les années 1950s, l industrie

Plus en détail

MapReduce. Malo Jaffré, Pablo Rauzy. 16 avril 2010 ENS. Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15

MapReduce. Malo Jaffré, Pablo Rauzy. 16 avril 2010 ENS. Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15 MapReduce Malo Jaffré, Pablo Rauzy ENS 16 avril 2010 Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15 Qu est ce que c est? Conceptuellement Données MapReduce est un framework de calcul distribué

Plus en détail

L'automatisation open source pour SI complexes

L'automatisation open source pour SI complexes TRACK ADMINISTRATION SYSTÈME / CLUSTERS / DEVOPS L'automatisation open source pour SI complexes Si, si, c'est possible! Jonathan CLARKE CTO - Normation jcl@ Qui suis-je? Jonathan Clarke Job : Co-fondateur

Plus en détail

Annexe 6. Notions d ordonnancement.

Annexe 6. Notions d ordonnancement. Annexe 6. Notions d ordonnancement. APP3 Optimisation Combinatoire: problèmes sur-contraints et ordonnancement. Mines-Nantes, option GIPAD, 2011-2012. Sophie.Demassey@mines-nantes.fr Résumé Ce document

Plus en détail

SÉCURISER EMC VSPEX END-USER COMPUTING AVEC RSA SECURID

SÉCURISER EMC VSPEX END-USER COMPUTING AVEC RSA SECURID GUIDE DE CONCEPTION SÉCURISER EMC VSPEX END-USER COMPUTING AVEC RSA SECURID VMware Horizon View 5.2 et VMware vsphere 5.1 - Jusqu à 2 000 bureaux virtuels EMC VSPEX Résumé Le présent guide décrit les composants

Plus en détail

IBM Rapid Recovery Services Vers le Cloud Recovery Recovering technology and infrastructure more quickly to meet your business needs

IBM Rapid Recovery Services Vers le Cloud Recovery Recovering technology and infrastructure more quickly to meet your business needs IBM Rapid Recovery Services Vers le Cloud Recovery Recovering technology and infrastructure more quickly to meet your business needs Jacques Bogo, Alain Maury, Pascal Hervé. IBM BCRS IT Architectes Le

Plus en détail

Le Cloud: Mythe ou Réalité?

Le Cloud: Mythe ou Réalité? Le Cloud: Mythe ou Réalité? 23 Novembre 2011 Xebia Sacha Labourey CEO, CloudBees, Inc. 2011 Cloud Bees, Inc. All Rights Reserved Le Cloud Le cloud: un sujet très émo2onnel! 2 Changement de paradigme Lors

Plus en détail

Cloud Computing : Utiliser Stratos comme PaaS privé sur un cloud Eucalyptus

Cloud Computing : Utiliser Stratos comme PaaS privé sur un cloud Eucalyptus Cloud Computing : Utiliser Stratos comme PaaS privé sur un cloud Eucalyptus Mr Romaric SAGBO Ministère de l'economie et des Finances (MEF), Bénin SWD Technologies Email : rask9@yahoo.fr Tél : +229 97217745

Plus en détail

Déploiement automatisé de OpenCloudWare sur la plateforme expérimentale Grid 5000

Déploiement automatisé de OpenCloudWare sur la plateforme expérimentale Grid 5000 Déploiement automatisé de OpenCloudWare sur la plateforme expérimentale Grid 5000 Laurent Pouilloux 1, Sébastien Badia 1,, Simon Delamare 2, David Margery 1 1 Inria 2 CNRS maintenant à enovance (RedHat)

Plus en détail

Éfficacité énergétique des infrastructures cloud : l approche CompatibleOne

Éfficacité énergétique des infrastructures cloud : l approche CompatibleOne Green IT & Cloud Éfficacité énergétique des infrastructures cloud : l approche CompatibleOne 05/06/2012 Julien CARPENTIER INRIA Maxime MOREL INRIA Plan 1. Présentation du projet 2. La gestion de l'énergie

Plus en détail

Rapport d activité. Mathieu Souchaud Juin 2007

Rapport d activité. Mathieu Souchaud Juin 2007 Rapport d activité Mathieu Souchaud Juin 2007 Ce document fait la synthèse des réalisations accomplies durant les sept premiers mois de ma mission (de novembre 2006 à juin 2007) au sein de l équipe ScAlApplix

Plus en détail

FAMILLE EMC VPLEX. Disponibilité continue et mobilité des données dans et entre les datacenters AVANTAGES

FAMILLE EMC VPLEX. Disponibilité continue et mobilité des données dans et entre les datacenters AVANTAGES FAMILLE EMC VPLEX Disponibilité continue et mobilité des données dans et entre les datacenters DISPONIBLITÉ CONTINUE ET MOBILITÉ DES DONNÉES DES APPLICATIONS CRITIQUES L infrastructure de stockage évolue

Plus en détail

Ne laissez pas le stockage cloud pénaliser votre retour sur investissement

Ne laissez pas le stockage cloud pénaliser votre retour sur investissement Ne laissez pas le stockage cloud pénaliser votre retour sur investissement Préparé par : George Crump, analyste senior Préparé le : 03/10/2012 L investissement qu une entreprise fait dans le domaine de

Plus en détail

Dynamic Computing Services solution de backup. White Paper Stefan Ruckstuhl

Dynamic Computing Services solution de backup. White Paper Stefan Ruckstuhl Dynamic Computing Services solution de backup White Paper Stefan Ruckstuhl Résumé pour les décideurs Contenu de ce White Paper Description de solutions de backup faciles à réaliser pour des serveurs virtuels

Plus en détail

Cloud Computing, discours marketing ou solution à vos problèmes?

Cloud Computing, discours marketing ou solution à vos problèmes? Cloud Computing, discours marketing ou solution à vos problèmes? Henri PORNON 3 avril 2012 IETI Consultants 17 boulevard des Etats-Unis - F-71000 Mâcon Tel : (0)3 85 21 91 91 - fax : (0)3 85 21 91 92-

Plus en détail

Analyse de la démographie des objets dans les systèmes Java temps-réel

Analyse de la démographie des objets dans les systèmes Java temps-réel Analyse de la démographie des objets dans les systèmes Java temps-réel Nicolas BERTHIER Laboratoire VERIMAG Responsables du stage : Christophe RIPPERT et Guillaume SALAGNAC le 29 septembre 26 1 Introduction

Plus en détail

Les six choses les plus importantes à savoir sur la sécurité VDI/DaaS

Les six choses les plus importantes à savoir sur la sécurité VDI/DaaS ENTERPRISE Les six choses les plus importantes à savoir sur la sécurité VDI/DaaS INTRODUCTION La virtualisation se développant fortement, les entreprises cherchent de plus en plus à virtualiser les ordinateurs

Plus en détail