Workflows scientifiques sur plusieurs clouds

Dimension: px
Commencer à balayer dès la page:

Download "Workflows scientifiques sur plusieurs clouds"

Transcription

1 Workflows scientifiques sur plusieurs clouds Mémoire de fin d études Stage effectué à l ENS de Lyon Laboratoire de l Informatique du Parallélisme (LIP) pour l obtention du diplôme de Master Informatique option Système et Réseaux Par DAO Van Toan Encadrants : Frédéric DESPREZ (INRIA - Avalon) Jonathan ROUZAUD-CORNABAS (CNRS - CC-IN2P3/LIP - Avalon) Lyon, Novembre 2013

2

3 Remerciements Je tiens à remercier tous ceux qui m ont aidé à la réalisation de ce travail. Mes premiers remerciements vont à mes encadrants Fédéric DESPREZ et Jonathan ROUZAUD-CORNABAS à l École Normale Supérieure de Lyon pour m avoir donné de nombreux conseils ainsi que des orientations importantes dans l approche académique et scientifique. J ai obtenu des connaissances inestimables et de très bonnes compétences dans le domaine de la recherche. De plus, j aimerais remercier Laurent LEFEVRE qui a présenté ce stage sur son site. J aimerais remercier tous les membres de l équipe AVALON du LIP, pour leur amitié et leur soutien. Je tiens à remercier ensuite tout le personnel et enseignants de l Institut de la Francophonie pour l Informatique (IFI) à Hanoi pour leur conseil et le suivi qu ils m ont accordé pendant mes études de master. Je tiens également à remercier mes camarades étudiants de l IFI avec qui j ai passé de bons moments pendant les périodes de stress et des cours. J aimerais remercier mes amis de Lyon. J adresse un merci particulier à toute ma famille qui malgré la distance n a cessé de me prêter main forte.

4 Résumé Les calculs scientifiques sont compliqués et les données manipulées sont très grandes alors ils nécessitent un grand ensemble de ressources de calcul et de stockage ainsi qu une méthode pour les utiliser efficacement. La technique dite workflow scientifique est devenue l un des principaux choix dans la communauté scientifique pour formaliser et structurer les calculs scientifiques. Le but premier du workflow scientifique est de maximiser la performance. De plus, le concept de cloud computing amène une nouvelle dimension dans la technologie de l information, grâce à ses avantages, on peut augmenter les ressources disponibles avec celles provenent de clouds privés et publiques. De plus, le cloud privé peut facilement renforcer sa performance en tirant parti des clouds publiques, hybride cloud computing. Les workflows ont tout intérêt à tirer parti des environnements multi-clouds. Dans ce rapport, nous nous intéressons aux algorithmes d ordonnancement pour les workflows scientifiques dans les environnements multi-clouds de type IaaS pour maximiser leurs performances d exécution tout en minimisant son coût et son temps d exécution. Pour cela, nous proposons notre solution qui se compose de 3 phases : découpage d un graphe en sous-graphes (cutting-graph), faire l allocation des ressources, faire l ordonnancement des tâches et des données. Après, notre proposition est validé via simulateur grâce à SimGrid Cloud Broker du projet ANR INFRA SONGS 1 qui a été construit pour simuler Amazon Web Service 2. Les résultats expérimentaux montrent une corrélation entre le temps d exécution, la distribution des tâches dans des clusters et le coût du workflow, révélant ainsi la nécessité d algorithmes qui s adaptent aux demandes de l utilisateur. Mots-clés : Le cloud computing, le modèle IaaS, l environnement multi-clouds, le workflow scientifique, l algorithme d ordonnancement, le coût et le makespan, SimGrid Cloud Broker, le simulateur Amazon Web Service. 1. http ://infra-songs.gforge.inria.fr/ 2. http ://aws.amazon.com/fr/

5 Abstract The scientific applications are complex and manipulated very large datasets. So they require a large set of computing resources and storage as well as a method to use them effectively. The scientific workflow technique has become one of the main choice in the scientific community to formalize and structure scientific computations. The main goal of scientific workflow is to maximize performance. Furthermore, the cloud computing is a new dimension in the information of technology, thank to its advantages, you can increase the available resources with those coming from private and public cloud computing. In addition, the private cloud computing can easily enhance its performance or its infrastructure through the public cloud computing, hybrid cloud computing. Scientific workflows must take adavantage of multi-clouds environment. In this report, we focus on the scheduling algorithms for the scientific workflows in the IaaS multi-clouds environments to maximize runtime performance while minimizing its costs and execution time. For this, we propose our solution consists of three phases : cutting a graph into subgraphs, resource provisioning, task allocation. Finally, our proposal is validated via the simulator with SimGrid Cloud Broker of the project ANR INFRA SONGS that was built to simulate Amazon Web Service. Experimental results show a correlation between the execution time, the distribution of the tasks in the clusters and the cost of workflow, revealing that algorithms needs to adapt to user s requirements. Key-words : The cloud computing, the model IaaS, the multi-clouds environment, the scientific workflow, the scheduling algorithm, the cost and the performance, SimGrid Cloud Broker, the simulator Amazon Web Service.

6

7 Table des matières 1 INTRODUCTION Motivations Objectifs et Domaines d application Structure du document Présentation de l environnement de travail LE CLOUD COMPUTING ET LE WORKFLOW SCIENTIFIQUE LE CLOUD COMPUTING LE WORKFLOW SCIENTIFIQUE SGCB : Simulation d environnement multi-clouds avec SimGrid DES ALGORITHMES D ORDONNANCEMENT DES TÂCHES DU WORKFLOW 16 4 SOLUTION ET RÉLIASATION PRATIQUE LA SOLUTION PROPOSÉE LE TRAVAIL PRATIQUE EXPÉRIMENTATIONS ET ANALYSES DES RÉSULTATS 31 6 CONCLUSION 39 A La taille de données dans un cluster 44 B Des autres expérimentations 46 1

8 Table des figures 2.1 La convergence des avantages du cloud computing Les types de cloud computing Des structures simples du workflow Un workflow simple par DAG Des types de découpage des tâches dans le workflow L architecture du broker de cloud SIMGRID Un exemple des workflows dans plusieurs clouds Des étapes de l algorithme de l ordonnancement dans mon étude Un processus avec des étapes de faire l ordonnancement Le workflow Montage Le workflow Epigenomics Le workflow Inspiral La distribution des tâches dans des clusters avec Inspiral La distribution des tâches dans des clusters avec Montage La distribution des tâches dans des clusters avec Epigenomics Le prix total, le temps total d exécution et ratio entre eux du Montage Le prix total, le temps total d exécution et ratio entre eux du Inspiral Le prix total, le temps total d exécution et ratio entre eux du Epigenomics A.1 La taille de données dans des clusters avec Inspiral A.2 La taille de données dans des clusters avec Montage A.3 La taille de données dans des clusters avec Epigenomics B.1 Le prix total, le temps d exécution et ratio entre eux du Montage B.2 Le prix total, le temps d exécution et ratio entre eux du Inspiral B.3 Le prix total, le temps d exécution et ratio entre eux du Epigenomics B.4 Le prix total, le temps d exécution et ratio entre eux du Montage B.5 Le prix total, le temps d exécution et ratio entre eux du Inspiral

9 B.6 Le prix total, le temps d exécution et ratio entre eux du Epigenomics B.7 Le prix total, le temps d exécution et ratio entre eux du Montage B.8 Le prix total, le temps d exécution et ratio entre eux du Inspiral B.9 Le prix total, le temps d exécution et ratio entre eux du Epigenomics

10 Liste des tableaux 2.1 Types de VMs du cloud computing Étude des algorithmes de l ordonnancement du workflow Une comparaison des algorithmes en basant sur les facteurs différents La relation entre le numéro de clusters et le temps d exécution

11 Chapitre 1 INTRODUCTION 1.1 Motivations Dans la réalité, les organismes scientifiques ont besoin d un système informatique pour exécuter leurs calculs, leurs applications scientifiques et stocker leurs données et ceci dans un grand nombre de domaine scientifique comme : l astronomie, la bioinformatique, la génétique, la physique, la physique nucléaire, etc. Ces calculs et ces applications sont très grands, s exécutent de manière concurrente et peuvent tirer parti des ressources fournies par les clouds. Pour cela, il y a plusieurs solutions pour construire un environnement multi-cloud : Construire un nouveau système ou reconstruire sur un système existant (le cloud privé a été construit localement en utilisant un logiciel ouvert comme : OpenStack, OpenNebula, Eucalyptus, StratusLab, etc.). Si l organisme scientifique a un propre cloud privé, il est alors possible de créer une liaison avec des autres organismes scientifiques, ayant également des clouds privés (federated cloud) ou une combinaison de plusieurs cloud publics (cloud hybrid). Utiliser directement plusieurs cloud publics via un logiciel ou une interface commune entre eux. Le workflow scientifique est une méthode pour formaliser et structurer les calculs scientifiques. Le but du workflow scientifique est de maximiser la performance, un budget minimale, la sécurité, etc. Pour le moment, il n est pas aisé d utiliser ces workflows dans le cadre du cloud computing, en particulierement dans l environnement multi-clouds alors qu ils ont tout intérêt à en tirer parti. 1.2 Objectifs et Domaines d application L objectif du stage est d étudier des algorithmes d ordonnancement pour les workflows scientifiques dans les environnements multi-clouds de type IaaS. Nous proposons 5

12 des algorithmes qui sont meilleurs selon différents objectifs comme maximiser la performance, minimiser le coût et minimiser le temps d exécution, etc. et ainsi que nous présentons notre solution. Les workflows scientifiques sont utilisés dans un grand nombre de projets qui travaillent sur des grands ensembles de données comme : Montage, Epigenomics, LHC Atlas, etc. Dans ce rapport, nous proposons des algorithmes d ordonnancement pour les workflows dans un environnement multi-clouds pour maximiser la performance, minimiser le coût et le temps d exécution, etc. C est-à-dire, nous présentons des solutions pour améliorer l exécution de calculs scientifiques qui nécessitent un grand emsemble avec de ressources qui proviennent d un environnement dynamique et distribué comme le cloud computing. 1.3 Structure du document Le contenu du rapport se compose de 6 chapitres : Dans le premier, nous présentons brièvement notre sujet et notre motivation. Le chapitre 2 présente un état de l art des travaux en liaison avec notre travail. Tout d abord, ce rapport revient sur les définitions du cloud computing, un cloud computing IaaS et hybride, le workflow scientifique et ses problèmes comme la structure, ses caractéristiques, le système de gestion du workflow. De plus, nous présenterons des stratégies pour découper un workflow. Enfin, nous présentons brièvement l outil de simulation, SIMGRID Cloud Broker (SGCB). Dans le chapitre 3, nous présenterons une recherche bibliographique contenant une synthèse et une analyse critique combinée des algorithmes d ordonnancement optimiser pour l utilisation des clouds par les workflows scientifiques. Ce rapport présente les algorithmes existants et leurs paramètres particuliés (répondre au problème du temps, du coût, de la performance, etc). Après, dans le chapitre 4, nous donnons un modèle des étapes de notre algorithme et une considération des stratégies et des algorithmes qui peuvent utiliser pour chacune des étapes. Ensuite, le chapitre 5, nous introduisons notre extension à SGCB pour supporter les workflows scientifiques. Puis, nous présentons l expérimentation et donnons notre analyse des résultats. Enfin dans la dernière partie du rapport, le chapitre 6, nous résumerons les points faibles et forts de notre algorithmes et concluons notre étude. 6

13 1.4 Présentation de l environnement de travail Mon stage de fin d études de Master a été effectué à l Ecole Normale Supérieure de Lyon (ENS de Lyon) sous encadrants M. Fédéric DESPREZ et M. Jonathan ROUZAUD- CORNABAS dans l équipe de recherche AVALON du laboratoire de l Informatique du Parallélisme (LIP). Le LIP est associé à l Institut National de Recherche en Informatique et en Automatique (INRIA), le Centre national de la recherche scientifique (CNRS) et l Université de Lyon 1. L équipe AVALON 1 est grande avec environ de 30 membres, est un groupe commun entre l INRIA, le CNRS, le LIP, l université Claude Bernard Lyon 1 et l université de Lyon. Les sous-projets dans l équipe contient : les algorithmes distribuées, les modèles de programmation, le déploiement de services, la composition de service et l orchestration, la gestion des donées à grande échelle, etc. Mon stage est une partie dans le sous-projet des algorithmes distribuées. Nous proposons des algorithmes d ordonnancement par les workflows scientifiques dans les clouds computing qu ils vont tester par simulation via le projet ANR INFRA SONGS. 1. http ://avalon.ens-lyon.fr/ 7

14 Chapitre 2 LE CLOUD COMPUTING ET LE WORKFLOW SCIENTIFIQUE 2.1 LE CLOUD COMPUTING L idée d Utility computing dont est fortement inspiré le concept de Cloud computing a été présentée par M. John McCarthy en 1961 dans sa thèse. De plus, l architecture du cloud computing est issue de la recherche sur la grille de calcul, le calcul distribué, la virtualisation, l utility computing, etc. Grâce à ces avantages, le cloud computing est un nouveau modèle de calcul pour les applications scientifiques, l entreprise et l utilisateur lambda. Le cloud computing 1 est un concept qui consiste à déporter sur des serveurs distants le stockage et les traitements informatiques traditionnellement localisés sur des serveurs locaux ou sur le poste de l utilisateur. D après la définition de l Institut des sciences et techniques de l ingénieur de Lyon, le cloud computing : "C est un concept qui fait référence à l utilisation d un "cloud" de serveurs et d ordinateurs répartis dans le monde entier et liés par un réseau, tel Internet. Le concept du Cloud Computing est comparable à celui de la distribution de l énergie électrique. L hébergeur fournit une plateforme technique capable d accueillir à peu près tout type d application et facture son service en fonction de la consommation des ressources", [11]. Différentes définitions ont été présentées mais elles ne sont pas des définitions standards et officielles. L Institut National des Normes et de la Technologie des États-Unis (NIST) a donné une définition officielle : "Le cloud computing est un modèle qui apparaît partout et permet d accèder facilement via Internet aux services qui permettent de partager des ressources informatiques (par exemple : des ressources de calcul, réseaux, serveurs, stockages, applications et services)". De plus, "Une infrastructure du 1. http ://fr.wikipedia.org/wiki/cloud_computing 8

15 cloud est la collection du logiciel et du matériel qui respectent 5 caractères essentiels du cloud computing (on-demand self service, broad network access, resource pooling, rapid elasticity, measured service). Il peut être considéré comme un système qui contient deux couches : la physique et l abstraction. La couche physique contient des ressources matériels (serveurs, stockages, composants de réseau) et autres services du cloud. La couche abstraite qui se trouve au-dessus la couche physique, contient des logiciels qui s exécutent sur le cloud et manifestent des caractères essentielles du cloud", [37]. D après ces définitions, on voit que le cloud computing est un modèle de services et n est pas une technologie. C est une combinaison complexe de matériels et logiciels mais aussi de techniques d ingénieurie. On peut décrire les spécificités du cloud computing par un modèle visuel présenté dans la Figure 2.1. Selon [38], le cloud computing est une convergence des points forts des systèmes, des méthodes scientifiques, des technologies modernes et des nouvelles techniques. En pratique, il devient une nouvelle dimension de la technologie. Le cloud computing permet d augmenter les profits et la rentabilité des consommateurs et des fournisseurs du service d informatique. Toutes les ressources du cloud computing sont fournies comme des services (as a service) à l utilisateur comme : les ressources de calcul, les ressources réseau, les ressources virtuelles, les ressources logiciel, les nouvelles technologies, etc. Le cloud computing se présente comme un modèle de service allant de l infrastructure à la plate-forme et au logiciel comme une machine universelle. Un client lambda peut facilement l utiliser ou l exploiter. Il garantit la qualité de service (QoS), la sécurité, etc. Figure 2.1 La convergence des avantages du cloud computing. 9

16 En pratique, il n est pas seulement un nouveau système générique pour une organisation quelconque (l entreprise, l institut de la recherche, l université, etc.) comme les systèmes précédents mais encore il est un produit des services qui permet de tirer un bénéfice. LE CLOUD COMPUTING IAAS ET HYBRIDE Le IaaS signifie Infrastructure as a Service, est un cloud de service d infrastructure, la plus basse des 3 couches du cloud computing. Pour le modèle IaaS, NIST a donné la définition suivante : "Le IaaS fournit du calcul, stockage, réseau au consommateur pour qu il puisse déployer des logiciels, faire fonctionner des applications (incluant le système d exploitation). Le consommateur ne peut pas gérer ou contrôler l infrastructure du cloud computing mais il peut contrôler le système d exploitation et ses applications", [37]. L Institut des sciences et techniques de l ingenieur de Lyon a donné sa définition suivante : "L Infrastructure-as-a-Service (IaaS) apporte la possibilité pour l utilisateur de bénéficier, à la demande, d une infrastructure matérielle lui fournissant une capacité de traitement, sans avoir à gérer le réseau en tant que tel", [11]. Nous présentons brièvement un tableau des types de VMs dans des clusters. Dans notre travail, nous utilisons les types de Amazon 1. Type ArchitectureVCPUsMémoire Stockage Prix Linux Windows Amazon EC2 t1. micro 32/64 bits Go 0 Go $0.02/h $0.02/h m1.small 32/64 bits Go 1 x 160 Go$0.06/h $0.09/h m1.xlarge 64 bits 4 15 Go 4 x 420 Go$0.48/h $0.73/h OpenStack m1.tiny N/A Mo 0 Go N/A N/A m1.small N/A 1 2 Go 10 Go N/A N/A m1.xlarge N/A 8 16 Go 10 Go N/A N/A StratusLab t1.micro N/A Mo 0 Go N/A N/A m1.small N/A Mo N/A N/A N/A m1.xlarge N/A 2 1 Go N/A N/A N/A Table 2.1 Types de VMs du cloud computing Selon moi, le IaaS est un modèle de service du cloud qui fournit une infrastructure d informatique comme un service en permettant de créer ou installer, intégrer, gérer et superviser des services et de construire un système virtuel complet sur un système 1. http ://aws.amazon.com/fr/ec2/pricing/ 10

17 réel aussi que l administrer, etc. Différentes techniques de virtualisation peuvent être utilisées : KVM, VirtualBox, Xen, OpenVZ, VMWare, HyperV, etc. Maintenant, il existe beaucoup d IaaSs différents en incluant les publics et les privés. Les offres de cloud publique, les plus connues sont Amazon EC2 1, VMware vcloud Suite 2, GoGrid 3, Microsoft Azure 4, etc. De plus, des logiciels qui permettent de construire un cloud sur ses propres ressources ont été proposés : Openstack 5, OpenNebula 6, StratusLab 7, etc. Dans la Table 2.1, nous présentons brièvement des types différents de VMs disponibles dans plusieurs clouds : Amazon EC2, OpenStack, StratusLab. Figure 2.2 Les types de cloud computing. La combinaison entre deux ou plus types différents de cloud (privé, communautaine ou public) s appelle hybride, [37]. La Figure 2.2 donne une explication synthétique, des différents types de cloud, [33]. Un cloud hybride n est qu un ensemble de clouds séparés par contre il garantit l unité étroite, le standard commun, la correspondance de la technologie, la flexibilité d applications entre le cloud privé et le cloud public. De plus, il limite les inconvénients du cloud privé et public en tirant parti des points forts du cloud privé et public en concernant : la sécurité, le stockage de données, le coût, la QoS, etc. En d autres mots, le cloud privé peut facilement renforcer sa performance grâce au cloud public quand il en a besoin en prenant en compte le coût des ressources provenant d un ou plusieurs clouds public. Grâce à cela, le cloud privé économise le coût d acheter du matériel, le temps pour étendre le système, etc. Aujourd hui, il existe beaucoup des logiciels facilitant cette hybridation : VMware vcloud Hybrid, etc. 1. http ://aws.amazon.com/fr/ec2/ 2. http ://www.vmware.com/products/datacenter-virtualization/vcloud-suite/overview.html 3. http ://www.gogrid.com 4. http ://www.windowsazure.com 5. http ://www.openstack.org/ 6. http ://opennebula.org/start 7. http ://stratuslab.eu/ 11

18 2.2 LE WORKFLOW SCIENTIFIQUE Le concept du workflow est originaire du commerce pour faire l organisation et la gestion commerciale, selon le WFMC (est signe de "workflow management coalition") a défini un workflow comme : "l automatisation d un processus, en totalité ou en partie, au cours laquelle des documents, des informations ou des tâches sont transmises d un participant à l autre pour l action, selon un ensemble de règles de procédure", [30][33][42]. Maintenant, on l utilise dans le domain scientifique. Il existe beaucoup d applications scientifiques qui utilisent le workflow : Montage, Ligo [13][31][39]. Le workflow (flux de travail en français) est une façon de réorganiser, de gérer et d exécuter automatiquement des tâches compliquées ou des grands calculs dans un système comme le cloud computing par un ensemble d étapes. La notation workflow scientifique dans mon étude parle de l utilisation d un workflow pour l application ou le calcul scientifique. Un workflow scientifique est un modèle qui contient des tâches, des éléments de données, des contraints entre des tâches, des séquences de contrôle. On utilise un graphe orienté acyclique (directed acyclic graph - DAG) pour représenter un workflow scientifique, qui est composé d un ensemble de sommets V et d un ensemble d arcs E avec E VxV alors on a G = (V, E). Les sommets représentent les tâches calculs et les arcs représentent des dépendances de données et des contrôles entre les sommets correspondants comme : le poids d arc, la dépendance hiérarchique parentenfant ou la flèche ou l ordre d exécution, [13][39]. Le coût de communication entre deux noeuds est déterminé par le poids (une valeur ou un ensemble de valeurs différentes) de l arc. Le coût de calcul de la tâche est déterminé par le poids du sommet. Chaque DAG a seulement un sommet entré et un sommet sorti. D après [20], on a une classification du workflow selon son architecture comme : séquentiel, paralléle ou conditionnel. Selon [39], il y a 5 structures simples du workflow, il contient : le processus, le pipeline, la distribution de données, l agrégation de données, la redistribution de données dans la Figure 2.3. Grâce à ces structures, on facilite de construire un grand workflow compliqué. Figure 2.3 Des structures simples du workflow. 12

19 Dans le workflow, le type de communication entre des tâches le plus utilisé se fait via des fichiers. Le fichier sorti de la tâche précédente est le fichier entré de la tâche suivante. Les fichiers sont stockés dans un système de fichiers partagés (NFS, GlusterFS, cluster storage, pvfs, etc) ou transférer d un noeud à une autre, [14]. En effet, on a un seul fichier entré, un seul fichier sorti et beaucoup de fichiers intermédiaires qui sont créés par les noeuds intermédiaires du workflow. On a une illustration d un workflow simple dans la Figure 2.4 avec deux fichiers entré et sorti : f1in, f7out et des fichiers intermédiaires : f1out, f2out, f3out, f4out, f5out, f6out. Chaque sommet a une valeur wi avec i=1, 7 qui représente son coût en MIPs 1, chaque arc représente une relation entre deux sommets ainsi que les données à transférer de l un vers l autre. Par l utilisation du DAG, quand une tâche finit son travail alors il envoie sa sortie à son enfant, dans ce moment-là, son enfant peut commencer son travail avec la donnée sortie comme une entrée. Si un noeud parent n a pas encore fini son travail alors un noeud enfant ne peut pas commencer jusqu à ce qu il reçoive les données d entrée. Dans le cloud computing, un DAG correspond à un ensemble de machines virtuels et leurs liaisions qui sont des tâches d un job entrée et transmettent des données correspondants entre eux. Figure 2.4 Un workflow simple par DAG. Le cloud computing peut exécuter plusieurs DAGs différents en paralléle, on appelle cela multi-dags, [19][38]. [17] présente des stratégies pour changer un multi-dags en un DAG. Le problème d ordonnancement est une partie ou une module du Workflow Engine(s), [36][42] qui permet l exécuter de workflows sur une plate-forme. 1. http ://en.wikipedia.org/wiki/instructions_per_second 13

20 LE DÉCOUPAGE DES TÂCHES DANS LE WORKFLOW Comme dit précédemment les tâches d un workflow sont interdépendantes concernant les données, l ordre d exécution, les contraintes. Afin de faciliter son ordonnancement la première étape consiste à découper les tâches (le découpage permet de minimiser le déplacement des données entre des tâches). Le but est de minimiser l utilisation des ressources et le budget alloué des ressources, par exemple : un workflow a 400 Go de données alors on choisit 3 x m1.small plutôt que 1 x m1.xlarge parce qu on considère le budget alloué et l utilisation des ressources dans l environnement présenté dans la Table 2.1. Comme plusieurs tâches et/ou workflows demandent des ressources, il n est pas optimal de réserver toutes les ressources pour exécuter toutes les tâches en même temps car ce problème va entraîner du gaspillage de temps, d argent, etc. Le découpage va permettre de créer des sous-graphes ou sous-workflows qui correspondent aux ressources d exécution, s appelle un groupe ou un cluster. Figure 2.5 Des types de découpage des tâches dans le workflow. Plusieurs méthodes existent pour découper un workflow en sous-workflows. La Figure 2.4 montre 3 approches : level-based/cut-horizon [10], label-based [10], triplet [6] ; "minimum k-way cut" [25], décomposition en composantes fortement connexes ; le hasard, etc. 14

21 2.3 SGCB : Simulation d environnement multi-clouds avec SimGrid SGCB (SimGrid Cloud Broker) est un simulateur et un logiciel ouvert qui fournit un cadre de simulation pour les systèmes distribués. De plus, il a été construit pour simuler AWS. En d autres mots, il est une implémentation complète de AWS (il contient 3 services : AC2, S3, EBS). Alors, on l utilise pour simuler des algorithmes d ordonnancement des tâches du workflow. Il a été développé par Fédéric DESPREZ et Jonathan ROUZAUD-CORNABAS, [12]. Figure 2.6 L architecture du broker de cloud SIMGRID. L approche de développement du module est une seule interface interactive entre le cloud computing et l utilisateur, c est comme un API. De plus, il supporte le multi-clouds et le multi-régions. On a un modèle visuel comme Figure 2.5 pour présenter l architecture du SGCB. L architecture se compose de 3 couches : multi-clouds infrastructure, la couche middleware et la couche interface (API). 15

22 Chapitre 3 DES ALGORITHMES D ORDONNANCEMENT DES TÂCHES DU WORKFLOW Le but de l ordonnancement des tâches est de trouver un plan d exécution optimal des tâches qui prend en considération leurs contraintes : les ressources, le budget, la date de fin, la performance, etc. En général, un problème contraint se compose de : tâches, ressources, conditions contraintes et une ou plusieurs fonctions objectifs. Il existe beaucoup d algorithmes d ordonnancement des tâches de workflow dans le cloud computing. Ce rapport s intéresse au problème de l ordonnancement d un ensemble de tâches à un ensemble des processeurs ou machines virtuelles. Le processus d ordonnancement se composent de tout ou partie des étapes suivantes : task prioritizing, resource provisioning/allocation et scheduling/mapping. La phase task prioritizing, établit l ordre des tâches de départ leurs propriétés et leurs contraintes. Après cette phase, on a une liste ordonnée. La phase resource provisioning/allocation réserve/alloue un ensemble de ressources c est-à-dire qu elle calcule le nombre de VMs pour chaque type. On voit des types de VMs dans le Table 2.1. La phase scheduling/mapping sélectionne les ressources parmi celles précédemment allouer qui permettent d exécuter les tâches selon l ordre prédéfini. Ou elle fait l ordonnancement de chaque tâche à des ressources qui lui sont optimals. 16

23 Figure 3.1 Un exemple des workflows dans plusieurs clouds. La Figure 3.1 décrit l exécution de plusieurs workflows sur plusieurs clouds. Tout d abord, le client envoie son job à la couche Broker [16] où l algorithme d ordonnancement est installé. On suppose que tous les jobs sont formés par des DAGs, chaque tâche est représentée par un cercle. Après, l algorithme prioritise les tâches et réserve des ressources dans le cloud privé et public. Ensuite, il choisit pour chaque tâche la ressource correspondant la mieux pour l exécuter. Enfin, le résultat de calcul du job est renvoyé à l utilisateur. La résolution de l ordonnancement des tâches, spécialement dans un système distribué et hétérogène, est de complexité NP-hard 1. En général, des algorithmes courants utilisent des heuristiques pour trouver une solution qui est quasi-optimal, [16]. Le Table 3.1 présente les algorithmes d ordonnancement de workflows pour les environnements multi-clouds pour optimiser l utilisation coût et performance. 1. http ://en.wikipedia.org/wiki/np-hard 17

24 AlgorithmeIntroduction brève Méthode ParamètresFacteur Stratégie Outil Avantages Inconvénients ACO [18] L utilisation de l algorithme deqos mode/ Fiabilité, Une listemodèle du ser-java Il permet de garantiril fait une sélection colonies de fourmis (ACO) estmarked- temps dedes work-vice avec un une qualité de servicealéatoire un service basé sur des exigences diversesbased réponse, flows pré-sla aussi bien pour l utili-candidat du cloud de la qualité de services pour coût, cisés avec ser que le fournisseur. pour each fourmi et optimiser l ordonnancement des sécurité leurs propriétés le repeate alors le flux de services dans le cloud et temps d exécution computing. L idée du ACO est leurs exigences soit en haut. De plus, d utiliser de la recherche aléatoire des la quantité de calcul dans le problème TSP. services de chaque fourmi augmente lorsque le nombre de services de cloud candidats augmente. Bi-criteira L article présente trois ap-contraintproches Makespan, Le DAG Pareto (non-simulationl ordonnancement etla complexité est [24] pour l ordonnancementde Dead-coût moné-dedominated) l allocation sont baséshaute par l approche et l allocation des tâches pourline ettaire tâches, leselection phase sur multiple objetspareto qui présente un le workflows avec deux critères : Budget graph des optimals : cost et ma-ensemblkespan. de solutions côut monétaire et temps. ressources Les aprochespour choisir. et les valeurs d attribut concernés Les auteurs ont construit à unimmediate Makespan, Un DAG, Reverse modèle d ordonnancement dy-modenamique coût moné-un mo-auction-based des flux de travauxmarked- taire dèle de scientifiques par une extensionbased prix, un du mécanisme BOSS. L algorithme mécanancement proposé est un ordonnisme heuristique de liste. vérité ont un bon résultat dans le cas "lower bounds" des critères. BOSSextensiomations WIEN2k Il remplace les infor-il ne fait pas un réor- non-exactesdonnancement quand [16] de ressource des four-unnisseurs tâche n est pas par un modèleterminée. De plus, il de prix qui est définisuppose que chaque par l auteur. fournisseur ait un seul ressource. CTC [26] Un algorithme d ordonnance-qoment Makespan, Un ta-stream-pipe SwinDeW-L algorithme a uneil ne considère pas si- CTC pour l éxecution de coût moné-bleau destechnique C pré-étape pour dé-multanément les deux workflow dans le cloud computing. taire workflows couvrir et réordonnercontraintes dans le Il est centré sur des des tâches échouées. workflow pour miniser contraintes d une relation interactive Il exploite l effet in-la performance totale. entre le temps et le cost teractif entre le côut comme un compromis qui est et le deadline qui agit basé sur des caractéristiques du sur la performance cloud. du workflow. De plus, il permet à l utilisateur de redéfinir leurs deadline et coût dans chaque cycle de l ordonnancement. DBD-CTO Cet algorithme minimise le costbatch Makespan, Une listegrouper desjava Il garantit toute lesil ne fait pas avec [4] d exécution tout en répondantmode coût moné-detairviceflow ser-tâches du work- tâches sont fait parun réordonnancement au timeframe pour l obtention dans des leurs contraintes cor-quand une tâche n est des résultats et analyse le comportement possibles partitions avec respondantes pas terminée. De plus, de l algorithme. et des pa-le deadline et le il est statique. ramètres budget corressvice du ser-pondentes. pour toute les tâches HSGA [5] C est une méthode heurisitiquealgorithmemakespan, Un en-lsemble fusion entresimulationil considère les in-les critères d arrêt hybride pour trouver un ordon-génétiqunancement speedup debest-fit et formations statiquene sont pas clairs. De approprié pour le ratio, ressourcesround Robin et dynamqiue de laplus, il ne considère workflow dans le cloud computing l équili- dispo- ressource et la tâche. pas la change du qui est basé sur l algobrage denibles et De plus, il réduit lenombre de ressource. rithme génétique en ordre. charge les tâches nombre d opération sur lanon- itérative GA au départ mappée. ressource. de l algorithme par une population initiale optimisée. LA [9] L article propose une nouvellealgorithmemakespan, Un work-l utilisation descloudsim Il s adapte automati-l espace d état pour approche de l ordonnancementgénétique coût moné-flotaire. Solver Agents, quement au change-faire des tâches du workflow dans le cloud l ordonnancement d environnementest grande en in- computing, c est l architecture ment évoulé des ressources parcluant l utilisation ou d apprentisage qui utilise un par l utilisation l apprentissage. Denon-utilisation des Markov Decision Process pour du Markov plus, il garantit l exé-ressourcecution selon le diriger optimisement le processus Decision Prolon réussie dutemps au contraire d exécution du workflow secess avec la workflow par le MDP. il ne considère pas l état d environnement. conjonction de les types de VMs. Il l algorithme répète l évaluation de Bayesian Model la fonction fitness. Learning. 18

25 MQMW [35] La stratégie peut faire l ordon-multiplnancement pour multiple work-qos mode Taux flows qui sont démarrés tous en même temps et les exigences de QoS sont prises en compte. Il a considéré 4 facteurs qui affectent grandement le makespan, le coût et le taux de réussite du workflow. réussite, coût, temps, makespan deun en-définisemble l utilisateur multiples workflows etun réordonnancement parcloudsim Il s accorde avec lesil ne fait pas avec des avec un modèle le multiple-objectif op-quantimal en même-temps. pas terminée. une tâche n est tâches, unde 4 étapes. ensemble Il seléctionne De plus, il considère des ser-devices ont le surplus par 3 contraintes. Un tâches qui la performance totale disponibles decoût minimal minée. de temps et tâche est toujours ter- pour faire l ordonnancement avant. QWS [20] QWS est l ordonnancement dumultiple Coût, ma-ukespan, en-négocier la QoSVMware Il s accorde avec lesil ne garantit pas l uti- fia-semble workflow basé sur la QoS. Il cal-qocule mode entre l utili-virtual multiples workflows etlisation meilleure des les surplus d information bilité des sateur et lemachines le multiple-objectif op-ressources. De plus, il d obtenir une négociation QoS tâches, unfournisseur par timal en même-temps. ne considère pas les ca- pour un workflow par l utilisation ensemble le calcul des de VMs. De plus, il va fait avecractéristiques des paramètres entre des des ser-surplus infor- un réordonnancement tâches. vices mations des quand une tâche n est disponiblefilling). tâches. pas terminée (back- S-CLPSO S-CLPSO est une extensionalgorithmecoût, ma-ukespan, en-la sélection10 appli-il va trouver untout d abord, il [42] de l algorithme PSO (particlegénétique fia-semble d un ensemblecations demeilleur ensembledonne des ressources swarm optimization) dans bilité. des tâchesoccasionnel workflow des ressources pourfaisables au hasard l espace discrète pour améliorer et undes ressources exécuter des tâchespour sélectionner par l effet de l ordonnancement ensemble enregistrées par qui sont définis parl élimination. dans le cloud computing avec occasionnel la mise à jour l utilisateur. multi-qos. des des valeurs qui ressourcessont satisfaits. SHEFT [7] SHEFT fait l ordonnancementdependencyle tempsun en-isemble est basé sur lecloudsim Il considère les chan-il groupe des res- un workflow élastique sur lemode d exécution, temps de début gements élastiques dusources qui sont même cloud computing pour optimiser des tâchesau plus tôt et le ressources quand lecapacité de calcul dans le temps d exécution du workflow capacité temps de fin au workflow marche. Deun cluster au contraire et mettre à échelle élas- plus tôt. plus, les ressourcesil ne considère pas des tique des ressource lors de l exécution peuvent être assignésautres caratéristiques seulement quand ellesde VMs comme : le sont nécessaires. prix, le stockage, la bande passante, etc. Table 3.1 Étude des algorithmes de l ordonnancement du workflow Le tableau 3.1 se compose de 9 colonnes où chaque ligne présente un algorithme avec son nom, une description, sa stratégie, ses caractéristiques, ses avantages et inconvénients, etc. Pour la deuxième colonne, nous présentons brièvement l algorithme et son idée. La troisième colonne, nous indiquons la méthode formelle utilisée par l algorithme. Après, nous présentons les paramètres qu elle optimise. La première, c est makespan, il présente le temps complet d exécution du workflow de la première tâche à la dernière tâche. L algorithme doit trouver la valeur minimale. Ensuite, c est le coût comme un frais minimal doit payer quand on utilise les services. Les autres sont : la fidélité, la sécurité, le taux de réussite, le taux de vitesse, etc. La colonne facteur représente les paramètres d entrée de l algorithme. La colonne stratégie présente la méthode ou la façon dont il l utilise dans l ordonnancement pour avoir le meilleur résultat. La colonne outil présente la simulation de l algorithme ou l environement de déploiement de l algorithme. Enfin, les 2 dernières colonnes présentent les avantages et les inconvénients. Un résumé complet des algorithmes est disponible dans le Table 3.2. Dans cette table, la colonne type et mode sont construites selon la taxonomie présentée dans [22]. La colonne autres de la partie Contraintes présente les contraintes comme : la sécurité, la fiabilité, le taux de vitesse, etc. De plus, la colonne "D-B" est signe de considérer simultanément le deadline et le budget. 19

26 Algorithme Contraintes Objets Plan Nom Type Mode DeadlineBudgetD-BAutresMakespanCoûtCapacitéFiabilitéTDR*SécuritéAutresDynamiqueStatique ACO [18] QoS Heuristique x x x x x x Bi-criteira QoS Heuristique x x x x x x x [24] BOSS-extens Best-effortHeuristique x x x x x x x x x [16] CTC [26] QoS Heuristique x x x x x x x x DBD-CTO Best-effortHeuristique x x x x x x x x x [4] HSGA [5] Best-effortMétaheuristique x x x x x x x x x LA [9] QoS Métaheuristique x x x x x x x x x MQMW [35] QoS Heuristique x x x x x x QWS [20] QoS Heuristique x x x x x x S-CLPSO[42] QoS Métaheuristique x x x x x x x SHEFT [7] Best-effortGlouton x x x x x x x x x x TDR* = Taux de réussites Table 3.2 Une comparaison des algorithmes en basant sur les facteurs différents Dans la partie Objets, nous présentons les objectifs que l algorithme veut optimiser. Pour le plan de l ordonnancement, il y a deux types d algorithmes : dynamique et statique. Pour le statique, l algorithme ne considère pas la charge dynamique des ressources. Les tableaux présentent les algorithmes sur le problème de l ordonnancement de workflows dans le cloud computing. En général, les algorithmes incluent deux étapes : la première l ordre des tâches et la sélection des services du cloud, ensuite, la deuxième le meilleur choix entre les deux ensembles. Cette sélection dépend des différentes contraintes ou leurs stratégies, comme : MQMW, QWS, etc. L algorithme S-CLPSO, fait l ordonnancement avec deux phases : l allocation de ressources et la sélection. Des algorithmes ajoutent une phase, comme Bi-criteria et BOSS-extension, il y a trois phases : l ordre des tâches, l allocation des ressources, la sélection. L algorithme SHEFT utilise deux phases : task priority, resource allocation. DBD-CTO fait de la découverte de services, ensuite groupe un workflow dans des partitions de tâche et distribue un budget et une deadline aux partitions, et fait la meilleure sélection. ACO utilise un modèle SLA. La garantie d exécution de la tâche comme : CTC, QWS. L algorithme intelligent est comme : LA, etc. On a des algorithmes heuristique comme : ACO, Bi-criteria, BOSS-extension, CTC, DBD-CTO, MQMW, QWS, un glouton comme SHEFT, des autres sont méta-heuristique. Des algorithmes sont statiques comme : DBD-CTO ou HSGA et d autres dynamiques comme : ACO, Bi-criteira, BOSS-extens, etc. Ensuite, des autres s intéressent aux workflows multiples et multiple-objectifs optimal : ACO, MQMW, QWS, etc. 20

27 Chapitre 4 SOLUTION ET RÉLIASATION PRATIQUE 4.1 LA SOLUTION PROPOSÉE D après des stratégies de découpage et des algorithmes de l ordonnancement des tâches du workflow, nous présentons notre approche qui construit un plan d exécution avec des objectif de QoS comme : le temps d exécution, le coût et le ratio entre eux. Selon la Table 3.1 et 3.2, notre approche est dynamique, son facteur est un ensemble des tâches et la contrainte est la taille de stockage des tâches du cluster. Enfin, elle optimise l utilisation dans un environnement multi-clouds. Notre approche se compose de 3 phases : graph-cut, resource provisioning et task allocation. La Figure 4.1 présente notre solution pour faire l ordonnancement des tâches du workflow. Pour la phase graph-cut, nous utilisons des stratégies que ce rapport a présenté dans la partie 2.2 comme : label-based, Triplet, DCC-based, BCC-based. Ensuite, la deuxième phase, nous présentons des stratégies pour faire la réservation des ressources comme : Cheapest, One cluster per VM. Ces approches sont originales même si fondamentales est proche d autres. Enfin, il faut faire un ordonnancement des tâches aux ressources allouées en prenant en compte les contraintes pour maximiser la performance et minimiser le côut. Ici nous proposons une version modifiée de l algorithme First-Fit. Nous utilisons la phase graph-cut dans notre solution car les raisons que nous avons présenté avant (des stratégies de découpage et des algorithmes existantes). De plus, nous avons une autre raison : on ne peux pas considérer qu une tâche correspond à une VM car il gaspille de l argent et il est compliqué de faire la réservation des ressources quand le nombre de tâches est plus grand. 21

28 Figure 4.1 Des étapes de l algorithme de l ordonnancement dans mon étude. Pour la première phase, nous présentons brièvement leurs idées et leurs pseudocodes. Tout d abord, pour l algorithme Label-based, l idée principale est de faire un cluster des tâches dans le workflow qui contient des tâches qui ont la même étiquette i.e. label. L algorithm 1 présente cette idée sous une pseudocode. Algorithm 1 Algorithme de coupage des tâches dans un graphe par l utilisation Labelbased Require: Un graphe des tâches. Ensure: Ensemble des clusters des tâches. Créer une liste du nom des tâches. Mettre chaque élément de cette liste dans un cluster avec sa marque et la valeur correspondant. for chaque cluster do for chaque tâche do if end if end for end for (Une tâche a le même nom avec que le cluster) then Ajouter cette tâche au cluster. Ensuite, nous présentons deux algorithmes de parcours en largeur d abord (BFS) et en profondeur d abord (DFS) qui ont été modifiés par l ajout des contraintes afin de 22

29 trouver des composantes connexes qui satisfaient notre demande, ils s appellent DCCbased et BCC-based. Nous définissons dans l algorithme 2 la fonction de calcul du total prédit totalpredit(c,k), c est le total des valeurs du cluster C et k (si on ajoute k dans le cluster C). La base de l algorithme, est en largeur d abord mais nous avons ajouté une contrainte que nous utilisons dans la deuxième phase de la solution. Cette contrainte peut-être la performance de la machine virtuelle, la taille de stockage de la machine virtuelle, le ratio de données transférées entre des clusters, le budget, le makespan, etc. Dans notre cas, nous choisissons la taille de stockage de la machine virtuelle. Cette valeur est dynamique car elle dépend la deuxième phase i.e. resources provioning. Algorithm 2 Algorithme de coupage des tâches dans un graphe par l utilisation BCCbased Require: Un graphe des tâches G. Ensure: Ensemble des clusters et des leurs tâches. for chaque tâche do if (une tâche n est pas marquée) then Créer une queue de cette tâche Q. Créer une liste adjacente L. Mettre cette tâche à Q. Marquer cette tâche. if (L ne contient pas cette tâche) then Ajouter cette tâche à L. end if while Q n est pas vide do Une tâche t Q.dequeue() for tout les arcs e dans G.adjacentEdges(t) do Une tâche k G.adjacentEdges(t, e)) if (k n est pas marquée AND totalp redit(c, k) seuil) then Mettre k à Q. Marquer k. if end if end if end for end while if end if end if end for (L ne contient pas k) then Ajouter k à L. (Cluster C ne contient pas L) then Mettre L à C. 23

30 L algorithm 3 se nomme DCC-based et applique la recherche en profondeur (DFS) ainsi que en utilisant la fonction totalpredit(c,k) tout comme BCC-based. Algorithm 3 Algorithme de coupage des tâches dans un graphe par l utilisation DCCbased Require: Un graphe des tâches. Ensure: Ensemble des clusters et leurs tâches. for chaque tâche do if (une tâche n est pas marquée) then Créer une stack de cette tâche S. S.push(cette tâche). Marquer cette tâche. Créer une liste adjacente L. if (L ne contient pas cette tâche) then Ajouter cette tâche à L. end if while S n est pas vide do Une tâche t S.pop() for tout les arcs e dans G.adjacentEdges(t) do Une tâche k G.adjacentEdges(t, e)) if (k n est pas marquée AND totalp redit(l, k) seuil) then S.push(k). Marquer k. if end if end if end for end while if end if end if end for (L ne contient pas k) then Ajouter k à L. (Cluster C ne contient pas L) then Mettre L à C. Notre troisième algorithme de découpage de graphe est nommé Triplet et que nous avons présenté par l avant dans la partie 2.2. Nous présentons deux variantes : TripletVersion1- based (Algorithm 4) et TripletVersion2-based (Algorithm 5). Les différences principales entre TripletVersion1 et TripletVersion2 sont la manière dont est générée la liste de triplets et la façon de traiter la fusion des triplets qui satisfait notre condition. 24

31 Algorithm 4 Algorithme de coupage des tâches dans un graphe par l utilisation TripletVersion1-based Require: Un graphe des tâches. Ensure: Ensemble des clusters et de leurs tâches. Créer une liste des tâches adjacents à chaque tâche. Créer une liste des triplets T avec son concept : i j et j k OR i j et i k. for chaque triplet do for chaque triplet do if (Deux triplets ont un ou deux tâche(s) commun(s) AND totalp redit(c, tachesdut riplet) seuil) then Fusionner deux triplets sans duplications, après les mettre dans un cluster C. end if end for end for for chaque cluster do if (Deux clusters ont un ou des tâche(s) commun(s)) then Supprimer des tâches communs dans un cluster. end if end for for chaque cluster do if end if end for (Un cluster est vide) then Supprimer ce cluster. Pour TripletVersion1, nous fusionnons tous les triplets qui satisfont nos contraintes. Après ça, si il existe des tâches se trouvent dans 2 clusters différents, nous supprimons les redondances. Après cela, s il existe des clusters qui sont vides, nous les supprimons. Par contre, pour TripletVersion2, nous construisons des clusters sans duplication grâce à l utilisation de marque, c est-à-dire, après avoir ajouter une tâche dans un cluster, nous marquons cette tâche comme traité. La fonction totalpredit(c,tâche) dans deux versions du triplet est la même que celle des algorithmes précédants. Le but de la fonction est de calculer le changement de la valeur d un cluster si on met une tâche dans ce cluster. Cette fonction est notre contrainte et sert de solution d arrêt. 25

32 Algorithm 5 Algorithme de coupage des tâches dans un graphe par l utilisation TripletVersion2-based Require: Un graphe des tâches. Ensure: Ensemble des clusters et leurs tâches. Créer une liste des triplets T avec son concept : i j et j k OR i j et i k. avec la condition : si un arc contient la première tâche d autres arcs. for chaque triplet do Créer une liste Tmp. for chaque triplet do if (Deux triplets ont un ou deux tâche(s) commun(s)) then for chaque tâche dans un triplet do if (une tâche n est pas marqué AND totalp redit(t mp, cettet ache) seuil) then Mettre cette tâche dans Tmp. Marque cette tâche. end if end for end if end for if end if end for (Cluster C ne contient pas Tmp) then Mettre Tmp à C. Notre dernier algorithme NoGraphCut sert uniquement à comparer nos algorithmes de graph-cut contre un cas où il n y avait pas cette étape. Dans ce cas, on peut voir chaque tâche comme un cluster. 26

33 Algorithm 6 Algorithme de la provision par l utilisation OneClusterPerVM Require: Des clusters et une liste des modèles de la ressource : les VMs et ses prix. Ensure: Une liste des modèles qui satisfaient des contraintes. Calculer la taille de chaque cluster. Créer une liste des modèles qui satisfait la taille de stockage demande. for chaque cluster do for chaque région des ressources do for chaque ressource do if (Cette ressource est satisfaite) then Ajouter cette ressource à la liste. end if end for end for Choisir une valeur dans cette liste qui est moins cher pour ce cluster. end for Pour la deuxième phase Resources provisioning, nous présentons deux algorithmes : Cheapest et OneClusterPerVM présentés dans l algorithme 6 et 7. Algorithm 7 Algorithme de la provision par l utilisation Cheapest Require: Des clusters et une liste des modèles de la ressource : les VMs et ses prix. Ensure: Une liste des modèles qui satisfaient des contraintes. Calculer la taille de chaque cluster. Créer une liste des modèles qui satisfait la taille de stockage demande. for chaque cluster do for chaque région des ressources do for chaque ressource do if (Cette ressource est satisfaite) then Ajouter cette ressource à la liste. end if end for end for end for Recalculer selon la corrélation entre la taille du cluster et le budget du cluster pour choisir une meilleure valeur dans cette liste avec la critère : l espace du stockage libre restant. L idée principale de l algorithme 6 est d allouer chaque cluster dans une VM, en d autres termes, le nombre de machines virtuelles correspond au nombre de clusters. Pendant ce temps, l algorithme 7 recalcule à utiliser le prix qui est le moins cher et garantir à satisfaire le nombre de clusters. Enfin, nous utilisons l algorithme First-Fit pour faire la dernière phase (task allocation). 27

34 Algorithm 8 Algorithme de l ordonnancement par l utilisation First-Fit Require: Des clusters et une liste des modèles de la ressource : les VMs et ses prix. Ensure: Pour chaque VM et cluster, allocation des données et prioritisation des tâches. Créer une liste de toutes les tâches sans dépendance parent. Créer une liste triée de toutes les tâches de chaque cluster. Allouer des données à l instance où la première tâche qui l utilise sera alloué. Écrire une liste de données de sortie (pour extraire à la fin). L idée principale de l algorithme 8 est d allouer les données à l instances et les tâches. 28

35 4.2 LE TRAVAIL PRATIQUE Tout d abord nous présentons l installation du simulateur SIMGRID 1 (sur le système d exploitation Ubuntu) : sudo apt-get install git cmake cmake-curses-gui mkdir./simgrid git clone git ://scm.gforge.inria.fr/simgrid/simgrid.git simgrid cd simgrid cmake -Denable_maintainer_mode=on -DCMAKE_INSTALL_PREFIX=../install_simgrid. make make install Nous utilisons également R pour analyser et présenter nos résultats ainsi que pajeng pour lire des fichiers des données généré par SGCB. Figure 4.2 Un processus avec des étapes de faire l ordonnancement. 1. http ://simgrid.gforge.inria.fr/simgrid/latest/doc/use.html 29

36 Ensuite, nous présentons notre approche en réel, elle se compose de trois phases : découper un graph en sous graphes ou clusters, faire la réservation des ressources, faire l ordonnancement selon la Figure 4.2. C est un processus complet qui permet l exécution d un workflow scientifique dans notre environnement multi-cloud simulé. Des triangles présentent les algorithmes, les rectangles présentent l entrée et le sortie de l algorithme. De plus, des chiffres présentent l ordre de l exécution. Selon cette figure, l entrée de notre solution est un fichier au format.xml qui présente un workflow, la sortie est les tâches et ses données avec les ressouces correspondantes. Selon notre solution, tout d abord, l étape "Lire XML", notre programme lit des fichiers entrés sous le format *.xml qui définissent un graph avec ses données. Après avoir charger le DAG, nous le découpons en sous-graph avec des algorithmes que nous avons présenté précédemment : Label-based, DCC-based (Depth-Constraint based Clustering), BCC-based (Breath-Constraint based Clustering), Triplet, NoGraphCut. En sortie, nous avons des cluster des tâches qui satisfont notre condition. Pour la deuxième phase, nous présentons deux algorithmes : Cheapest et One Cluster per VM. Enfin, nous utilison l algorithme First-Fit pour faire l ordonnancement. Figure 4.3 Le workflow Montage. Figure 4.4 Le workflow Epigenomics. Figure 4.5 Le workflow Inspiral. Dans notre pratique, nous utilisons des fichiers qui décrivent des workflows comme : Montage, Epigenomics, LIGO Inspiral Analysis 1. Ces workflows sont présentés dans des figures 4.3, 4.4 et https ://confluence.pegasus.isi.edu/display/pegasus/workflowgenerator 30

CNAM 2010-2011. Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010

CNAM 2010-2011. Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010 CNAM 2010-2011 Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010 Déploiement d une application dans le cloud. 1. Cloud Computing en 2010 2. Offre EC2

Plus en détail

Optimisation multi-critère pour l allocation de ressources sur Clouds distribués avec prise en compte de l énergie

Optimisation multi-critère pour l allocation de ressources sur Clouds distribués avec prise en compte de l énergie Optimisation multi-critère pour l allocation de ressources sur Clouds distribués avec prise en compte de l énergie 1 Présenté par: Yacine KESSACI Encadrement : N. MELAB E-G. TALBI 31/05/2011 Plan 2 Motivation

Plus en détail

Business & High Technology

Business & High Technology UNIVERSITE DE TUNIS INSTITUT SUPERIEUR DE GESTION DE TUNIS Département : Informatique Business & High Technology Chapitre 09 : CC : Cloud Computing Sommaire Introduction... 2 Définition... 2 Les différentes

Plus en détail

Cloud Computing : Généralités & Concepts de base

Cloud Computing : Généralités & Concepts de base Cloud Computing : Généralités & Concepts de base Les 24èmes journées de l UR-SETIT 22 Février 2015 Cette oeuvre, création, site ou texte est sous licence Creative Commons Attribution - Pas d Utilisation

Plus en détail

Enseignant: Lamouchi Bassem Cours : Système à large échelle et Cloud Computing

Enseignant: Lamouchi Bassem Cours : Système à large échelle et Cloud Computing Enseignant: Lamouchi Bassem Cours : Système à large échelle et Cloud Computing Les Clusters Les Mainframes Les Terminal Services Server La virtualisation De point de vue naturelle, c est le fait de regrouper

Plus en détail

Iyad Alshabani SysCom - CReSTIC Université de Reims 17/02/2011 1

Iyad Alshabani SysCom - CReSTIC Université de Reims 17/02/2011 1 SysCom - CReSTIC Université de Reims 17/02/2011 1 Motivation Gestion des expérimentations Avec les workflows Simulation Simulation des Systèmes Distribués ANR USS SimGrid Campagne de Test et gestion de

Plus en détail

Introduction à la Recherche en Laboratoire

Introduction à la Recherche en Laboratoire Introduction à la Recherche en Laboratoire Transferts de données pour le vol de travail Tristan Darricau tristan.darricau@ensimag.grenoble-inp.fr 26 mai 2014 Grenoble INP - ENSIMAG Ecadrement Frédéric

Plus en détail

Dynamic Computing Services solution de backup. White Paper Stefan Ruckstuhl

Dynamic Computing Services solution de backup. White Paper Stefan Ruckstuhl Dynamic Computing Services solution de backup White Paper Stefan Ruckstuhl Résumé pour les décideurs Contenu de ce White Paper Description de solutions de backup faciles à réaliser pour des serveurs virtuels

Plus en détail

Big Data et Graphes : Quelques pistes de recherche

Big Data et Graphes : Quelques pistes de recherche Big Data et Graphes : Quelques pistes de recherche Hamamache Kheddouci Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université

Plus en détail

L essentiel. Coopérative, flexible, très performante : la plateforme Engineering Base. web aucotec.com

L essentiel. Coopérative, flexible, très performante : la plateforme Engineering Base. web aucotec.com L essentiel Coopérative, flexible, très performante : la plateforme Engineering Base web aucotec.com Les défis La globalisation des structures d ingénierie avec le travail en réseau sur des sites dispersés

Plus en détail

Chapitre 4: Introduction au Cloud computing

Chapitre 4: Introduction au Cloud computing Virtualisation et Cloud Computing Chapitre 4: Introduction au Cloud computing L'évolution d'internet Virt. & Cloud 12/13 2 Définition Le cloud computing est une technologie permettant de délocaliser les

Plus en détail

Bonjour. Yohan PARENT, Cyprien FORTINA, Maxime LEMAUX, Hyacinthe CARTIAUX

Bonjour. Yohan PARENT, Cyprien FORTINA, Maxime LEMAUX, Hyacinthe CARTIAUX Bonjour I.Le contexte II.Le cloud computing III.L'expérimentation des solutions libres sur Grid'5000 1.Eucalyptus 2.OpenNebula 3.OpenStack IV.Tableau Comparatif V.Conclusion I.Le contexte 1)Le projet

Plus en détail

Serveur d'application à la juste taille

Serveur d'application à la juste taille Serveur d'application à la juste taille 18 Mars 2010 Benoit.Pelletier@bull.net Plan Contexte JOnAS 5, plate-forme de convergence JavaEE/OSGi Caractéristiques essentielles pour le Cloud Computing & l'autonomic

Plus en détail

ARCHITECTURE ET SYSTÈMES D'EXPLOITATIONS

ARCHITECTURE ET SYSTÈMES D'EXPLOITATIONS ARCHITECTURE ET SYSTÈMES D'EXPLOITATIONS Axel François bureau C19 (2eme étage) cours disponibles en pdf sur : www.iut-arles.up.univ-mrs.fr/francois 1 PLAN En Cours : qu'est-ce qu'un ordinateur? à quoi

Plus en détail

Parallel Tree-based Exact Algorithms using Heterogeneous Many and Multi-core Computing for Solving Challenging Problems in Combinatorial Optimization

Parallel Tree-based Exact Algorithms using Heterogeneous Many and Multi-core Computing for Solving Challenging Problems in Combinatorial Optimization Parallel Tree-based Exact Algorithms using Heterogeneous Many and Multi-core Computing for Solving Challenging Problems in Combinatorial Optimization Rudi Leroy Encadrement : N. Melab (Univ. Lille 1),

Plus en détail

Brochure Datacenter. www.novell.com. Novell Cloud Manager. Création et gestion d un cloud privé. (Faire du cloud une réalité)

Brochure Datacenter. www.novell.com. Novell Cloud Manager. Création et gestion d un cloud privé. (Faire du cloud une réalité) Brochure Datacenter Novell Cloud Manager Création et gestion d un cloud privé (Faire du cloud une réalité) Novell Cloud Manager : le moyen le plus simple de créer et gérer votre cloud WorkloadIQ est notre

Plus en détail

Introduction aux systèmes d exploitation

Introduction aux systèmes d exploitation Introduction aux systèmes d exploitation Le système d exploitation est un ensemble de logiciels qui pilotent la partie matérielle d un ordinateur. Les principales ressources gérées par un système d exploitation

Plus en détail

Hébergement MMI SEMESTRE 4

Hébergement MMI SEMESTRE 4 Hébergement MMI SEMESTRE 4 24/03/2015 Hébergement pour le Web Serveurs Mutualités Serveurs Dédiés Serveurs VPS Auto-Hébergement Cloud Serveurs Mutualités Chaque Serveur héberge plusieurs sites Les ressources

Plus en détail

Système d administration autonome adaptable: application au Cloud

Système d administration autonome adaptable: application au Cloud Système d administration autonome adaptable: application au Cloud Alain TCHANA - atchana@enseeiht.fr IRIT/ENSEEIHT, Equipe SEPIA Directeur de thèse : Daniel HAGIMONT et Laurent BROTO Rapporteurs : Jean-Marc

Plus en détail

Solutions de gestion de la sécurité Livre blanc

Solutions de gestion de la sécurité Livre blanc Solutions de gestion de la sécurité Livre blanc L intégration de la gestion des identités et des accès avec l authentification unique Objectif : Renforcer la politique de sécurité et améliorer la productivité

Plus en détail

Plate-forme Cloud CA AppLogic pour les applications d entreprise

Plate-forme Cloud CA AppLogic pour les applications d entreprise FICHE PRODUIT : CA AppLogic Plate-forme Cloud CA AppLogic pour les applications d entreprise agility made possible CA AppLogic est une plate-forme Cloud Computing clés en main permettant aux clients de

Plus en détail

Systèmes Répartis. Pr. Slimane Bah, ing. PhD. Ecole Mohammadia d Ingénieurs. G. Informatique. Semaine 24.2. Slimane.bah@emi.ac.ma

Systèmes Répartis. Pr. Slimane Bah, ing. PhD. Ecole Mohammadia d Ingénieurs. G. Informatique. Semaine 24.2. Slimane.bah@emi.ac.ma Ecole Mohammadia d Ingénieurs Systèmes Répartis Pr. Slimane Bah, ing. PhD G. Informatique Semaine 24.2 1 Semestre 4 : Fev. 2015 Grid : exemple SETI@home 2 Semestre 4 : Fev. 2015 Grid : exemple SETI@home

Plus en détail

BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ

BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ Laboratoire LaTICE Univ. de Tunis INRIA LYON Avalon Team Laboratoire d Informatique de Paris Nord (LIPN) BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ Heithem Abbes Heithem Abbes Rencontres

Plus en détail

LES OUTILS D ALIMENTATION DU REFERENTIEL DE DB-MAIN

LES OUTILS D ALIMENTATION DU REFERENTIEL DE DB-MAIN LES OUTILS D ALIMENTATION DU REFERENTIEL DE DB-MAIN Les contenues de ce document sont la propriété exclusive de la société REVER. Ils ne sont transmis qu à titre d information et ne peuvent en aucun cas

Plus en détail

Cloud et SOA La présence du Cloud révolutionne-t-elle l approche SOA?

Cloud et SOA La présence du Cloud révolutionne-t-elle l approche SOA? Cloud et SOA La présence du Cloud révolutionne-t-elle l approche SOA? Jean-Marc Pierson pierson@irit.fr IRIT, Université de Toulouse Agenda! Le Cloud! Le SOA! Quelle différence!?! Cloud et SOA! Mise en

Plus en détail

MACHINE VIRTUELLE VSPHERE. Projet Personnalisé Encadré 1

MACHINE VIRTUELLE VSPHERE. Projet Personnalisé Encadré 1 MACHINE VIRTUELLE VSPHERE Projet Personnalisé Encadré 1 Aymeric Blerreau 15/11/2013 1 TABLE DES MATIÈRES 2 Description... 2 3 Contexte... 3 3.1 Contexte... 3 3.2 Objectifs... 3 3.3 Solution envisageable...

Plus en détail

Big Data et Graphes : Quelques pistes de recherche

Big Data et Graphes : Quelques pistes de recherche Big Data et Graphes : Quelques pistes de recherche Hamamache Kheddouci http://liris.cnrs.fr/hamamache.kheddouci Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de

Plus en détail

L approche Bases de données

L approche Bases de données L approche Bases de données Cours: BD. Avancées Année: 2005/2006 Par: Dr B. Belattar (Univ. Batna Algérie) I- : Mise à niveau 1 Cours: BDD. Année: 2013/2014 Ens. S. MEDILEH (Univ. El-Oued) L approche Base

Plus en détail

Historique. Évolution des systèmes d exploitation (à travers les âges)

Historique. Évolution des systèmes d exploitation (à travers les âges) Historique Évolution des systèmes d exploitation (à travers les âges) Historique L histoire des systèmes d exploitation permet de dégager des concepts de base que l on retrouve dans les systèmes actuels

Plus en détail

Cloud computing Votre informatique à la demande

Cloud computing Votre informatique à la demande Cloud computing Votre informatique à la demande Thomas RULMONT Définition du Cloud Computing L'informatique dans le nuage (en anglais, cloud computing) est un concept ( ) faisant référence à l'utilisation

Plus en détail

A Libre Ouvert. Médiathèque Jacques Ellul. le 12-03-2010

A Libre Ouvert. Médiathèque Jacques Ellul. le 12-03-2010 A Libre Ouvert Médiathèque Jacques Ellul le 12-03-2010 à PESSAC avec l'abul La Virtualisation (avec VirtualBox) C'est quoi, la 'virtualisation'? A quoi ça peut me servir à la maison? Et dans mon travail,

Plus en détail

La tête dans les nuages

La tête dans les nuages 19 novembre 2010 La tête dans les nuages Démystifier le "Cloud Computing" Jean Bernard, Directeur, Gestion des services Radialpoint SafeCare Inc. Au sujet de Radialpoint Radialpoint offre des solutions

Plus en détail

PPE 1 PRISE EN MAIN DE VMWARE VSPHERE 5.5 & CONFIGURATION D UNE MACHINE VIRTUELLE

PPE 1 PRISE EN MAIN DE VMWARE VSPHERE 5.5 & CONFIGURATION D UNE MACHINE VIRTUELLE PPE 1 PRISE EN MAIN DE VMWARE VSPHERE 5.5 & CONFIGURATION D UNE MACHINE VIRTUELLE Antoine CAMBIEN BTS SIO Option SISR Session 2015 BTS SIO Services Informatiques aux Organisations Session 2014 2015 Nom

Plus en détail

Cloud Computing - présentation d un outil complet

Cloud Computing - présentation d un outil complet Mihaela JUGANARU-MATHIEU mathieu@emse.fr École Nationale Supérieure des Mines de St Etienne 2013-2014 Bibliographie : Christopher M. Moyer, Building Applications in the Cloud : Concepts, Patterns, and

Plus en détail

Mise en place d une machine virtuelle avec vsphere

Mise en place d une machine virtuelle avec vsphere Mise en place d une machine virtuelle avec vsphere 15/11/2013 Par Aymeric BLERREAU Dans le cadre de l obtention du BTS SIO SISR Services Informatiques aux Organisation option Solution d Infrastructure,

Plus en détail

Cloud Computing : Utiliser Stratos comme PaaS privé sur un cloud Eucalyptus

Cloud Computing : Utiliser Stratos comme PaaS privé sur un cloud Eucalyptus Cloud Computing : Utiliser Stratos comme PaaS privé sur un cloud Eucalyptus Mr Romaric SAGBO Ministère de l'economie et des Finances (MEF), Bénin SWD Technologies Email : rask9@yahoo.fr Tél : +229 97217745

Plus en détail

Application de K-means à la définition du nombre de VM optimal dans un cloud

Application de K-means à la définition du nombre de VM optimal dans un cloud Application de K-means à la définition du nombre de VM optimal dans un cloud EGC 2012 : Atelier Fouille de données complexes : complexité liée aux données multiples et massives (31 janvier - 3 février

Plus en détail

Network Shutdown Module V3 Extension du Manuel Utilisateur pour architecture Virtualisée VMWare ESX Server

Network Shutdown Module V3 Extension du Manuel Utilisateur pour architecture Virtualisée VMWare ESX Server Network Shutdown Module V3 Extension du Manuel Utilisateur pour architecture Virtualisée VMWare ESX Server Machine virtuelle Machine virtuelle Machine virtuelle VMware ESX 3 Network Shutdown Module Network

Plus en détail

Sélectionner la bonne base de données de gestion de configurations pour mettre en place une plate-forme efficace de gestion de services.

Sélectionner la bonne base de données de gestion de configurations pour mettre en place une plate-forme efficace de gestion de services. Solutions de Service Management Guide d achat Sélectionner la bonne base de données de gestion de configurations pour mettre en place une plate-forme efficace de gestion de services. Aujourd hui, toutes

Plus en détail

Clermont Ferrand - Janvier 2003

Clermont Ferrand - Janvier 2003 DISDAMIN: Algorithmes de Data Mining Distribués Valerie FIOLET (1,2) - Bernard TOURSEL (1) 1 Equipe PALOMA - LIFL - USTL - LILLE (FRANCE) 2 Service Informatique - UMH - MONS (BELGIUM) Clermont Ferrand

Plus en détail

Éfficacité énergétique des infrastructures cloud : l approche CompatibleOne

Éfficacité énergétique des infrastructures cloud : l approche CompatibleOne Green IT & Cloud Éfficacité énergétique des infrastructures cloud : l approche CompatibleOne 05/06/2012 Julien CARPENTIER INRIA Maxime MOREL INRIA Plan 1. Présentation du projet 2. La gestion de l'énergie

Plus en détail

Séminaire Partenaires Esri France 6 et 7 juin 2012 Paris. ArcGIS et le Cloud. Gaëtan LAVENU

Séminaire Partenaires Esri France 6 et 7 juin 2012 Paris. ArcGIS et le Cloud. Gaëtan LAVENU Séminaire Partenaires Esri France 6 et 7 juin 2012 Paris ArcGIS et le Cloud Gaëtan LAVENU Agenda Qu'attendent nos clients du Cloud Computing? Les solutions de Cloud ArcGIS dans le Cloud Quelles attendent

Plus en détail

Le Cercle Vertueux du Cloud Public

Le Cercle Vertueux du Cloud Public Le Cercle Vertueux du Cloud Public Le Cercle Vertueux du Cloud Public Le Cloud public rencontre un intérêt croissant auprès de tous les directeurs IT voulant planifier les stratégies informatiques de leur

Plus en détail

Management des processus opérationnels

Management des processus opérationnels Ecole Nationale Supérieure de Management Master Management des organisations Management des processus opérationnels Dr TOUMI Djamila Cours n 4: l approche processus et le management du système d informations

Plus en détail

Évolution vers l hyperconvergence : créer le Software Defined Data Center qui vous convient

Évolution vers l hyperconvergence : créer le Software Defined Data Center qui vous convient Enterprise Strategy Group Getting to the bigger truth. Livre blanc Évolution vers l hyperconvergence : créer le Software Defined Data Center qui vous convient Par Colm Keegan, Analyste senior, ESG Février

Plus en détail

Introduction Moteur de workflows Conclusions. École normale supérieure de Lyon. 11 mai 2006. Ordonnancement de workflows dans DIET

Introduction Moteur de workflows Conclusions. École normale supérieure de Lyon. 11 mai 2006. Ordonnancement de workflows dans DIET École normale supérieure de Lyon Groupe de travail GRAAL 11 mai 2006 Plan Introduction 1 Introduction Les Workflows Présentation de DIET Motivations et objectifs 2 3 Plan Introduction Les Workflows Présentation

Plus en détail

Chapitre V : La gestion de la mémoire. Hiérarchie de mémoires Objectifs Méthodes d'allocation Simulation de mémoire virtuelle Le mapping

Chapitre V : La gestion de la mémoire. Hiérarchie de mémoires Objectifs Méthodes d'allocation Simulation de mémoire virtuelle Le mapping Chapitre V : La gestion de la mémoire Hiérarchie de mémoires Objectifs Méthodes d'allocation Simulation de mémoire virtuelle Le mapping Introduction Plusieurs dizaines de processus doivent se partager

Plus en détail

AC - Virtualisation. Romain Hinfray

AC - Virtualisation. Romain Hinfray AC - Virtualisation Semestre Automne 2008 Antoine Benkemoun Romain Hinfray Introduction Cadre du projet Choix de Xen Quatre parties Tour d horizon de la virtualisation Pré-requis à la compréhension de

Plus en détail

L INFORMATION GEOGRAPHIQUE

L INFORMATION GEOGRAPHIQUE Champs sur Marne ENSG/CERSIG Le 19-nove.-02 L INFORMATION GEOGRAPHIQUE Archivage Le Système d information géographique rassemble de l information afin de permettre son utilisation dans des applications

Plus en détail

Le cloud computing c est pour moi?

Le cloud computing c est pour moi? Le cloud computing c est pour moi? Hackfest 2011 OPTIMIZED 4 novembre 2011 - Version 1.0 Mario Lapointe ing. MBA CISA CGEIT mario.lapointe@metastrategie.com Votre conférencier Mario Lapointe ing. MBA CISA

Plus en détail

Administrez vos clouds privés et Windows Azure avec System Center 2012

Administrez vos clouds privés et Windows Azure avec System Center 2012 Administrez vos clouds privés et Windows Azure avec System Center 2012 Fabrice Meillon Architecte Infrastructure Microsoft France https://blogs.technet.com/fabricem_blogs 2 Objectifs de la session Présenter

Plus en détail

Description et regroupement de ressources pour les réseaux virtuels

Description et regroupement de ressources pour les réseaux virtuels École nationale d ingénieurs de Sfax Description et regroupement de ressources pour les réseaux virtuels Houssem Medhioub M. Mohamed Jmaiel Président M. Slim Kanoun Membre M. Maher Ben Jemaa Encadreur

Plus en détail

ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE

ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE Mémoires 2010-2011 www.euranova.eu MÉMOIRES ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE Contexte : Aujourd hui la plupart des serveurs d application JEE utilise des niveaux de cache L1

Plus en détail

Chapitre 2 : Abstraction et Virtualisation

Chapitre 2 : Abstraction et Virtualisation Virtualisation et Cloud Computing Chapitre 2 : Abstraction et Virtualisation Objectifs Présenter la notion de niveaux d abstraction séparés par des interfaces bien définies Description des avantages et

Plus en détail

Etude des outils du Cloud Computing

Etude des outils du Cloud Computing Etude des outils du Cloud Computing Sommaire : Présentation générale.. 2 Définitions. 2 Avantage.. 2 Inconvénients. 3 Types d offres de service Cloud.. 3 Comparaison des services Cloud 4 Conclusion 5 Présentation

Plus en détail

ARCHITECTURES DE VIRTUALISATION

ARCHITECTURES DE VIRTUALISATION ARCHITECTURES DE VIRTUALISATION Antoine Benkemoun - Barcamp 5 Octobre 2010 SOMMAIRE Introduction La virtualisation Son intérêt et ses problématiques Les différents types et classification Solutions techniques

Plus en détail

Le Cloud au LIG? Pierre Neyron PimLIG - 2013-04-14

Le Cloud au LIG? Pierre Neyron PimLIG - 2013-04-14 Le Cloud au LIG? Pierre Neyron PimLIG - 2013-04-14 Cloud = buzz word Employé à toutes les sauces... http://www.youtube.com/watch?v=rdkbo2qmyjq (pub SFR) tout le monde fait du cloud? Qui fait du cloud au

Plus en détail

VMware : De la Virtualisation. au Cloud Computing

VMware : De la Virtualisation. au Cloud Computing VMware : De la Virtualisation. au Cloud Computing Tunis, le 12 Décembre 2012 Jamal Belhachemi BDM South EMEA 2010 VMware, Inc. Tous droits réservés. 2010 #1 dans les priorités des Directeurs Informatiques

Plus en détail

Architecture des ordinateurs. Optimisation : pipeline. Pipeline (I) Pipeline (II) Exemple simplifié : Instructions de type R

Architecture des ordinateurs. Optimisation : pipeline. Pipeline (I) Pipeline (II) Exemple simplifié : Instructions de type R Architecture des ordinateurs Licence Informatique - Université de Provence Jean-Marc Talbot Optimisation : pipeline jtalbot@cmi.univ-mrs.fr L3 Informatique - Université de Provence () Architecture des

Plus en détail

Rocket AS v6.3. Les bénéfices de l optimisation

Rocket AS v6.3. Les bénéfices de l optimisation Rocket AS v6.3 Les bénéfices de l optimisation Qu est-ce que Rocket AS? Rocket AS pour IBM System z assure la visualisation de requêtes, de rapports, de données et le développement d applications rapides

Plus en détail

Machine de Turing. Informatique II Algorithmique 1

Machine de Turing. Informatique II Algorithmique 1 Machine de Turing Nous avons vu qu un programme peut être considéré comme la décomposition de la tâche à réaliser en une séquence d instructions élémentaires (manipulant des données élémentaires) compréhensibles

Plus en détail

e need L un des premiers intégrateurs opérateurs Cloud Computing indépendants en France

e need L un des premiers intégrateurs opérateurs Cloud Computing indépendants en France e need L un des premiers intégrateurs opérateurs Cloud Computing indépendants en France Sommaire Cloud Computing Retours sur quelques notions Quelques chiffres Offre e need e need Services e need Store

Plus en détail

Réunion GDS 13 octobre 2006

Réunion GDS 13 octobre 2006 École normale supérieure de Lyon Réunion GDS 13 octobre 2006 Plan Introduction 1 Introduction 2 3 4 5 6 Les workflows Ensemble de tâches connectées La structure du workflow représente la relation temporelle

Plus en détail

System Center 2012 R2 Licensing Fiche Produit

System Center 2012 R2 Licensing Fiche Produit Licensing Fiche Produit Aperçu du produit Microsoft offre des solutions pour administrer des ressources de datacenters, des clouds privés et des appareils clients. Gestion de Cloud privé/datacenter aide

Plus en détail

Rapport d activité. Mathieu Souchaud Juin 2007

Rapport d activité. Mathieu Souchaud Juin 2007 Rapport d activité Mathieu Souchaud Juin 2007 Ce document fait la synthèse des réalisations accomplies durant les sept premiers mois de ma mission (de novembre 2006 à juin 2007) au sein de l équipe ScAlApplix

Plus en détail

«Scale-to-fit» Storage

«Scale-to-fit» Storage LIVRE BLANC «Scale-to-fit» Storage Faites évoluer votre stockage de façon totalement transparente grâce au «Scale-to-Fit» de Nimble Storage. Ce livre blanc explique comment les solutions Nimble Storage

Plus en détail

Vers une IT as a service

Vers une IT as a service Vers une IT as a service 1 L évolution du datacenter vers un centre de services P.2 2 La création d une offre de services P.3 3 La transformation en centre de services avec System Center 2012 P.4 L évolution

Plus en détail

L infonuagique démystifiée LE CLOUD REVIENT SUR TERRE. Par Félix Martineau, M. Sc.

L infonuagique démystifiée LE CLOUD REVIENT SUR TERRE. Par Félix Martineau, M. Sc. L infonuagique démystifiée LE CLOUD REVIENT SUR TERRE Par Félix Martineau, M. Sc. Bonjour! Félix Martineau Directeur, Pratique Atlassian, R3D Conseil Objectif Définir clairement ce qu est l infonuagique

Plus en détail

Imaginez... go-vshape.fr

Imaginez... go-vshape.fr Imaginez... go-vshape.fr ... simplicité, rapidité et fiabilité en un seul emballage Fujitsu vshape : la solution complète axée sur le marché Êtes-vous à la recherche d un moyen pour mettre en œuvre la

Plus en détail

Institut Supérieur des Etudes Technologiques de Médenine, Département TI L1 TI-Année 2014-2015 Système d exploitation Gestion de disques dans Windows

Institut Supérieur des Etudes Technologiques de Médenine, Département TI L1 TI-Année 2014-2015 Système d exploitation Gestion de disques dans Windows Objectifs Savoir partitionner un disque Formater, défragmenter, nettoyer une partition Créer une image système de windows 1. Les disques durs Un disque dur est une mémoire de masse (de grande capacité,

Plus en détail

Cours de Génie Logiciel

Cours de Génie Logiciel Cours de Génie Logiciel Sciences-U Lyon Diagrammes UML (2) http://www.rzo.free.fr Pierre PARREND 1 Avril 2005 Sommaire Les Diagrammes UML Diagrammes de Collaboration Diagrammes d'etats-transitions Diagrammes

Plus en détail

VMWare Infrastructure 3

VMWare Infrastructure 3 Ingénieurs 2000 Filière Informatique et réseaux Université de Marne-la-Vallée VMWare Infrastructure 3 Exposé système et nouvelles technologies réseau. Christophe KELLER Sommaire Sommaire... 2 Introduction...

Plus en détail

CREER ET FORMATER UNE PARTITION DE DISQUE DUR 1 QUE SONT LES PARTITIONS ET LES LECTEURS LOGIQUES? 6

CREER ET FORMATER UNE PARTITION DE DISQUE DUR 1 QUE SONT LES PARTITIONS ET LES LECTEURS LOGIQUES? 6 Table des matières. CREER ET FORMATER UNE PARTITION DE DISQUE DUR 1 QUE SONT LES PARTITIONS ET LES LECTEURS LOGIQUES? 6 QUE SONT LES DISQUES DE BASE ET LES DISQUES DYNAMIQUES? 6 FORMATAGE DES DISQUES ET

Plus en détail

Introduction aux applications réparties

Introduction aux applications réparties Introduction aux applications réparties Noël De Palma Projet SARDES INRIA Rhône-Alpes http://sardes.inrialpes.fr/~depalma Noel.depalma@inrialpes.fr Applications réparties Def : Application s exécutant

Plus en détail

Ordonnancement sous contraintes de Qualité de Service dans les Clouds

Ordonnancement sous contraintes de Qualité de Service dans les Clouds Ordonnancement sous contraintes de Qualité de Service dans les Clouds GUÉROUT Tom DA COSTA Georges (SEPIA) MONTEIL Thierry (SARA) 14/9/215 1 Profil Profil Parcours : Laboratoires LAAS et IRIT à Toulouse

Plus en détail

MiniCLOUD http://www.virtual-sr.com/

MiniCLOUD http://www.virtual-sr.com/ MiniCLOUD http://www.virtual-sr.com/ SANTE RESEAU développe en 2012, une filiale, VIRTUAL SR, spécialisée dans l'hébergement PRIVÉ de Machines Virtuelles. Spécialisée dans Les Architectures Virtuelles

Plus en détail

Les premiers pas d utilisation

Les premiers pas d utilisation Suite infrastructure cloud Les premiers pas d utilisation 1 SOMMAIRE : Les premiers pas Les principes de l interface La création de votre premier serveur Le démarrage L administration de votre serveur

Plus en détail

Nouveautés de la version Catalogic ECX 2.0

Nouveautés de la version Catalogic ECX 2.0 Nouveautés de la version Catalogic ECX 2.0 Gestion, orchestration et analyse de copies de dans l entreprise et sur le Cloud Nouvelles fonctionnalités et évolutions Gestion instantanée des copies de Gestion

Plus en détail

Network Shutdown Module V3 Extension du Manuel Utilisateur pour architecture Virtualisée Virtual Server de Microsoft

Network Shutdown Module V3 Extension du Manuel Utilisateur pour architecture Virtualisée Virtual Server de Microsoft Network Shutdown Module V3 Extension du Manuel Utilisateur pour architecture Virtualisée Virtual Server de Microsoft Virtual Server 2005 R2 Network Shutdown Module Système Principal (hôte) Virtual Server

Plus en détail

Analyse de la démographie des objets dans les systèmes Java temps-réel

Analyse de la démographie des objets dans les systèmes Java temps-réel Analyse de la démographie des objets dans les systèmes Java temps-réel Nicolas BERTHIER Laboratoire VERIMAG Responsables du stage : Christophe RIPPERT et Guillaume SALAGNAC le 29 septembre 26 1 Introduction

Plus en détail

Mini-Projet de Prolog : Solver de Sudoku

Mini-Projet de Prolog : Solver de Sudoku UNIVERSITE François Rabelais TOURS Polytech Tours-Département Informatique 64, Avenue Jean Portalis 37200 TOURS Mini-Projet de Prolog : Solver de Sudoku Encadré par : Présenté par : M. J-L Bouquard Florent

Plus en détail

Testing : A Roadmap. Mary Jean Harrold. Présentation de Olivier Tissot

Testing : A Roadmap. Mary Jean Harrold. Présentation de Olivier Tissot Testing : A Roadmap Mary Jean Harrold Présentation de Olivier Tissot Testing : A Roadmap I. L auteur II. Introduction sur les test : les enjeux, la problématique III. Les tests : roadmap IV. Conclusion

Plus en détail

Automatiser le Software-Defined Data Center avec vcloud Automation Center

Automatiser le Software-Defined Data Center avec vcloud Automation Center Automatiser le Software-Defined Data Center avec vcloud Automation Center 5 Juin 2014 2014 VMware Inc. All rights reserved. CONFIDENTIAL 2 Impact de l accélération du rythme de l entreprise DEMANDES CONSEQUENCES

Plus en détail

Le Cloud. Généralités & Sécurité. Valentin Lecerf Salon du multimédia et de la photo 2013 - Proville

Le Cloud. Généralités & Sécurité. Valentin Lecerf Salon du multimédia et de la photo 2013 - Proville Le Cloud Généralités & Sécurité Qui suis-je? Expert SharePoint Etudiant Master 2 TIIR Technologies pour les Infrastructures de l'internet et pour leur Robustesse Contributeur Actif Microsoft Me contacter?

Plus en détail

Cloud Computing: de la technologie à l usage final. Patrick CRASSON Oracle Thomas RULMONT WDC/CloudSphere Thibault van der Auwermeulen Expopolis

Cloud Computing: de la technologie à l usage final. Patrick CRASSON Oracle Thomas RULMONT WDC/CloudSphere Thibault van der Auwermeulen Expopolis Cloud Computing: de la technologie à l usage final Patrick CRASSON Oracle Thomas RULMONT WDC/CloudSphere Thibault van der Auwermeulen Expopolis ADOPTION DU CLOUD COMPUTING Craintes, moteurs, attentes et

Plus en détail

Windows serveur 2008 installer hyperv

Windows serveur 2008 installer hyperv Windows serveur 2008 installer hyperv 1 Description Voici la description fournit par le site Microsoft. «Windows Server 2008 Hyper-V est le moteur de virtualisation (hyperviseur) fourni dans Windows Server

Plus en détail

UNE APPROCHE DES PGI AVEC TINYERP : LE CONTEXTE ZENTA

UNE APPROCHE DES PGI AVEC TINYERP : LE CONTEXTE ZENTA UNE APPROCHE DES PGI AVEC TINYERP : LE CONTEXTE ZENTA Marie-pascale Delamare réseau CERTA Octobre 2007 Plan de la présentation Présentation du contexte Zenta ; Démonstration du contexte Zenta dans Tiny

Plus en détail

La gestion du poste de travail en 2011 : Panorama des technologies

La gestion du poste de travail en 2011 : Panorama des technologies La gestion du poste de travail en 2011 : Panorama des technologies François Clémence C.R.I Université Paul Verlaine Metz UFR Sciences Humaines et Arts clemence@univ-metz.fr Olivier Mathieu C.R.I Université

Plus en détail

état et perspectives

état et perspectives La Normalisation de l informatique en Nuage «Cloud Computing» état et perspectives Séminaire Aristote: L'interopérabilit rabilité dans le Cloud Ecole Polytechnique 23/03/2011 Jamil CHAWKI Orange Labs Networks

Plus en détail

Application Web Cloud computing

Application Web Cloud computing Application Web Cloud computing Hubert Segond Orange Labs ENSI 2015-16 Plan du cours Introduction Caractéristiques essentielles Modèles de service SaaS PaaS IaaS Le Cloud et l entreprise Le Cloud en résumé

Plus en détail

Algorithmique distribuée d exclusion mutuelle : vers une gestion efficace des ressources

Algorithmique distribuée d exclusion mutuelle : vers une gestion efficace des ressources Algorithmique distribuée d exclusion mutuelle : vers une gestion efficace des ressources Jonathan Lejeune LIP6-UPMC/CNRS, Inria 19 septembre 2014 Directeur : Pierre Sens Encadrants : Luciana Arantes et

Plus en détail

Projet informatique «Voyageur de commerce» Résolution approchée par algorithme génétique du problème du voyageur de commerce

Projet informatique «Voyageur de commerce» Résolution approchée par algorithme génétique du problème du voyageur de commerce Année 2007-2008 Projet informatique «Voyageur de commerce» Résolution approchée par algorithme génétique du problème du voyageur de commerce B. Monsuez Projet informatique «Voyageur de commerce» Résolution

Plus en détail

Tests de SlipStream sur les plateformes StratusLab@LAL et OpenStack@CC-IN2P3 : vers la. Vers la fédération du Cloud computing

Tests de SlipStream sur les plateformes StratusLab@LAL et OpenStack@CC-IN2P3 : vers la. Vers la fédération du Cloud computing Tests de sur les plateformes StratusLab@LAL et OpenStack@CC-IN2P3 : vers la fédération du Cloud computing Cécile Cavet1 & Charles Loomis2 (1) Centre François Arago, Laboratoire, Université Paris Diderot,

Plus en détail

Visualization sur Ubuntu: Quels Choix? Nicolas Barcet

Visualization sur Ubuntu: Quels Choix? Nicolas Barcet <nick.barcet@canonical.com> Visualization sur Ubuntu: Quels Choix? Nicolas Barcet Ubuntu Server Product Manager 24/03/09 2 Agenda Définitions Outils de Virtualization Serveur Outils de Virtualization Poste

Plus en détail

Solution de sauvegarde externalisée

Solution de sauvegarde externalisée Solution de sauvegarde externalisée POURQUOI BACK NET «Le choix d une stratégie de sauvegarde performante présente pour les entreprises d aujourd hui, un véritable enjeu en termes de viabilité.» Elle doit

Plus en détail

+ = OpenStack Presentation. Raphaël Ferreira - CoFounder. @ enovance. Credits : Thanks to the OpenStack Guys 1

+ = OpenStack Presentation. Raphaël Ferreira - CoFounder. @ enovance. Credits : Thanks to the OpenStack Guys 1 + = OpenStack Presentation Raphaël Ferreira - CoFounder @ enovance Credits : Thanks to the OpenStack Guys 1 INTRODUCTION 2 Les entreprises déploient des clouds pour... Répondre aux besoins de ressources

Plus en détail

Session Pratique IBI-3 Intégration d outils bioinformatiques dans une appliance

Session Pratique IBI-3 Intégration d outils bioinformatiques dans une appliance Session Pratique IBI-3 Intégration d outils bioinformatiques dans une appliance contact : support@france-bioinformatique.fr I) Description des appliances du cloud IFB à l usage des développeurs d appliances.

Plus en détail

Les solutions centre de données virtuel et Infrastructure-service de Bell

Les solutions centre de données virtuel et Infrastructure-service de Bell Les solutions centre de données virtuel et Infrastructure-service de Bell Zied Hammami Directeur Principal- Spécialiste centre de données 14 novembre 2013 Ordre du jour Les centres de données de Bell Centre

Plus en détail

Introduction. Gestion de la consommation énergétique. Contexte du cloud computing Instrumentation et contrôle

Introduction. Gestion de la consommation énergétique. Contexte du cloud computing Instrumentation et contrôle Ctrl-Green Projet ANR INFRA (2012-2015) Coordinateur Noel De Palma (UJF/LIG) Partenaires UJF/LIG, ENSEEIHT/IRIT, INRIA, Eolas Business&Decision, Scalagent Introduction Gestion de la consommation énergétique

Plus en détail

Libérez votre intuition

Libérez votre intuition Présentation de Qlik Sense Libérez votre intuition Qlik Sense est une application nouvelle génération de visualisation de données en libre-service qui permet à chacun de créer facilement des visualisations

Plus en détail