Improving MapReduce Performance in Heterogeneous Environments

Dimension: px
Commencer à balayer dès la page:

Download "Improving MapReduce Performance in Heterogeneous Environments"

Transcription

1 Improving MapReduce Performance in Heterogeneous Environments Minwei CHEN Université Claude Bernard Lyon 1 Master Recherche en Informatique M2 Technologies de l information et Web pro: CONTENTS I Intro 1 I-A Thématique générale I-B Principales conférences et revues du domaine I-C Principaux laboratoires et auteurs du domaine I-D Les auteurs de l article I-E La conférence ou la revue dans laquelle l article est paru I-F Problème que l article vise à résoudre. 2 II Résumé des contributions de l article 2 II-A Contexte II-B Le planificateur LATE III Critique 3 III-A Critique de la partie état de l art III-B Critique de l évaluation des résultats.. 4 III-C Autres points forts et points faibles.. 5 IV Impact de l article 5 References 5 Abstract Cet article a introduit les techniques natives de planification dans Apache Hadoop. Connaissant les points faibles du mécanisme et des stratégies par défaut dans les environnements hétérogènes, les auteurs ont proposé un nouveau planificateur avec une nouvelle stratégie ainsi que les tests de performances. Les auteurs ont trouvé des hypothèses invalides lors que l on est dans les systèmes cloud virtualisés, et c est le premier qui a pensé aux impacts du planificateur d Apache Hadoop sur les performances en milieu hétérogène, sachant que ce sujet est de plus en plus critique dans la production. Cependant, les auteurs ont laissé des travaux non-finis. La solution proposée pourrait considérer davantage les tâches map, l algorithme n est pas parfait dans certains cas et pourrait être mieux détaillé. De plus, les environnements cible pourraient être plus variants. I. INTRODUCTION A. Thématique générale dont fait partie l article Aujourd hui, la quantité de données liée aux connaissances humaines est en croissance exponentielle. Nous avons de plus en plus besoin de nouvelles technologies pour traiter et analyser efficacement des données échangées. En 2004, les chercheurs de Google ont publié le fameux modèle MapReduce qui est devenu vite la référence pour les calculs parallèles distribués. Un an plus tard, inspiré par ce modèle et deux autres articles de Google(Google File System et Big Table), deux employés de Yahoo! ont créé Hadoop, qui est maintenant le framework le plus utilisé dans le monde entier. Il permet aux applications de travailler avec des milliers de nuds et des pétaoctets(1po = 1000To) de données. Comme il a été déployé davantage sur les infrastructures différentes, notamment celles cloud, les gens ont distingué des inconvénients en milieu homogène(e.g. Amazon EC2, Microsoft Azure, etc). Ces points faibles réduisaient considérablement les performances de Hadoop dans ces environnements, donc il était nécessaire de trouver une solution. B. Principales conférences et revues du domaine Cette publication est plutôt dans le domaine des réseaux et communications, dont les conférences importantes sont comme IEEE INFOCOM, MOBICOM (Mobile Computing and Networking) et ACM SIGCOMM Conference. Dans un autre domaine voisin de calculs parallèles et distribués, on a ICDCS (International Conference on Distributed Computing Systems), PODC (Symposium on Principles of Distributed Computing), etc. Pour le domaine spécifique de MapReduce, VLDB conference et IEEE Big Data conference sont les deux les plus connues. Au niveau de revues, les principales dans ces domaines sont comme CACM (Communications of The ACM), TCOM (IEEE Transactions on Communications), TOCS (ACM Transactions on Computer Systems), TPDS (IEEE Transactions on Parallel and Distributed Systems). Pour le domaine spécifique de MapReduce, VLDB journal est le journal de la plus haute qualité. C. Principaux laboratoires et auteurs du domaine Pour les principaux laboratoires du domaine, à part du laboratoire AMP de l Université de Californie à Berkeley, il y a aussi de nombreux qui ont fait des travaux brillants : par exemple les laboratoires de Google et de Microsoft, le laboratoire GRIDS - Grid Computing and Distributed Systems

2 Laboratory de l Université de Melbourne, le groupe de bases de données de L université Yale, etc. Quant aux auteurs, à part les deux chercheurs Jeffrey Dean et Sanjay Ghemawat qui ont publié l article fondamental MapReduce, les trois derniers co-auteurs ont tous publié plusieurs articles de haute qualité. Beaucoup d autres auteurs comme Scott J. Shenker ont contribué au développement de ce domaine. D. Les auteurs de l article Tous les auteurs, Matei Zaharia, Andy Konwinski, Anthony D. Joseph, Randy H. Katz, Ion L. Stoica travaille actuellement dans le laboratoire AMP - ALGORITHMS MACHINES PEO- PLE de l Université de Californie à Berkeley, de la discipline Computer Science. Etant étudiant en doctorat dans ce dernier laboratoire, Maeti Zaharia concentre sur la gestion de données à très grande échelle pour les calculs intensifs. Il a publié une vingtaine d articles de haute qualité pendant les années précédentes y compris ceci. Andy Konwinski est un chercheur postdoctoral qui fixe son attention sur les systèmes distribués à grande échelle. Anthony D. Joseph est un professeur de la faculté informatique et il a commencé à publier des articles depuis l année Ses principaux champs de recherche sont l apprentissage automatique, Datacenters et la conception des systèmes mobiles distribués. Finalement, Randy H. Katz et Ion L. Stoica sont deux spécialistes très connus dans le domaine réseau et systèmes distribués. Ils sont aussi professeurs du département Génie Electrique et Informatique. Ion L. Stoica est le membre principal du projet P2P subventionné Chord et du projet Apache Spark (un système open source pour les grappes de serveurs). D ailleurs, la plupart des cinq auteurs sont contributeurs principaux du projet Apache Spark, qui est en plein essor. E. La conférence ou la revue dans laquelle l article est paru La conférence OSDI (Operating Systems Design and Implementation) où l article a été publié est une conférence annuelle sur le système d exploitation. Créée en 1994 par USENIX, environ articles ont été soumis chaque année, parmi lesquels 10-20% ont finalement été acceptés (http://www.lamsade.dauphine.fr/~sikora/ratio/confs.php). F. Problème que l article vise à résoudre Comment peut-on mieux effectuer l exécution spéculative dans Hadoop afin d optimiser les performances. II. RÉSUMÉ DES CONTRIBUTIONS DE L ARTICLE Apparu dans l acte de conférence OSDI 2008, cet article est devenu vite un document de référence concernant l amélioration de performances pour les services basés sur les technologies MapReduce et Apache Hadoop. A. Contexte Fig. 1. Un exemple de MapReduce Dans un premier temps, il faut savoir comment Hadoop planifie des tâches et connaître quelles sont des éléments qui pourraient être erronnés. L implémentation de MapReduce dans Hadoop est similaire à celle native de Google [1]. Fig. 1 indique les procédures MapReduce. Concrètement, avec un seul master et plusieurs slaves gérés par ce master, les données à traiter qui se situent dans un système de fichiers distribué sont découpées en chunks d une taille unique. Ces chunks sont dupliqués afin d obtenir une meilleure tolérance aux fautes. Puis, chaque chunk est introduit dans une série de tâches : d abord la tâche map qui produit une liste de clés-valeurs générée par une fonction prédéfinie. Lors que toutes les tâches map sont terminées, les tâches reduce commencent à traiter la liste de clés-valeurs selon les clés dedans. Sachant que les tâches sont distribuées dans des slaves différents et donc sont parallèles, il existe un mécanisme de synchronisation - le planificateur qui distribue les tâches aux slaves qui ont des créneaux vides. Une stratégie importante est l exécution speculative dont le but est de réduire le temps de réponse des tâches. Quand un noeud(slave) a des créneaux vides, Hadoop choisit une tâche parmi ces trois catégories pour lui : 1)Tâches échouées, 2)Tâches pas encore commencées, 3)Tâches au choix pour l exécution spéculative(celles lentes ou moins finies). Avec l exécution spéculative, Hadoop cherche des tâches lentes à distribuer aux autres noeuds en utilisant un algorithme par défaut : une tâche map est divisée en copy et sort, puis copy, sort et reduce compte chacune un tiers du taux de terminaison. Enfin, Hadoop peut obtenir la priorité : en ajoutant ces trois chiffres, on peut calculer le taux d exécution des tâches qui s appelle aussi la note de progression. Toutes les tâches qui ont une note de moins de 0,2 et qui durent plus de 60 secondes sont marquées comme traînard, c est-à-dire celles qui sont les moins terminées. Ces traînards sont ensuite distribués en premier lieu. Hadoop considère aussi que les

3 tâches a une tendance d arriver et de sortir en vagues. Alors, en faisant des recherches, les auteurs ont trouvé six hypothèses établies au cours de la conception d Hadoop, et ont finalement prouvé que cinq des six ne sont pas validées au sein d un milieu hétérogène : Dans un environnement virtualisé, il est impossible de garantir la même débit et délai des noeuds, il existe trop de facteurs incertains comme le sous-système de stockage et l état du réseau. L exécution spéculative n est jamais gratuite car l algorithme est trop approximatif. En fait, pour cette raison, parfois on doit le désactiver pour avoir une meilleure performance. En réalité, les tâches copy, sort et reduce ne respectent pas une proportion de temps d exécution fixe, et donc on ne peut pas non plus dire qu une tâche est vraiment un traînard si elle n a pas une bonne note, puisque le système de note n est déjà pas correct. B. Le planificateur LATE Les auteurs ont implémenté un nouveau planificateur spéculatif qui contourne ces hypothèses invalides. L idée principale est d estimer les tâches dans l autres sens : le planificateur natif calcule le taux d exécution donc le pourcentage d achèvement d une tâche, alors ce nouveau essaie de savoir dans combien de temps une tâche va finir. Avant, un traînard est ce qui le moins fini, et maintenant c est la tâche qui va se terminer le plus tard. Voici le nouvel algorithme : On estime le taux d exécution d une tâche comme note de progression/t, où T égale au temps déjà écoulé. En faisant une soustraction, on aura le temps resté estimé. On calcule la vitesse d un noeud en additionnant toutes les tâches éffectuées dans ce noeud. SpeculativeCap est le nombre maximal des tâches speculatives sur un noeud à un moment donné. Cette valeur est prédéfinie et modifiable. SlowNodeThreshold est la limite des tâches effectuées par un noeud, en dessous de laquelle le système le considèrera incapable d ecécuter plus de tâches d exécution speculative. SlowTaskThreshold est la limite de la vitesse de progression d une tâche, en dessous de laquelle cette tâche sera "suffisamment lente" et prête à être distribuée à un noeud "capable" pour l exécution spéculative. Les trois dernières valeurs heuristiques sont à choisir manuellement. Voici deux exemples : Pour deux tâches lentes, si l une avec 90% finie est 5 fois plus lente que la moyenne et l autres avec 10% finie est 2 fois plus lente que la moyenne. Au cas où le temps resté de la première est estimé plus long que celui de la deuxième, cette première est distribuée plus tôt à un autre noeud pour l exécution speculative, même si la deuxième est quantitativement plus proche de la fin. Fig. 2. Un exemple simplifié de l exécution spéculative Si le nombre de tâches traitées d un noeud est inférieur à SlowNodeThreshold, ce noeud est considéré comme pas assez puissant. Le système va distribuer d abord les tâches aux noeuds qui sont plus capables pour les exécutions spéculatives. Généralement, on considère les deux côtés : le pourcentage fini d une tâche et la capacité - donc la vitesse d exécution des noeuds qui demandent de nouvelles tâches. III. CRITIQUE A. Critique de la partie état de l art Comment évaluer l efficacité et les possibilités d amélioration des services MapReduce offerts aux utilisateurs était un gros sujet pendant quelques années après la sortie du principe de MapReduce. Il était encore plus intéressant de redarder en même temps les environnements virtualisés cloud sachant que les services comme EC2 qui ont comme solution la possibilité de fournir un système de plusieurs noeuds sont en train de devenir non seulement le premier choix de milliers de startups(par exemple Facebook en 2008), mais aussi une alternative idéale pour beaucoup d établissements de recherche qui cherchent une capacité permettant d effectuer leurs calculs en masse. En ce moment-là, la plupart des articles concernant MapReduce s agissaient des rapports d évaluations [5] et des applications relativement simples [6]. Certains articles [7] [8] avaient commencé à discuter les mécanismes de la planification au sein d un groupe de serveurs, cependant, suite de l essor des services cloud, il ne fallait pas rester seulement dans les systèmes multi-processus et multi-threadé, c était le moment de toucher les environnements hétérogènes. Certains avaient essayé d identifier les tâches lentes [9], mais personne n avait lié ces aspects ensemble. Ensuite, un point illustre est que les auteurs ont trouvé que l exécution spéculative pourrait être un bon chemin de recherche. Imaginons que dans un système où les données sont distribuées dans plusieurs noeuds Fig. 2, quand les exécutions normales ont eu des soucis, par exemple un échec de disque dur, les autres noeuds peuvent constater la latence anormale

4 Fig. 3. Une preuve de l algorithme à amélioer puis vont commencer à traiter les données qui ont rencontré cet échec de disque. L exécution parallèle dans Hadoop était un champ innovant à attaquer, cependant, les articles [10] et [11] ne fournissaient pas une vue systématique en traitant principalement la prévision de branches selon probabilité mais pas la sélection de tâches à exécuter. Or, étant un sujet non traité, ce dernier pourrait être plus fiable. Même les seules références, le tout premier article [1] et un autre article publié en 2008 par les deux auteurs originaux [12] n ont pas découvert plus profondémment pour cette partie, qui pourrait surmonter les limites prétendues des autres travaux, et qui serait un point intéressant sur les systèmes de traitement intensif de données et sur les services cloud à grande échelle. Or, les auteurs n ont pas continué à chercher plus loin à cause de plusieurs raisons possibles. Avec le nouvel algorithme contenant trois variables heuristiques cité dans la partie 4, cet article a laissé un espace d amélioration des performances du délai de réponse en cas général. Une des conséquences est l existence d insuffisance de l algorithme, parce que l architecture du planificateur LATE n est pas parfaitement implémentée. Peut-être les auteurs voulaient juste donner une idée ou une orientation de recherche, alors ce point insuffisant est directement visible par les tests : Dans les pires cas comme Fig. 3, les performances obtenus avec le nouveau planificateur LATE pourrait être encore pire que sans rien. Même si ces cas ne sont pas ordinaires, de toute façon, ceci n est pas un bon symbol. Sur ce niveau, cet article n a pas beaucoup avancé par rapport aux autres travaux. Il vaudrait mieux donner au moins des indications pour les cas extrêmes. B. Critique de l évaluation des résultats Au moment de la publication de l article, il n y avait pas encore beaucoup d autres auteurs travaillant dans ce sens. En effet, étant un nouveau algorithme, l apparition de cet article nous a fourni un bon indicateur d amélioration de la qualité des services basés sur MapReduce. Dans la section 5, les auteurs ont éffectué les tests par quatre blocs suivants : Les tests concernant les impacts sur les performances des entrées/sorties des machines virtualisées dans EC2, pour donner une idée de la mesure d hétérogénéité. Les tests sur les temps de réponse, dans un environnement hétérogène d Amazon EC2 et puis dans un environnement local virtualisé. Ces tests ont prouvé que ce planificateur plus sérieux donne des performances de 20% à 220% meilleures que celles de l ancien planificateur. Les tests sur la sensibilité du choix de SpeculativeCap, SlowTaskThreshold et SlowNodeThreshold. La première évaluation supporte les deux suivants en prouvant l hétérogénéité des performances en raison de l effet de la contention. Dans des groupes de machines avec tailles différentes au sein d Amazon EC2, il existe un coefficient d environ 2,5 entre les meilleures et les pires performances des entrées/sorties, lors que plusieurs machines virtuelles sont hébergées dans un même host physique. Comme ce qu il est indiqué par les auteurs, ce test a été fait sur les machines virtuelles small sur EC2. Ce test est nécessaire pour montrer l erreur de certaines hypothèses du mécanisme natif, et en même temps, il comfirme l importance et la possibilité d une solution mieux améliorée. La deuxième et la troisième évaluation permettent d avoir des résultats quantitatifs. En faisant une série de tests de comparaison, nous pouvons voir la progression du nouveau planificateur LATE. La deuxième s est passée au sein d un environnement hétérogène sur Amazon EC2. Les tests ont été exécutés conséquemment dans les grilles de 100 et 243 machines, avec distinctement d un à sept et d un à sept machines virtuelles sur chacune des machines physiques, avec les benckmarks Sort, Grep et WordCount d Hadoop. La troisième s est passée au sein d un environnement local virtualisé, avec prèsque les mêmes tests de la deuxième évaluation. La quatrième partie concernant la sensibilité liée aux choix de SpeculativeCap, SlowTaskThreshold et SlowNodeThreshold, donc les trois principaux variables de la speculation. Les tests nous donnent des résultats indicatifs non seulement de l ajustement du planificateur, mais aussi de la variance des performances d un tel algorithme. Cette phase s est effectuée au sein d un environnement local puisqu il y avait un bug sur EC2. La tâche Sort a été utilisée comme la charge pour les tests. Les tests éffectués sont généralement rigoureux et ont finalement prouvé les affirmations des auteurs : tous les tests ont été répétés plusieurs fois pour le but d éliminer les facteurs instables. Comparé aux solutions existantes en ce momentlà, nous pouvons avoir une vue quantitative détaillée qui est en même temps assez concrète. Personnellement, en connaissant les architectures des systèmes actuellement utilisés, les sujets de tests ont été bien choisi pour mesurer les délais de réponse. Un petit bémol pourrait être que les tests pourraient contenir plus de variables, donc il vaudrait mieux avoir plus de combinaison des tâches et des configurations dans les tests : les chercheurs et les techniciens seront souvent plus satisfaits d avoir des tableaux de comparaison avec des statistiques plus détaillés. Par exemple, la taille des grilles de machines pourrait être un facteur à inclure dans les tests, puisqu il y a souvent une grande différence d utilisation entre les systèmes de tailles

5 variées. Enfin, par manque de ressources et de connaissance, je n ai pas pu déployer un même environnement pour tester. Or avec la concultation des documents [2] [3] et les indications décrites dans l article, l expérience avec un environnement localement virtualisé et avec une groupe de machine EC2 marché sur Hadoop, donc ce que les auteurs ont fait devrait être reproductible en donnant suffisamment de temps. C. Autres points forts et points faibles En fait, principalement deux autres points faibles potentiels, à part des tests qui pourraient être plus peuplés et plus complets, ont été trouvés pendant la lecture de cet article. D une part, au début, les auteurs ont décidé de travaliier avec les machines virtuelles de petites tailles qui proposaient un meilleur rapport de qualité-prix, ou plutôt performance-prix. Cependant, de nos jours, les machines virtuelles de grandes tailles sont beaucoup utilisées, pour les besoins spécifiques. Le manque de ce côté pourrait être un dommage au moins pour les applications liée. D autre part, l estimation du temps d exécution resté n est pas parfaite selon des cas : pour des tâches non typiques d Hadoop, l algorithme heuristique pourrait mal estimer ce temps. Sinon, pour le reste, les auteurs ont pu repérer un nouveau point donc les nouveaux variables d optimisation d Hadoop. Comme la distributeur de tâches et les services de parallélisation, le planificateur configurable est un composant important de la plateforme Hadoop et doit entrer dans la vision. De plus, c est bien pour les papiers ayant un objectif applicatif d avoir les tests analytiques comme ceux-ci. En conclusion, pour la totalité du travail, personnellement je n ai pas pu généré plus de critiques. Les articles fournissant la nouvelle vision et l utilisation des plateformes clous [15] [16] ont pu mieux réfléchir les impacts des fausses hypothèses préliminairement proposées par les plateformes intégrées dans les environnements hétérogènes. D ailleurs, les auteurs de ces articles ont pu mieux comprendre le principe des tests au sein des environnements hétérogènes. Les articles traitant la combinaison des deux côtés [18] [19] nous ont donné de noubreuses nouvelles idées innovantes par exemple l optimisation du partage de ressources dans une grille informatique et l amélioration des architectures multi-tâches pour les utilisations scientifiques, dans les environnements cloud comme Amazon EC2. Plusieurs parmi ces articles qui ont cité l article parlé ont aussi redigé par au moins un des cinq auteurs de cet article [13]. D ailleurs, nous ne pouvons pas nier que de plus en plus de nouveaux travaux réalisés [20] [21] [22] [23] ont hérité les stratégies initialement conçues par cet article : les influences de la configuration de MapReduce sur les tâches différentes, les performances en fonction du choix de planificateur, la pertinence du paramétrage et de l algorithme appliqué de planificateur, l importance de l exécution spéculative pour Hadoop au sein d un environnement hétérogène, etc. Suite aux impacts provoqués, plusieurs projets [24] [25] [26] ont aussi été lancé pour objectif de surmonter les limitations des environnements actuels de MapReduce comme Hadoop et de permettre ainsi le traitement de données à ultragrande échelle sur diverses architectures comme les clouds, les grilles de PC et les infrastructures hybrides construites en combinant ces types d architectures, en réfléchissant sur le côté d hétérogénéité, le planificateur d Hadoop et le mécanisme global de la distribution de tâche. IV. IMPACT DE L ARTICLE Cet article a été cité 112 fois selon ACM et 605 fois selon Google Scholar, c est déjà un chiffre considérable dans la communauté de MapReduce même celle de BigData et de Cloud Computing. Inspiré par cet article : Les articles concernant l implémentation de nouvelles fonctionnalités de MapReduce [12] ont commencé à chercher des outils supplémentaires par exemple les moniteurs de tâches qui pourraient améliorer les performances des systèmes en traçant les comportements de ressources. Les articles concernant l organisation de la planification au sein des systèmes basés sur Hadoop [13] [14] ont pu mieux comprendre l effet des traînards pendant des tâches parallèles. Certains ont pu mieux améliorer les argorithmes de la balance et le positionnement de tâches pour les systèmes sous charge dans les sénarios où les groupes de serveurs ont une grande quantité de données à traiter, avec un coût généralement limité et des machines virtuelles variées. REFERENCES [1] J. Dean and S. Ghemawat. MapReduce: Simplified Data Processing on Large Clusters. In Communications of the ACM, 51 (1): , , 4 [2] Tom White. Hadoop:The Definitive Guide,3rd Edition. O Reilly Media and Yahoo Press, May [3] Amazon Elastic Compute Cloud (Amazon EC2). aws.amazon.com/ec2 5 [4] B.Dragovic, K.Fraser, S.Hand, T.Harris, A.Ho, I.Pratt, A.Warfield, P.Barham, and R.Neugebauer. Xen and the art of virtualization. ACM SOSP [5] Ranger, Colby, et al. Evaluating mapreduce for multi-core and multiprocessor systems. High Performance Computer Architecture, HPCA IEEE 13th International Symposium on. IEEE, [6] Yang, Hung-chih, et al. Map-reduce-merge: simplified relational data processing on large clusters. Proceedings of the 2007 ACM SIGMOD international conference on Management of data. ACM, [7] Mor Harchol-Balter, Task Assignment with Unknown Duration. Journal of the ACM, 49 (2): , [8] M.Crovella, M.Harchol-Balter, and C.D. Murta. Task assignment in a distributed system: Improving performance by unbalancing load. In Measurement and Modeling of Computer Systems, pp , [9] J. Bernardin, P. Lee, J. Lewis, DataSynapse, Inc. Using Execution statistics to select tasks for redundant assignment in a distributed computing platform. Patent number , filed Nov 27, 2002, issued Aug 15, [10] E.B. Nightingale, P.M. Chen, and J.Flinn. Speculative execution in a distributed file system. ACM Trans. Comput. Syst., 24 (4): , November

6 [11] G. Barish. Speculative plan execution for information agents. PhD dissertation, University of Southernt California. Dec [12] J Dean, S Ghemawat. MapReduce: simplified data processing on large clusters. In Communications of the ACM, , 5 [13] Zaharia, Matei, et al. Delay scheduling: a simple technique for achieving locality and fairness in cluster scheduling. Proceedings of the 5th European conference on Computer systems. ACM, [14] Chohan, Navraj, et al. "See spot run: using spot instances for mapreduce workflows." Proceedings of the 2nd USENIX conference on Hot topics in cloud computing. USENIX Association, [15] Buyya, Rajkumar, et al. Cloud computing and emerging IT platforms: Vision, hype, and reality for delivering computing as the 5th utility. Future Generation computer systems 25.6 (2009): [16] Iosup, Alexandru, et al. Performance analysis of cloud computing services for many-tasks scientific computing. Parallel and Distributed Systems, IEEE Transactions on 22.6 (2011): [17] Ananthanarayanan, Ganesh, et al. "Reining in the Outliers in Map- Reduce Clusters using Mantri." OSDI. Vol. 10. No [18] Isard, Michael, et al. Quincy: fair scheduling for distributed computing clusters. Proceedings of the ACM SIGOPS 22nd symposium on Operating systems principles. ACM, [19] Ananthanarayanan, Ganesh, et al. "Reining in the Outliers in Map- Reduce Clusters using Mantri." OSDI. Vol. 10. No [20] Rizvandi, Nikzad Babaii, et al. "A study on using uncertain time series matching algorithms for MapReduce applications." Concurrency and Computation: Practice and Experience (2012). 5 [21] Xie, Jiong, et al. "Improving mapreduce performance through data placement in heterogeneous hadoop clusters." Parallel and Distributed Processing, Workshops and Phd Forum (IPDPSW), 2010 IEEE International Symposium on. IEEE, [22] Chen, Qi, Cheng Liu, and Zhen Xiao. "Improving MapReduce Performance Using Smart Speculative Execution Strategy." (2013): [23] Afrati, Foto N., et al. "Designing good algorithms for MapReduce and beyond." Proceedings of the Third ACM Symposium on Cloud Computing. ACM, [24] Current Big Data projects. University of Washington. 5 [25] News of Hadoop projects. blog.cloudera.com/blog/category/hadoop/ 5 [26] Project suggestions - Apache Hadoop. wiki.apache.org/hadoop/projectsuggestions 5

Programmation parallèle et distribuée (Master 1 Info 2015-2016)

Programmation parallèle et distribuée (Master 1 Info 2015-2016) Programmation parallèle et distribuée (Master 1 Info 2015-2016) Hadoop MapReduce et HDFS Note bibliographique : ce cours est largement inspiré par le cours de Benjamin Renaut (Tokidev SAS) Introduction

Plus en détail

CNAM 2010-2011. Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010

CNAM 2010-2011. Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010 CNAM 2010-2011 Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010 Déploiement d une application dans le cloud. 1. Cloud Computing en 2010 2. Offre EC2

Plus en détail

Enseignant: Lamouchi Bassem Cours : Système à large échelle et Cloud Computing

Enseignant: Lamouchi Bassem Cours : Système à large échelle et Cloud Computing Enseignant: Lamouchi Bassem Cours : Système à large échelle et Cloud Computing Les Clusters Les Mainframes Les Terminal Services Server La virtualisation De point de vue naturelle, c est le fait de regrouper

Plus en détail

Business & High Technology

Business & High Technology UNIVERSITE DE TUNIS INSTITUT SUPERIEUR DE GESTION DE TUNIS Département : Informatique Business & High Technology Chapitre 09 : CC : Cloud Computing Sommaire Introduction... 2 Définition... 2 Les différentes

Plus en détail

LE BIG DATA. TRANSFORME LE BUSINESS Solution EMC Big Data

LE BIG DATA. TRANSFORME LE BUSINESS Solution EMC Big Data LE BIG DATA Solution EMC Big Data TRANSITION VERS LE BIG DATA En tirant profit du Big Data pour améliorer leur stratégie et son exécution, les entreprises se démarquent de la concurrence. La solution EMC

Plus en détail

Les données massives à Calcul Québec

Les données massives à Calcul Québec Les données massives à Calcul Québec Marc Parizeau, professeur et directeur scientifique de Calcul Québec Plan Calcul Québec / Calcul Canada Les outils et les services disponibles Un outil en particulier

Plus en détail

Développement itératif, évolutif et agile

Développement itératif, évolutif et agile Document Développement itératif, évolutif et agile Auteur Nicoleta SERGI Version 1.0 Date de sortie 23/11/2007 1. Processus Unifié Développement itératif, évolutif et agile Contrairement au cycle de vie

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution

Plus en détail

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages 1 Mehdi LOUIZI Plan Pourquoi Hadoop? Présentation et Architecture Démo Usages 2 Pourquoi Hadoop? Limites du Big Data Les entreprises n analysent que 12% des données qu elles possèdent (Enquête Forrester

Plus en détail

BI dans les nuages. Olivier Bendavid, UM2 Prof. A. April, ÉTS

BI dans les nuages. Olivier Bendavid, UM2 Prof. A. April, ÉTS BI dans les nuages Olivier Bendavid, UM2 Prof. A. April, ÉTS Table des matières Introduction Description du problème Les solutions Le projet Conclusions Questions? Introduction Quelles sont les défis actuels

Plus en détail

Le Cercle Vertueux du Cloud Public

Le Cercle Vertueux du Cloud Public Le Cercle Vertueux du Cloud Public Le Cercle Vertueux du Cloud Public Le Cloud public rencontre un intérêt croissant auprès de tous les directeurs IT voulant planifier les stratégies informatiques de leur

Plus en détail

11. Tests d hypothèses (partie 1/2)

11. Tests d hypothèses (partie 1/2) 11. Tests d hypothèses (partie 1/2) MTH2302D S. Le Digabel, École Polytechnique de Montréal H2015 (v1) MTH2302D: tests d hypothèses 1/30 Plan 1. Introduction 2. Hypothèses et erreurs 3. Tests d hypothèses

Plus en détail

Fouillez facilement dans votre système Big Data. Olivier TAVARD

Fouillez facilement dans votre système Big Data. Olivier TAVARD Fouillez facilement dans votre système Big Data Olivier TAVARD A propos de moi : Cofondateur de la société France Labs Développeur (principalement Java) Formateur en technologies de moteurs de recherche

Plus en détail

Bonjour. Yohan PARENT, Cyprien FORTINA, Maxime LEMAUX, Hyacinthe CARTIAUX

Bonjour. Yohan PARENT, Cyprien FORTINA, Maxime LEMAUX, Hyacinthe CARTIAUX Bonjour I.Le contexte II.Le cloud computing III.L'expérimentation des solutions libres sur Grid'5000 1.Eucalyptus 2.OpenNebula 3.OpenStack IV.Tableau Comparatif V.Conclusion I.Le contexte 1)Le projet

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2014) Marc Parizeau, Département de génie électrique et de génie informatique Plan Mégadonnées («big data») Architecture Hadoop distribution

Plus en détail

Veille Technologique. Cloud-Computing. Jérémy chevalier

Veille Technologique. Cloud-Computing. Jérémy chevalier E6 Veille Technologique Cloud-Computing Jérémy chevalier Table des matières DESCRIPTION :...2 Introduction :...2 Définition du Cloud :...2 Exemple de serveur proposant la solution de Cloud :...2 Les spécificités

Plus en détail

La gestion Citrix. Du support technique. Désignation d un Responsable de la relation technique

La gestion Citrix. Du support technique. Désignation d un Responsable de la relation technique La gestion Citrix Du support technique. Désignation d un Responsable de la relation technique Dans les environnements informatiques complexes, une relation de support technique proactive s avère essentielle.

Plus en détail

Le Cloud au LIG? Pierre Neyron PimLIG - 2013-04-14

Le Cloud au LIG? Pierre Neyron PimLIG - 2013-04-14 Le Cloud au LIG? Pierre Neyron PimLIG - 2013-04-14 Cloud = buzz word Employé à toutes les sauces... http://www.youtube.com/watch?v=rdkbo2qmyjq (pub SFR) tout le monde fait du cloud? Qui fait du cloud au

Plus en détail

Hébergement MMI SEMESTRE 4

Hébergement MMI SEMESTRE 4 Hébergement MMI SEMESTRE 4 24/03/2015 Hébergement pour le Web Serveurs Mutualités Serveurs Dédiés Serveurs VPS Auto-Hébergement Cloud Serveurs Mutualités Chaque Serveur héberge plusieurs sites Les ressources

Plus en détail

Chapitre 4: Introduction au Cloud computing

Chapitre 4: Introduction au Cloud computing Virtualisation et Cloud Computing Chapitre 4: Introduction au Cloud computing L'évolution d'internet Virt. & Cloud 12/13 2 Définition Le cloud computing est une technologie permettant de délocaliser les

Plus en détail

Introduction aux systèmes d exploitation

Introduction aux systèmes d exploitation Introduction aux systèmes d exploitation Le système d exploitation est un ensemble de logiciels qui pilotent la partie matérielle d un ordinateur. Les principales ressources gérées par un système d exploitation

Plus en détail

Rapport d activité. Mathieu Souchaud Juin 2007

Rapport d activité. Mathieu Souchaud Juin 2007 Rapport d activité Mathieu Souchaud Juin 2007 Ce document fait la synthèse des réalisations accomplies durant les sept premiers mois de ma mission (de novembre 2006 à juin 2007) au sein de l équipe ScAlApplix

Plus en détail

Etude des outils du Cloud Computing

Etude des outils du Cloud Computing Etude des outils du Cloud Computing Sommaire : Présentation générale.. 2 Définitions. 2 Avantage.. 2 Inconvénients. 3 Types d offres de service Cloud.. 3 Comparaison des services Cloud 4 Conclusion 5 Présentation

Plus en détail

DOSSIER SPÉCIAL Datacenter : Les problèmes n arrivent pas qu aux autres

DOSSIER SPÉCIAL Datacenter : Les problèmes n arrivent pas qu aux autres Datacenter : Les problèmes n arrivent pas qu aux AUCUN DATACENTER n est à l abri d un éventuel problème, d une indisponibilité ou d un imprévu! La question est de savoir que faire pour protéger votre Datacenter

Plus en détail

Laboratoire 4 Développement d un système intelligent

Laboratoire 4 Développement d un système intelligent DÉPARTEMENT DE GÉNIE LOGICIEL ET DES TI LOG770 - SYSTÈMES INTELLIGENTS ÉTÉ 2012 Laboratoire 4 Développement d un système intelligent 1 Introduction Ce quatrième et dernier laboratoire porte sur le développement

Plus en détail

Outil d aide au choix Serveurs Lot 4 Marché Groupement de Recherche

Outil d aide au choix Serveurs Lot 4 Marché Groupement de Recherche Outil d aide au choix Serveurs Lot 4 Marché Groupement de Recherche Serveurs DELL PowerEdge Tour Rack standard R310 T110II Rack de calcul Lames R815 M610 R410 R910 M620 R415 R510 T620 R620 R720/R720xd

Plus en détail

MAXIMISER LA DISPONIBILITÉ DES PRODUITS DANS LES MAGASINS

MAXIMISER LA DISPONIBILITÉ DES PRODUITS DANS LES MAGASINS Distribution MAXIMISER LA DISPONIBILITÉ DES PRODUITS DANS LES MAGASINS METTRE LES RUPTURES SOUS CONTRÔLE Introduction Tout distributeur veut que tous les produits soient bien présents dans ses rayons.

Plus en détail

Analyse de la démographie des objets dans les systèmes Java temps-réel

Analyse de la démographie des objets dans les systèmes Java temps-réel Analyse de la démographie des objets dans les systèmes Java temps-réel Nicolas BERTHIER Laboratoire VERIMAG Responsables du stage : Christophe RIPPERT et Guillaume SALAGNAC le 29 septembre 26 1 Introduction

Plus en détail

ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE

ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE Mémoires 2010-2011 www.euranova.eu MÉMOIRES ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE Contexte : Aujourd hui la plupart des serveurs d application JEE utilise des niveaux de cache L1

Plus en détail

Qu est-ce que le «cloud computing»?

Qu est-ce que le «cloud computing»? Qu est-ce que le «cloud computing»? Par Morand Studer eleven Octobre 2011 Qu est-ce que le «cloud computing»? - Morand Studer eleven Octobre 2011 www.eleven.fr 1 Aujourd hui, la démocratisation de l informatique

Plus en détail

Comment organiser une séance d EPS

Comment organiser une séance d EPS Comment organiser une séance d EPS Ce qui est important pour l élève c est de : - comprendre quand il réussit quelle procédure reproductible a été utilisée et isolée pour cette procédure - apprendre pour

Plus en détail

Défi Cloud Computing

Défi Cloud Computing EQUIPE RICM 2010 Défi Cloud Computing Dossier de remarques Ricom c est l @base 04/12/2009 Sommaire Introduction... 3 Les applications et la plateforme Cloud Computing... 4 Cloud Computing - RICM-2010 Page

Plus en détail

Méthode de Test. Pour WIKIROUTE. Rapport concernant les méthodes de tests à mettre en place pour assurer la fiabilité de notre projet annuel.

Méthode de Test. Pour WIKIROUTE. Rapport concernant les méthodes de tests à mettre en place pour assurer la fiabilité de notre projet annuel. Méthode de Test Pour WIKIROUTE Rapport concernant les méthodes de tests à mettre en place pour assurer la fiabilité de notre projet annuel. [Tapez le nom de l'auteur] 10/06/2009 Sommaire I. Introduction...

Plus en détail

Professeur superviseur ALAIN APRIL

Professeur superviseur ALAIN APRIL RAPPORT TECHNIQUE PRÉSENTÉ À L ÉCOLE DE TECHNOLOGIE SUPÉRIEURE DANS LE CADRE DU COURS MGL804 REALISATION ET MAINTENANCE DE LOGICIELS TRAVAIL DE SESSION N12 EVALUATION D UN CONTRAT DE MAINTENANCE DU LOGICIEL

Plus en détail

Les systèmes RAID Architecture des ordinateurs

Les systèmes RAID Architecture des ordinateurs METAIS Cédric 2 ème année Informatique et réseaux Les systèmes RAID Architecture des ordinateurs Cédric METAIS ISMRa - 1 - LES DIFFERENTS SYSTEMES RAID SOMMAIRE INTRODUCTION I LES DIFFERENTS RAID I.1 Le

Plus en détail

Activité 1 : échantillonnage

Activité 1 : échantillonnage Activité échantillonnage, intervalle de fluctuation, prise de décision (à partir d un même thème) Les trois activités qui suivent s inspirent du document «ressources pour la classe de première générale

Plus en détail

Explications sur l évolution de la maquette. Version : 1.0 Nombre de pages : 9. Projet cplm-admin

Explications sur l évolution de la maquette. Version : 1.0 Nombre de pages : 9. Projet cplm-admin Explications sur l évolution de la maquette Version : 1.0 Nombre de pages : 9 Rédacteur : David Elias 22/07/2008 STATUT DU DOCUMENT Statut Date Intervenant(s) / Fonction Provisoire 20/07/2008 David Elias

Plus en détail

Cahier de charges Projet 24

Cahier de charges Projet 24 Cahier de charges Projet 24 Répartition automatique de surcharge sur serveur web virtualisé Etudiants : KAOUACHI Youssef ELFELLAH Amine Encadré par : M. HAYEL Yezekael Année universitaire : 2008/2009 I-

Plus en détail

CROSS PLATEFORM MOBILE DEVELOPMENT (Phonegap, RhoMobile)

CROSS PLATEFORM MOBILE DEVELOPMENT (Phonegap, RhoMobile) INGENIEUR EN SCIENCES INFORMATIQUES RAPPORT D ETUDE TECHNOLOGIQUE SUR LES SOLUTIONS WEB CROSS PLATEFORM MOBILE DEVELOPMENT (Phonegap, ) Student : Jiachen NIE Parcours: IHM Subject : Adaptation des Interfaces

Plus en détail

Entraînement au concours ACM-ICPC

Entraînement au concours ACM-ICPC Entraînement au concours ACM-ICPC Concours ACM-ICPC : format et stratégies Page 1 / 16 Plan Présentation Stratégies de base Page 2 / 16 Qu est-ce que c est? ACM-ICPC : International Collegiate Programming

Plus en détail

Suite VMware vcenter. VMware vsphere 4. vshield Zones VMsafe. VMotion Storage VMotion HA Fault Tolerance Data Recovery. VMware ESX VMware ESXi

Suite VMware vcenter. VMware vsphere 4. vshield Zones VMsafe. VMotion Storage VMotion HA Fault Tolerance Data Recovery. VMware ESX VMware ESXi CS VMware vsphere 4 AIDE-MÉMOIRE Qu est-ce que VMware vsphere 4? Premier système d exploitation pour le Cloud Computing, VMware vsphere 4 utilise la puissance de la virtualisation pour transformer les

Plus en détail

Big Data EC2 S3. Stockage. Amazon Web Services. Réf. Intitulé des formations Page

Big Data EC2 S3. Stockage. Amazon Web Services. Réf. Intitulé des formations Page IAM Big Data EBS Big Data Cloud EC2 S3 Cloud Stockage Stockage Amazon Web Services Réf. Intitulé des formations Page GK4501 Notions de base Amazon Web Services 3 GK4502 Architecture sur Amazon Web Services

Plus en détail

Une Plate-forme d Émulation Légère pour Étudier les Systèmes Pair-à-Pair

Une Plate-forme d Émulation Légère pour Étudier les Systèmes Pair-à-Pair Une Plate-forme d Émulation Légère pour Étudier les Systèmes Pair-à-Pair Lucas Nussbaum Laboratoire Informatique et Distribution Laboratoire ID-IMAG Projet MESCAL RenPar 17 Lucas Nussbaum Émulation légère

Plus en détail

Rapport de Post- Campagne 1

Rapport de Post- Campagne 1 Rapport de Post- Campagne 1 Résumé - La campagne Adwords que nous avons mené pour Galerie Photo-Originale a duré 21 jours (5.05-26.05) et nous a coûté $250,18. L objectif principal est en premier de stimuler

Plus en détail

CA ARCserve r16 devance Veeam Backup and Replication 6.5 dans le domaine de la protection virtuelle

CA ARCserve r16 devance Veeam Backup and Replication 6.5 dans le domaine de la protection virtuelle devance Veeam Backup and Replication 6.5 dans le domaine de la protection virtuelle En octobre 2012, Network Testing Labs (NTL) a réalisé une analyse concurrentielle à la demande de CA Technologies. Selon

Plus en détail

Philosophie des extensions WordPress

Philosophie des extensions WordPress 8 Philosophie des extensions WordPress Le concept L une des forces de WordPress dans la jungle CMS, c est la simplicité de création d extensions. Il y a plusieurs raisons à cela. Des raisons techniques

Plus en détail

Document d évaluation système

Document d évaluation système CODAZZI Rama DAMOTTE Alan GUI Kai HAMMERER Jérémy TORCK Quentin RICM5 Document d évaluation système Groupe 2 Site de vente de stickers personnalisés My Stick It ETAT DE CHAQUE COMPOSANT : NON REALISE,

Plus en détail

Devenir rédacteur pour Ecrire-un-roman.com

Devenir rédacteur pour Ecrire-un-roman.com Devenir rédacteur pour Ecrire-un-roman.com À l origine, en 2011, je voulais créer le site sous la forme d une communauté interactive. Plusieurs rédacteurs pour partager des conseils sur l écriture et la

Plus en détail

Cinq raisons d aller encore plus loin avec votre environnement de virtualisation

Cinq raisons d aller encore plus loin avec votre environnement de virtualisation Cinq raisons d aller encore plus loin avec votre environnement de virtualisation Selon une étude, l ajout de puissantes fonctions de gestion améliorerait de 20 à 40 % les mesures de performances clés.

Plus en détail

Clermont Ferrand - Janvier 2003

Clermont Ferrand - Janvier 2003 DISDAMIN: Algorithmes de Data Mining Distribués Valerie FIOLET (1,2) - Bernard TOURSEL (1) 1 Equipe PALOMA - LIFL - USTL - LILLE (FRANCE) 2 Service Informatique - UMH - MONS (BELGIUM) Clermont Ferrand

Plus en détail

Automatisation des copies de systèmes SAP

Automatisation des copies de systèmes SAP Pour plus d informations sur les produits UC4 Software, visitez http://www.liftoff-consulting.com/ Automatisation des copies de systèmes SAP Introduction Le thème de la copie des systèmes SAP est une source

Plus en détail

Cartographie des solutions BigData

Cartographie des solutions BigData Cartographie des solutions BigData Panorama du marché et prospective 1 1 Solutions BigData Défi(s) pour les fournisseurs Quel marché Architectures Acteurs commerciaux Solutions alternatives 2 2 Quels Défis?

Plus en détail

Systèmes Répartis. Pr. Slimane Bah, ing. PhD. Ecole Mohammadia d Ingénieurs. G. Informatique. Semaine 24.2. Slimane.bah@emi.ac.ma

Systèmes Répartis. Pr. Slimane Bah, ing. PhD. Ecole Mohammadia d Ingénieurs. G. Informatique. Semaine 24.2. Slimane.bah@emi.ac.ma Ecole Mohammadia d Ingénieurs Systèmes Répartis Pr. Slimane Bah, ing. PhD G. Informatique Semaine 24.2 1 Semestre 4 : Fev. 2015 Grid : exemple SETI@home 2 Semestre 4 : Fev. 2015 Grid : exemple SETI@home

Plus en détail

LES NOUVEAUTES DE COST AND PROFITABILITY MANAGEMENT 8.1

LES NOUVEAUTES DE COST AND PROFITABILITY MANAGEMENT 8.1 LES NOUVEAUTES DE COST AND PROFITABILITY MANAGEMENT 8.1 SAS Cost and Profitability Management, également appelé CPM (ou C&P), est le nouveau nom de la solution SAS Activity-Based Management. Cette version

Plus en détail

Guide d utilisation de l outil d audit de sécurité. AUDITSec. Version 3.0

Guide d utilisation de l outil d audit de sécurité. AUDITSec. Version 3.0 Guide d utilisation de l outil d audit de sécurité AUDITSec Version 3.0 Mai 2011 Historique du document Version Date Auteur Description 1.0 6 novembre 2010 Éric Clairvoyant http://ca.linkedin.com/pub/ericclairvoyant/7/ba/227

Plus en détail

MapReduce. Malo Jaffré, Pablo Rauzy. 16 avril 2010 ENS. Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15

MapReduce. Malo Jaffré, Pablo Rauzy. 16 avril 2010 ENS. Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15 MapReduce Malo Jaffré, Pablo Rauzy ENS 16 avril 2010 Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15 Qu est ce que c est? Conceptuellement Données MapReduce est un framework de calcul distribué

Plus en détail

Analyse des coûts projetés de la plate-forme SAP HANA

Analyse des coûts projetés de la plate-forme SAP HANA Étude Total Economic Impact réalisée par Forrester Pour SAP Directrice du projet : Shaheen Parks Avril 2014 Analyse des coûts projetés de SAP HANA Économies réalisables en migrant vers SAP HANA Synthèse

Plus en détail

CREER ET FORMATER UNE PARTITION DE DISQUE DUR 1 QUE SONT LES PARTITIONS ET LES LECTEURS LOGIQUES? 6

CREER ET FORMATER UNE PARTITION DE DISQUE DUR 1 QUE SONT LES PARTITIONS ET LES LECTEURS LOGIQUES? 6 Table des matières. CREER ET FORMATER UNE PARTITION DE DISQUE DUR 1 QUE SONT LES PARTITIONS ET LES LECTEURS LOGIQUES? 6 QUE SONT LES DISQUES DE BASE ET LES DISQUES DYNAMIQUES? 6 FORMATAGE DES DISQUES ET

Plus en détail

System Center 2012 R2 Licensing Fiche Produit

System Center 2012 R2 Licensing Fiche Produit Licensing Fiche Produit Aperçu du produit Microsoft offre des solutions pour administrer des ressources de datacenters, des clouds privés et des appareils clients. Gestion de Cloud privé/datacenter aide

Plus en détail

Introduction. Exigences matérielles (Virtual PC)

Introduction. Exigences matérielles (Virtual PC) Introduction Ce kit de formation est conçu pour les professionnels des technologies de l information (TI) qui prennent en charge ou pensent prendre en charge des réseaux Windows Server 2008 et qui envisagent

Plus en détail

D un point de vue système, ajuster la mémoire est l une des principales méthodes pour augmenter ou réduire les performances d un processus.

D un point de vue système, ajuster la mémoire est l une des principales méthodes pour augmenter ou réduire les performances d un processus. GESTION DE LA MEMOIRE SOUS UNIX La mémoire est une ressource critique car elle conditionne les temps de traitements. Différentes options SAS sont disponibles pour utiliser au mieux la mémoire de la machine.

Plus en détail

La tête dans les nuages

La tête dans les nuages 19 novembre 2010 La tête dans les nuages Démystifier le "Cloud Computing" Jean Bernard, Directeur, Gestion des services Radialpoint SafeCare Inc. Au sujet de Radialpoint Radialpoint offre des solutions

Plus en détail

Conférence des États parties à la Convention des Nations Unies contre la corruption

Conférence des États parties à la Convention des Nations Unies contre la corruption Nations Unies CAC/COSP/IRG/2015/2 Conférence des États parties à la Convention des Nations Unies contre la corruption Distr. générale 24 mars 2015 Français Original: anglais Groupe d examen de l application

Plus en détail

Optimisation for Cloud Computing and Big Data

Optimisation for Cloud Computing and Big Data 1 / 23 Optimisation for Cloud Computing and Big Data Olivier Beaumont, Lionel Eyraud-Dubois 2 / 23 Aujourd hui Problèmes de fiabilité on va oublier la dynamicité Placement de VMs en programmation par contraintes

Plus en détail

Moodle. Moodle. Créer un nouveau (Par)cours

Moodle. Moodle. Créer un nouveau (Par)cours 1/16 NB2012 Moodle est une plate-forme d apprentissage en ligne, qui permet de diffuser des cours, Moodle des exercices, toute sorte de ressources pédagogiques et de composer un parcours de formation.

Plus en détail

Sommaire. 3. Les grands principes de GFS L architecture L accès de fichier en lecture L accès de fichier en écriture Bilan

Sommaire. 3. Les grands principes de GFS L architecture L accès de fichier en lecture L accès de fichier en écriture Bilan 1 Sommaire 1. Google en chiffres 2. Les raisons d être de GFS 3. Les grands principes de GFS L architecture L accès de fichier en lecture L accès de fichier en écriture Bilan 4. Les Evolutions et Alternatives

Plus en détail

CRÉER UN COURS EN LIGNE

CRÉER UN COURS EN LIGNE Anne DELABY CRÉER UN COURS EN LIGNE Deuxième édition, 2006, 2008 ISBN : 978-2-212-54153-3 2 Que recouvre le concept d interactivité? Dans une perspective de cours en ligne, une activité interactive est

Plus en détail

Versus Etude Technologique

Versus Etude Technologique VS Versus Etude Technologique 1 VS Contents Introduction... 3 Présentation des technologies... 3 Phonegap... 3... 3 Pour quels besoins?... 4 Comment ça fonctionne? Les models... 4 Phonegap... 5... 6 Comparatif...

Plus en détail

Encryptions, compression et partitionnement des données

Encryptions, compression et partitionnement des données Encryptions, compression et partitionnement des données Version 1.0 Grégory CASANOVA 2 Compression, encryption et partitionnement des données Sommaire 1 Introduction... 3 2 Encryption transparente des

Plus en détail

ORACLE PRIMAVERA PORTFOLIO MANAGEMENT

ORACLE PRIMAVERA PORTFOLIO MANAGEMENT ORACLE PRIMAVERA PORTFOLIO MANAGEMENT FONCTIONNALITÉS GESTION DE PORTEFEUILLE Stratégie d approche permettant de sélectionner les investissements les plus rentables et de créer de la valeur Paramètres

Plus en détail

Influence De La Taille Du Jeton Sur Les Performances De L algorithme D'exclusion Mutuelle De Ricart - Agrawala

Influence De La Taille Du Jeton Sur Les Performances De L algorithme D'exclusion Mutuelle De Ricart - Agrawala Influence De La Taille Du Jeton Sur Les Performances De L algorithme D'exclusion Mutuelle De Ricart - Agrawala Sarah Benkouider, Souhila Labgaa 2, Mohamed Yagoubi 3 Université Amar Telidji Département

Plus en détail

Utilisation du RAID logiciel Sur un serveur Windows 2000

Utilisation du RAID logiciel Sur un serveur Windows 2000 BTS INFORMATIQUE DE GESTION Option Administrateur de réseaux développement d applications COMPTE-RENDU D ACTIVITE ACTIVITE N 6 Nom et Prénom : Casanova Grégory Identification (objectif) de l activité Utilisation

Plus en détail

GRIDKIT: Pluggable Overlay Networks for Grid Computing

GRIDKIT: Pluggable Overlay Networks for Grid Computing GRIDKIT: Pluggable Overlay Networks for Grid Computing Paul Grace, Geoff Coulson, Gordon Blair, Laurent Mathy, Wai Kit Yeung, Wei Cai, David Duce, Chris Cooper Computing Department, Lascaster University

Plus en détail

Etude d architecture de consolidation et virtualisation

Etude d architecture de consolidation et virtualisation BOUILLAUD Martin Stagiaire BTS Services Informatiques aux Organisations Janvier 2015 Etude d architecture de consolidation et virtualisation Projet : DDPP Table des matières 1. Objet du projet... 3 2.

Plus en détail

1 Architecture du cœur ARM Cortex M3. Le cœur ARM Cortex M3 sera présenté en classe à partir des éléments suivants :

1 Architecture du cœur ARM Cortex M3. Le cœur ARM Cortex M3 sera présenté en classe à partir des éléments suivants : GIF-3002 SMI et Architecture du microprocesseur Ce cours discute de l impact du design du microprocesseur sur le système entier. Il présente d abord l architecture du cœur ARM Cortex M3. Ensuite, le cours

Plus en détail

Projet informatique «Voyageur de commerce» Résolution approchée par algorithme génétique du problème du voyageur de commerce

Projet informatique «Voyageur de commerce» Résolution approchée par algorithme génétique du problème du voyageur de commerce Année 2007-2008 Projet informatique «Voyageur de commerce» Résolution approchée par algorithme génétique du problème du voyageur de commerce B. Monsuez Projet informatique «Voyageur de commerce» Résolution

Plus en détail

Travaux pratiques. avec. WordPress. Karine Warbesson

Travaux pratiques. avec. WordPress. Karine Warbesson Travaux pratiques avec WordPress Karine Warbesson Toutes les marques citées dans cet ouvrage sont des marques déposées par leurs propriétaires respectifs. Mise en pages réalisée par ARCLEMAX Illustration

Plus en détail

Figure 1 : page d accueil pour le professeur

Figure 1 : page d accueil pour le professeur Démonstration de Maple T.A., un environnement pour les examens et devoirs en ligne avec correction Automatique Benoit Vidalie, Maplesoft (bvidalie@maplesoft.com) Résumé : Le logiciel de calcul mathématique

Plus en détail

Aider les exploitants à comprendre les résultats analytiques rapidement et facilement

Aider les exploitants à comprendre les résultats analytiques rapidement et facilement Juin 2013 Aider les exploitants à comprendre les résultats analytiques rapidement et facilement (page 1) De nouveaux outils pour offrir davantage d options afin de visualiser les résultats analytiques

Plus en détail

Implémentation et Benchmark. d une régression linéaire en RMR2

Implémentation et Benchmark. d une régression linéaire en RMR2 Add intelligence to data Anne Gayet Directrice Datamining Implémentation et Benchmark d une régression linéaire en RMR2 16 janvier 2014 Rendez-vous SFdS: : Méthodes et logiciels Données massives (big data)

Plus en détail

agility made possible

agility made possible DOSSIER SOLUTION Amélioration de la planification de la capacité à l aide de la gestion des performances applicatives Comment assurer une expérience utilisateur exceptionnelle pour les applications métier

Plus en détail

Poste de travail virtuel

Poste de travail virtuel Poste de travail virtuel Guide d utilisation FLSH 6 juillet 2015 1-Introduction Ce guide est destiné aux étudiants gradués de la Faculté des Lettres et Sciences Humaines. Il décrit les opérations nécessaires

Plus en détail

avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data

avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data Historique de Big data Jusqu à l avènement d Internet et surtout du Web 2.0 il n y avait pas tant de données

Plus en détail

Livre banc. Contrôle de trajet dynamique : la base de votre WAN hybride

Livre banc. Contrôle de trajet dynamique : la base de votre WAN hybride Contrôle de trajet dynamique : la base de votre WAN hybride Le réseau étendu (WAN, wide area network) a connu bien peu d innovations pendant une grande partie de la dernière décennie. Alors que le reste

Plus en détail

Build Your Island 2014 Annexe TFR 1

Build Your Island 2014 Annexe TFR 1 Build Your Island 2014 Annexe TFR 1 1 2 1 L importance du TFR... 3 2 Complexité du protocole de calcul... 3 2.1 Les indicateurs... 3 2.2 Les Dynamiques... 4 2.3 Le Taux de Fréquentation Espéré, une hypothèse

Plus en détail

DOSSIER SOLUTION Amélioration de la planification de la capacité à l aide de la gestion des performances applicatives

DOSSIER SOLUTION Amélioration de la planification de la capacité à l aide de la gestion des performances applicatives DOSSIER SOLUTION Amélioration de la planification de la capacité à l aide de la gestion des performances applicatives Comment assurer une expérience utilisateur exceptionnelle pour les applications métier

Plus en détail

Gestion dynamique des tâches dans les grappes

Gestion dynamique des tâches dans les grappes Gestion dynamique des tâches dans les grappes une approche à base de machines virtuelles Fabien Hermenier Équipe ASCOLA, École des Mines de Nantes 26 novembre 2009 Fabien Hermenier (ASCOLA) Gestion dynamique

Plus en détail

COMMENT DÉFINIR L ORIENTÉ OBJET

COMMENT DÉFINIR L ORIENTÉ OBJET COMMENT DÉFINIR L ORIENTÉ OBJET De manière superficielle, le terme «orienté objet», signifie que l on organise le logiciel comme une collection d objets dissociés comprenant à la fois une structure de

Plus en détail

PRÉSENTATION PRODUIT. Plus qu un logiciel, la méthode plus efficace de réconcilier.

PRÉSENTATION PRODUIT. Plus qu un logiciel, la méthode plus efficace de réconcilier. PRÉSENTATION PRODUIT Plus qu un logiciel, la méthode plus efficace de réconcilier. Automatiser les réconciliations permet d optimiser l utilisation des ressources et de générer plus de rentabilité dans

Plus en détail

Cloud Computing Concepts de base Année académique 2014/15

Cloud Computing Concepts de base Année académique 2014/15 Concepts de base Année académique 2014/15 Qu'est que le? online 2 Qu'est que le? Cela s'est-il produit auparavant? Innovation Produit Service 3 Qu'est que le? Considérons-le comme-ça... Crée ta propre

Plus en détail

FAQ : GUIDE DE DÉVELOPPEMENT DE L AUTOMATISATION DE LA COMMUTATION DE DATACENTER

FAQ : GUIDE DE DÉVELOPPEMENT DE L AUTOMATISATION DE LA COMMUTATION DE DATACENTER E-Guide FAQ : GUIDE DE DÉVELOPPEMENT DE L AUTOMATISATION DE LA COMMUTATION DE DATACENTER Search Networking.de FAQ : GUIDE DE DÉVELOPPEMENT DE L AUTOMATISATION DE LA COMMUTATION DE DATACENTER En favorisant

Plus en détail

Application de K-means à la définition du nombre de VM optimal dans un cloud

Application de K-means à la définition du nombre de VM optimal dans un cloud Application de K-means à la définition du nombre de VM optimal dans un cloud EGC 2012 : Atelier Fouille de données complexes : complexité liée aux données multiples et massives (31 janvier - 3 février

Plus en détail

Administration : rapport de situation

Administration : rapport de situation COMITÉ DU PROGRAMME, DU BUDGET ET DE L ADMINISTRATION DU CONSEIL EXÉCUTIF Dix-huitième réunion Point 4.1 de l ordre du jour provisoire EBPBAC18/2 8 mai 2013 Administration : rapport de situation Rapport

Plus en détail

Augmenter la disponibilité des applications JEE grâce au clustering : Le projet open source JShaft

Augmenter la disponibilité des applications JEE grâce au clustering : Le projet open source JShaft Augmenter la disponibilité des applications JEE grâce au clustering : Le projet open source Jérôme Petit, Serge Petit & Serli Informatique, ITMatic Jérôme Petit, Serge Petit & SERLI & ITMatic Serli : SSII

Plus en détail

Les fonctions de hachage, un domaine à la mode

Les fonctions de hachage, un domaine à la mode Les fonctions de hachage, un domaine à la mode JSSI 2009 Thomas Peyrin (Ingenico) 17 mars 2009 - Paris Outline Qu est-ce qu une fonction de hachage Comment construire une fonction de hachage? Les attaques

Plus en détail

Dans ce chapitre nous allons étudier une méthode pratique d anti-phishing, ce qui consiste à un système de classification automatique.

Dans ce chapitre nous allons étudier une méthode pratique d anti-phishing, ce qui consiste à un système de classification automatique. I INTRODUCTION Les pages de phishing sont l un des problèmes majeurs de sécurité sur internet. La majorité des attaques utilisent des méthodes sophistiquées comme les fausses pages pour tromper les utilisateurs

Plus en détail

Guillaume SOLDERA (B guillaume.soldera@serli.fr) SERLI Informatique Bull OW2 Consortium. Comparatif Choco/Drools dans le cadre du projet JASMINe

Guillaume SOLDERA (B guillaume.soldera@serli.fr) SERLI Informatique Bull OW2 Consortium. Comparatif Choco/Drools dans le cadre du projet JASMINe Guillaume SOLDERA (B guillaume.soldera@serli.fr) SERLI Informatique Bull OW2 Consortium dans le cadre du projet JASMINe Avril 2008 Table des matières 1 Introduction 3 1.1 Rappel sur JASMINe.......................................

Plus en détail

Historique. Évolution des systèmes d exploitation (à travers les âges)

Historique. Évolution des systèmes d exploitation (à travers les âges) Historique Évolution des systèmes d exploitation (à travers les âges) Historique L histoire des systèmes d exploitation permet de dégager des concepts de base que l on retrouve dans les systèmes actuels

Plus en détail

BigBlueButton - une solution ouverte de webconférence à Carleton University

BigBlueButton - une solution ouverte de webconférence à Carleton University BigBlueButton - une solution ouverte de webconférence à Carleton University L occasion d innover Le programme de maîtrise Technology Innovation Management, ou TIM (gestion des innovations technologiques),

Plus en détail

Résumé. Positionnement des sites de l ESNE et du CPLN. Rochat Luc 30/05/2011

Résumé. Positionnement des sites de l ESNE et du CPLN. Rochat Luc 30/05/2011 Résumé Positionnement des sites de l ESNE et du CPLN Rochat Luc 30/05/2011 Réalisé par : Chef de projet : Benjamin Ouvry Luc Rochat Période de réalisation : Mars Juin 2011 1. Situation initiale Le positionnement

Plus en détail