Stephan Hadinger, Sr. Mgr Solutions Architecture, AWS. Salon du Big Data 11 mars 2015

Dimension: px
Commencer à balayer dès la page:

Download "Stephan Hadinger, Sr. Mgr Solutions Architecture, AWS. Salon du Big Data 11 mars 2015"

Transcription

1 Stephan Hadinger, Sr. Mgr Solutions Architecture, AWS Salon du Big Data 11 mars 2015

2

3

4 Accélération de l innovation Amazon EC2 Container Service +159 AWS Storage Gateway Amazon Elastic Transcoder AWS OpsWorks Amazon CloudHSM AWS Lambda AWS Service Catalog AWS Config AWS CodeDeploy AWS CodeCommit +24 Amazon EBS Amazon CloudFront Elastic Load Balancing Auto Scaling Amazon VPC Amazon RDS Amazon SNS AWS Identity & Access Management Amazon Route Amazon SES AWS Elastic Beanstalk AWS CloudFormation Amazon ElastiCache AWS Direct Connect GovCloud 2011 Amazon Dynamo DB Amazon CloudSearch Amazon SWF Amazon Glacier Amazon Redshift AWS Data Pipeline 2012 Amazon AppStream Amazon CloudTrail Amazon WorkSpaces Amazon Kinesis 2013 AWS CodePipeline AWS Key Management Service Amazon RDS for Aurora Amazon Cognito Amazon Mobile Analytics Amazon Zocalo AWS Directory Service 2014

5 Mobile / Cable Telecom Oil & Gas Industrial Manufacturing Retail/Consumer Entertainment Hospitality Life Sciences Scientific Exploration Financial Services Publishing Media Advertising Online Media Social Network Gaming

6

7 Big Data AWS Cloud

8 Collect Ingest Store Analyze Share Direct Connect Kinesis S3 EMR EC2 S3 Import Export DynamoDB Redshift Data Pipeline Redshift Glacier Kinesis

9 Stockage en mode objet Amazon S3 Capacité sans limite Elastique et parallèle Durabilité %

10 Clusters Hadoop opérés Hive, Pig, Impala, HBase Amazon Elastic MapReduce Facile à utiliser Elastique : > milliers de nœuds

11 Entrepôt de données opéré Relationnel, compatible avec les Amazon Redshift produits du maché Massivement parallèle Capacité > Po $1,000 / To / An

12 Traitement temps réel (< 1s.) Elastique, haute débit Amazon Kinesis Facile à utiliser Intégré à : EMR, S3, Redshift, DynamoDB, Lambda

13 THANKS TO AMAZON WEB SERVICES, WE CAN DELIGHT OUR PLAYERS WORLDWIDE. Sami Yliharju Services Lead

14 Optimisation des coûts avec AWS Un ADN de business à Gros Volume / Faible Marge Remplacer des investissements CAPEX par des coûts variables OPEX Des économies d échelle permettant de réduire les prix Un modèle de prix qui s adapte aux types d usage Bénéficiez d économies supplémentaires 47 réductions de prix depuis 2006 A la demande Réservé Tarification dégressive Réductions au volume Spot Trusted Advisor

15 Instances m3.xlarge Linux 4 vcpu, 15 Go Prix On Demand $0.308 / heure Prix RI 3 ans all upfront lissé $0,134 / heure ( 56% par rapport à OD) Exemple à titre indicatif Tous les prix à retrouver sur aws.amazon.com

16 Instances m3.xlarge Linux 4 vcpu, 15 Go Prix On Demand $0.308 / heure Prix RI 3 ans all upfront lissé $0,134 / heure ( 56% par rapport à OD) Prix Spot sur 3 mois < $0.041 / heure ( 86% par rapport à OD) Historique SPOT sur 3 mois : Exemple à titre indicatif Tous les prix à retrouver sur aws.amazon.com

17 Comment ça marche? 1. Code et données 3. résultats S3 EMR Cluster EMR 2. Démarrez votre cluster Choisisez: Hadoop distribution Le nombre de noeuds Le type de noeud (hi- CPU, hi-memory, etc.) Hadoop apps (Hive, Pig, HBase)

18 Comment ça marche? Scénario #1 Job Flow Durée: 14 Heures #1: Coût sans Spot 4 instances * 14 h * $0.308 = $17.25

19 Comment ça marche? Scénario #1 Job Flow Scénario #2 Job Flow Durée: 14 Heures Durée: 7 Heures #1: Coût sans Spot 4 instances * 14 h * $0.308 = $17.25

20 Comment ça marche? Scénario #1 Job Flow Scénario #2 Job Flow Durée: 14 Heures #1: Coût sans Spot 4 instances * 14 h * $0.308 = $17.25 Durée: 7 Heures #2: Coût avec Spot 4 instances * 7 h * $0.308 = $ instances * 7 h * $0.041 = $1.44 Total = $10.06

21 Comment ça marche? Scénario #1 Job Flow Scénario #2 Job Flow Durée: 14 Heures Gains en Temps : 50% Economies : ~41% Durée: 7 Heures #1: Coût sans Spot 4 instances * 14 h * $0.308 = $17.25 Exemple à titre indicatif Tous les prix à retrouver sur aws.amazon.com #2: Coût avec Spot 4 instances * 7 h * $0.308 = $ instances * 7 h * $0.041 = $1.44 Total = $10.06

22 Comment ça marche? EMR Cluster Virtual Private Cloud pour sécuriser l ensemble

23

24 Prenons un calcul massif typique

25 qu un cluster moyen mettrait trop de temps à effectuer

26 que des algorithmes optimisés peuvent améliorer

27 et compléter le traitement dans les temps requis.

28 Acquérir un cluster plus gros

29 est bien souvent exagéré et trop coûteux.

30 Les clusters à base d instances AWS peuvent être ajustés aux besoins ponctuels

31 pas trop gros

32 ni trop petits

33 avec de multiples clusters s exécutant en parallèle.

34 Elasticité sur AWS Temps : +00h <10 cœurs

35 Elasticité sur AWS >1500 cœurs Temps : +24h

36 Elasticité sur AWS Temps : +72h <10 cœurs

37 Elasticité sur AWS Temps : +120h >600 cœurs

38 Schrodinger & CycleComputing: computational chemistry Simulation by Mark Thompson of the University of Southern California to see which of 205,000 organic compounds could be used for photovoltaic cells for solar panel material. Cluster de 156,314 cœurs 1.21 petaflops (Rpeak) $33,000 au total ou $0.16 par molécule Estimated computation time 264 years completed in 18 hours.

39 Nouveau record de tri à grande échelle Databricks, créateur de Apache Spark Pourquoi AWS? EC2 rapide, SSD, réseau 10Gbps Agilité

40

41

42 15 mois 50 personnes millions Data Center Primaire Réseaux Serveurs Stockage Virtualisation Sécurité Outils de gestion Etc. Data Center Secondaire

43 5 minutes 1 personne 0 zéro Réseaux Serveurs Stockage Virtualisation Sécurité Outils de gestion Etc.

44 Architectes Solutions Services Professionnels Support 24x7 Réseau de milliers de partenaires AWS

45

Morea : Experts Cloud

Morea : Experts Cloud Morea : Experts Cloud Créa%on en 2007 Notre Mé%er : Build & Run AWS 20 collaborateurs 30 prev.2015 16 ingénieurs formés AWS Plus de 20 migra%ons Cloud en 2014 Pourquoi AWS? Pourquoi le Cloud Public? AWS

Plus en détail

Cloud Computing Maîtrisez la plate-forme AWS - Amazon Web Services

Cloud Computing Maîtrisez la plate-forme AWS - Amazon Web Services Avant-propos 1. Amazon Web Services 11 2. Public concerné et pré-requis 13 3. Périmètre de l'ouvrage 14 4. Objectifs à atteindre 15 Le cloud computing 1. Présentation 17 1.1 Définition 17 1.2 Points forts

Plus en détail

Comment démarrer son Cloud Hybrid avec Amazon Web Services

Comment démarrer son Cloud Hybrid avec Amazon Web Services Comment démarrer son Cloud Hybrid avec Amazon Web Services Stephan Hadinger, Sr Mgr, Solutions Architecture, AWS Espace Grande Arche Paris La Défense Aujourd hui nos clients comprennent la valeur du Cloud

Plus en détail

Cloud Computing Infrastructure as a Service Année académique 2014/15

Cloud Computing Infrastructure as a Service Année académique 2014/15 Cloud Computing Infrastructure as a Service Année académique 2014/15 Virtualisation Introduction Virtualisation en informatique : une composante semble être présente, mais ne l'est pas physiquement Mémoire

Plus en détail

Le Cloud Computing avec Amazon Web Services

Le Cloud Computing avec Amazon Web Services Le Cloud Computing avec Amazon Web Services Jeff Barr Traduit par Isabelle Hurbain-Palatin, avec la contribution technique de Dominique Colombani Pearson Education France a apporté le plus grand soin à

Plus en détail

Photobox Amazon RedShift. Maxime Mézin Data Foundation Manager

Photobox Amazon RedShift. Maxime Mézin Data Foundation Manager Photobox Amazon RedShift Maxime Mézin Data Foundation Manager Présentation de Photobox Leader Européen du tirage et du livre photo 25 millions de clients 17 pays, dernière ouverture il y a 6 mois en Australie

Plus en détail

Les technologies du Big Data

Les technologies du Big Data Les technologies du Big Data PRÉSENTÉ AU 40 E CONGRÈS DE L ASSOCIATION DES ÉCONOMISTES QUÉBÉCOIS PAR TOM LANDRY, CONSEILLER SENIOR LE 20 MAI 2015 WWW.CRIM.CA TECHNOLOGIES: DES DONNÉES JUSQU'À L UTILISATEUR

Plus en détail

Cartographie des solutions BigData

Cartographie des solutions BigData Cartographie des solutions BigData Panorama du marché et prospective 1 1 Solutions BigData Défi(s) pour les fournisseurs Quel marché Architectures Acteurs commerciaux Solutions alternatives 2 2 Quels Défis?

Plus en détail

Anticiper et prédire les sinistres avec une approche Big Data

Anticiper et prédire les sinistres avec une approche Big Data Anticiper et prédire les sinistres avec une approche Big Data Julien Cabot Directeur Big Data Analytics OCTO jcabot@octo.com @julien_cabot OCTO 2013 50, avenue des Champs-Elysées 75008 Paris - FRANCE Tél

Plus en détail

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages 1 Mehdi LOUIZI Plan Pourquoi Hadoop? Présentation et Architecture Démo Usages 2 Pourquoi Hadoop? Limites du Big Data Les entreprises n analysent que 12% des données qu elles possèdent (Enquête Forrester

Plus en détail

Les activités de recherche sont associées à des voies technologiques et à des opportunités concrètes sur le court, moyen et long terme.

Les activités de recherche sont associées à des voies technologiques et à des opportunités concrètes sur le court, moyen et long terme. Mémoires 2010-2011 www.euranova.eu EURANOVA R&D Euranova est une société Belge constituée depuis le 1er Septembre 2008. Sa vision est simple : «Être un incubateur technologique focalisé sur l utilisation

Plus en détail

Amazon Web Services : Risques et conformité Avril 2015

Amazon Web Services : Risques et conformité Avril 2015 Amazon Web Services : Risques et conformité Avril 2015 (Consultez http://aws.amazon.com/compliance/aws-whitepapers/ pour obtenir la version la plus récente de ce livre blanc) Page 1 sur 135 Les présentées

Plus en détail

R+Hadoop = Rhadoop* Des logiciels libres complémentaires, une implémentation, une réponse au nouveau paradigme du bigdata!

R+Hadoop = Rhadoop* Des logiciels libres complémentaires, une implémentation, une réponse au nouveau paradigme du bigdata! R+Hadoop = Rhadoop* * Des logiciels libres complémentaires, une implémentation, une réponse au nouveau paradigme du bigdata! 27 Janvier 2014 / Université Paul Sabatier / DTSI / David Tsang-Hin-Sun Big

Plus en détail

Amazon Elastic MapReduce (Amazon EMR)

Amazon Elastic MapReduce (Amazon EMR) Amazon Web Services S'inscrire Compte / Console Français Produits et solutions AWS Product Information Développeurs Support Amazon EMR Présentation d'amazon EMR FAQ Tarification Ressources pour développeurs

Plus en détail

Formation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop

Formation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop Passez au niveau supérieur en termes de connaissance grâce à la formation Data Analyst de Cloudera. Public Durée Objectifs Analystes de données, business analysts, développeurs et administrateurs qui ont

Plus en détail

Systèmes Répartis. Pr. Slimane Bah, ing. PhD. Ecole Mohammadia d Ingénieurs. G. Informatique. Semaine 24.2. Slimane.bah@emi.ac.ma

Systèmes Répartis. Pr. Slimane Bah, ing. PhD. Ecole Mohammadia d Ingénieurs. G. Informatique. Semaine 24.2. Slimane.bah@emi.ac.ma Ecole Mohammadia d Ingénieurs Systèmes Répartis Pr. Slimane Bah, ing. PhD G. Informatique Semaine 24.2 1 Semestre 4 : Fev. 2015 Grid : exemple SETI@home 2 Semestre 4 : Fev. 2015 Grid : exemple SETI@home

Plus en détail

Cloud Computing Cloud Services Workshop

Cloud Computing Cloud Services Workshop HEIG-VD TIC Technologies de l Information et de la Communication Cloud Computing Cloud Services Workshop Academic year 2014/15 2015 Marcel Graf HEIG-VD TIC Technologies de l Information et de la Communication

Plus en détail

Le cloud computing au service des applications cartographiques à haute disponibilité

Le cloud computing au service des applications cartographiques à haute disponibilité Le cloud computing au service des applications cartographiques à haute disponibilité Claude Philipona Les Rencontres de SIG-la-Lettre, Mai 2010 camptocamp SA / www.camptocamp.com / info@camptocamp.com

Plus en détail

Cassandra et Spark pour gérer la musique On-line

Cassandra et Spark pour gérer la musique On-line Cassandra et Spark pour gérer la musique On-line 16 Juin 2015 @ Paris Hammed RAMDANI Architecte SI 3.0 et BigData mramdani@palo-it.com +33 6 80 22 20 70 Appelez-moi Hammed ;-) (Sidi Mo)Hammed Ramdani @smramdani

Plus en détail

BIG DATA en Sciences et Industries de l Environnement

BIG DATA en Sciences et Industries de l Environnement BIG DATA en Sciences et Industries de l Environnement François Royer www.datasio.com 21 mars 2012 FR Big Data Congress, Paris 2012 1/23 Transport terrestre Traçabilité Océanographie Transport aérien Télémétrie

Plus en détail

Cloud Computing. Introduction. ! Explosion du nombre et du volume de données

Cloud Computing. Introduction. ! Explosion du nombre et du volume de données Cloud Computing Frédéric Desprez LIP ENS Lyon/INRIA Grenoble Rhône-Alpes EPI GRAAL 25/03/2010! Introduction La transparence d utilisation des grandes plates-formes distribuées est primordiale Il est moins

Plus en détail

Séminaire Partenaires Esri France 7-8 juin 2011 - Paris Cloud Computing Stratégie Esri

Séminaire Partenaires Esri France 7-8 juin 2011 - Paris Cloud Computing Stratégie Esri Séminaire Partenaires Esri France 7-8 juin 2011 - Paris Cloud Computing Stratégie Esri Gaëtan LAVENU Plan de la présentation Evolution des architectures SIG Qu'est ce que le Cloud Computing? ArcGIS et

Plus en détail

Séminaire Partenaires Esri France 6 et 7 juin 2012 Paris. ArcGIS et le Cloud. Gaëtan LAVENU

Séminaire Partenaires Esri France 6 et 7 juin 2012 Paris. ArcGIS et le Cloud. Gaëtan LAVENU Séminaire Partenaires Esri France 6 et 7 juin 2012 Paris ArcGIS et le Cloud Gaëtan LAVENU Agenda Qu'attendent nos clients du Cloud Computing? Les solutions de Cloud ArcGIS dans le Cloud Quelles attendent

Plus en détail

Big Data par l exemple

Big Data par l exemple #PARTAGE Big Data par l exemple Alexandre Chauvin Hameau Directeur de la production Malakoff Médéric @achauvin CT BIG DATA 10/12/2015 Soyons pragmatiques BIG DATA beaucoup de bruit pour des choses finalement

Plus en détail

Cloud Computing Cloud Services Workshop

Cloud Computing Cloud Services Workshop HES-SO Master of Science in Engineering Cloud Computing Cloud Services Workshop Academic year 2014/15 (C) 2015 Marcel Graf HES-SO MSE Workshop plan # Topic Presentation starts at Questions from group #

Plus en détail

Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html. R.R. Université Lyon 2

Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html. R.R. Université Lyon 2 Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html 1 Plan de présentation 1. L écosystème Hadoop 2. Principe de programmation MapReduce 3. Programmation des fonctions

Plus en détail

ICT7 Luxembourg. ICT7 Belgium. ICT7 France. 33 people. 12 people. 2 people

ICT7 Luxembourg. ICT7 Belgium. ICT7 France. 33 people. 12 people. 2 people ICT7 Belgium 33 people ICT7 Luxembourg 12 people ICT7 France 2 people Project Expertise Coaching & Training Solutions Consultancy Le Cloud : une nouvelle façon de travailler! Principe de tarification

Plus en détail

Fouillez facilement dans votre système Big Data. Olivier TAVARD

Fouillez facilement dans votre système Big Data. Olivier TAVARD Fouillez facilement dans votre système Big Data Olivier TAVARD A propos de moi : Cofondateur de la société France Labs Développeur (principalement Java) Formateur en technologies de moteurs de recherche

Plus en détail

L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13

L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13 L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com HUG France 250 membres sur la mailing liste 30 présentations 9 meetups organisés, de 20 à 100 invités Présence de Cloudera, MapR, Hortonworks,

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution

Plus en détail

Groupe de Discussion Big Data Aperçu des technologies et applications. Stéphane MOUTON stephane.mouton@cetic.be

Groupe de Discussion Big Data Aperçu des technologies et applications. Stéphane MOUTON stephane.mouton@cetic.be Groupe de Discussion Big Data Aperçu des technologies et applications Stéphane MOUTON stephane.mouton@cetic.be Recherche appliquée et transfert technologique q Agréé «Centre Collectif de Recherche» par

Plus en détail

CNAM 2010-2011. Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010

CNAM 2010-2011. Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010 CNAM 2010-2011 Déploiement d une application avec EC2 ( Cloud Amazon ) Auteur : Thierry Kauffmann Paris, Décembre 2010 Déploiement d une application dans le cloud. 1. Cloud Computing en 2010 2. Offre EC2

Plus en détail

DevOps / SmartCloud Orchestrator. Dominique Lacassagne Cloud Architect

DevOps / SmartCloud Orchestrator. Dominique Lacassagne Cloud Architect DevOps / SmartCloud Orchestrator Dominique Lacassagne Cloud Architect DevOps / SmartCloud Orchestrator ( SCO ) Introduction: where does SCO fit in the DevOps story? A quick review of SCO main features

Plus en détail

QlikView et Google Big Query : Une réponse simple, rapide et peu coûteuse aux analyses Big Data

QlikView et Google Big Query : Une réponse simple, rapide et peu coûteuse aux analyses Big Data QlikView et Google Big Query : Une réponse simple, rapide et peu coûteuse aux analyses Big Data Qui sommes-nous? Société de stratégie et de consulting IT spécialisée en ebusiness, Cloud Computing, Business

Plus en détail

New Features. Developed by. BPM Conseil - SARL au capital de 70 000 euros - RCS LYON 479 400 129 9, rue Pierre Blanc - 69001 Lyon - France 1/20

New Features. Developed by. BPM Conseil - SARL au capital de 70 000 euros - RCS LYON 479 400 129 9, rue Pierre Blanc - 69001 Lyon - France 1/20 5 New Features Developed by 1/20 Sommaire 1 Introduction... 3 2 Evolutions des studios de développement et améliorations fonctionnelles... 5 3 Portail Vanilla... 6 3.1 Open Street Maps... 6 3.2 Gestion

Plus en détail

Organiser vos données - Big Data. Patrick Millart Senior Sales Consultant

Organiser vos données - Big Data. Patrick Millart Senior Sales Consultant Organiser vos données - Big Data Patrick Millart Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be

Plus en détail

Cloud Privé / Public / Hybrid. Romain QUINAT vente-privee.com

Cloud Privé / Public / Hybrid. Romain QUINAT vente-privee.com Cloud Privé / Public / Hybrid Romain QUINAT vente-privee.com Vente-privee.com Société Française implantée dans 8 pays : FR, DE, ES, IT, BE, AU, NL, UK (+US en joint-venture avec American Express) 1700

Plus en détail

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -"Big Data par l'exemple" -Julien DULOUT

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -Big Data par l'exemple -Julien DULOUT 20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013 20 ans du SIAD -"BigData par l'exemple" -Julien DULOUT Qui a déjà entendu parler du phénomène BigData? Qui a déjà

Plus en détail

Offre formation Big Data Analytics

Offre formation Big Data Analytics Offre formation Big Data Analytics OCTO 2014 50, avenue des Champs-Elysées 75008 Paris - FRANCE Tél : +33 (0)1 58 56 10 00 Fax : +33 (0)1 58 56 10 01 www.octo.com 1 Présentation d OCTO Technology 2 Une

Plus en détail

DEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD

DEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD DEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD BIGDATA PARIS LE 1/4/2014 VINCENT HEUSCHLING @VHE74! 1 NOUS 100% Bigdata Infrastructure IT + Data Trouver vos opportunités Implémenter les

Plus en détail

Informatique en nuage Cloud Computing. G. Urvoy-Keller

Informatique en nuage Cloud Computing. G. Urvoy-Keller Informatique en nuage Cloud Computing G. Urvoy-Keller Sources de ce documents Next Stop, the cloud Objectifs de l'étude : Comprendre la popularité des déploiements de services basés sur des clouds Focus

Plus en détail

Big Data Concepts et mise en oeuvre de Hadoop

Big Data Concepts et mise en oeuvre de Hadoop Introduction 1. Objectif du chapitre 9 2. Le Big Data 10 2.1 Introduction 10 2.2 Informatique connectée, objets "intelligents" et données collectées 11 2.3 Les unités de mesure dans le monde Big Data 12

Plus en détail

Projet Xdata. Cinequant, Data Publica, EDF, ESRI, Hurence, INRIA, Institut Mines Telecom, La Poste, Orange, Veolia

Projet Xdata. Cinequant, Data Publica, EDF, ESRI, Hurence, INRIA, Institut Mines Telecom, La Poste, Orange, Veolia Projet Xdata Cinequant, Data Publica, EDF, ESRI, Hurence, INRIA, Institut Mines Telecom, La Poste, Orange, Veolia Mutualisation des données XData = Cross Data En croisant des données d origine diverses,

Plus en détail

Big Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1

Big Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1 Big Data Cyril Amsellem Consultant avant-vente 16 juin 2011 Talend 2010 1 Big Data Architecture globale Hadoop Les projets Hadoop (partie 1) Hadoop-Core : projet principal. HDFS : système de fichiers distribués

Plus en détail

Les données massives à Calcul Québec

Les données massives à Calcul Québec Les données massives à Calcul Québec Marc Parizeau, professeur et directeur scientifique de Calcul Québec Plan Calcul Québec / Calcul Canada Les outils et les services disponibles Un outil en particulier

Plus en détail

Introduction à MapReduce/Hadoop et Spark

Introduction à MapReduce/Hadoop et Spark 1 / 36 Introduction à MapReduce/Hadoop et Spark Certificat Big Data Ludovic Denoyer et Sylvain Lamprier UPMC Plan 2 / 36 Contexte 3 / 36 Contexte 4 / 36 Data driven science: le 4e paradigme (Jim Gray -

Plus en détail

du batch au temps réel Maxime Mézin Data & Photo Science Director

du batch au temps réel Maxime Mézin Data & Photo Science Director du batch au temps réel Maxime Mézin Data & Photo Science Director Leader Européen du tirage et du livre photo Plus 30 millions de membres 17 pays Stockage de milliards de photos Développement international

Plus en détail

Étendre Votre infrastructure IT avec Amazon Virtual Private Cloud

Étendre Votre infrastructure IT avec Amazon Virtual Private Cloud Étendre Votre infrastructure IT avec Amazon Virtual Private Cloud http://aws.amazon.com/vpc Comprendre Amazon Virtual Private Cloud Amazon Virtual Private Cloud (Amazon VPC) est un pont sécurisé et continu

Plus en détail

ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE

ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE Mémoires 2010-2011 www.euranova.eu MÉMOIRES ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE Contexte : Aujourd hui la plupart des serveurs d application JEE utilise des niveaux de cache L1

Plus en détail

L INFORMATIQUE SOUS FORME DE SERVICE POUR VOTRE ENTREPRISE. Farid BENREJDAL Senior Systems Engineer VMware

L INFORMATIQUE SOUS FORME DE SERVICE POUR VOTRE ENTREPRISE. Farid BENREJDAL Senior Systems Engineer VMware L INFORMATIQUE SOUS FORME DE SERVICE POUR VOTRE ENTREPRISE Farid BENREJDAL Senior Systems Engineer VMware ... VERS L IT AS A SERVICE Phase I Phase II Phase III Gain en CapEx / Consolidation Gain en fiabilité

Plus en détail

Surmonter les 5 défis opérationnels du Big Data

Surmonter les 5 défis opérationnels du Big Data Surmonter les 5 défis opérationnels du Big Data Jean-Michel Franco Talend Connect 9 octobre 2014 Talend 2014 1 Agenda Agenda Le Big Data depuis la découverte jusqu au temps réel en passant par les applications

Plus en détail

Une nouvelle génération de serveur

Une nouvelle génération de serveur Séminaire Aristote 27 Mars 2013 Une nouvelle génération de serveur Sommaire L'équipe État de l'art et vision Présentation de l'innovation Les points forts de la solution Cas d'usage Questions? 2 L'équipe

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2014) Marc Parizeau, Département de génie électrique et de génie informatique Plan Mégadonnées («big data») Architecture Hadoop distribution

Plus en détail

For Fun and Profit Datasio 2012

For Fun and Profit Datasio 2012 For Fun and Profit Datasio 2012 130 Nouveaux acteurs Big Data depuis 2009 1 2 3 Agenda Hadoop, poids lourd du Big Data Stats Web avec Hive chez Scoop.it Profession: Data Scientist Agenda 1 Hadoop, poids

Plus en détail

Mathématiques et énergie quelles opportunités dès demain? SMAI 10 Avril 2012

Mathématiques et énergie quelles opportunités dès demain? SMAI 10 Avril 2012 CONFIDENTIEL - Copyright 2012 Clean Horizon Consulting 1 Mathématiques et énergie quelles opportunités dès demain? SMAI 10 Avril 2012 Source: Clean Horizon CONFIDENTIEL - Copyright 2012 Clean Horizon Consulting

Plus en détail

API04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture

API04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture API04 Contribution Apache Hadoop: Présentation et application dans le domaine des Data Warehouses Introduction Cette publication a pour but de présenter le framework Java libre Apache Hadoop, permettant

Plus en détail

Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr

Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr Déploiement d une architecture Hadoop pour analyse de flux françois-xavier.andreu@renater.fr 1 plan Introduction Hadoop Présentation Architecture d un cluster HDFS & MapReduce L architecture déployée Les

Plus en détail

Le Cloud Open-Mind! Emilien Macchi

Le Cloud Open-Mind! Emilien Macchi Le Cloud Open-Mind! 1 Sommaire Introduction Comprendre Swift Comprendre Glance Comprendre Nova Déploiement Divers 2 OpenStack Introduction 3 Qu est-ce-qu OpenStack? Projet OpenSource ambitieux Catégorie

Plus en détail

HADOOP ET SON ÉCOSYSTÈME

HADOOP ET SON ÉCOSYSTÈME HADOOP ET SON ÉCOSYSTÈME Mars 2013 2012 Affini-Tech - Diffusion restreinte 1 AFFINI-TECH Méthodes projets Outils de reporting & Data-visualisation Business & Analyses BigData Modélisation Hadoop Technos

Plus en détail

DB2 10.5 BLU Acceleration Francis Arnaudiès f.arnaudies@fr.ibm.com

DB2 10.5 BLU Acceleration Francis Arnaudiès f.arnaudies@fr.ibm.com DB2 10.5 BLU Acceleration Francis Arnaudiès f.arnaudies@fr.ibm.com #solconnect13 SOLUTIONS ADAPTEES AUX BESOINS CLIENTS Mobile/Cloud Data Serving and Transaction Processing Mobile Storefront JSON Database

Plus en détail

Calcul haute performance (CHP-HPC). Utilisation des supercalculateurs

Calcul haute performance (CHP-HPC). Utilisation des supercalculateurs Calcul haute performance (CHP-HPC). Utilisation des supercalculateurs Pascal Rochon (UQO-ISFORT) Sommaire 1. Pourquoi utiliser le CHP 2. Définition des termes utilisés 3. Organismes qui chapeautent le

Plus en détail

Acquisition des données - Big Data. Dario VEGA Senior Sales Consultant

Acquisition des données - Big Data. Dario VEGA Senior Sales Consultant Acquisition des données - Big Data Dario VEGA Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated

Plus en détail

Infrastructure technique de géodonnées. Technische Geodateninfrastruktur. Cédric Moullet Forum e-geo.ch, 15. November 2013

Infrastructure technique de géodonnées. Technische Geodateninfrastruktur. Cédric Moullet Forum e-geo.ch, 15. November 2013 Infrastructure technique de géodonnées Technische Geodateninfrastruktur Cédric Moullet Forum e-geo.ch, 15. November 2013 Agenda Introduction / Einführung Cloud Computing IDG actuelle / Aktuelles GDI Discussion

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Cloud et scalabilité Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire

Plus en détail

Les journées SQL Server 2013

Les journées SQL Server 2013 Les journées SQL Server 2013 Un événement organisé par GUSS Les journées SQL Server 2013 Romain Casteres MVP SQL Server Consultant BI @PulsWeb Yazid Moussaoui Consultant Senior BI MCSA 2008/2012 Etienne

Plus en détail

BI dans les nuages. Olivier Bendavid, UM2 Prof. A. April, ÉTS

BI dans les nuages. Olivier Bendavid, UM2 Prof. A. April, ÉTS BI dans les nuages Olivier Bendavid, UM2 Prof. A. April, ÉTS Table des matières Introduction Description du problème Les solutions Le projet Conclusions Questions? Introduction Quelles sont les défis actuels

Plus en détail

Entrez dans l ère du Numérique Très Haut Débit

Entrez dans l ère du Numérique Très Haut Débit MIPE Juin 2012 - Nantes http://www.network-th.fr - 0811 560 947 1. Le Très Haut Débit sur Fibre Optique au prix d une SDSL : Mythe ou Réalité? 2. Sauvegarder, Sécuriser, Protéger, Superviser : Délégueznous

Plus en détail

Quelle nouvelle génération de protection contre les intrusions dans le data center. IBM Proventia Network pour Crossbeam.

Quelle nouvelle génération de protection contre les intrusions dans le data center. IBM Proventia Network pour Crossbeam. Quelle nouvelle génération de protection contre les intrusions dans le data center. IBM Proventia Network pour Crossbeam. Loic Guézo, Senior Managing Consultant, IBM ISS. agenda 1 Le partenariat IBM Crossbeam

Plus en détail

VMware View Virtualisation des postes de travail (architecture, déploiement, bonnes pratiques...)

VMware View Virtualisation des postes de travail (architecture, déploiement, bonnes pratiques...) Avant-propos 1. Introduction 11 2. Comment lire ce livre? 12 3. Remerciements 12 Introduction 1. Problématiques des postes de travail 13 2. Avantages de la virtualisation de postes de travail 15 2.1 Retours

Plus en détail

OpenStack, l Infrastructure as a Service libre

OpenStack, l Infrastructure as a Service libre OpenStack, l Infrastructure as a Service libre Adrien Cunin adrien.cunin@osones.com - @Adri2000 OS Lionel Porcheron lionel@alveonet.org - @lporcheron Capitole du Libre 2014 Introduction Le cloud recouvre

Plus en détail

HAUTE DISPONIBILITE & CONTINUITÉ DE SERVICE MULTI PLATES FORMES. Simple & Performant. www.quick software line.com

HAUTE DISPONIBILITE & CONTINUITÉ DE SERVICE MULTI PLATES FORMES. Simple & Performant. www.quick software line.com HAUTE DISPONIBILITE & CONTINUITÉ DE SERVICE MULTI PLATES FORMES Haute disponibilité pour Serveurs Ouverts (Windows, UNIX, AIX, Linux, VMware (Windows, UNIX, AIX, Linux, VMware ) Généralités Quelques définitions

Plus en détail

LES APPROCHES CONCRÈTES POUR LE DÉPLOIEMENT D INFRASTRUCTURES CLOUD AVEC HDS & VMWARE

LES APPROCHES CONCRÈTES POUR LE DÉPLOIEMENT D INFRASTRUCTURES CLOUD AVEC HDS & VMWARE LES APPROCHES CONCRÈTES POUR LE DÉPLOIEMENT D INFRASTRUCTURES CLOUD AVEC HDS & VMWARE Sylvain SIOU VMware Laurent DELAISSE Hitachi Data Systems 1 Hitachi Data Systems Corporation 2012. All Rights Reserved

Plus en détail

FORMATION WS1207 IMPLEMENTATION D'UNE INFRASTRUCTURE WINDOWS SERVER 2012 COMPLEXE

FORMATION WS1207 IMPLEMENTATION D'UNE INFRASTRUCTURE WINDOWS SERVER 2012 COMPLEXE FORMATION WS1207 IMPLEMENTATION D'UNE INFRASTRUCTURE WINDOWS SERVER 2012 COMPLEXE Contenu de la formation Implémentation d une infrastructure Windows Server 2012 complexe Page 1 sur 5 I. Généralités 1.

Plus en détail

La rencontre du Big Data et du Cloud

La rencontre du Big Data et du Cloud La rencontre du Big Data et du Cloud Libérez le potentiel de toutes vos données Visualisez et exploitez plus rapidement les données de tous types, quelle que soit leur taille et indépendamment de leur

Plus en détail

Architecture pour le Cloud : bonnes pratiques avec les Amazon Web Services (AWS)

Architecture pour le Cloud : bonnes pratiques avec les Amazon Web Services (AWS) Architecture pour le Cloud : bonnes pratiques avec les Amazon Web Services (AWS) Préambule Ce Livre Blanc est une adaptation non-officielle du document «Architecting for the Cloud : Best Practices» rédigé

Plus en détail

Priorités d investissement IT pour 2014. [Source: Gartner, 2013]

Priorités d investissement IT pour 2014. [Source: Gartner, 2013] Le Cloud 2.0 Priorités d investissement IT pour 2014 [Source: Gartner, 2013] 2 Pourquoi changer de modèle? Compute Network Storage Transformer son Datacenter en Centre de Services : Simplifier le provisioning

Plus en détail

FORMATION HADOOP Développeur pour Hadoop (Apache)

FORMATION HADOOP Développeur pour Hadoop (Apache) FORMATION HADOOP Développeur pour Hadoop (Apache) Ce document reste la propriété du Groupe Cyrès. Toute copie, diffusion, exploitation même partielle doit faire l objet d une demande écrite auprès de Cyrès.

Plus en détail

EMC Enterprise Hybrid Cloud. Emmanuel Bernard Advisory vspecialist EMC Emmanuel.bernard@emc.com @veemanuel

EMC Enterprise Hybrid Cloud. Emmanuel Bernard Advisory vspecialist EMC Emmanuel.bernard@emc.com @veemanuel EMC Enterprise Hybrid Cloud Emmanuel Bernard Advisory vspecialist EMC Emmanuel.bernard@emc.com @veemanuel Copyright 2014 EMC Corporation. All rights reserved. # Nouveau programme IT Défis métiers actuels

Plus en détail

LE BIG DATA. TRANSFORME LE BUSINESS Solution EMC Big Data

LE BIG DATA. TRANSFORME LE BUSINESS Solution EMC Big Data LE BIG DATA Solution EMC Big Data TRANSITION VERS LE BIG DATA En tirant profit du Big Data pour améliorer leur stratégie et son exécution, les entreprises se démarquent de la concurrence. La solution EMC

Plus en détail

HPC by OVH.COM. Le bon calcul pour l innovation OVH.COM

HPC by OVH.COM. Le bon calcul pour l innovation OVH.COM 4 HPC by OVH.COM Le bon calcul pour l innovation 2 6 5 6 2 8 6 2 OVH.COM 5 2 HPC by OVH.COM 6 HPC pour High Performance Computing Utilisation de serveurs et de grappes de serveurs (clusters), configurés

Plus en détail

Section I: Le Contexte du DATA CENTER Pourquoi l AGILITE est Nécessaire dans le DataCenter

Section I: Le Contexte du DATA CENTER Pourquoi l AGILITE est Nécessaire dans le DataCenter Agile Data Center CONTENU Section I: Le Contexte du DATA CENTER Pourquoi l AGILITE est Nécessaire dans le DataCenter Section II: VERS UNE APPROCHE SERVICE Le DataCenter AGILE (ADC) Une Infrastructure Elastique

Plus en détail

accompagner votre transformation IT vers le Cloud de confiance

accompagner votre transformation IT vers le Cloud de confiance accompagner votre transformation IT vers le Cloud de confiance Philippe LAPLANE Directeur du développement de la stratégie des produits cloud des tendances fortes structurent le marché croissance de la

Plus en détail

Accélérez vos tests et développements avec le Cloud, découvrez SoftLayer, la dernière acquisition Cloud d'ibm

Accélérez vos tests et développements avec le Cloud, découvrez SoftLayer, la dernière acquisition Cloud d'ibm Accélérez vos tests et développements avec le Cloud, découvrez SoftLayer, la dernière acquisition Cloud d'ibm Matthieu Gross Senior Architect services d infrastructure IBM Cloud: Think it. Build it. Tap

Plus en détail

TRANSFORM IT + BUSINESS + YOURSELF

TRANSFORM IT + BUSINESS + YOURSELF TRANSFORM IT + BUSINESS + YOURSELF Copyright 2012 EMC Corporation. All rights reserved. 2 Vos environnements SAP sont complexes et couteux : pensez «replatforming» TRANSFORM IT+ BUSINESS + YOURSELF Alexandre

Plus en détail

FUJITSU WORLD TOUR 2014 Paris

FUJITSU WORLD TOUR 2014 Paris FUJITSU WORLD TOUR 2014 Paris Bienvenue... Considérez les données différemment : de la protection du patrimoine à sa valorisation Cyrille Boulletier, COO du Groupe Pierre et Vacances Center Parcs Patrick

Plus en détail

+ = OpenStack Presentation. Raphaël Ferreira - CoFounder. @ enovance. Credits : Thanks to the OpenStack Guys 1

+ = OpenStack Presentation. Raphaël Ferreira - CoFounder. @ enovance. Credits : Thanks to the OpenStack Guys 1 + = OpenStack Presentation Raphaël Ferreira - CoFounder @ enovance Credits : Thanks to the OpenStack Guys 1 INTRODUCTION 2 Les entreprises déploient des clouds pour... Répondre aux besoins de ressources

Plus en détail

Hadoop, Spark & Big Data 2.0. Exploiter une grappe de calcul pour des problème des données massives

Hadoop, Spark & Big Data 2.0. Exploiter une grappe de calcul pour des problème des données massives Hadoop, Spark & Big Data 2.0 Exploiter une grappe de calcul pour des problème des données massives Qui suis-je? Félix-Antoine Fortin Génie info. (B. Ing, M. Sc, ~PhD) Passionné de Python, Data Analytics,

Plus en détail

Cloud Computing & PHP

Cloud Computing & PHP Présentation & PHP Présentation Guillaume Plessis Fondateur de IG technologie Mainteneur du projet Dotdeb Marottes : Le Cloud raisonné gui@php.net LAMP débridé Présentation Définition n 1 Définition n

Plus en détail

DATA ANALYST UTILISER PIG, HIVE ET IMPALA AVEC HADOOP DE CLOUDERA

DATA ANALYST UTILISER PIG, HIVE ET IMPALA AVEC HADOOP DE CLOUDERA SI 2.0 DATA ANALYST UTILISER PIG, HIVE ET IMPALA AVEC HADOOP DE CLOUDERA REF : SICL001 DUREE : 4 JOURS TARIF : 2 695 HT Public Analystes de données, business analysts, développeurs et administrateurs.

Plus en détail

Projet d'infrastructure de stockage mutualisée

Projet d'infrastructure de stockage mutualisée Projet d'infrastructure de stockage mutualisée (pour la communauté scientifique régionale) - CRRI antoine.mahul@clermont-universite.fr Journée de rencontre du réseau AuDACES - 17 juin 2014 1. Contexte

Plus en détail

MapReduce. Malo Jaffré, Pablo Rauzy. 16 avril 2010 ENS. Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15

MapReduce. Malo Jaffré, Pablo Rauzy. 16 avril 2010 ENS. Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15 MapReduce Malo Jaffré, Pablo Rauzy ENS 16 avril 2010 Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15 Qu est ce que c est? Conceptuellement Données MapReduce est un framework de calcul distribué

Plus en détail

Labs Hadoop Février 2013

Labs Hadoop Février 2013 SOA - BRMS - ESB - BPM CEP BAM - High Performance Compute & Data Grid - Cloud Computing - Big Data NoSQL - Analytics Labs Hadoop Février 2013 Mathias Kluba Managing Consultant Responsable offres NoSQL

Plus en détail

Jean-Philippe Paquette Jean-philippe.paquette@videotron.ca

Jean-Philippe Paquette Jean-philippe.paquette@videotron.ca Jean-Philippe Paquette Jean-philippe.paquette@videotron.ca 6 novembre 2013 Ordre du jour Histoire du mobile a RDS Les alertes SMS Application RDS hockey Push notifications Différence avec le site mobile

Plus en détail

Une brève introduction aux Données Massives - Challenges et perspectives. Romain Picot-Clémente Cécile Bothorel Philippe Lenca

Une brève introduction aux Données Massives - Challenges et perspectives. Romain Picot-Clémente Cécile Bothorel Philippe Lenca Une brève introduction aux Données Massives - Challenges et perspectives Romain Picot-Clémente Cécile Bothorel Philippe Lenca Plan 1 Big Data 2 4Vs 3 Hadoop et son écosystème 4 Nouveaux challenges, nouvelles

Plus en détail

Big Data : utilisation d un cluster Hadoop HDFS Map/Reduce HBase

Big Data : utilisation d un cluster Hadoop HDFS Map/Reduce HBase Big Data : utilisation d un cluster cluster Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe), Laboratoire APC, Université Paris Diderot LabEx UnivEarthS 14 Janvier 2014 C. Cavet

Plus en détail

De l Etudiant à SBA à l Enseignant Chercheur à l ENSMA

De l Etudiant à SBA à l Enseignant Chercheur à l ENSMA De l Etudiant à SBA à l Enseignant Chercheur à l ENSMA Ladjel BELLATRECHE bellatreche@ensma.fr http://www.lias lab.fr/members/bellatreche Les déterminants de la motivation selon Rolland Viau Perception

Plus en détail

Culture numérique Cloud computing

Culture numérique Cloud computing Culture numérique Cloud computing Hervé Le Crosnier Université de Caen Basse-Normandie herve.lecrosnier@unicaen.fr Processus John McCarthy «computation may someday be organized as a public utility.» Transformations

Plus en détail

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data.

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data. Big Data De la stratégie à la mise en oeuvre Description : La formation a pour objet de brosser sans concession le tableau du Big Data. Les participants repartiront de cette formation en ayant une vision

Plus en détail

SQL-ON-HADOOP. Veille Technologique et Stratégique 2015 Guo Kai Élève de RICM 5 Kai.Guo@e.ujf-Grenoble.fr

SQL-ON-HADOOP. Veille Technologique et Stratégique 2015 Guo Kai Élève de RICM 5 Kai.Guo@e.ujf-Grenoble.fr SQL-ON-HADOOP Veille Technologique et Stratégique 2015 Guo Kai Élève de RICM 5 Kai.Guo@e.ujf-Grenoble.fr Données structurées (RDBMS) Exiger de strictement être organisé Annexer à RDBMS sans couture Consultable

Plus en détail