Panorama des solutions analytiques existantes
|
|
- Fabienne Carbonneau
- il y a 7 ans
- Total affichages :
Transcription
1 Arnaud LAROCHE Julien DAMON Panorama des solutions analytiques existantes SFdS Méthodes et Logiciels - 16 janvier Données Massives
2
3 Ne sont ici considérés que les solutions autour de l environnement Hadoop Plus de volume Moins de structure Plus de vitesse Plus d analyses Un nouveau paradigme de traitement de données massivement «parallélisable» Outils d exploitation de l information Modèle de programmation parallèle Système de fichiers distribués Bases de données Nosql, outils de transformation, outils de requêtage, reporting, datamining, machine-learning Un nouveau paradigme de stockage de données, massivement scalable 3
4 Axe «Opérationnel» : La possibilité de placer des fonctions analytiques complexes au cœur d applications opérationnelles tempsréel (notion de Data- Centric Applications permettant d imaginer de nouveaux produits et services) Action Décision Information Données Axe «Analytique» : La possibilité d opérer des analyses statistiques complexes et des calculs mathématiques en des temps réduits sur de plus grands volumes de données, et sur des données de nature différente (non structurées) Axe «Financier» : La promesse de réduction de coûts liée à la possible mutualisation des infrastructures techniques (data-centers) et à la «scalabilité» desdites infrastructures 4
5 Exemple simplifié de traitement Map Reduce Entrée Répartition Map Assortiment Reduce Sortie <Bear, 1> <Bear, 1> <Bear, 2> Deer Bear Beer Dear Bear Beer Dear Deer Beer Deer Bear Beer Dear Bear Beer <Deer, 1> <Bear, 1> <Beer,1> <Dear, 1> <Bear,1> <Beer, 1> <Beer, 1> <Beer, 1> <Beer, 1> <Beer, 3> <Bear,2> <Beer,3> <Dear,2> <Deer,2> <Dear, 1> <Dear, 1> <Dear, 2> Dear Deer Beer <Dear, 1> <Deer, 1> <Beer, 1> <Deer, 1> <Deer, 1> <Deer, 2> Complexité algorithmique Latence liée à l architecture Concevoir des algorithmes adaptés Certains algorithmes n existent pas 5
6 IN HADOOP Traitements réalisés sur le cluster Hadoop avec le framework Hadoop Échanges de données Paradigme map reduce (distribué ou non) Possibilité de traitements intensifs (forte volumétrie, modélisation multiple) ON HADOOP Extractions des données pour traitement analytiques Échanges de données extra-cluster (hdfs, hive, hbase, ) Paradigmes non map reduce (distribué ou non) Espace spécialisé pour les traitements analytiques «SIDE BY SIDE» Mutualisation de l environnement Hadoop avec la solution analytique Échanges de données intra-cluster (hdfs, hive, hbase, ) Paradigmes non map reduce (distribué ou non) Partage de ressources Possibilité d approches «in memory» 6
7 Statistique & Datamining vs Informatique & Machine-learning RAS (Seuls les usages et la démarche changent réellement) 7
8
9 Apache MapReduce Open source In Hadoop Map Reduce Java La solution standard de Hadoop pour réaliser des traitements dans le cluster. Elle n est en rien spécifique à des traitements analytiques. Standard Tarification manipulable Coût réel Latence Complexité Besoin de tout implémenter Apache Streaming ng.html Open source In Hadoop Map Reduce Python, C++, R, Intégration sous la forme d un flux (stdin, stdout) de la fonctionnalité MapReduce pour tous les langages pouvant fonctionner sous ce mode. Standard Tarification Souplesse sur le langage à utiliser Possibilité d utiliser des bibliothèques d analyse (scikit, ) Comme MapReduce + Besoin de parsing des fichiers à chaque étape 9
10 Apache Mahout Open source In Hadoop Java Solution proposée standard par la fondation Apache pour réaliser des traitements analytiques. Un grand nombre d algorithme sont implémentés. Standard Tarification Algorithmes déjà programmés Java ou ligne de commande «complexe» Documentation Régression fonctionnelle RHadoop op/wiki Open source In Hadoop Map Reduce Solution open source réalisée par Revolution Analytics permettant de réaliser les traitement map reduce (rmr2), hdfs (rhdfs), et hbase (rhbase) directement sous R. Programmation sous R Tarification Réutilisation des bibliothèques R possible Aucun algorithme fourni Latence Conversion des données souvent nécessaire 10
11 Spark Open source In Hadoop Map Reduce In Memory Solution permettant d accélérer les traitements map reduce en utilisant les ressources mémoire du cluster (c est en fai tune alternative à map Reduce). Elle peut être utilisée avec Scala, Java, Python et bientôt R. Performances Diversité des langages utilisables Tarification Algorithmes existants Adapté à la propagation de scores Pas adapté pour l inférence En cours de développement RHive Open source In Hadoop Interaction avec Hive Intégration de R avec Hive. Dans un sens, permet de réaliser des requêtes HQL en R, dans l autre sens, permet d utiliser des fonctions R sous Hive. Programmation en R Requêtes Hive Adapté à la propagation de scores Tarification Repose sur Hive Pas adapté pour l inférence 11
12 Storm Open source In Hadoop Java Solution adaptée à la réalisation de traitements temps réel. Peut être interfacé avec un grand nombre de langages : Ruby, Python, Javascript, Perl, PHP, et R (avec storm-r) Performances Diversité des langages utilisables Tarification Adapté à la propagation de scores simples Pas adapté pour l inférence Non spécifique analytique 0xdata H 2 O Open source In Hadoop Non Map Reduce In Memory Solution in memory déployée sur cluster Hadoop. Permet de réaliser certains traitements analytiques classiques sur des données structurées. Performances (réactivité) IHM agréable (Web) Algorithme existants Contraintes hardware Limites du «In Memory» Méthodes limités (en développement) Pas de flux de traitement 12
13 ORACLE R Entreprise options/advanced-analytics/renterprise/index.html Commercial In Hadoop Map Reduce Solution comprenant : ORCH, un connecteur Hadoop pour R ayant des fonctionnalités proches de Rhadoop ORE, l intégration de R dans Oracle Programmation sous R Réutilisation des bibliothèques R possible Utilisation de Oracle pour les données volumineuses Tarification Aucun algorithme fourni Latence Conversion des données souvent nécessaire Wibidata Commercial On Hadoop Interaction avec Hive Java Solution s appuyant sur Kiji (open source) permettant de réaliser des traitement analytiques simples en HQL. Performances Algorithmes existants Adapté à la propagation de scores Pas adapté pour l inférence Peu d algorithmes existant Structuration des données 13
14 Datameer Solution commerciale In Hadoop Non Map Reduce Plateforme intégrée permettant de faire des reporting, de la visualisation, et de la propagation de modèles PMML via Zementis. Performances (réactivité) IHM agréable (Web) Datavisualisation Adapté à de la propagation de modèles Tarification (si > 1 To) Pas adapté pour l inférence Revolution Analytics Solution commerciale On Hadoop Distribué non Map Reduce Adaptation de R à l utilisation des volumes importants de données. Permet de réaliser des traitements «side by side» avec Hadoop. Un nombre important d algorithmes est disponible. Performances Programmation style R Datavisualisation (non interactive) De nombreux algorithmes Tarification Absence de certains algorithmes de machine learning Architecture 14
15 SAS High-Performance Data Mining tions/high-performance-analytics/ Commercial In Hadoop Non Map Reduce In Memory Solution in memory déployée sur cluster Hadoop. Permet de réaliser l ensemble des traitements analytiques classiques sur des données structurées, Performances (réactivité) Programmation «classique» IHM agréable (Flowchart) Datavisualisation Tarification Contraintes hardware Limites du «In Memory» Structuration des données Dataiku Solution commerciale In & On Hadoop Non Map Reduce Plateforme intégrée rassemblant des solutions open source (Pig, Hive) permettant de faire des reporting, de la visualisation et des traitements analytiques en python (R et Mahout à venir) Programmation «classique» IHM agréable (Web, Flowchart) Facilité à mixer les outils (Pig + Scikit + Datavisualisation, ) Non map reduce Architecture 15
16 IBM SPSS Modeler software/analytics/spss/products/modeler Commercial In & On Hadoop Non Map Reduce Solution analytique de IBM combinant la possibilité de traitements Map Reduce en JAQL avec du streaming avec SPSS Modeler Intégration de composants multiples Intégration possible de R Méthodes «classiques» (SPSS) Eco système complet Tarification Skytree Commercial On Hadoop Non Map Reduce Solution analytique prenant la forme d un web service pouvant être interfacé avec R, Weka, C++ et Python. Facilitateur d accès Nombreux algorithmes Sans IHM Hors Hadoop 16
17 Alpine Commercial On Hadoop Non Map Reduce Solution analytique construite sur Hive et Hbase permettant de réaliser des traitements analytiques via une interface de workflow IHM agréable (Flowchart) Datavisualisation Déploiement de modèles Approche base de données Estimation de données Données à inclure dans Hive ou HBase 17
18
19 TEMPS RÉEL Détection des Fraudes Targeting dynamique Personnalisation de l offre Outils légers temps réel REPORTING Anticipation de surcharge serveurs Suivi d indicateurs agrégés (courbes de charges, flux, ) Solutions Web et in memory SCORING Segmentation clients Valorisation Next best offert Solutions les plus complètes 19
20 Pérennité Choix d un éditeur Développement interne Dimensionnement des données analysées Analyse sur échantillonnage? Calcul segmenté? Spécificité des analyses Algorithmes standards? Approche industrielle ou R&D? Gestion des données ETL Distillation Prise en charge des données non structurées Avec des moyens adaptés Intégration avec l existant Format de stockage des données Mutualisation de la plateforme hadoop Combiner des outils Sous forme intégrée En mutualisant les compétences En minimisant les transformations de données Evolutivité Anticiper les besoins à venir Eviter le patchwork 20
21 Tarification de la solution + Montée en compétence des équipes + Accompagnement + Développement d algorithmes + Contraintes hardware + Impact sur les traitements existants + Montés de version + = 21
22
23 Analyses simples sur des volumes morcelés Analyses poussées sur des volumes importants Outils riches et complexes Solutions simples et rapides à mettre en œuvre
24 Merci! Présentation à retrouver sur :
Panorama des solutions analytiques existantes
Arnaud LAROCHE Julien DAMON Panorama des solutions analytiques existantes SFdS Méthodes et Logiciels - 16 janvier 2014 - Données Massives Ne sont ici considérés que les solutions autour de l environnement
Plus en détailL écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13
L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com HUG France 250 membres sur la mailing liste 30 présentations 9 meetups organisés, de 20 à 100 invités Présence de Cloudera, MapR, Hortonworks,
Plus en détailHADOOP ET SON ÉCOSYSTÈME
HADOOP ET SON ÉCOSYSTÈME Mars 2013 2012 Affini-Tech - Diffusion restreinte 1 AFFINI-TECH Méthodes projets Outils de reporting & Data-visualisation Business & Analyses BigData Modélisation Hadoop Technos
Plus en détailAnticiper et prédire les sinistres avec une approche Big Data
Anticiper et prédire les sinistres avec une approche Big Data Julien Cabot Directeur Big Data Analytics OCTO jcabot@octo.com @julien_cabot OCTO 2013 50, avenue des Champs-Elysées 75008 Paris - FRANCE Tél
Plus en détailCartographie des solutions BigData
Cartographie des solutions BigData Panorama du marché et prospective 1 1 Solutions BigData Défi(s) pour les fournisseurs Quel marché Architectures Acteurs commerciaux Solutions alternatives 2 2 Quels Défis?
Plus en détail20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -"Big Data par l'exemple" -Julien DULOUT
20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013 20 ans du SIAD -"BigData par l'exemple" -Julien DULOUT Qui a déjà entendu parler du phénomène BigData? Qui a déjà
Plus en détailAVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL
AVRIL 2014 Panorama des solutions NoSQL QUI SOMMES NOUS? Avril 2014 2 SMILE, EN QUELQUES CHIFFRES 1er INTÉGRATEUR EUROPÉEN DE SOLUTIONS OPEN SOURCE 3 4 NOS EXPERTISES ET NOS CONVICTIONS DANS NOS LIVRES
Plus en détailLes technologies du Big Data
Les technologies du Big Data PRÉSENTÉ AU 40 E CONGRÈS DE L ASSOCIATION DES ÉCONOMISTES QUÉBÉCOIS PAR TOM LANDRY, CONSEILLER SENIOR LE 20 MAI 2015 WWW.CRIM.CA TECHNOLOGIES: DES DONNÉES JUSQU'À L UTILISATEUR
Plus en détailLes participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data.
Big Data De la stratégie à la mise en oeuvre Description : La formation a pour objet de brosser sans concession le tableau du Big Data. Les participants repartiront de cette formation en ayant une vision
Plus en détailOffre formation Big Data Analytics
Offre formation Big Data Analytics OCTO 2014 50, avenue des Champs-Elysées 75008 Paris - FRANCE Tél : +33 (0)1 58 56 10 00 Fax : +33 (0)1 58 56 10 01 www.octo.com 1 Présentation d OCTO Technology 2 Une
Plus en détailLabs Hadoop Février 2013
SOA - BRMS - ESB - BPM CEP BAM - High Performance Compute & Data Grid - Cloud Computing - Big Data NoSQL - Analytics Labs Hadoop Février 2013 Mathias Kluba Managing Consultant Responsable offres NoSQL
Plus en détailFouillez facilement dans votre système Big Data. Olivier TAVARD
Fouillez facilement dans votre système Big Data Olivier TAVARD A propos de moi : Cofondateur de la société France Labs Développeur (principalement Java) Formateur en technologies de moteurs de recherche
Plus en détailBig Data Concepts et mise en oeuvre de Hadoop
Introduction 1. Objectif du chapitre 9 2. Le Big Data 10 2.1 Introduction 10 2.2 Informatique connectée, objets "intelligents" et données collectées 11 2.3 Les unités de mesure dans le monde Big Data 12
Plus en détailR+Hadoop = Rhadoop* Des logiciels libres complémentaires, une implémentation, une réponse au nouveau paradigme du bigdata!
R+Hadoop = Rhadoop* * Des logiciels libres complémentaires, une implémentation, une réponse au nouveau paradigme du bigdata! 27 Janvier 2014 / Université Paul Sabatier / DTSI / David Tsang-Hin-Sun Big
Plus en détailAnalytics & Big Data. Focus techniques & nouvelles perspectives pour les actuaires. Université d Eté de l Institut des Actuaires Mardi 8 juillet 2014
Analytics & Big Data Focus techniques & nouvelles perspectives pour les actuaires Local Optimization European Minded Université d Eté de l Institut des Actuaires Mardi 8 juillet 2014 Intervenants : Alexandre
Plus en détailIntroduction à MapReduce/Hadoop et Spark
1 / 36 Introduction à MapReduce/Hadoop et Spark Certificat Big Data Ludovic Denoyer et Sylvain Lamprier UPMC Plan 2 / 36 Contexte 3 / 36 Contexte 4 / 36 Data driven science: le 4e paradigme (Jim Gray -
Plus en détailBIG DATA en Sciences et Industries de l Environnement
BIG DATA en Sciences et Industries de l Environnement François Royer www.datasio.com 21 mars 2012 FR Big Data Congress, Paris 2012 1/23 Transport terrestre Traçabilité Océanographie Transport aérien Télémétrie
Plus en détailHadoop, les clés du succès
Hadoop, les clés du succès Didier Kirszenberg, Responsable des architectures Massive Data, HP France Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject
Plus en détailIntroduction Big Data
Introduction Big Data SOMMAIRE Rédacteurs : Réf.: SH. Lazare / F. Barthélemy AXIO_BD_V1 QU'EST-CE QUE LE BIG DATA? ENJEUX TECHNOLOGIQUES ENJEUX STRATÉGIQUES BIG DATA ET RH ANNEXE Ce document constitue
Plus en détailPentaho Business Analytics Intégrer > Explorer > Prévoir
Pentaho Business Analytics Intégrer > Explorer > Prévoir Pentaho lie étroitement intégration de données et analytique. En effet, les services informatiques et les utilisateurs métiers peuvent accéder aux
Plus en détailRicco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html. R.R. Université Lyon 2
Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html 1 Plan de présentation 1. L écosystème Hadoop 2. Principe de programmation MapReduce 3. Programmation des fonctions
Plus en détailDéploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr
Déploiement d une architecture Hadoop pour analyse de flux françois-xavier.andreu@renater.fr 1 plan Introduction Hadoop Présentation Architecture d un cluster HDFS & MapReduce L architecture déployée Les
Plus en détailHadoop dans l entreprise: du concept à la réalité. Pourquoi et comment?
Hadoop dans l entreprise: du concept à la réalité. Pourquoi et comment? Jean-Marc Spaggiari Cloudera jms@cloudera.com @jmspaggi Mai 2014 1 2 Avant qu on commence Agenda -Qu est-ce que Hadoop et pourquoi
Plus en détailProgrammation parallèle et distribuée (Master 1 Info 2015-2016)
Programmation parallèle et distribuée (Master 1 Info 2015-2016) Hadoop MapReduce et HDFS Note bibliographique : ce cours est largement inspiré par le cours de Benjamin Renaut (Tokidev SAS) Introduction
Plus en détailBig Data. Concept et perspectives : la réalité derrière le "buzz"
Big Data Concept et perspectives : la réalité derrière le "buzz" 2012 Agenda Concept & Perspectives Technologies & Acteurs 2 Pierre Audoin Consultants (PAC) Pierre Audoin Consultants (PAC) est une société
Plus en détailIntroduction aux algorithmes MapReduce. Mathieu Dumoulin (GRAAL), 14 Février 2014
Introduction aux algorithmes MapReduce Mathieu Dumoulin (GRAAL), 14 Février 2014 Plan Introduction de la problématique Tutoriel MapReduce Design d algorithmes MapReduce Tri, somme et calcul de moyenne
Plus en détailPréface Dunod Toute reproduction non autorisée est un délit. Les raisons de l émergence du Big Data sont bien connues. Elles sont d abord économiques et technologiques. La chute exponentielle des coûts
Plus en détailTables Rondes Le «Big Data»
Tables Rondes Le «Big Data» 2012-2013 1 Plan Introduc9on 1 - Présenta9on Ingensi 2 - Le Big Data c est quoi? 3 - L histoire 4 - Le monde du libre : Hadoop 5 - Le système HDFS 6 - Les algorithmes distribués
Plus en détailBig Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1
Big Data Cyril Amsellem Consultant avant-vente 16 juin 2011 Talend 2010 1 Big Data Architecture globale Hadoop Les projets Hadoop (partie 1) Hadoop-Core : projet principal. HDFS : système de fichiers distribués
Plus en détailLes quatre piliers d une solution de gestion des Big Data
White Paper Les quatre piliers d une solution de gestion des Big Data Table des Matières Introduction... 4 Big Data : un terme très vaste... 4 Le Big Data... 5 La technologie Big Data... 5 Le grand changement
Plus en détailLes journées SQL Server 2013
Les journées SQL Server 2013 Un événement organisé par GUSS Les journées SQL Server 2013 Romain Casteres MVP SQL Server Consultant BI @PulsWeb Yazid Moussaoui Consultant Senior BI MCSA 2008/2012 Etienne
Plus en détailAcquisition des données - Big Data. Dario VEGA Senior Sales Consultant
Acquisition des données - Big Data Dario VEGA Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated
Plus en détailProgrammation parallèle et distribuée
Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution
Plus en détailOrganiser vos données - Big Data. Patrick Millart Senior Sales Consultant
Organiser vos données - Big Data Patrick Millart Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be
Plus en détailFormation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop
Passez au niveau supérieur en termes de connaissance grâce à la formation Data Analyst de Cloudera. Public Durée Objectifs Analystes de données, business analysts, développeurs et administrateurs qui ont
Plus en détailAPI04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture
API04 Contribution Apache Hadoop: Présentation et application dans le domaine des Data Warehouses Introduction Cette publication a pour but de présenter le framework Java libre Apache Hadoop, permettant
Plus en détailCassandra et Spark pour gérer la musique On-line
Cassandra et Spark pour gérer la musique On-line 16 Juin 2015 @ Paris Hammed RAMDANI Architecte SI 3.0 et BigData mramdani@palo-it.com +33 6 80 22 20 70 Appelez-moi Hammed ;-) (Sidi Mo)Hammed Ramdani @smramdani
Plus en détailBig Data : utilisation d un cluster Hadoop HDFS Map/Reduce HBase
Big Data : utilisation d un cluster cluster Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe), Laboratoire APC, Université Paris Diderot LabEx UnivEarthS 14 Janvier 2014 C. Cavet
Plus en détailDEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD
DEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD BIGDATA PARIS LE 1/4/2014 VINCENT HEUSCHLING @VHE74! 1 NOUS 100% Bigdata Infrastructure IT + Data Trouver vos opportunités Implémenter les
Plus en détailChanger la source d'une requête dans SAS Enterprise Guide. Ce document explique comment changer la table source de la tâche Filtre et requêtes.
SAS, Cognos, Stata, Eviews, conseil, expertise, formation, mining, datamining, statistique, connaissance Changer la source d'une requête dans SAS Enterprise Guide client, valeur client, CRM, fidélisation,
Plus en détailFournir un accès rapide à nos données : agréger au préalable nos données permet de faire nos requêtes beaucoup plus rapidement
Introduction Phases du projet Les principales phases du projet sont les suivantes : La mise à disposition des sources Des fichiers Excel sont utilisés pour récolter nos informations L extraction des données
Plus en détailTechnologies du Web. Ludovic DENOYER - ludovic.denoyer@lip6.fr. Février 2014 UPMC
Technologies du Web Ludovic DENOYER - ludovic.denoyer@lip6.fr UPMC Février 2014 Ludovic DENOYER - ludovic.denoyer@lip6.fr Technologies du Web Plan Retour sur les BDs Le service Search Un peu plus sur les
Plus en détailM2 GL UE DOC «In memory analytics»
M2 GL UE DOC «In memory analytics» Alexandre Termier 2014/2015 Sources Travaux Amplab, U.C. Berkeley Slides Ion Stoica Présentations Databricks Slides Pat McDonough Articles de M. Zaharia et al. sur les
Plus en détailProjet Xdata. Cinequant, Data Publica, EDF, ESRI, Hurence, INRIA, Institut Mines Telecom, La Poste, Orange, Veolia
Projet Xdata Cinequant, Data Publica, EDF, ESRI, Hurence, INRIA, Institut Mines Telecom, La Poste, Orange, Veolia Mutualisation des données XData = Cross Data En croisant des données d origine diverses,
Plus en détailSurmonter les 5 défis opérationnels du Big Data
Surmonter les 5 défis opérationnels du Big Data Jean-Michel Franco Talend Connect 9 octobre 2014 Talend 2014 1 Agenda Agenda Le Big Data depuis la découverte jusqu au temps réel en passant par les applications
Plus en détailProgrammation parallèle et distribuée
Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2014) Marc Parizeau, Département de génie électrique et de génie informatique Plan Mégadonnées («big data») Architecture Hadoop distribution
Plus en détailNoSQL. Introduction 1/30. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur)
1/30 2/30 Anne-Cécile Caron Master MIAGE - SGBD 1er trimestre 2014-2015 I : Not Only SQL, ce n est pas du relationnel, et le contexte d utilisation n est donc pas celui des SGBDR. I Origine : recherche
Plus en détailL'automatisation open source pour SI complexes
TRACK ADMINISTRATION SYSTÈME / CLUSTERS / DEVOPS L'automatisation open source pour SI complexes Si, si, c'est possible! Jonathan CLARKE CTO - Normation jcl@ Qui suis-je? Jonathan Clarke Job : Co-fondateur
Plus en détailMapReduce. Malo Jaffré, Pablo Rauzy. 16 avril 2010 ENS. Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15
MapReduce Malo Jaffré, Pablo Rauzy ENS 16 avril 2010 Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15 Qu est ce que c est? Conceptuellement Données MapReduce est un framework de calcul distribué
Plus en détailBig Data, un nouveau paradigme et de nouveaux challenges
Big Data, un nouveau paradigme et de nouveaux challenges Sebastiao Correia 21 Novembre 2014 Séminaire Thématique : Traitement et analyse statistique des données massives, Poitiers. 1 Présentation Sebastiao
Plus en détailGroupe de Discussion Big Data Aperçu des technologies et applications. Stéphane MOUTON stephane.mouton@cetic.be
Groupe de Discussion Big Data Aperçu des technologies et applications Stéphane MOUTON stephane.mouton@cetic.be Recherche appliquée et transfert technologique q Agréé «Centre Collectif de Recherche» par
Plus en détailMapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis
MapReduce Nicolas Dugué nicolas.dugue@univ-orleans.fr M2 MIAGE Systèmes d information répartis Plan 1 Introduction Big Data 2 MapReduce et ses implémentations 3 MapReduce pour fouiller des tweets 4 MapReduce
Plus en détailFouille de données massives avec Hadoop
Fouille de données massives avec Hadoop Sebastiao Correia scorreia@talend.com Talend 2013 AAFD'14 29-30 avril 2014 1 Agenda Présentation de Talend Définition du Big Data Le framework Hadoop 3 thématiques
Plus en détailNoSQL. Introduction 1/23. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur)
1/23 2/23 Anne-Cécile Caron Master MIAGE - BDA 1er trimestre 2013-2014 I : Not Only SQL, ce n est pas du relationnel, et le contexte d utilisation n est donc pas celui des SGBDR. I Origine : recherche
Plus en détailComment booster vos applications SAP Hana avec SQLSCRIPT
DE LA TECHNOLOGIE A LA PLUS VALUE METIER Comment booster vos applications SAP Hana avec SQLSCRIPT 1 Un usage optimum de SAP Hana Votre contexte SAP Hana Si vous envisagez de migrer vers les plateformes
Plus en détailLe BIG DATA????? Big Buzz? Big Bang? Big Opportunity? Big hype? Big Business? Big Challenge? Big Hacking? Gérard Peliks planche 2
Le BIG DATA????? Big Bang? Big hype? Big Challenge? Big Buzz? Big Opportunity? Big Business? Big Hacking? Gérard Peliks planche 2 Les quatre paradigmes de la science en marche Paradigme 1 : L empirisme
Plus en détailLE BIG DATA. TRANSFORME LE BUSINESS Solution EMC Big Data
LE BIG DATA Solution EMC Big Data TRANSITION VERS LE BIG DATA En tirant profit du Big Data pour améliorer leur stratégie et son exécution, les entreprises se démarquent de la concurrence. La solution EMC
Plus en détailPerformances Veille. Système d Information. Semaine 25 du 18 au 24 juin 2012. Numéro 228
Performances Veille Système d Information Semaine 25 du 18 au 24 juin 2012 Numéro 228 TABLE DES MATIÈRES LA GÉNÉRATION Y DÉFIE LA DSI... 2 SOLUTIONS LINUX : BIG DATA ET BI OPEN SOURCE FONT BON MÉNAGE 01
Plus en détailAnalytics Platform. MicroStrategy. Business Intelligence d entreprise. Self-service analytics. Big Data analytics.
Business Intelligence d entreprise MicroStrategy Analytics Platform Self-service analytics Big Data analytics Mobile analytics Disponible en Cloud Donner l autonomie aux utilisateurs. Des tableaux de bord
Plus en détailXML, PMML, SOAP. Rapport. EPITA SCIA Promo 2004 16 janvier 2003. Julien Lemoine Alexandre Thibault Nicolas Wiest-Million
XML, PMML, SOAP Rapport EPITA SCIA Promo 2004 16 janvier 2003 Julien Lemoine Alexandre Thibault Nicolas Wiest-Million i TABLE DES MATIÈRES Table des matières 1 XML 1 1.1 Présentation de XML.................................
Plus en détailBases de données documentaires et distribuées Cours NFE04
Bases de données documentaires et distribuées Cours NFE04 Cloud et scalabilité Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire
Plus en détail1 er Avril 2015 Data Science & Big Data Etat de l art Donner plus d intelligence aux données
1 er Avril 2015 Data Science & Big Data Etat de l art Donner plus d intelligence aux données Votre interlocuteur Didier Gaultier Directeur Data Science Business & Decision Professeur de Statistique à l
Plus en détailNotre Catalogue des Formations IT / 2015
Notre Catalogue des Formations IT / 2015 Id Intitulé Durée Gestion de projets et méthodes I1101 I1102 I1103 I1104 I1105 I1106 I1107 I1108 I1109 I1110 I1111 I1112 I1113 I1114 I1115 I1116 I1117 I1118 I1119
Plus en détailFORUM NTIC BIG DATA, OPEN DATA Big Data: les challenges, les défis
FORUM NTIC BIG DATA, OPEN DATA Big Data: les challenges, les défis Joseph Salmon Télécom ParisTech Jeudi 6 Février Joseph Salmon (Télécom ParisTech) Big Data Jeudi 6 Février 1 / 18 Agenda Contexte et opportunités
Plus en détailData 2 Business : La démarche de valorisation de la Data pour améliorer la performance de ses clients
Data 2 Business : La démarche de valorisation de la Data pour améliorer la performance de ses clients Frédérick Vautrain, Dir. Data Science - Viseo Laurent Lefranc, Resp. Data Science Analytics - Altares
Plus en détailDossier de Presse. www.2le.net. Ergonomie. E-commerce. Portails internet. Applications Facebook. Logiciels «prêts à adapter» Logiciels sur mesure
E-commerce Dossier de Presse Portails internet Applications Facebook 2011 1 Logiciels «prêts à adapter» Logiciels sur mesure www.2le.net Ergonomie Webdesign Contact presse : Céline Richard celine@2le.net
Plus en détailPrototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop
Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Soutenance de projet ASR 27/01/2011 Julien Gerlier Siman Chen Encadrés par Bruno
Plus en détailTHÉMATIQUES. Comprendre les frameworks productifs. Découvrir leurs usages. Synthèse
THÉMATIQUES Comprendre les frameworks productifs Découvrir leurs usages Synthèse 2 LES ENJEUX DES FRAMEWORKS D ENTREPRISE EN 2012 LE CONSTAT Ressources Recrutement Flexibilité Intérêt Montée en compétence
Plus en détailBases de données documentaires et distribuées Cours NFE04
Bases de données documentaires et distribuées Cours NFE04 Introduction du cours Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire
Plus en détailBIG DATA et DONNéES SEO
BIG DATA et DONNéES SEO Vincent Heuschling vhe@affini-tech.com @vhe74 2012 Affini-Tech - Diffusion restreinte 1 Agenda Affini-Tech SEO? Application Généralisation 2013 Affini-Tech - Diffusion restreinte
Plus en détailSpagoBI: la seule suite décisionnelle 100% open source, complète et flexible www.spagobi.org
SpagoBI: la seule suite décisionnelle 100% open source, complète et flexible www.spagobi.org Pourquoi choisir SpagoBI? Une suite décisionnelle open source complète : Une gamme complète de fonctionnalités,
Plus en détailVos experts Big Data. contact@hurence.com. Le Big Data dans la pratique
Vos experts Big Data contact@hurence.com Le Big Data dans la pratique Expert Expert Infrastructure Data Science Spark MLLib Big Data depuis 2011 Expert Expert Hadoop / Spark NoSQL HBase Couchbase MongoDB
Plus en détailProgramme ASI Développeur
Programme ASI Développeur Titre de niveau II inscrit au RNCP Objectifs : Savoir utiliser un langage dynamique dans la création et la gestion d un site web. Apprendre à développer des programmes en objet.
Plus en détailLANGAGUE JAVA. Public Développeurs souhaitant étendre leur panel de langages de programmation
ING 01 LANGAGUE JAVA Durée : 21 heures 1090 HT / jour Dates : à définir en 2012 Concevoir et développer des programmes en langage Java Comprendre le fonctionnement de la machine virtuelle S approprier
Plus en détailLivre. blanc. Solution Hadoop d entreprise d EMC. Stockage NAS scale-out Isilon et Greenplum HD. Février 2012
Livre blanc Solution Hadoop d entreprise d EMC Stockage NAS scale-out Isilon et Greenplum HD Par Julie Lockner et Terri McClure, Analystes seniors Février 2012 Ce livre blanc d ESG, qui a été commandé
Plus en détailVisual Paradigm Contraintes inter-associations
Visual Paradigm Contraintes inter-associations Travail de Bachelor d'informaticien de gestion Partie C Présentation de Visual Paradigm 1 Présentation de Visual Paradigm For UML L objet du travail de Bachelor
Plus en détailCassandra chez Chronopost pour traiter en temps réel 1,5 milliard d événements par an
Cassandra chez Chronopost pour traiter en temps réel 1,5 milliard d événements par an Qui suis-je? Alexander DEJANOVSKI Ingénieur EAI Depuis 15 ans chez Chronopost @alexanderdeja Chronopost International
Plus en détailSQL Server 2012 et SQL Server 2014
SQL Server 2012 et SQL Server 2014 Principales fonctions SQL Server 2012 est le système de gestion de base de données de Microsoft. Il intègre un moteur relationnel, un outil d extraction et de transformation
Plus en détailCertificat Big Data - Master MAthématiques
1 / 1 Certificat Big Data - Master MAthématiques Master 2 Auteur : Sylvain Lamprier UPMC Fouille de données et Medias Sociaux 2 / 1 Rich and big data: Millions d utilisateurs Millions de contenus Multimedia
Plus en détailBusiness Intelligence, Etat de l art et perspectives. ICAM JP Gouigoux 10/2012
Business Intelligence, Etat de l art et perspectives ICAM JP Gouigoux 10/2012 CONTEXTE DE LA BI Un peu d histoire Premières bases de données utilisées comme simple système de persistance du contenu des
Plus en détailBIG Data et R: opportunités et perspectives
BIG Data et R: opportunités et perspectives Guati Rizlane 1 & Hicham Hajji 2 1 Ecole Nationale de Commerce et de Gestion de Casablanca, Maroc, rguati@gmail.com 2 Ecole des Sciences Géomatiques, IAV Rabat,
Plus en détailMySQL. (Administrateur) (Dernière édition) Programme de formation. France, Belgique, Suisse, Roumanie - Canada
MySQL (Administrateur) (Dernière édition) Programme de formation Microsoft Partner France, Belgique, Suisse, Roumanie - Canada WWW.SASGROUPE.COM Formez vos salariés pour optimiser la productivité de votre
Plus en détailAXIAD Conseil pour décider en toute intelligence
AXIAD Conseil pour décider en toute intelligence Gestion de la Performance, Business Intelligence, Big Data Domaine d expertise «Business Intelligence» Un accompagnement adapté à votre métier dans toutes
Plus en détailPRIMAVERA P6 ENTERPRISE PROJECT PORTFOLIO MANAGEMENT WEB SERVICES
PRIMAVERA P6 ENTERPRISE PROJECT PORTFOLIO MANAGEMENT WEB SERVICES DÉCOUVREZ DES POSSIBILITÉS ILLIMITÉES GRÂCE A L INTÉGRATION À DES SYSTÈMES D ENTREPRISE EXISTANTS FONCTIONNALITÉS Connectivité des systèmes
Plus en détailLes bases de données relationnelles
Bases de données NO SQL et SIG : d un existant restreint à un avenir prometteur CHRISTIAN CAROLIN, AXES CONSEIL CAROLIN@AXES.FR - HTTP://WWW.AXES.FR Les bases de données relationnelles constituent désormais
Plus en détailPaul FLYE SAINTE MARIE
Paul FLYE SAINTE MARIE ASSISTANT CHEF DE PROJET DANS LE DÉVELOPPEMENT INFORMATIQUE Domaines de compétences Conduite de projet (échange avec la maitrise d ouvrage, maitrise d œuvre, rédaction des spécifications
Plus en détailMercredi 15 Janvier 2014
De la conception au site web Mercredi 15 Janvier 2014 Loïc THOMAS Géo-Hyd Responsable Informatique & Ingénierie des Systèmes d'information loic.thomas@anteagroup.com 02 38 64 26 41 Architecture Il est
Plus en détailBenjamin Cornu Florian Joyeux. Les choses à connaître pour (essayer) de concurrencer Facebook.
Benjamin Cornu Florian Joyeux Les choses à connaître pour (essayer) de concurrencer Facebook. 1 Sommaire Présentation générale Historique Facebook La face cachée de l iceberg (back end) Architecture globale
Plus en détailLes enjeux du Big Data Innovation et opportunités de l'internet industriel. Datasio 2013
Les enjeux du Big Data Innovation et opportunités de l'internet industriel François Royer froyer@datasio.com Accompagnement des entreprises dans leurs stratégies quantitatives Valorisation de patrimoine
Plus en détailLES ENJEUX DU BIG DATA
LES ENJEUX DU BIG DATA POUR LA MISE EN PLACE DES SMART-GRIDS EDF R&D Marie-Luce Picard Projet SIGMA² 16 Janvier 2014 SMART GRIDS SMART METERS SMART DATA Partout dans le monde des projets smart-grids voient
Plus en détailBig Data Analyse et valorisation de masses de données PREAMBULE
xxx Page 2 PREAMBULE SMILE Smile est une société d ingénieurs experts dans la mise en œuvre de solutions open source et l intégration de systèmes appuyés sur l open source. Smile est membre de l APRIL,
Plus en détailPetit Déjeuner Pépinière du Logiciel Libre. 25 juin 2008
Petit Déjeuner Pépinière du Logiciel Libre 25 juin 2008 1 / 37 Agenda Définition & Principes Les différents outils & composants Les Solutions intégrés Open-Source Vos Questions 2 / 37 Agenda Définition
Plus en détailLe potentiel et les défis du Big Data. Mardi 2 et Mercredi 3 Juillet 2013
Big DATA & ANALYTICS Le potentiel et les défis du Big Data Mardi 2 et Mercredi 3 Juillet 2013 QUI SUIS-JE? AMPLEUR, QUELQUES FAITS SAILLANTS Mantra vertus magiques, vitesse de propagation, amplitude richterienne
Plus en détailInformatique & Systèmes de Communication. Stages de 12 à 16 semaines aux Etats-Unis
Informatique & Systèmes de Communication Stages de 12 à 16 semaines aux Etats-Unis PROGAMME DES STAGES Depuis 2010, les stages en entreprise sont devenus obligatoires dans le cadre des études master. Les
Plus en détailhurence Big Data get its magical power Laurence.Hubert@hurence.com, CEO & CTO http://www.hurence.com
hurence Big Data get its magical power Laurence.Hubert@hurence.com, CEO & CTO http://www.hurence.com Copyright Hurence 2013 Hurence : le 'pure player' Big Data Consulting & Services ARCHITECTURE BIG DATA
Plus en détailVirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr
VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr Avril 2014 Virtualscale 1 Sommaire Les enjeux du Big Data et d Hadoop Quels enjeux
Plus en détailL offre IBM Software autour de la valeur métier
IBM Frame Mai 2011 L offre IBM Software autour de la valeur métier Hervé Rolland - Vice Président, Software Group France Milestones that Matter: IBM Software Acquisitions Milestones that Matter: IBM Software
Plus en détailAmazon Elastic MapReduce (Amazon EMR)
Amazon Web Services S'inscrire Compte / Console Français Produits et solutions AWS Product Information Développeurs Support Amazon EMR Présentation d'amazon EMR FAQ Tarification Ressources pour développeurs
Plus en détailDocument réalisé par Khadidjatou BAMBA
Comprendre le BIG DATA Document réalisé par Khadidjatou BAMBA 1 Sommaire Avant propos. 3 Historique du Big Data.4 Introduction.....5 Chapitre I : Présentation du Big Data... 6 I. Généralités sur le Big
Plus en détailAssurances & Mutuelles, Industrie, Santé, Énergie, Transport, Médias / Multimédias, Télécoms, Services
Société de conseil et d ingénierie en informatique SEELANDE Consulting, société de conseil et d ingénierie en informatique spécialisée dans les NTIC, se positionne dans différents secteurs d activités
Plus en détail