Quels choix de base de données pour vos projets Big Data?

Dimension: px
Commencer à balayer dès la page:

Download "Quels choix de base de données pour vos projets Big Data?"

Transcription

1 Quels choix de base de données pour vos projets Big Data?

2 Big Data? Le terme "big data" est très à la mode et naturellement un terme si générique est galvaudé. Beaucoup de promesses sont faites, et l'enthousiasme pour la nouveauté technologique et pour les nouvelles opportunités qui s'ensuivent tendent à faire passer les éventuelles limitations et contraintes au second plan. Quand on gratte un peu, beaucoup de technologies prometteuses viennent avec des limitations qu'on aurait tort d'ignorer. Cette présentation proposera une vue pratique du domaine du big data, en définissant le problème et en présentant d'une manière succincte les solutions existantes avec leurs qualités et leurs défauts. Avant tout, il faudra trouver une définition pour le "big data". Car en définitive, quand peut-on réellement parler de big data? Quand on parle de téraoctets, de peta-octets, d'exa-octets? Ou est-ce que certains projets de la taille du gigaoctet peuvent être qualifiés de "big data"? Et au fond, est-ce que la taille des données est le seul critère important? Est-ce même réellement un critère majeur?

3 Quels usages pour les données Une question fondamentale est "que faire avec les données massives". Il ne s'agit pas simplement de se dire "nous avons beaucoup de données, faisons du big data". Plus sérieusement, beaucoup de projets big data ou pas sont lancés sans avoir une vision claire d'où on veut arriver. L'usage qu'on veut faire des données est une décision fondamentale pour lancer un projet big data.

4 A quel niveau de complexité les données Big Data peuvent-elles prétendre? Quoi qu'on en dise, il y a toujours un problème d'échelle. La technologie est encore loin de pouvoir résoudre des problèmes à la fois de complexité et de taille quelconques. Le "big data" a ses limites, on pourrait presque parler d'un "principe d'incertitude d'heisenberg": plus on a de données, plus la complexité de leur structure et du traitement qu'on en fait sera limitée en pratique. Les ordinateurs quantiques promettent de résoudre cette difficulté, mais on n'est pas encore tout-à-fait prêts à les trouver dans un Apple store

5 Le Big Data est il pertinent et / ou réalisable pour types d applications La technologie impose actuellement une série de limitations pratiques aux solutions big data. Les solutions big data sont rarement entièrement transactionnelles au sens où on l'entend dans les bases de données disons "traditionnelles" (c'est-à-dire applicatives). Les bases de données applicatives restent pour l'instant le paradigme majeur en informatique (ERP, applications de comptabilité, applications spécifiques dans divers domaines ) Une base de données à transaction reportée n'est tout simplement pas envisageable dans un environnement applicatif traditionnel (qu'il soit client-serveur ou multi-tiers). Un autre problème typique est celui de la complexité des schémas de données. Pour un traitement efficace, la complexité (càd par exemple l'intégrité référentielle) limite la taille des données pouvant être traitées en pratique. Ces points et d'autres ne posent pas de difficultés pour certains types de problèmes typiquement traités par les projets big data mais empêchent ces solutions de prétendre à l'universalité.

6 Quid des données non structurées La question qui vaut de l'or littéralement. Malgré une structuration et une codification de plus en plus poussée des données, 70 à 80% des données (en fonction des analystes: Gartner, IDC) restent non-structurées (texte libre, documents de type traitement de texte ou tableur, PDF, rapports en tous genres et en tous formats, etc.) ça représente une quantité énorme de données potentiellement utiles et utilisables (c'est-à-dire monnayables).

7 Qu'est-ce que le "Big Data"? D'après Wikipedia: "Big data est le terme définissant un ensemble de données si massif et complexe qu'il devient difficile de les traiter au moyen d'outils de bases de données classiques ou d'applications de traitement de données classiques ( )"

8 Une Nouvelle Ruée vers l'or La popularité de big data tient en partie dans les "success stories" de monétisation de l'information client Pour beaucoup, Big Data se résume à trouver un maximum d'aiguilles (en or) dans une énorme botte de foin "Big Data is not about the amounts of data. It's about the cool stuff you can do with Big Data" (Peter Hinssen)

9 Importance de la Qualité de l'analyse de Données Bien sûr, le traitement de données massive échappe largement à la capacité humaine de traiter l'information avec le risque que les analyses (souvent heuristiques) produisent des effets de bords pervers ou soient utilisées abusivement par certaines sociétés (voire adaptées délibérément dans ce but). Si l'on met de coté les buts illégitimes, le recoupement de l'information devient primordial pour affiner les modèles par exemple le recoupement entre information structurée et nonstructurée peut se révéler très précieux.

10 Approches Big Data Aujourd'hui Bases de données "traditionnelles" càd relationnelles (gros volumes en solution de type "grid" par exemple) Outils d'indexation (p.ex. Apache Lucene) Outils de traitement parallèle de données massives (Hadoop Map/Reduce) Bases de données dites "NoSQL", principalement: Clé/valeur (p.ex. Redis) Orientées "document" (p.ex. MongoDB, CouchBase) Orientées "colonne" (Google BigTable p.ex. Cassandra) Bases de données NoSQL plus orientées complexité que volume, typiquement bases de données orientées "graphes" (p.ex. Neo4J) Tous ces outils (sauf relationnels et peut-être orientés graphes) sont dédiés à des catégories de problèmes spécifiques dans des contextes spécifiques

11 Apache HADOOP Outil de bas niveau pour le traitement de données massives Pas à proprement parler une base de données: plutôt un registre passif optimisé pour le traitement Pas conçu pour l'édition de données, uniquement pour insertion et traitement HADOOP en soi est une solution très technique et demande un investissement important en développement Divers produits basés sur HADOOP existent pour simplifier le traitement de données: Hive, Pig, Lingual, Cascading Des bases de données NoSQL sont basées sur HADOOP, p.ex. Cassandra, HBase HADOOP est conçu pour le "data mining", pas comme base de données opérationnelle

12 Bases de Données NoSQL Les solutions NoSQL clé/valeur, orientées document et orientées colonne ont des avantages et limitations assez similaires Orientées vers le traitement de grands volumes de données Permettent typiquement une distribution de la charge entre plusieurs serveurs Typiquement optimisés pour l'insertion et l'exploitation, pas la mise à jour (bien qu'elle soit en général possible) Supportent un niveau de complexité des données limité Transactions généralement pas ACID (consistance reportée)

13 Bases de Données NoSQL Bien que leur utilisation par des moteurs en ligne (Google, Amazon, Facebook, Twitter ) les ait popularisés, la réalité est plus complexe: Amazon est principalement sur Oracle DB Facebook et Twitter sur MySQL (et Cassandra) Google utilise principalement BigTable (NoSQL) Wikipedia et YouTube utilisent MySQL Sauf exception, ces bases de données sont dédiées à des besoins spécifiques l'usage global reste sur SQL

14 Bases de Données Orientées "Graphe" Nom: Bouvier Prénom: Clancy NomJF: Gurney Nom: Bouvier Prénom: Jacqueline Prénom: Mona Nom: Simpson Prénom: Abraham Relation: Fille Relation: Fille Relation: Fils Relation: Fils NomJF: Bouvier Nom: Simpson Prénom: Marge Relation: Epoux Depuis: 19/4/1987 Nom: Simpson Prénom: Homer Prénom2: Jay Relation: Fils Relation: Fille Relation: Fille Relation: Fils Relation: Fille Relation: Fille Nom: Simpson Prénom: Bartholomew Prénom2: Jojo Alias: Bart Relation: Frère Nom: Simpson Prénom: Lisa Sexe: F Relation: Soeur Nom: Simpson Prénom: Margaret Alias: Maggie Relation: Soeur Relation: Soeur Relation: Victime Relation: Employé Nom: Burns Prénom: Montgomery Alias: Monty

15 Bases de Données Orientées "Graphe" Permettent de stocker et gérer des relations complexes entre entités Prétendent donc à une universalité supérieure aux bases de données relationnelles Support transactionnel typiquement complet Nouveau paradigme (maturité?) Approches pas toujours consistantes entre produits, pas de standardisation Capacité de supporter des grands volumes peu claire en pratique Possibilités de distribution de charge (scalabilité horizontale) typiquement très limitées Modèle prometteur et d'ores et déjà pertinent pour certains projets, mais encore trop neuf pour un usage général

16 Fragmentation des Solutions par Cas d'utilisation Les grands acteurs donnent dans beaucoup de cas l'exemple du "une base de données par usage" Par exemple, FaceBook et Twitter utilisent MySQL pour les données opérationnelles et Cassandra (+Redis: Twitter) pour des usages spécifiques pour lesquels le relationnel atteint ses limites Clairement, ça implique une multiplication des compétences: un spécialiste Hadoop n'est pas (nécessairement) un spécialiste Cassandra et n'est (certainement) pas un DBA ou développeur MySQL Ça implique également la mise en place et la maintenance de plusieurs systèmes très différents Cette multiplication des compétences et des systèmes est envisageable pour de très grosses sociétés comme Google, Facebook, Amazon, Twitter Moins pour de plus petites sociétés

17 Le Cloud est-il une Solution à la Fragmentation?

18 Une Solution à la Fragmentation InterSystems propose une solution technologique très complète en un seul environnement consistant: Caché Le grand intérêt de Caché en tant que plate-forme de données est sa très grande flexibilité qui lui permet de répondre efficacement à une grande variété de problèmes avec des approches éventuellement diverses mais consolidables Caché est une solution éprouvée, en production dans des dizaines de milliers d'environnements de tous types et de tous volumes depuis de très nombreuses années Caché a été conçu dès le départ pour une mise en place aisée, des besoins limités en maintenance opérationnelle et en ressources système pour une performance optimale

Une question fondamentale est "que faire avec les données massives". Il ne s'agit pas simplement de se dire "nous avons beaucoup de données, faisons

Une question fondamentale est que faire avec les données massives. Il ne s'agit pas simplement de se dire nous avons beaucoup de données, faisons 1 Le terme "big data" est très à la mode et naturellement un terme si générique est galvaudé. Beaucoup de promesses sont faites, et l'enthousiasme pour la nouveauté technologique et pour les nouvelles

Plus en détail

NoSQL Faut-il franchir le pas?

NoSQL Faut-il franchir le pas? NoSQL Faut-il franchir le pas? Guillaume HARRY Journées rbdd Octobre 2015 Sommaire 1. Evolution des bases de données 2. Le mouvement NoSQL 3. Les grandes familles du NoSQL 4. Aller ou non vers le NoSQL?

Plus en détail

Introduction aux bases de données NoSQL

Introduction aux bases de données NoSQL Introduction aux bases de données NoSQL Khaled Tannir ets@khaledtannir.net Montréal - 23 Juillet 2015 Qui suis-je? Khaled TANNIR Big Data Architect Lead 20 ans d expérience ets@khaledtannir.net @khaled_tannir

Plus en détail

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL AVRIL 2014 Panorama des solutions NoSQL QUI SOMMES NOUS? Avril 2014 2 SMILE, EN QUELQUES CHIFFRES 1er INTÉGRATEUR EUROPÉEN DE SOLUTIONS OPEN SOURCE 3 4 NOS EXPERTISES ET NOS CONVICTIONS DANS NOS LIVRES

Plus en détail

NoSQL : en Quête de Performances Extrêmes

NoSQL : en Quête de Performances Extrêmes NoSQL : en Quête de Performances Extrêmes Alors que l audience du web croît sans cesse, les applications Internet à succès ont été confrontées aux mêmes problèmes de base de données : si les serveurs web

Plus en détail

BIG DATA. Veille technologique. Malek Hamouda Nina Lachia Léo Valette. Commanditaire : Thomas Milon. Encadré: Philippe Vismara

BIG DATA. Veille technologique. Malek Hamouda Nina Lachia Léo Valette. Commanditaire : Thomas Milon. Encadré: Philippe Vismara BIG DATA Veille technologique Malek Hamouda Nina Lachia Léo Valette Commanditaire : Thomas Milon Encadré: Philippe Vismara 1 2 Introduction Historique des bases de données : méthodes de stockage et d analyse

Plus en détail

NoSql. Principes. Google (Map Reduce, Big Table) et Amazone (Dynamo) pour faire face à la monté en charge liée au BigData

NoSql. Principes. Google (Map Reduce, Big Table) et Amazone (Dynamo) pour faire face à la monté en charge liée au BigData NoSql Principes Google (Map Reduce, Big Table) et Amazone (Dynamo) pour faire face à la monté en charge liée au BigData Les SGBD NoSql partagés ne peuvent satisfaire que 2 critères au plus NoSql Les transactions

Plus en détail

NoSQL. Introduction 1/23. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur)

NoSQL. Introduction 1/23. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur) 1/23 2/23 Anne-Cécile Caron Master MIAGE - BDA 1er trimestre 2013-2014 I : Not Only SQL, ce n est pas du relationnel, et le contexte d utilisation n est donc pas celui des SGBDR. I Origine : recherche

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Cloud et scalabilité Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire

Plus en détail

Cartographie des solutions BigData

Cartographie des solutions BigData Cartographie des solutions BigData Panorama du marché et prospective 1 1 Solutions BigData Défi(s) pour les fournisseurs Quel marché Architectures Acteurs commerciaux Solutions alternatives 2 2 Quels Défis?

Plus en détail

Groupe de Discussion Big Data Aperçu des technologies et applications. Stéphane MOUTON stephane.mouton@cetic.be

Groupe de Discussion Big Data Aperçu des technologies et applications. Stéphane MOUTON stephane.mouton@cetic.be Groupe de Discussion Big Data Aperçu des technologies et applications Stéphane MOUTON stephane.mouton@cetic.be Recherche appliquée et transfert technologique q Agréé «Centre Collectif de Recherche» par

Plus en détail

Les activités de recherche sont associées à des voies technologiques et à des opportunités concrètes sur le court, moyen et long terme.

Les activités de recherche sont associées à des voies technologiques et à des opportunités concrètes sur le court, moyen et long terme. Mémoires 2010-2011 www.euranova.eu EURANOVA R&D Euranova est une société Belge constituée depuis le 1er Septembre 2008. Sa vision est simple : «Être un incubateur technologique focalisé sur l utilisation

Plus en détail

HADOOP ET SON ÉCOSYSTÈME

HADOOP ET SON ÉCOSYSTÈME HADOOP ET SON ÉCOSYSTÈME Mars 2013 2012 Affini-Tech - Diffusion restreinte 1 AFFINI-TECH Méthodes projets Outils de reporting & Data-visualisation Business & Analyses BigData Modélisation Hadoop Technos

Plus en détail

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data.

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data. Big Data De la stratégie à la mise en oeuvre Description : La formation a pour objet de brosser sans concession le tableau du Big Data. Les participants repartiront de cette formation en ayant une vision

Plus en détail

Hibernate vs. le Cloud Computing

Hibernate vs. le Cloud Computing Hibernate vs. le Cloud Computing Qui suis-je? Julien Dubois Co-auteur de «Spring par la pratique» Ancien de SpringSource Directeur du consulting chez Ippon Technologies Suivez-moi sur Twitter : @juliendubois

Plus en détail

Les technologies du Big Data

Les technologies du Big Data Les technologies du Big Data PRÉSENTÉ AU 40 E CONGRÈS DE L ASSOCIATION DES ÉCONOMISTES QUÉBÉCOIS PAR TOM LANDRY, CONSEILLER SENIOR LE 20 MAI 2015 WWW.CRIM.CA TECHNOLOGIES: DES DONNÉES JUSQU'À L UTILISATEUR

Plus en détail

Big Graph Data Forum Teratec 2013

Big Graph Data Forum Teratec 2013 Big Graph Data Forum Teratec 2013 MFG Labs 35 rue de Châteaudun 75009 Paris, France www.mfglabs.com twitter: @mfg_labs Julien Laugel MFG Labs julien.laugel@mfglabs.com @roolio SOMMAIRE MFG Labs Contexte

Plus en détail

Fouillez facilement dans votre système Big Data. Olivier TAVARD

Fouillez facilement dans votre système Big Data. Olivier TAVARD Fouillez facilement dans votre système Big Data Olivier TAVARD A propos de moi : Cofondateur de la société France Labs Développeur (principalement Java) Formateur en technologies de moteurs de recherche

Plus en détail

Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web

Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web Responsable du stage : Nabil Belcaid Le Guyader Chef de projet : Ali Belcaid Déroulement du stage

Plus en détail

Hadoop, les clés du succès

Hadoop, les clés du succès Hadoop, les clés du succès Didier Kirszenberg, Responsable des architectures Massive Data, HP France Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject

Plus en détail

ELASTICSEARCH MAINTENANT EN VERSION 1.4

ELASTICSEARCH MAINTENANT EN VERSION 1.4 ELASTICSEARCH MAINTENANT EN VERSION 1.4 firm1 29 octobre 2015 Table des matières 1 Introduction 5 2 Les principaux atouts 7 2.1 Moteur de recherche vs Moteur d indexation.................... 7 2.2 Du

Plus en détail

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -"Big Data par l'exemple" -Julien DULOUT

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -Big Data par l'exemple -Julien DULOUT 20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013 20 ans du SIAD -"BigData par l'exemple" -Julien DULOUT Qui a déjà entendu parler du phénomène BigData? Qui a déjà

Plus en détail

NewPoint IT Consulting BIG DATA WHITE PAPER. NewPoint Information Technology Consulting

NewPoint IT Consulting BIG DATA WHITE PAPER. NewPoint Information Technology Consulting NewPoint IT Consulting BIG DATA WHITE PAPER NewPoint Information Technology Consulting Contenu 1 Big Data: Défi et opportunité pour l'entreprise... 3 2 Les drivers techniques et d'entreprise de BIG DATA...

Plus en détail

NoSQL. Introduction 1/30. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur)

NoSQL. Introduction 1/30. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur) 1/30 2/30 Anne-Cécile Caron Master MIAGE - SGBD 1er trimestre 2014-2015 I : Not Only SQL, ce n est pas du relationnel, et le contexte d utilisation n est donc pas celui des SGBDR. I Origine : recherche

Plus en détail

MIF18 - Les SGBD Non-Relationnels

MIF18 - Les SGBD Non-Relationnels MIF18 - Les SGBD Non-Relationnels Fabien Duchateau fabien.duchateau [at] univ-lyon1.fr Université Claude Bernard Lyon 1 2013-2014 Transparents disponibles sur http://liris.cnrs.fr/~ecoquery/dokuwiki/doku.php?id=

Plus en détail

Bases de Données. Stella MARC-ZWECKER. stella@unistra.u-strasbg.fr. Maître de conférences Dpt. Informatique - UdS

Bases de Données. Stella MARC-ZWECKER. stella@unistra.u-strasbg.fr. Maître de conférences Dpt. Informatique - UdS Bases de Données Stella MARC-ZWECKER Maître de conférences Dpt. Informatique - UdS stella@unistra.u-strasbg.fr 1 Plan du cours 1. Introduction aux BD et aux SGBD Objectifs, fonctionnalités et évolutions

Plus en détail

[BIG DATA & NOSQL] Rédigé par : Belhaj Hajar & Khanoun Chaimae Encadré par : Mr Badir Hassan

[BIG DATA & NOSQL] Rédigé par : Belhaj Hajar & Khanoun Chaimae Encadré par : Mr Badir Hassan ECOLE SUPERIEURE DE SCIENCES TECHNIQUES ET DE MANAGMENT [BIG DATA & NOSQL] Rédigé par : Belhaj Hajar & Khanoun Chaimae Encadré par : Mr Badir Hassan Abstract Big data, which refers to the data sets that

Plus en détail

avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data

avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data Historique de Big data Jusqu à l avènement d Internet et surtout du Web 2.0 il n y avait pas tant de données

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Introduction du cours Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire

Plus en détail

À PROPOS DE TALEND...

À PROPOS DE TALEND... WHITE PAPER Table des matières Résultats de l enquête... 4 Stratégie d entreprise Big Data... 5 Intégration des Big Data... 8 Les défis liés à la mise en œuvre des Big Data... 10 Les technologies pour

Plus en détail

Vos experts Big Data. contact@hurence.com. Le Big Data dans la pratique

Vos experts Big Data. contact@hurence.com. Le Big Data dans la pratique Vos experts Big Data contact@hurence.com Le Big Data dans la pratique Expert Expert Infrastructure Data Science Spark MLLib Big Data depuis 2011 Expert Expert Hadoop / Spark NoSQL HBase Couchbase MongoDB

Plus en détail

NoSQL : hype ou innovation? Grégory Ogonowski / Recherches Octobre 2011

NoSQL : hype ou innovation? Grégory Ogonowski / Recherches Octobre 2011 NoSQL : hype ou innovation? Grégory Ogonowski / Recherches Octobre 2011 Sommaire Introduction Théorème CAP NoSQL (principes, mécanismes, démos,...) Ce que nous avons constaté Recommandations Conclusion

Plus en détail

Ecole des Hautes Etudes Commerciales HEC Alger. par Amina GACEM. Module Informatique 1ière Année Master Sciences Commerciales

Ecole des Hautes Etudes Commerciales HEC Alger. par Amina GACEM. Module Informatique 1ière Année Master Sciences Commerciales Ecole des Hautes Etudes Commerciales HEC Alger Évolution des SGBDs par Amina GACEM Module Informatique 1ière Année Master Sciences Commerciales Evolution des SGBDs Pour toute remarque, question, commentaire

Plus en détail

Formation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop

Formation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop Passez au niveau supérieur en termes de connaissance grâce à la formation Data Analyst de Cloudera. Public Durée Objectifs Analystes de données, business analysts, développeurs et administrateurs qui ont

Plus en détail

Les quatre piliers d une solution de gestion des Big Data

Les quatre piliers d une solution de gestion des Big Data White Paper Les quatre piliers d une solution de gestion des Big Data Table des Matières Introduction... 4 Big Data : un terme très vaste... 4 Le Big Data... 5 La technologie Big Data... 5 Le grand changement

Plus en détail

Labs Hadoop Février 2013

Labs Hadoop Février 2013 SOA - BRMS - ESB - BPM CEP BAM - High Performance Compute & Data Grid - Cloud Computing - Big Data NoSQL - Analytics Labs Hadoop Février 2013 Mathias Kluba Managing Consultant Responsable offres NoSQL

Plus en détail

BIG DATA et DONNéES SEO

BIG DATA et DONNéES SEO BIG DATA et DONNéES SEO Vincent Heuschling vhe@affini-tech.com @vhe74 2012 Affini-Tech - Diffusion restreinte 1 Agenda Affini-Tech SEO? Application Généralisation 2013 Affini-Tech - Diffusion restreinte

Plus en détail

L informatique des entrepôts de données

L informatique des entrepôts de données L informatique des entrepôts de données Daniel Lemire SEMAINE 14 NoSQL 14.1. Présentation de la semaine On construit souvent les entrepôts de données en utilisant des systèmes de bases de données relationnels

Plus en détail

Technologies du Web. Ludovic DENOYER - ludovic.denoyer@lip6.fr. Février 2014 UPMC

Technologies du Web. Ludovic DENOYER - ludovic.denoyer@lip6.fr. Février 2014 UPMC Technologies du Web Ludovic DENOYER - ludovic.denoyer@lip6.fr UPMC Février 2014 Ludovic DENOYER - ludovic.denoyer@lip6.fr Technologies du Web Plan Retour sur les BDs Le service Search Un peu plus sur les

Plus en détail

Le BigData, aussi par et pour les PMEs

Le BigData, aussi par et pour les PMEs Parole d expert Le BigData, aussi par et pour les PMEs Stéphane MOUTON, CETIC Département Software and Services Technologies Avec le soutien de : LIEGE CREATIVE Le Big Data, aussi par et pour les PMEs

Plus en détail

BI dans les nuages. Olivier Bendavid, UM2 Prof. A. April, ÉTS

BI dans les nuages. Olivier Bendavid, UM2 Prof. A. April, ÉTS BI dans les nuages Olivier Bendavid, UM2 Prof. A. April, ÉTS Table des matières Introduction Description du problème Les solutions Le projet Conclusions Questions? Introduction Quelles sont les défis actuels

Plus en détail

Management des systèmes d'information. Contexte et définitions. Glenn Rolland

Management des systèmes d'information. Contexte et définitions. Glenn Rolland Management des systèmes d'information Contexte et définitions Glenn Rolland Définitions Outils informatique, Application... Logiciel, Brique logicielle... Cloud Computing, Virtualisation, SaaS... Définition

Plus en détail

Les bases de données relationnelles

Les bases de données relationnelles Bases de données NO SQL et SIG : d un existant restreint à un avenir prometteur CHRISTIAN CAROLIN, AXES CONSEIL CAROLIN@AXES.FR - HTTP://WWW.AXES.FR Les bases de données relationnelles constituent désormais

Plus en détail

Transformez vos données en opportunités. avec Microsoft Big Data

Transformez vos données en opportunités. avec Microsoft Big Data Transformez vos données en opportunités avec Microsoft Big Data 1 VOLUME Augmentation du volume de données tous les cinq ans Vélocité x10 4,3 Nombre d appareils connectés par adulte VARIÉTÉ 85% Part des

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution

Plus en détail

Big data et données géospatiales : Enjeux et défis pour la géomatique. Thierry Badard, PhD, ing. jr Centre de Recherche en Géomatique

Big data et données géospatiales : Enjeux et défis pour la géomatique. Thierry Badard, PhD, ing. jr Centre de Recherche en Géomatique Big data et données géospatiales : Enjeux et défis pour la géomatique Thierry Badard, PhD, ing. jr Centre de Recherche en Géomatique Événement 25e anniversaire du CRG Université Laval, Qc, Canada 08 mai

Plus en détail

Document réalisé par Khadidjatou BAMBA

Document réalisé par Khadidjatou BAMBA Comprendre le BIG DATA Document réalisé par Khadidjatou BAMBA 1 Sommaire Avant propos. 3 Historique du Big Data.4 Introduction.....5 Chapitre I : Présentation du Big Data... 6 I. Généralités sur le Big

Plus en détail

Bases de Données. Stella MARC-ZWECKER. stella@unistra.u-strasbg.fr. Maître de conférences Dpt. Informatique - UdS

Bases de Données. Stella MARC-ZWECKER. stella@unistra.u-strasbg.fr. Maître de conférences Dpt. Informatique - UdS Bases de Données Stella MARC-ZWECKER Maître de conférences Dpt. Informatique - UdS stella@unistra.u-strasbg.fr 1 Plan du cours 1. Introduction aux BD et aux SGBD Objectifs, fonctionnalités et évolutions

Plus en détail

Echapper légalement à l impôt sur les données

Echapper légalement à l impôt sur les données Echapper légalement à l impôt sur les données L IMPOT SUR LES DONNEES EST UN IMPOT SUR LE VOLUME... 3 L IMPOT SUR LES DONNEES EST UN IMPOT SUR LA DIVERSITE... 4 L IMPOT SUR LES DONNEES EST IMPREVISIBLE...

Plus en détail

Les enjeux du Big Data Innovation et opportunités de l'internet industriel. Datasio 2013

Les enjeux du Big Data Innovation et opportunités de l'internet industriel. Datasio 2013 Les enjeux du Big Data Innovation et opportunités de l'internet industriel François Royer froyer@datasio.com Accompagnement des entreprises dans leurs stratégies quantitatives Valorisation de patrimoine

Plus en détail

Titre : La BI vue par l intégrateur Orange

Titre : La BI vue par l intégrateur Orange Titre : La BI vue par l intégrateur Orange Résumé : L entité Orange IT&L@bs, partenaire privilégié des entreprises et des collectivités dans la conception et l implémentation de SI Décisionnels innovants,

Plus en détail

La refondation de l informatique Des opportunités pour les entreprises

La refondation de l informatique Des opportunités pour les entreprises La refondation de l informatique Des opportunités pour les entreprises DENIS ATTAL VP TECHNICAL, CRITICAL INFORMATION SYSTEMS AND CYBER-SECURITY www.thalesgroup.com QUESTION Quelle est la discipline dans

Plus en détail

Généralités sur les bases de données

Généralités sur les bases de données Généralités sur les bases de données Qu est-ce donc qu une base de données? Que peut-on attendre d un système de gestion de bases de données? Que peut-on faire avec une base de données? 1 Des données?

Plus en détail

Chapitre 1 : Introduction aux bases de données

Chapitre 1 : Introduction aux bases de données Chapitre 1 : Introduction aux bases de données Les Bases de Données occupent aujourd'hui une place de plus en plus importante dans les systèmes informatiques. Les Systèmes de Gestion de Bases de Données

Plus en détail

Big Data. Concept et perspectives : la réalité derrière le "buzz"

Big Data. Concept et perspectives : la réalité derrière le buzz Big Data Concept et perspectives : la réalité derrière le "buzz" 2012 Agenda Concept & Perspectives Technologies & Acteurs 2 Pierre Audoin Consultants (PAC) Pierre Audoin Consultants (PAC) est une société

Plus en détail

Cloud computing 2012-13

Cloud computing 2012-13 Cloud computing 2012-13 laurent@wargon.org 1/54 Architectures pour le Cloud 2/54 Architectures pour le Cloud Introduction Les traitements Les stockages de données Les caches Des exemples 3/54 Introduction

Plus en détail

Présentation des. MicroStrategy 10.

Présentation des. MicroStrategy 10. Présentation des nouveautés de MicroStrategy 10. microstrategy.com/analytics 1 M MicroStrategy 10. Une véritable révolution. MicroStrategy 10 représente une étape majeure dans l évolution de la suite MicroStrategy

Plus en détail

PostgreSQL 9.x: une nouvelle ère!

PostgreSQL 9.x: une nouvelle ère! PostgreSQL 9.x: une nouvelle ère! Jean-Paul Argudo Dalibo L Expertise PostgreSQL Paris, France http://www.solutionslinux.fr/ Agenda 1 À propos 2 PostgreSQL et NoSQL hstore JSON PL/v8 3 Avant PostgreSQL

Plus en détail

Quand et pourquoi utiliser une base de données NoSQL?

Quand et pourquoi utiliser une base de données NoSQL? Quand et pourquoi utiliser une base de données NoSQL? Introduction Les bases de données NoSQL sont devenues un sujet très à la mode dans le milieu du développement web. Il n est pas rare de tomber sur

Plus en détail

Acquisition des données - Big Data. Dario VEGA Senior Sales Consultant

Acquisition des données - Big Data. Dario VEGA Senior Sales Consultant Acquisition des données - Big Data Dario VEGA Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated

Plus en détail

Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html. R.R. Université Lyon 2

Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html. R.R. Université Lyon 2 Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html 1 Plan de présentation 1. L écosystème Hadoop 2. Principe de programmation MapReduce 3. Programmation des fonctions

Plus en détail

Surmonter les 5 défis opérationnels du Big Data

Surmonter les 5 défis opérationnels du Big Data Surmonter les 5 défis opérationnels du Big Data Jean-Michel Franco Talend Connect 9 octobre 2014 Talend 2014 1 Agenda Agenda Le Big Data depuis la découverte jusqu au temps réel en passant par les applications

Plus en détail

NoSQL. Etat de l art et benchmark

NoSQL. Etat de l art et benchmark NoSQL Etat de l art et benchmark Travail de Bachelor réalisé en vue de l obtention du Bachelor HES par : Adriano Girolamo PIAZZA Conseiller au travail de Bachelor : David BILLARD, Professeur HES Genève,

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Bases documentaires Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire

Plus en détail

Technologies et techniques d aujourd hui et de demain 1 Virtualisation Containers Projet Docker Web 3.0 Cloud Big Data Internet des objets 2 1 Virtualisation 3 Virtualisation Logiciels appelés hyperviseurs

Plus en détail

Les Dossiers Airnlive Consulting. Check List BYOD

Les Dossiers Airnlive Consulting. Check List BYOD Check List BYOD Qu est-ce que le BYOD? Littéralement : Bring Your Own Device. Il s agit d un usage récent dans l entreprise consistant à laisser le salarié utiliser à des fins professionnelles ses propres

Plus en détail

GT Big Data : transformer les données en valeur business pour l entreprise

GT Big Data : transformer les données en valeur business pour l entreprise GT Big Data : transformer les données en valeur business pour l entreprise Bruno Prévost (Dir. Infrastructures IT Groupe, ) Valère Dussaux (GCS d-sisif) Espace Grande Arche Paris La Défense Workshop Big

Plus en détail

AXIAD Conseil pour décider en toute intelligence

AXIAD Conseil pour décider en toute intelligence AXIAD Conseil pour décider en toute intelligence Gestion de la Performance, Business Intelligence, Big Data Domaine d expertise «Business Intelligence» Un accompagnement adapté à votre métier dans toutes

Plus en détail

DATA ANALYST UTILISER PIG, HIVE ET IMPALA AVEC HADOOP DE CLOUDERA

DATA ANALYST UTILISER PIG, HIVE ET IMPALA AVEC HADOOP DE CLOUDERA SI 2.0 DATA ANALYST UTILISER PIG, HIVE ET IMPALA AVEC HADOOP DE CLOUDERA REF : SICL001 DUREE : 4 JOURS TARIF : 2 695 HT Public Analystes de données, business analysts, développeurs et administrateurs.

Plus en détail

Big Data : une complexité réduite pour un retour sur investissement plus rapide

Big Data : une complexité réduite pour un retour sur investissement plus rapide Big Data : une complexité réduite pour un retour sur investissement plus rapide Copyright 2013 Pentaho Corporation. Redistribution autorisée. Toutes les marques commerciales sont déposées par leur propriétaire

Plus en détail

For Fun and Profit Datasio 2012

For Fun and Profit Datasio 2012 For Fun and Profit Datasio 2012 130 Nouveaux acteurs Big Data depuis 2009 1 2 3 Agenda Hadoop, poids lourd du Big Data Stats Web avec Hive chez Scoop.it Profession: Data Scientist Agenda 1 Hadoop, poids

Plus en détail

Le BIG DATA????? Big Buzz? Big Bang? Big Opportunity? Big hype? Big Business? Big Challenge? Big Hacking? Gérard Peliks planche 2

Le BIG DATA????? Big Buzz? Big Bang? Big Opportunity? Big hype? Big Business? Big Challenge? Big Hacking? Gérard Peliks planche 2 Le BIG DATA????? Big Bang? Big hype? Big Challenge? Big Buzz? Big Opportunity? Big Business? Big Hacking? Gérard Peliks planche 2 Les quatre paradigmes de la science en marche Paradigme 1 : L empirisme

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2014) Marc Parizeau, Département de génie électrique et de génie informatique Plan Mégadonnées («big data») Architecture Hadoop distribution

Plus en détail

NFA 008. Introduction à NoSQL et MongoDB 25/05/2013

NFA 008. Introduction à NoSQL et MongoDB 25/05/2013 NFA 008 Introduction à NoSQL et MongoDB 25/05/2013 1 NoSQL, c'est à dire? Les bases de données NoSQL restent des bases de données mais on met l'accent sur L'aspect NON-relationnel L'architecture distribuée

Plus en détail

Il y a tellement de hype autour du big data que Gartner étudie un nouveau modèle ;-) Talend 2012 2

Il y a tellement de hype autour du big data que Gartner étudie un nouveau modèle ;-) Talend 2012 2 Big Data: au delà du Buzz Yves de Montcheuil @ydemontcheuil Il y a tellement de hype autour du big data que Gartner étudie un nouveau modèle ;-) Talend 2012 2 Hype Cycle Gartner Talend 2012 3 Big Data

Plus en détail

Cloud computing 2014-15

Cloud computing 2014-15 Cloud computing 2014-15 laurent@wargon.org 1/74 Architectures pour le Cloud 2/74 Architectures pour le Cloud Introduction Les traitements Les stockages de données Les caches Des exemples 3/74 Introduction

Plus en détail

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages 1 Mehdi LOUIZI Plan Pourquoi Hadoop? Présentation et Architecture Démo Usages 2 Pourquoi Hadoop? Limites du Big Data Les entreprises n analysent que 12% des données qu elles possèdent (Enquête Forrester

Plus en détail

Introduction data science

Introduction data science Introduction data science Data science Master 2 ISIDIS Sébastien Verel verel@lisic.univ-littoral.fr http://www-lisic.univ-littoral.fr/~verel Université du Littoral Côte d Opale Laboratoire LISIC Equipe

Plus en détail

Nos offres de stages pour 2013

Nos offres de stages pour 2013 Nos offres de stages pour 2013 Les sujets de stage que nous vous proposons sont des projets à très forte valeur ajoutée, mêlant recherche amont, algorithmique et implémentation. Ils touchent à des domaines

Plus en détail

MySQL. (Administrateur) (Dernière édition) Programme de formation. France, Belgique, Suisse, Roumanie - Canada

MySQL. (Administrateur) (Dernière édition) Programme de formation. France, Belgique, Suisse, Roumanie - Canada MySQL (Administrateur) (Dernière édition) Programme de formation Microsoft Partner France, Belgique, Suisse, Roumanie - Canada WWW.SASGROUPE.COM Formez vos salariés pour optimiser la productivité de votre

Plus en détail

Rapport de projet : Interrogation de données hétérogènes.

Rapport de projet : Interrogation de données hétérogènes. Université Montpellier II Sciences et Techniques GMIN332 Gestion de Données Complexes, Master 2 Informatique 2013-2014 Rapport de projet : Interrogation de données hétérogènes. Otmane Nkaira Étudiant en

Plus en détail

Technologies Web. Ludovic Denoyer Sylvain Lamprier Mohamed Amine Baazizi Gabriella Contardo Narcisse Nya. Université Pierre et Marie Curie

Technologies Web. Ludovic Denoyer Sylvain Lamprier Mohamed Amine Baazizi Gabriella Contardo Narcisse Nya. Université Pierre et Marie Curie 1 / 22 Technologies Web Ludovic Denoyer Sylvain Lamprier Mohamed Amine Baazizi Gabriella Contardo Narcisse Nya Université Pierre et Marie Curie Rappel 2 / 22 Problématique Quelles technologies utiliser

Plus en détail

Un peu d histoire. Qu est-ce que MongoDB?

Un peu d histoire. Qu est-ce que MongoDB? Un peu d histoire Initialement développé par 10gen en 2007 10gen rebaptisé en 2013 MongoDB, Inc. Son nom vient de "humongous" (c est énorme!!) Mis en open source en 2009 Dernière version stable (3.0.2)

Plus en détail

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Soutenance de projet ASR 27/01/2011 Julien Gerlier Siman Chen Encadrés par Bruno

Plus en détail

République Algérienne Démocratique et Populaire. Université Abou Bakr Belkaid Tlemcen. Faculté des Sciences. Département d Informatique

République Algérienne Démocratique et Populaire. Université Abou Bakr Belkaid Tlemcen. Faculté des Sciences. Département d Informatique République Algérienne Démocratique et Populaire Université Abou Bakr Belkaid Tlemcen Faculté des Sciences Département d Informatique Mémoire de fin d études Pour l obtention du diplôme de Master en Informatique

Plus en détail

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis MapReduce Nicolas Dugué nicolas.dugue@univ-orleans.fr M2 MIAGE Systèmes d information répartis Plan 1 Introduction Big Data 2 MapReduce et ses implémentations 3 MapReduce pour fouiller des tweets 4 MapReduce

Plus en détail

Les humanités numériques à l ère du big data

Les humanités numériques à l ère du big data Les humanités numériques à l ère du big data D. A. ZIGHED djamel@zighed.com Journées Big data & visualisation Focus sur les humanités numériques ISH Lyon 18-19 juin 2015 Co-organisées par EGC AFIHM - SFdS

Plus en détail

Introduction à. Oracle Application Express

Introduction à. Oracle Application Express Introduction à Oracle Application Express Sommaire Qu est-ce que Oracle Application Express (APEX)? Vue d ensemble des fonctionnalités et des différents composants d Oracle APEX Démonstration de création

Plus en détail

Windows Azure. Principales fonctions

Windows Azure. Principales fonctions Calipia usage re serve aux e tablissements de pendant du Ministe re de l Enseignement Supe rieur et de la Recherche Windows Azure Principales fonctions Alors qu environ 70% du budget informatique est dédié

Plus en détail

Livre. blanc. Solution Hadoop d entreprise d EMC. Stockage NAS scale-out Isilon et Greenplum HD. Février 2012

Livre. blanc. Solution Hadoop d entreprise d EMC. Stockage NAS scale-out Isilon et Greenplum HD. Février 2012 Livre blanc Solution Hadoop d entreprise d EMC Stockage NAS scale-out Isilon et Greenplum HD Par Julie Lockner et Terri McClure, Analystes seniors Février 2012 Ce livre blanc d ESG, qui a été commandé

Plus en détail

Introduction Big Data

Introduction Big Data Introduction Big Data SOMMAIRE Rédacteurs : Réf.: SH. Lazare / F. Barthélemy AXIO_BD_V1 QU'EST-CE QUE LE BIG DATA? ENJEUX TECHNOLOGIQUES ENJEUX STRATÉGIQUES BIG DATA ET RH ANNEXE Ce document constitue

Plus en détail

Le "tout fichier" Le besoin de centraliser les traitements des fichiers. Maitriser les bases de données. Historique

Le tout fichier Le besoin de centraliser les traitements des fichiers. Maitriser les bases de données. Historique Introduction à l informatique : Information automatisée Le premier ordinateur Définition disque dure, mémoire, carte mémoire, carte mère etc Architecture d un ordinateur Les constructeurs leader du marché

Plus en détail

Vos experts Big Data. contact@hurence.com. Mener un projet Big Data

Vos experts Big Data. contact@hurence.com. Mener un projet Big Data Vos experts Big Data contact@hurence.com Mener un projet Big Data Expert Expert Infrastructure Data Science Spark MLLib Big Data depuis 2011 Expert Expert Hadoop / Spark NoSQL HBase Couchbase MongoDB Expert

Plus en détail

5 avril 2011. Le Cloud-Computing. Conférence Digitech Lausanne. Un nouveau paradigme, aussi pour les PMEs

5 avril 2011. Le Cloud-Computing. Conférence Digitech Lausanne. Un nouveau paradigme, aussi pour les PMEs Le Cloud-Computing Un nouveau paradigme, aussi pour les PMEs 1 Définition Le Cloud Computing, littéralement l informatique en nuage, est un concept qui consiste à déporter sur des ordinateurs distants

Plus en détail

Organiser vos données - Big Data. Patrick Millart Senior Sales Consultant

Organiser vos données - Big Data. Patrick Millart Senior Sales Consultant Organiser vos données - Big Data Patrick Millart Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be

Plus en détail

Sommaire. 3. Les grands principes de GFS L architecture L accès de fichier en lecture L accès de fichier en écriture Bilan

Sommaire. 3. Les grands principes de GFS L architecture L accès de fichier en lecture L accès de fichier en écriture Bilan 1 Sommaire 1. Google en chiffres 2. Les raisons d être de GFS 3. Les grands principes de GFS L architecture L accès de fichier en lecture L accès de fichier en écriture Bilan 4. Les Evolutions et Alternatives

Plus en détail

Les technologies du Web, en condensé

Les technologies du Web, en condensé Les technologies du Web, en condensé Georges Gouriten georges.gouriten@telecom-paristech.fr Master COMASIC, 8 février 2012 8h30 10h et 10h15 11h45 Les technologies fondatrices du Web 13h30 15h et 15h15

Plus en détail

Big Data et l avenir du décisionnel

Big Data et l avenir du décisionnel Big Data et l avenir du décisionnel Arjan Heijmenberg, Jaspersoft 1 Le nouveau monde des TI L entreprise en réseau de McKinsey McKinsey sur le Web 2.0 McKinsey Global Institute, décembre 2010 Emergence

Plus en détail

Web et bases de données : un mariage nécessaire pour faire face aux défis des données massives

Web et bases de données : un mariage nécessaire pour faire face aux défis des données massives Web et bases de données : un mariage nécessaire pour faire face aux défis des données massives Module 7 : Familles de bases de données NoSQL Les bases de données relationnelles mises au point dans les

Plus en détail