BIG DATA. Veille technologique. Malek Hamouda Nina Lachia Léo Valette. Commanditaire : Thomas Milon. Encadré: Philippe Vismara

Dimension: px
Commencer à balayer dès la page:

Download "BIG DATA. Veille technologique. Malek Hamouda Nina Lachia Léo Valette. Commanditaire : Thomas Milon. Encadré: Philippe Vismara"

Transcription

1 BIG DATA Veille technologique Malek Hamouda Nina Lachia Léo Valette Commanditaire : Thomas Milon Encadré: Philippe Vismara 1

2 2 Introduction Historique des bases de données : méthodes de stockage et d analyse Organisation classique en fichier Premier SGBD 2 ème génération des SGBD: Les systèmes relationnels 3 ème génération des SGBD: Les systèmes orientés objets. Entrepôt de données Explosion du volume de données Méthodes d analyses statistiques classiques 1 er méthode d analyse chimiométrique multivariée : Exploratoires (ACP,AFCM) Régression(PCR, PLS) Fouille de données. Méthodes pas assez puissante pour traiter et analyser toutes ces données

3 3 Introduction Volume Vitesse Variété à Big Data Ensemble de données trop volumineuses et variées pour être stockées ettraitées avec des outils classiques de gestion de base de données. Problèmatique: Comment stocker et analyser ces données?

4 4 Introduction Qui est concerné par le Big Data q Web, internet et objet communicant : e-journaux, réseaux sociaux, e- commerce, stockage de document, RFID, réseaux de capteurs q Sciences : génomique, astronomie, climatologie q Données commerciales, personnelles, publiques. (Historique de transaction dans une chaine de supermarchés, Dossier médicaux, Open data ) Fournisseurs de solutions Leader du web Le secteur scientifique Les grands acteurs de logiciel et système d entreprises

5 5 Plan Formes de stockage des données Méthode de traitement Conclusion et perspectives

6 Modèle classique : BD relationnelle 6 I. Quelles formes de stockage? Interrogation par requête SQL Techniquement impossible sur du big data Modèle NoSQL (not only SQL)

7 Le modèle NoSQL I. Quelles formes de stockage? Base du NoSQL : structure «clé-valeur» distribuée 7 Clé Malek Valeur Etudiante Léo 23 Nina Bruno France Enseignant Clé Nina Valeur agrotic Malek Léo Tunisie Etudiant Simplifier les BD : Supprimer les relations entre tables Transférer l intelligence des requêtes SQL vers l applicatif qui interroge la BD Pouvoir répartir la BD sur plusieurs serveurs

8 I. Quelles formes de stockage? 8 Base de donnée clé-valeur AVANTAGES Stocker un grand nombre de données et de nature variée Effectuer des requêtes rapides Augmentation de la capacité de calcul et de stockage en ajoutant de nouveaux serveurs INCONVENIENTS Pas de requêtes complexes Transactionnel limité (atomicité, cohérence, isolation, durabilité) Apprendre une nouvelle approche de technologie de base de données

9 9 I. Quelles formes de stockage? Les différents types de NoSQL

10 I. Quelles formes de stockage? 10 Les différents types de NoSQL APPLICATIONS : Données semi-persistantes cache, pour conserver les sessions d'un site web stockage pour des files d'attentes, accumuler des événements bruts en vue d'en agréger des statistiques EXEMPLES : Memcached CouchBase Redis

11 Les types de NoSQL BigTable et dérivés Clé (ID message) Valeur (destinataire) 11 I. Quelles formes de stockage? Tag temps (heure envoie) APPLICATIONS : BD de tous les produits Google (Gmail, Reader, gmaps, Earth, blogger, youtube, ) sur Bigtable BD de Twitter sur Cassandra BD de Facebook sur HBase

12 12 Les types de NoSQL BD orientées documents I. Quelles formes de stockage? Clé (id document) Doc001 Valeur (information structurée de manière hiérarchique type XML,JSON) {promo: agrotic2012, groupe : Malek, Nina, Leo, travail : veille techno, date : 19/12/2012, body:, } APPLICATIONS : Accélérateur de particules du CERN, banque Barclays sur MongoDB Ubuntu One et la banque suisse sur CouchDB Mozilla, AOL sur Riak

13 Les types de NoSQL BD orientées graphes Clé Valeur 3 {Statut: étudiante, Etat: souriante } 13 I. Quelles formes de stockage? Bruno Id: 1 Statut : enseignant 103 {label: enseigne à } Nina Id: 103 label : enseigne à Id: 2 Statut : étudiante Id: 203 label : est amie avec Malek Id: 3 Statut : étudiante État : souriante APPLICATIONS : Deutsche Telekom et Viadeo sur NEO4J

14 14 Plan Formes de stockage des données Méthode de traitement Conclusion et perspectives

15 15 II. Méthode de traitement Une Nouvelle façon d interroger les données Architecture traditionnelle Architecture BigData Division en clusters à Une méthode de programmation d analyses en parallèle à Grande quantité de données, traitement à grande vitesse Source:

16 16 II. Méthode de traitement Le principe en exemple Compter le nombre de lettres contenus dans un fichier Fichier source (Base de données NoSQL) Splitting Découpage en blocs Mapping Fonction d analyse parallèle Shuffling Tri Reducing Agrégation des informations Résultat A, 3 B, 1 C, 3 D, 2 à Répartition du travail à Efficace sur des tera octets de données

17 17 II. Méthode de traitement Source:

18 18 II. Méthode de traitement Projet Apache Open Source

19 19 II. Méthode de traitement PARALLELISATION DES PROCESSUS Volume de donnée Vitesse de traitement augmentée Les traitements en temps réel Quelques exemples Publicité Transactions financières Gérer des flux de données énormes en temps réel

20 Conclusion: 20 Principes: Travail en parallèle et structuration simplifiée de la donnée. Le Big Data ne s applique que dans des cas particuliers, pour des besoins particuliers. A quand un BigDat Agricole?

21 21 Autres informations: Conférence à Paris (Défense)au CNIT le 3 et 4 avril 2013 sur le BIG DATA. 1 er master en France, ouvre en 2013 à Telecom Paris Tech sur BIG DATA : gestion et analyse des données massives.

22 22

23 23 Risques: Protection des données à caractères personnelle: Mot de passe, liberté de circulation,géolocalisation des personnes à partir des smartphones (photos et les publications). De contrôle permanent de la pars des autorités.

24 Bibliographie (articles scientifique, conférences, livres, cours ) 24 Conférence du 20/21 mars 2012 sur les Big Data à la Cité universitaire à Paris (lexique de l Open Data) Journal : O Reilly, article Big Data Now. Edition Big Data Spectrum, Connect Architecture, Infosis. Big Data et Open source, une convergence inévitable, Mars 2012 Stéphane Fermier.

25 25 II. Nouveau mode de traitement des flux de données «Stream Processing». Utilité: permet d effectuer plus facilement et plus rapidement le calcul parallèle. Pourquoi? : Les données en entrée sont trop rapide pour les stocker dans leur intégralités La réponse doit être immédiate. (en temps réel) Quelques exemples.

26 Annexes 26

27 Annexes 27

NoSQL. Introduction 1/23. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur)

NoSQL. Introduction 1/23. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur) 1/23 2/23 Anne-Cécile Caron Master MIAGE - BDA 1er trimestre 2013-2014 I : Not Only SQL, ce n est pas du relationnel, et le contexte d utilisation n est donc pas celui des SGBDR. I Origine : recherche

Plus en détail

NoSQL. Introduction 1/30. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur)

NoSQL. Introduction 1/30. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur) 1/30 2/30 Anne-Cécile Caron Master MIAGE - SGBD 1er trimestre 2014-2015 I : Not Only SQL, ce n est pas du relationnel, et le contexte d utilisation n est donc pas celui des SGBDR. I Origine : recherche

Plus en détail

Groupe de Discussion Big Data Aperçu des technologies et applications. Stéphane MOUTON stephane.mouton@cetic.be

Groupe de Discussion Big Data Aperçu des technologies et applications. Stéphane MOUTON stephane.mouton@cetic.be Groupe de Discussion Big Data Aperçu des technologies et applications Stéphane MOUTON stephane.mouton@cetic.be Recherche appliquée et transfert technologique q Agréé «Centre Collectif de Recherche» par

Plus en détail

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL AVRIL 2014 Panorama des solutions NoSQL QUI SOMMES NOUS? Avril 2014 2 SMILE, EN QUELQUES CHIFFRES 1er INTÉGRATEUR EUROPÉEN DE SOLUTIONS OPEN SOURCE 3 4 NOS EXPERTISES ET NOS CONVICTIONS DANS NOS LIVRES

Plus en détail

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data.

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data. Big Data De la stratégie à la mise en oeuvre Description : La formation a pour objet de brosser sans concession le tableau du Big Data. Les participants repartiront de cette formation en ayant une vision

Plus en détail

Introduction aux bases de données NoSQL

Introduction aux bases de données NoSQL Introduction aux bases de données NoSQL Khaled Tannir ets@khaledtannir.net Montréal - 23 Juillet 2015 Qui suis-je? Khaled TANNIR Big Data Architect Lead 20 ans d expérience ets@khaledtannir.net @khaled_tannir

Plus en détail

Ecole des Hautes Etudes Commerciales HEC Alger. par Amina GACEM. Module Informatique 1ière Année Master Sciences Commerciales

Ecole des Hautes Etudes Commerciales HEC Alger. par Amina GACEM. Module Informatique 1ière Année Master Sciences Commerciales Ecole des Hautes Etudes Commerciales HEC Alger Évolution des SGBDs par Amina GACEM Module Informatique 1ière Année Master Sciences Commerciales Evolution des SGBDs Pour toute remarque, question, commentaire

Plus en détail

11/01/2014. Le Big Data Mining enjeux et approches techniques. Plan. Introduction. Introduction. Quelques exemples d applications

11/01/2014. Le Big Data Mining enjeux et approches techniques. Plan. Introduction. Introduction. Quelques exemples d applications Plan Le Big Data Mining enjeux et approches techniques Bernard Dousset Professeur des universités Institut de Recherche en Informatique de Toulouse UMR 5505 Université de Toulouse 118, Route de Narbonne,

Plus en détail

Les bases de données relationnelles

Les bases de données relationnelles Bases de données NO SQL et SIG : d un existant restreint à un avenir prometteur CHRISTIAN CAROLIN, AXES CONSEIL CAROLIN@AXES.FR - HTTP://WWW.AXES.FR Les bases de données relationnelles constituent désormais

Plus en détail

[BIG DATA & NOSQL] Rédigé par : Belhaj Hajar & Khanoun Chaimae Encadré par : Mr Badir Hassan

[BIG DATA & NOSQL] Rédigé par : Belhaj Hajar & Khanoun Chaimae Encadré par : Mr Badir Hassan ECOLE SUPERIEURE DE SCIENCES TECHNIQUES ET DE MANAGMENT [BIG DATA & NOSQL] Rédigé par : Belhaj Hajar & Khanoun Chaimae Encadré par : Mr Badir Hassan Abstract Big data, which refers to the data sets that

Plus en détail

Cartographie des solutions BigData

Cartographie des solutions BigData Cartographie des solutions BigData Panorama du marché et prospective 1 1 Solutions BigData Défi(s) pour les fournisseurs Quel marché Architectures Acteurs commerciaux Solutions alternatives 2 2 Quels Défis?

Plus en détail

Quels choix de base de données pour vos projets Big Data?

Quels choix de base de données pour vos projets Big Data? Quels choix de base de données pour vos projets Big Data? Big Data? Le terme "big data" est très à la mode et naturellement un terme si générique est galvaudé. Beaucoup de promesses sont faites, et l'enthousiasme

Plus en détail

HADOOP ET SON ÉCOSYSTÈME

HADOOP ET SON ÉCOSYSTÈME HADOOP ET SON ÉCOSYSTÈME Mars 2013 2012 Affini-Tech - Diffusion restreinte 1 AFFINI-TECH Méthodes projets Outils de reporting & Data-visualisation Business & Analyses BigData Modélisation Hadoop Technos

Plus en détail

NoSQL : hype ou innovation? Grégory Ogonowski / Recherches Octobre 2011

NoSQL : hype ou innovation? Grégory Ogonowski / Recherches Octobre 2011 NoSQL : hype ou innovation? Grégory Ogonowski / Recherches Octobre 2011 Sommaire Introduction Théorème CAP NoSQL (principes, mécanismes, démos,...) Ce que nous avons constaté Recommandations Conclusion

Plus en détail

Le BigData, aussi par et pour les PMEs

Le BigData, aussi par et pour les PMEs Parole d expert Le BigData, aussi par et pour les PMEs Stéphane MOUTON, CETIC Département Software and Services Technologies Avec le soutien de : LIEGE CREATIVE Le Big Data, aussi par et pour les PMEs

Plus en détail

Big Data On Line Analytics

Big Data On Line Analytics Fdil Fadila Bentayeb Lb Laboratoire ERIC Lyon 2 Big Data On Line Analytics ASD 2014 Hammamet Tunisie 1 Sommaire Sommaire Informatique décisionnelle (BI Business Intelligence) Big Data Big Data analytics

Plus en détail

Introduction Big Data

Introduction Big Data Introduction Big Data SOMMAIRE Rédacteurs : Réf.: SH. Lazare / F. Barthélemy AXIO_BD_V1 QU'EST-CE QUE LE BIG DATA? ENJEUX TECHNOLOGIQUES ENJEUX STRATÉGIQUES BIG DATA ET RH ANNEXE Ce document constitue

Plus en détail

BIGDATA AN 3 : UNE NOUVELLE ERE DE B.I.

BIGDATA AN 3 : UNE NOUVELLE ERE DE B.I. BIGDATA AN 3 : UNE NOUVELLE ERE DE B.I. QUELLES PERSPECTIVES POUR LES 20 PROCHAINES ANNEES? 22 MARS 2013 CHARLES PARAT, DIR. INNOVATION adoption L ADOPTION DES EVOLUTIONS B.I. EST LENTE BIGDATA BUZZ MAINFRAME

Plus en détail

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -"Big Data par l'exemple" -Julien DULOUT

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -Big Data par l'exemple -Julien DULOUT 20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013 20 ans du SIAD -"BigData par l'exemple" -Julien DULOUT Qui a déjà entendu parler du phénomène BigData? Qui a déjà

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Cloud et scalabilité Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire

Plus en détail

Document réalisé par Khadidjatou BAMBA

Document réalisé par Khadidjatou BAMBA Comprendre le BIG DATA Document réalisé par Khadidjatou BAMBA 1 Sommaire Avant propos. 3 Historique du Big Data.4 Introduction.....5 Chapitre I : Présentation du Big Data... 6 I. Généralités sur le Big

Plus en détail

NewPoint IT Consulting BIG DATA WHITE PAPER. NewPoint Information Technology Consulting

NewPoint IT Consulting BIG DATA WHITE PAPER. NewPoint Information Technology Consulting NewPoint IT Consulting BIG DATA WHITE PAPER NewPoint Information Technology Consulting Contenu 1 Big Data: Défi et opportunité pour l'entreprise... 3 2 Les drivers techniques et d'entreprise de BIG DATA...

Plus en détail

Bases de Données. Stella MARC-ZWECKER. stella@unistra.u-strasbg.fr. Maître de conférences Dpt. Informatique - UdS

Bases de Données. Stella MARC-ZWECKER. stella@unistra.u-strasbg.fr. Maître de conférences Dpt. Informatique - UdS Bases de Données Stella MARC-ZWECKER Maître de conférences Dpt. Informatique - UdS stella@unistra.u-strasbg.fr 1 Plan du cours 1. Introduction aux BD et aux SGBD Objectifs, fonctionnalités et évolutions

Plus en détail

Le NoSQL - Cassandra

Le NoSQL - Cassandra Le NoSQL - Cassandra Thèse Professionnelle Xavier MALETRAS 27/05/2012 Ce document présente la technologie NoSQL au travers de l utilisation du projet Cassandra. Il présente des situations ainsi que des

Plus en détail

Bases de Données Avancées

Bases de Données Avancées 1/26 Bases de Données Avancées DataWareHouse Thierry Hamon Bureau H202 - Institut Galilée Tél. : 33 1.48.38.35.53 Bureau 150 LIM&BIO EA 3969 Université Paris 13 - UFR Léonard de Vinci 74, rue Marcel Cachin,

Plus en détail

Big Graph Data Forum Teratec 2013

Big Graph Data Forum Teratec 2013 Big Graph Data Forum Teratec 2013 MFG Labs 35 rue de Châteaudun 75009 Paris, France www.mfglabs.com twitter: @mfg_labs Julien Laugel MFG Labs julien.laugel@mfglabs.com @roolio SOMMAIRE MFG Labs Contexte

Plus en détail

Département informatique de l IUT (de l université) de Bordeaux Cours de Bases de Données : NoSQL 19 août 2015 Olivier Guibert. NoSQL.

Département informatique de l IUT (de l université) de Bordeaux Cours de Bases de Données : NoSQL 19 août 2015 Olivier Guibert. NoSQL. Département informatique de l IUT (de l université) de Bordeaux Cours de Bases de Données : NoSQL 19 août 2015 Olivier Guibert NoSQL Not only non relational Plan Généralités SGBD Relationnel Théorème CAP

Plus en détail

Big data* et marketing

Big data* et marketing Catherine Viot IAE de Bordeaux Maître de conférences HDR Responsable pédagogique du Master 2 Marketing Equipe de Recherche en Marketing - IRGO catherine.viot@u-bordeaux4.fr Big data* et marketing 2006

Plus en détail

bases Modélisation de données des Modélisation des bases de données UML et les modèles entité-association

bases Modélisation de données des Modélisation des bases de données UML et les modèles entité-association Christian Soutou Christian Soutou Maître de conférences rattaché au département Réseaux et Télécoms de l IUT de Blagnac, Christian Soutou intervient en licence et master professionnels. Il est aussi consultant

Plus en détail

Datomic. La base qui détonne (aka database as a value)

Datomic. La base qui détonne (aka database as a value) Datomic La base qui détonne (aka database as a value) Identité Base de données NoSQL Distribuée ("cloud"!) ACID Annoncée début 2012 Version 0.8.XXXX Rich Hickey et Relevance (Clojure!) Licence privative

Plus en détail

Cassandra chez Chronopost pour traiter en temps réel 1,5 milliard d événements par an

Cassandra chez Chronopost pour traiter en temps réel 1,5 milliard d événements par an Cassandra chez Chronopost pour traiter en temps réel 1,5 milliard d événements par an Qui suis-je? Alexander DEJANOVSKI Ingénieur EAI Depuis 15 ans chez Chronopost @alexanderdeja Chronopost International

Plus en détail

Les technologies du Big Data

Les technologies du Big Data Les technologies du Big Data PRÉSENTÉ AU 40 E CONGRÈS DE L ASSOCIATION DES ÉCONOMISTES QUÉBÉCOIS PAR TOM LANDRY, CONSEILLER SENIOR LE 20 MAI 2015 WWW.CRIM.CA TECHNOLOGIES: DES DONNÉES JUSQU'À L UTILISATEUR

Plus en détail

Les quatre piliers d une solution de gestion des Big Data

Les quatre piliers d une solution de gestion des Big Data White Paper Les quatre piliers d une solution de gestion des Big Data Table des Matières Introduction... 4 Big Data : un terme très vaste... 4 Le Big Data... 5 La technologie Big Data... 5 Le grand changement

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Bases documentaires Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Introduction a MongoDB Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire

Plus en détail

NoSQL. Etat de l art et benchmark

NoSQL. Etat de l art et benchmark NoSQL Etat de l art et benchmark Travail de Bachelor réalisé en vue de l obtention du Bachelor HES par : Adriano Girolamo PIAZZA Conseiller au travail de Bachelor : David BILLARD, Professeur HES Genève,

Plus en détail

http://blog.khaledtannir.net

http://blog.khaledtannir.net Algorithme de parallélisations des traitements Khaled TANNIR Doctorant CIFRE LARIS/ESTI http://blog.khaledtannir.net these@khaledtannir.net 2e SéRI 2010-2011 Jeudi 17 mars 2011 Présentation Doctorant CIFRE

Plus en détail

LA DIVULGATION INTELLIGENTE DES DONNEES A L'HEURE DES BIG DATA

LA DIVULGATION INTELLIGENTE DES DONNEES A L'HEURE DES BIG DATA LA DIVULGATION INTELLIGENTE DES DONNEES A L'HEURE DES BIG DATA Une approche politiques publiques Données personnelles / traitement pénal des infractions CNIL 1 Journée AFDIT 22.2.2013 BIG DATA L'un des

Plus en détail

Les Entrepôts de Données

Les Entrepôts de Données Les Entrepôts de Données Grégory Bonnet Abdel-Illah Mouaddib GREYC Dépt Dépt informatique :: GREYC Dépt Dépt informatique :: Cours Cours SIR SIR Systèmes d information décisionnels Nouvelles générations

Plus en détail

Présentation Société Actulligence Consulting

Présentation Société Actulligence Consulting Présentation Société Actulligence Consulting Conseil et Accompagnement Intelligence économique Veille stratégique e-réputation Actulligence Consulting : Présentation Frédéric Martinet, Consultant indépendant

Plus en détail

Big Data : une complexité réduite pour un retour sur investissement plus rapide

Big Data : une complexité réduite pour un retour sur investissement plus rapide Big Data : une complexité réduite pour un retour sur investissement plus rapide Copyright 2013 Pentaho Corporation. Redistribution autorisée. Toutes les marques commerciales sont déposées par leur propriétaire

Plus en détail

Labs Hadoop Février 2013

Labs Hadoop Février 2013 SOA - BRMS - ESB - BPM CEP BAM - High Performance Compute & Data Grid - Cloud Computing - Big Data NoSQL - Analytics Labs Hadoop Février 2013 Mathias Kluba Managing Consultant Responsable offres NoSQL

Plus en détail

Introduction à MapReduce/Hadoop et Spark

Introduction à MapReduce/Hadoop et Spark 1 / 36 Introduction à MapReduce/Hadoop et Spark Certificat Big Data Ludovic Denoyer et Sylvain Lamprier UPMC Plan 2 / 36 Contexte 3 / 36 Contexte 4 / 36 Data driven science: le 4e paradigme (Jim Gray -

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Introduction du cours Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire

Plus en détail

Enjeux mathématiques et Statistiques du Big Data

Enjeux mathématiques et Statistiques du Big Data Enjeux mathématiques et Statistiques du Big Data Mathilde Mougeot LPMA/Université Paris Diderot, mathilde.mougeot@univ-paris-diderot.fr Mathématique en Mouvements, Paris, IHP, 6 Juin 2015 M. Mougeot (Paris

Plus en détail

FINI LA RÉCRÉ PASSONS AUX MÉGADONNÉES

FINI LA RÉCRÉ PASSONS AUX MÉGADONNÉES 1 FINI LA RÉCRÉ PASSONS AUX MÉGADONNÉES «Dans le concret, projets de transformation vers le BigData» V1-10/03/15 ABED AJRAOU CONNAISSEZ-VOUS PAGESJAUNES? CONNAISSEZ-VOUS PAGESJAUNES? LES MEGADONNEES RÉPONDENT

Plus en détail

Technologies et techniques d aujourd hui et de demain 1 Virtualisation Containers Projet Docker Web 3.0 Cloud Big Data Internet des objets 2 1 Virtualisation 3 Virtualisation Logiciels appelés hyperviseurs

Plus en détail

Votre laisser-passer pour les. Big Data Guide visuel

Votre laisser-passer pour les. Big Data Guide visuel Votre laisser-passer pour les Big Data Guide visuel Les Big Data ont une immense valeur Apprenez à en libérer tout le potentiel Nul doute aujourd hui que les Big Data entraînent une profonde mutation du

Plus en détail

Un peu de culture : Bases N osql L 1

Un peu de culture : Bases N osql L 1 Un peu de culture : Bases NoSQL 1 Introduction Les bases de données NoSQL (no-sql ou Not Only SQL) sont un sujet tres à la mode en ce moment. Il y a une centaine de version de bases NOSQL But du cours

Plus en détail

4 février 2015. Exemple d application opérationnelle immédiate en France d un projet européen de R&D en sécurité

4 février 2015. Exemple d application opérationnelle immédiate en France d un projet européen de R&D en sécurité Exemple d application opérationnelle immédiate en France d un projet européen de R&D en sécurité Projet européen isar+ Budget de 5,2 M dans le cadre FP7-SEC-2012-1, 16 partenaires de 9 pays, dont Deveryware,

Plus en détail

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis MapReduce Nicolas Dugué nicolas.dugue@univ-orleans.fr M2 MIAGE Systèmes d information répartis Plan 1 Introduction Big Data 2 MapReduce et ses implémentations 3 MapReduce pour fouiller des tweets 4 MapReduce

Plus en détail

Mesures DNS à l ère du Big Data : outils et défis. JCSA, 9 juillet 2015 Vincent Levigneron, Afnic

Mesures DNS à l ère du Big Data : outils et défis. JCSA, 9 juillet 2015 Vincent Levigneron, Afnic Mesures DNS à l ère du Big Data : outils et défis JCSA, 9 juillet 2015 Vincent Levigneron, Afnic Sommaire 1. Mesures DNS réalisées par l Afnic 2. Volumes et biais 3. Limitations 4. Pourquoi une approche

Plus en détail

INITIATION AU PERSONAL KNOWLEDGE MANAGEMENT OU COMMENT GERER SON ECOSYSTEME DOCUMENTAIRE

INITIATION AU PERSONAL KNOWLEDGE MANAGEMENT OU COMMENT GERER SON ECOSYSTEME DOCUMENTAIRE ORGANISER SON SYSTEME D'INFORMATION PERSONNEL SECURISER SES INFORMATIONS INITIATION AU PERSONAL KNOWLEDGE MANAGEMENT OU COMMENT GERER SON ECOSYSTEME DOCUMENTAIRE LE PKM? COLLECTER DES DONNEES MIEUX GERER

Plus en détail

SGBDR. Systèmes de Gestion de Bases de Données (Relationnelles)

SGBDR. Systèmes de Gestion de Bases de Données (Relationnelles) SGBDR Systèmes de Gestion de Bases de Données (Relationnelles) Plan Approches Les tâches du SGBD Les transactions Approche 1 Systèmes traditionnels basés sur des fichiers Application 1 Gestion clients

Plus en détail

Compteurs de nouvelle génération

Compteurs de nouvelle génération Compteurs de nouvelle génération Intégration des données dans l'environnement PI System Alexandre Bouffard, chercheur Institut de recherche d Hydro-Québec (IREQ) 18 juin 2013 Aperçu 1. À propos d Hydro-Québec

Plus en détail

Méthodes & Outils pour la Veille

Méthodes & Outils pour la Veille Méthodes & Outils pour la Veille Stéphane Bortzmeyer AFNIC bortzmeyer@nic.fr 26 janvier 2009 1 Méthodes & Outils pour la Veille / Le bol et l eau Il y a deux choix importants à faire pour la veille : 1.

Plus en détail

CESI Bases de données

CESI Bases de données CESI Bases de données Introduction septembre 2006 Bertrand LIAUDET EPF - BASE DE DONNÉES - septembre 2005 - page 1 PRÉSENTATION GÉNÉRALE 1. Objectifs généraux L objectif de ce document est de faire comprendre

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution

Plus en détail

Bases de données relationnelles : Introduction

Bases de données relationnelles : Introduction Bases de données relationnelles : Introduction historique et principes V. Benzaken Département d informatique LRI UMR 8623 CNRS Université Paris Sud veronique.benzaken@u-psud.fr https://www.lri.fr/ benzaken/

Plus en détail

Un peu d histoire. Qu est-ce que MongoDB?

Un peu d histoire. Qu est-ce que MongoDB? Un peu d histoire Initialement développé par 10gen en 2007 10gen rebaptisé en 2013 MongoDB, Inc. Son nom vient de "humongous" (c est énorme!!) Mis en open source en 2009 Dernière version stable (3.0.2)

Plus en détail

2 e édition. et le Big Data. Comprendre et mettre en oeuvre. NoSQL. Rudi Bruchez. Les bases de données

2 e édition. et le Big Data. Comprendre et mettre en oeuvre. NoSQL. Rudi Bruchez. Les bases de données Les bases de données NoSQL et le Big Data 2 e édition Comprendre et mettre en oeuvre Rudi Bruchez Les bases de données NoSQL et le Big Data 2 e édition Des bases pour la performance et le Big Data En quelques

Plus en détail

Big data et données géospatiales : Enjeux et défis pour la géomatique. Thierry Badard, PhD, ing. jr Centre de Recherche en Géomatique

Big data et données géospatiales : Enjeux et défis pour la géomatique. Thierry Badard, PhD, ing. jr Centre de Recherche en Géomatique Big data et données géospatiales : Enjeux et défis pour la géomatique Thierry Badard, PhD, ing. jr Centre de Recherche en Géomatique Événement 25e anniversaire du CRG Université Laval, Qc, Canada 08 mai

Plus en détail

Structure fonctionnelle d un SGBD

Structure fonctionnelle d un SGBD Fichiers et Disques Structure fonctionnelle d un SGBD Requetes Optimiseur de requetes Operateurs relationnels Methodes d acces Gestion de tampon Gestion de disque BD 1 Fichiers et Disques Lecture : Transfert

Plus en détail

Entreposage, analyse en ligne et fouille de données

Entreposage, analyse en ligne et fouille de données Entreposage, analyse en ligne et fouille de données Houssem Jerbi IRIT - SIG/ED jerbi@irit.fr Journée COMPIL " Bases de Données" 14/12/2010 PLAN Introduction Bases de données Entrepôt de données Technologie

Plus en détail

Rapport de TER : Collecte de médias géo-localisés et recherche de points d intérêt avec l algorithme Mean Shift Martin PUGNET Février 2014

Rapport de TER : Collecte de médias géo-localisés et recherche de points d intérêt avec l algorithme Mean Shift Martin PUGNET Février 2014 Rapport de TER : Collecte de médias géo-localisés et recherche de points d intérêt avec l algorithme Mean Shift Martin PUGNET Février 2014 résumé : Ce projet a pour but de récupérer des données géolocalisées

Plus en détail

ALCOMP CATALOGUE DE FORMATION

ALCOMP CATALOGUE DE FORMATION ALCOMP CATALOGUE DE FORMATION 1 N Alcomp transfert de compétences vers nos clients» «Le 2 A : Formations ORACLE A1 : Fondamentaux : Sommaire A2 : Cursus développement : A3 : Cursus Administration : B1

Plus en détail

Optimisations des SGBDR. Étude de cas : MySQL

Optimisations des SGBDR. Étude de cas : MySQL Optimisations des SGBDR Étude de cas : MySQL Introduction Pourquoi optimiser son application? Introduction Pourquoi optimiser son application? 1. Gestion de gros volumes de données 2. Application critique

Plus en détail

Benjamin Cornu Florian Joyeux. Les choses à connaître pour (essayer) de concurrencer Facebook.

Benjamin Cornu Florian Joyeux. Les choses à connaître pour (essayer) de concurrencer Facebook. Benjamin Cornu Florian Joyeux Les choses à connaître pour (essayer) de concurrencer Facebook. 1 Sommaire Présentation générale Historique Facebook La face cachée de l iceberg (back end) Architecture globale

Plus en détail

BIG DATA en Sciences et Industries de l Environnement

BIG DATA en Sciences et Industries de l Environnement BIG DATA en Sciences et Industries de l Environnement François Royer www.datasio.com 21 mars 2012 FR Big Data Congress, Paris 2012 1/23 Transport terrestre Traçabilité Océanographie Transport aérien Télémétrie

Plus en détail

BI = Business Intelligence Master Data-ScienceCours 3 - Data

BI = Business Intelligence Master Data-ScienceCours 3 - Data BI = Business Intelligence Master Data-Science Cours 3 - Datawarehouse UPMC 8 février 2015 Rappel L Informatique Décisionnelle (ID), en anglais Business Intelligence (BI), est l informatique à l usage

Plus en détail

Les datas = le fuel du 21ième sicècle

Les datas = le fuel du 21ième sicècle Les datas = le fuel du 21ième sicècle D énormes gisements de création de valeurs http://www.your networkmarketin g.com/facebooktwitter-youtubestats-in-realtime-simulation/ Xavier Dalloz Le Plan Définition

Plus en détail

Performances Veille. Système d Information. Semaine 25 du 18 au 24 juin 2012. Numéro 228

Performances Veille. Système d Information. Semaine 25 du 18 au 24 juin 2012. Numéro 228 Performances Veille Système d Information Semaine 25 du 18 au 24 juin 2012 Numéro 228 TABLE DES MATIÈRES LA GÉNÉRATION Y DÉFIE LA DSI... 2 SOLUTIONS LINUX : BIG DATA ET BI OPEN SOURCE FONT BON MÉNAGE 01

Plus en détail

FORUM NTIC BIG DATA, OPEN DATA Big Data: les challenges, les défis

FORUM NTIC BIG DATA, OPEN DATA Big Data: les challenges, les défis FORUM NTIC BIG DATA, OPEN DATA Big Data: les challenges, les défis Joseph Salmon Télécom ParisTech Jeudi 6 Février Joseph Salmon (Télécom ParisTech) Big Data Jeudi 6 Février 1 / 18 Agenda Contexte et opportunités

Plus en détail

Quelques patterns pour la persistance des objets avec DAO DAO. Principe de base. Utilité des DTOs. Le modèle de conception DTO (Data Transfer Object)

Quelques patterns pour la persistance des objets avec DAO DAO. Principe de base. Utilité des DTOs. Le modèle de conception DTO (Data Transfer Object) Quelques patterns pour la persistance des objets avec DAO Ce cours présente des modèles de conception utilisés pour effectuer la persistance des objets Université de Nice Sophia-Antipolis Version 1.4 30/8/07

Plus en détail

Acquisition des données - Big Data. Dario VEGA Senior Sales Consultant

Acquisition des données - Big Data. Dario VEGA Senior Sales Consultant Acquisition des données - Big Data Dario VEGA Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated

Plus en détail

Rapport d étude sur le Big Data

Rapport d étude sur le Big Data Rapport d étude sur le Big Data SRS Day 2012 Ce document a été réalisé dans le cadre de la SRS Day 2012. La SRS Day est un événement annuel organisé par les étudiants de la majeure SRS, de l EPITA. Il

Plus en détail

5. Architecture et sécurité des systèmes informatiques Dimension Fonctionnelle du SI

5. Architecture et sécurité des systèmes informatiques Dimension Fonctionnelle du SI 5. Architecture et sécurité des systèmes informatiques Dimension Fonctionnelle du SI Un SI : et pour faire quoi? Permet de stocker de manière définitive des informations volatiles provenant d autre BD.

Plus en détail

Bases de données Cours 1 : Généralités sur les bases de données

Bases de données Cours 1 : Généralités sur les bases de données Cours 1 : Généralités sur les bases de données POLYTECH Université d Aix-Marseille odile.papini@univ-amu.fr http://odile.papini.perso.esil.univmed.fr/sources/bd.html Plan du cours 1 1 Qu est ce qu une

Plus en détail

SQL Server 2012 et SQL Server 2014

SQL Server 2012 et SQL Server 2014 SQL Server 2012 et SQL Server 2014 Principales fonctions SQL Server 2012 est le système de gestion de base de données de Microsoft. Il intègre un moteur relationnel, un outil d extraction et de transformation

Plus en détail

10 Intégration de données sur le web

10 Intégration de données sur le web 10 Intégration de données sur le web 240 Requête utilisateur : Où est-ce que je peux voir les films qui ont participé au dernier Festival de Cannes? Je voudrais les résumés et critiques des films de Pedro

Plus en détail

New Features. Developed by. BPM Conseil - SARL au capital de 70 000 euros - RCS LYON 479 400 129 9, rue Pierre Blanc - 69001 Lyon - France 1/20

New Features. Developed by. BPM Conseil - SARL au capital de 70 000 euros - RCS LYON 479 400 129 9, rue Pierre Blanc - 69001 Lyon - France 1/20 5 New Features Developed by 1/20 Sommaire 1 Introduction... 3 2 Evolutions des studios de développement et améliorations fonctionnelles... 5 3 Portail Vanilla... 6 3.1 Open Street Maps... 6 3.2 Gestion

Plus en détail

Programmation parallèle et distribuée (Master 1 Info 2015-2016)

Programmation parallèle et distribuée (Master 1 Info 2015-2016) Programmation parallèle et distribuée (Master 1 Info 2015-2016) Hadoop MapReduce et HDFS Note bibliographique : ce cours est largement inspiré par le cours de Benjamin Renaut (Tokidev SAS) Introduction

Plus en détail

Introduction à la B.I. Avec SQL Server 2008

Introduction à la B.I. Avec SQL Server 2008 Introduction à la B.I. Avec SQL Server 2008 Version 1.0 VALENTIN Pauline 2 Introduction à la B.I. avec SQL Server 2008 Sommaire 1 Présentation de la B.I. et SQL Server 2008... 3 1.1 Présentation rapide

Plus en détail

L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13

L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13 L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com HUG France 250 membres sur la mailing liste 30 présentations 9 meetups organisés, de 20 à 100 invités Présence de Cloudera, MapR, Hortonworks,

Plus en détail

Le "tout fichier" Le besoin de centraliser les traitements des fichiers. Maitriser les bases de données. Historique

Le tout fichier Le besoin de centraliser les traitements des fichiers. Maitriser les bases de données. Historique Introduction à l informatique : Information automatisée Le premier ordinateur Définition disque dure, mémoire, carte mémoire, carte mère etc Architecture d un ordinateur Les constructeurs leader du marché

Plus en détail

Atelier 1. Portails documentaires : BioLib et Cemadoc

Atelier 1. Portails documentaires : BioLib et Cemadoc Atelier 1 Portails documentaires : BioLib et Cemadoc Intervenants Emmanuelle Jannes-Ober, responsable de la médiathèque - Institut Pasteur Odile Hologne, chef du service de l infomation scientifique et

Plus en détail

Offre formation Big Data Analytics

Offre formation Big Data Analytics Offre formation Big Data Analytics OCTO 2014 50, avenue des Champs-Elysées 75008 Paris - FRANCE Tél : +33 (0)1 58 56 10 00 Fax : +33 (0)1 58 56 10 01 www.octo.com 1 Présentation d OCTO Technology 2 Une

Plus en détail

Big Data : utilisation d un cluster Hadoop HDFS Map/Reduce HBase

Big Data : utilisation d un cluster Hadoop HDFS Map/Reduce HBase Big Data : utilisation d un cluster cluster Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe), Laboratoire APC, Université Paris Diderot LabEx UnivEarthS 14 Janvier 2014 C. Cavet

Plus en détail

Hibernate vs. le Cloud Computing

Hibernate vs. le Cloud Computing Hibernate vs. le Cloud Computing Qui suis-je? Julien Dubois Co-auteur de «Spring par la pratique» Ancien de SpringSource Directeur du consulting chez Ippon Technologies Suivez-moi sur Twitter : @juliendubois

Plus en détail

Programme CREATION SITE INTERNET (CMS Wordpress)

Programme CREATION SITE INTERNET (CMS Wordpress) Programme CREATION SITE INTERNET (CMS Wordpress) Objectifs de la formation Apprendre à créer son site internet. Cette formation vous permettra de gérer et d'optimiser le contenu d'un blog professionnel

Plus en détail

Le Cloud Computing. Stockez et accédez à tous vos documents et données depuis n importe où. Mai 2014

Le Cloud Computing. Stockez et accédez à tous vos documents et données depuis n importe où. Mai 2014 Le Cloud Computing Stockez et accédez à tous vos documents et données depuis n importe où Mai 2014 SOMMAIRE - Qu est ce que le cloud computing? - Quelle utilisation? - Quelle utilité? - Les déclinaisons

Plus en détail

Fouillez facilement dans votre système Big Data. Olivier TAVARD

Fouillez facilement dans votre système Big Data. Olivier TAVARD Fouillez facilement dans votre système Big Data Olivier TAVARD A propos de moi : Cofondateur de la société France Labs Développeur (principalement Java) Formateur en technologies de moteurs de recherche

Plus en détail

Pentaho Business Analytics Intégrer > Explorer > Prévoir

Pentaho Business Analytics Intégrer > Explorer > Prévoir Pentaho Business Analytics Intégrer > Explorer > Prévoir Pentaho lie étroitement intégration de données et analytique. En effet, les services informatiques et les utilisateurs métiers peuvent accéder aux

Plus en détail

Plan 1/9/2013. Génération et exploitation de données. CEP et applications. Flux de données et notifications. Traitement des flux Implémentation

Plan 1/9/2013. Génération et exploitation de données. CEP et applications. Flux de données et notifications. Traitement des flux Implémentation Complex Event Processing Traitement de flux de données en temps réel Romain Colle R&D Project Manager Quartet FS Plan Génération et exploitation de données CEP et applications Flux de données et notifications

Plus en détail

Protection des données personnelles : Vers un Web personnel sécurisé

Protection des données personnelles : Vers un Web personnel sécurisé Rencontre Inria Industrie Les télécoms du futur Table ronde Sécurité des contenus Protection des données personnelles : Vers un Web personnel sécurisé Luc Bouganim - INRIA Paris-Rocquencourt EPI SMIS,

Plus en détail

Drupal et le NoSQL. Frédéric G. MARAND http://drupal.org/user/27985. OSInet http://drupal.org/node/1121720

Drupal et le NoSQL. Frédéric G. MARAND http://drupal.org/user/27985. OSInet http://drupal.org/node/1121720 Drupal et le NoSQL Frédéric G. MARAND http://drupal.org/user/27985 OSInet http://drupal.org/node/1121720 "Drupal et le NoSQL" de Frédéric G. MARAND est mis à disposition selon les termes de la licence

Plus en détail

BI dans les nuages. Olivier Bendavid, UM2 Prof. A. April, ÉTS

BI dans les nuages. Olivier Bendavid, UM2 Prof. A. April, ÉTS BI dans les nuages Olivier Bendavid, UM2 Prof. A. April, ÉTS Table des matières Introduction Description du problème Les solutions Le projet Conclusions Questions? Introduction Quelles sont les défis actuels

Plus en détail

X2BIRT : Mettez de l interactivité dans vos archives

X2BIRT : Mettez de l interactivité dans vos archives Présentation Produit Présentation Produit X2BIRT : Mettez de l interactivité dans vos archives L accès à l information est capital pour les affaires. X2BIRT, la dernière innovation d Actuate, prend le

Plus en détail

Jean-François Boulicaut & Mohand-Saïd Hacid

Jean-François Boulicaut & Mohand-Saïd Hacid e siècle! Jean-François Boulicaut & Mohand-Saïd Hacid http://liris.cnrs.fr/~jboulica http://liris.cnrs.fr/mohand-said.hacid Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205

Plus en détail

Les meilleurs logiciels de récupération de

Les meilleurs logiciels de récupération de Les meilleurs logiciels de récupération de données Telecharger.com vous présente sa sélection de logiciels et d applications Web pour tenter de récupérer vos données perdues et/ou effacées par erreur.

Plus en détail