Jean-François Boulicaut & Mohand-Saïd Hacid

Dimension: px
Commencer à balayer dès la page:

Download "Jean-François Boulicaut & Mohand-Saïd Hacid"

Transcription

1 e siècle! Jean-François Boulicaut & Mohand-Saïd Hacid Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon Université Claude Bernard Lyon 1, bâtiment Nautibus 43, boulevard du 11 novembre 1918 F Villeurbanne cedex

2 e siècle! Partie 1 Mohand-Saïd Hacid Accu

3 Big Data? 1 million characters 1 megabyte 1,000 megabytes 1 gegabyte 1,000 gegabytes 1 terabyte 1,000 terabytes 1 petabyte 1,000 petabytes 1 exabyte Information contenue dans le génome humain Production littéraire annuelle dans le monde Toutes les bibliothèques académiques américaines 2/3 de la production Source:

4 BIG DATA Volume, Variété, Vélocité, Valeur + Véracité, Validation, Vérification, Vivification Plus de données: Nouvelles et meilleurs solutions (pour des problèmes anciens!) Plus de précisions

5 IDC International Data Corporation Décembre EB (2005) 40,000 EB (2020) De 2012 à 2020: numérique doublera chaque année Infrastructure (matériel, logiciel, services, télécommunications, personnel) augmentera de 40% entre 2012 et 2020 par GB passera de 2.00$ à 0.20$ ( ) Investissements liés à la gestion du stockage, sécurité, Cloud: augmenteront de façon significative

6 Une petite fraction de numérique est explorée à des fins. 2020, 33% de numérique contiendra des informations utiles à analyser. En 2020: 40% de de numérique sera accessible via le Cloud Protection des données: 1/3 en 2010 plus de 40% en 2020

7

8

9 Economie dirigée par les données 2009: Google a contribué à hauteur de 54 M$ à américaine Les moteurs de recherche transforment la façon à Nouvelle économie: Google, Yahoo!, Microsoft, Information sur le Web formater pour les rendre utilisables Nouveaux services: Images satellites, systèmes recherche par le contenu,

10 Wall-Mart/HP: entrepôt de données de 4 PB 267 millions de transactions/jour 6000 magasins Application de techniques pour un meilleur impact : Des stratégies des prix Des campagnes publicitaires

11 escience Science dirigée par les données Géoscience: seulement 0.5% de toutes les données collectées ont été examinées. Quelques études: LSST LHC (accélérateur de particules) - comprendre le fonctionnement de 60 TB/jour 15 PB/an (15 millions de GB) Très gros volumes de données Analyse (semi-)automatique LSST (Large Synoptic Survey Telescope) in optical astronomy: LHC (Large Hadron Collider) in HEP (High Energy Physics):

12 Technologie Big Data Capteurs: télescopes, caméras, IRM, puces ADN, individus, organisations, Réseaux Supports de stockage Disque 1 TB (< 100 ) Contenu des livres de la bibliothèque du congrès: 20 TB Clusters (configuration matérielle choisie) Des milliers de (plusieurs disques et processeurs par machine) Verrous algorithmiques

13 Cloud Algorithmes de données Beaucoup de données analyse (semi-)automatique Difficulté: algorithmique Nouvelle forme de calcul Combiner statistique, optimisation et raisonnement

14 Défis! Infrastructure de gestion Distribution Optimisation de requêtes (cas des réseaux de capteurs) traitement parallèle Indexation intelligente Traitement de flux de données Qualité des données (aspects, probabilistes, incomplétude ) Sémantique des données Visualisation et interaction intelligentes Outils de données Intégration de calcul symbolique, de la fouille et de

15 PB Générer des échatillons qui peuvent tenir en données

16 Outils statistiques SAS, Excel, : utilisables seulement si des gros volumes de données sont réduits à des résumés pouvant tenir en mémoire Conséquence: maintenir des schémas relationnels normalisés et complexes peut difficile et coûteux Orientation ensembliste de SQL Interfaces bas niveau ODBC/JDBC Barrières pour les analystes pour utiliser les bases de données Nouveaux langages et modèles qui traduisent naturellement Analyses deviennent plus complexes Reproductibilité de workflows analytiques et leurs résultats devient très important!

17 PetaSky Gestion et exploration des grandes masses de données scientifiques issues LIMOS ( des Systèmes, LIRIS (Laboratoire LPC (Laboratoire de Physique Corpusculaire, APC (AstroParticule et Cosmologie, CC-IN2P3 (http://cc.in2p3.fr/)

18 Altitude: 2682 mètres Région: Coquimbo Diamètre du télescope: 8 mètres LSST: Large Synoptic Survey Telescope

19 Images: 3.2 Gpix 15 à 30 TB/nuit pendant 10 ans

20

21 Objectifs généraux Proposer une architecture distribuée capable de stocker 140 PB de données Pouvoir évaluer aussi bien des requêtes simples (quelques secondes de calculs) que des requêtes complexes (des jours de calculs) Possibilité à des objets en utilisant des indexes ou en procédant à un parcours (scan) complet des grosses tables (>> 1 PB)

22 Verrous Scientifiques Accès séquentiel: 166 minutes pour lire 1 TB de données * Accès parallèle: avec 100 disques moins de 2 minutes Table Taille #enregistrement s Object 109 TB 38 B 470 Moving Object 5 GB 6 M 100 Source 3.6 PB 5 T 125 Forced Source Difference Image Source CCD Exposure Requêtes très coûteuses Exemple: Une simple opération de tri sur tous les objets 10 Peta => 6 h et 27 min avec 8000 machines LSST sera équipé de seulement 150 machines 1.1 PB 32 T 7 71 TB 200 B TB 17 B 45 Liste complète des requêtes: Défis LSST : ½ million de requêtes par jour ~50 requêtes simples et ~20 requêtes complexes à quel moment * Web Data Management. Serge Abiteboul, Ioana Manolescu, Philippe Rigaux, Marie-Christine Rousset, Pierre Senellart #colonnes (arité) SELECT * FROM Object ORDER BY rgaussianflux DESC

23 Base de données 1 million characters 1 megabyte 1,000 megabytes 1 gegabyte 1,000 gegabytes 1 terabyte 1,000 terabytes 1 petabyte 1,000 petabytes 1 exabyte Table Taille #enregistrements #colonnes (arité) Object 109 TB 38 B 470 Moving Object 5 GB 6 M 100 Source 3.6 PB 5 T 125 Forced Source 1.1 PB 32 T 7 Difference Image Source 71 TB 200 B 65 CCD Exposure 0.6 TB 17 B 45

24 Gestion de données - verrous Méta données + catalogues + alertes: stockées dans 75 tables Axes de recherche Requêtes (http://dev.lsstcorp.org/trac/wiki/dbqueries): Analyse objet spécifique Analyse de tous les objets satisfaisant certains critères Dans une région Dans tout le ciel Analyse des objets proches objets Analyses qui nécessitent des groupements spécifiques Analyses de séries temporelles Croisements avec des catalogues externes Indexation (classique + sémantique [méta données]) Fragmentation Optimisation (pré-calculer, ordre ) Fouille de données distribuées

25 Axes de Recherche Stockage de données Row, column, tree Partitionnement et duplication Tenant compte de la typologie et de la fréquence des requêtes Tenant compte de la distribution des traitement (MapReduce) 3 attributs => 4 indexes [ABC, AC, BC, C] 25

26 Matériel: 1 machine dotée de 14Go de RAM, 2,5 To de capacité de 3 machines dotées de 4 Go de Ram, 380 Go de capacité de Jeu de données PT1.1: 2 tables avec un volume total de 90 Go Table Source: 85 Go Table Object: 5Go Jeu de requêtes: 10 requêtes SQL standards (sélection, projection, jointure, Group by, Order by, Count)

27 Performances Sans index Avec index HadoopDB HIVE HadoopDB HIVE postgresql Mysql SGBD-Co ,6 1362,17 0, ,19 0, , , ,49 0, ,752 40, , ,61 0, ,936 35, , ,31 0, , , ,642 28,17 39,1 43, , , ,58 38, (> ,7 ( > ,461 (> 27 8 heures) 1646 minutes) minutes) 1424, , ( > 6 heures) 1744, ,6 1744,752 0,005 0,46 0, (> , minutes)

28 Expérimentation ->Analyse->publication Expérimentation-> Organisation des données->analyse->publication La science utilise pour améliorer le processus de découverte permet des découvertes

29 Références Préservation des données NFS: escience Center (Edinburgh): escience Institute: Purdue University Discovery Park: Depuis 1975: VLDB (Very Large Data Bases)- Depuis 2007: XLDB (extremely Large Data Bases)- SciDB : (Open Source Data Management and Analytics Software for Scientific Research)-http://www.scidb.org/ Mastodons CNRS:

30 BIG DATA FAST (and BIG) DATA (cas de Twitter)! How fast is information chiffres de Mars 2013:

31 e siècle! Partie 2

Big Data et Graphes : Quelques pistes de recherche

Big Data et Graphes : Quelques pistes de recherche Big Data et Graphes : Quelques pistes de recherche Hamamache Kheddouci Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université

Plus en détail

Big Data et Graphes : Quelques pistes de recherche

Big Data et Graphes : Quelques pistes de recherche Big Data et Graphes : Quelques pistes de recherche Hamamache Kheddouci http://liris.cnrs.fr/hamamache.kheddouci Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de

Plus en détail

Masses de données. 1. Introduction 2. Problématiques 3. Socle de formation (non présenté) 4. Liens avec Formation INSA

Masses de données. 1. Introduction 2. Problématiques 3. Socle de formation (non présenté) 4. Liens avec Formation INSA Masses de données 1. Introduction 2. Problématiques 3. Socle de formation (non présenté) 4. Liens avec Formation INSA Rédacteurs : Mjo Huguet / N. Jozefowiez 1. Introduction : Besoins Informations et Aide

Plus en détail

Les données massives à Calcul Québec

Les données massives à Calcul Québec Les données massives à Calcul Québec Marc Parizeau, professeur et directeur scientifique de Calcul Québec Plan Calcul Québec / Calcul Canada Les outils et les services disponibles Un outil en particulier

Plus en détail

Ecole des Hautes Etudes Commerciales HEC Alger. par Amina GACEM. Module Informatique 1ière Année Master Sciences Commerciales

Ecole des Hautes Etudes Commerciales HEC Alger. par Amina GACEM. Module Informatique 1ière Année Master Sciences Commerciales Ecole des Hautes Etudes Commerciales HEC Alger Évolution des SGBDs par Amina GACEM Module Informatique 1ière Année Master Sciences Commerciales Evolution des SGBDs Pour toute remarque, question, commentaire

Plus en détail

AsaWoO : exemple d utilisation de ROS pour le Web des objets

AsaWoO : exemple d utilisation de ROS pour le Web des objets AsaWoO : exemple d utilisation de ROS pour le Web des objets Workshop ROS - INNOROBO 21/03/2013 Michaël Mrissa Lionel Médini Thibaud Houel Tanguy Raynaud-Gallonet Laboratoire d'informatique en Image et

Plus en détail

Entreprise et Big Data

Entreprise et Big Data Entreprise et Big Data Christophe Favart Chef Architecte, SAP Advanced Development, Business Information Technology Public Juin 2013 Agenda SAP Données d Entreprise Big Data en entreprise Solutions SAP

Plus en détail

4. Gestion des données urbaines dans les nuages informatiques

4. Gestion des données urbaines dans les nuages informatiques 4. Gestion des données urbaines dans les nuages informatiques Brève histoire des nuages informatiques Modèles de service et de déploiement Technologie clé : la virtualisation IaaS : les points de vue utilisateur

Plus en détail

Gestion de gros volumes de données

Gestion de gros volumes de données Gestion de gros volumes de données Cas des projets CEDAR et PetaSky Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université

Plus en détail

Pourquoi intégrer le Big Data à son organisa3on?

Pourquoi intégrer le Big Data à son organisa3on? Pourquoi intégrer le Big Data à son organisa3on? Yvan Robert, VP Affaires Stratégiques Emmanuel Faug, Resp. pra>que BI Colloque 2014 Big Data Agenda Qui sommes nous? L importance de l information Méthodes

Plus en détail

BdD Base de Données. Clément VERMOT-DESROCHES

BdD Base de Données. Clément VERMOT-DESROCHES BdD Base de Données Clément VERMOT-DESROCHES 17 novembre 2009 Table des matières 1 Présentation Générale 3 1.1 Présentation Générale............................. 3 1.1.1 Définition................................

Plus en détail

Base de données en mémoire

Base de données en mémoire Base de données en mémoire Plan Bases de données relationnelles OnLine Analytical Processing Difficultés de l OLAP Calculs en mémoire Optimisations 1 Base de données relationnelle Introduction Date Exemple

Plus en détail

france.ni.com Journée technique Du contrôle d instruments au banc de test

france.ni.com Journée technique Du contrôle d instruments au banc de test Journée technique Du contrôle d instruments au banc de test Quelles approches pour analyser vos données, Excel, LabVIEW, fichiers scripts, NI DIAdem National Instruments France Industries et applications

Plus en détail

Perspectives pour le stockage des données scientifiques. Jean-Yves Nief (CC-IN2P3)

Perspectives pour le stockage des données scientifiques. Jean-Yves Nief (CC-IN2P3) Perspectives pour le stockage des Jean-Yves Nief (CC-IN2P3) Vue d ensemble de la présentation! Etat des lieux pour le stockage des données.! Evolutions matérielles: Disque dur, SSD, bandes magnétiques.!

Plus en détail

Comment valoriser votre patrimoine de données?

Comment valoriser votre patrimoine de données? BIG DATA POUR QUELS USAGES? Comment valoriser votre patrimoine de données? HIGH PERFORMANCE HIGH ANALYTICS PERFORMANCE ANALYTICS MOULOUD DEY SAS FRANCE 15/11/2012 L ENTREPRISE SAS EN QUELQUES CHIFFRES

Plus en détail

Utilisation du Cloud StratusLab dans le cadre d application astroparticule à l APC

Utilisation du Cloud StratusLab dans le cadre d application astroparticule à l APC dans le cadre d application astroparticule à l Cécile Cavet & Michèle Detournay s Centre François Arago (FACe), Laboratoire, Université Paris Diderot LabEx UnivEarthS 28 Mai 2013 Plan 1 2 3 4 s s s Origine

Plus en détail

Groupe de Discussion Big Data Aperçu des technologies et applications. Stéphane MOUTON stephane.mouton@cetic.be

Groupe de Discussion Big Data Aperçu des technologies et applications. Stéphane MOUTON stephane.mouton@cetic.be Groupe de Discussion Big Data Aperçu des technologies et applications Stéphane MOUTON stephane.mouton@cetic.be Recherche appliquée et transfert technologique q Agréé «Centre Collectif de Recherche» par

Plus en détail

Retour d expérience d utilisation d un cloud en Astrophysique BOSS. Cécile Cavet, Nicolás Busca, Michèle Detournay.

Retour d expérience d utilisation d un cloud en Astrophysique BOSS. Cécile Cavet, Nicolás Busca, Michèle Detournay. au Retour d expérience d utilisation d un Cloud en Astrophysique : le projet Cécile Cavet, Nicolás Busca, Michèle Detournay Centre François Arago (FACe), Laboratoire APC, Université Paris Diderot 27 Novembre

Plus en détail

Magasins et entrepôts de données (Datamart, data warehouse) Approche relationnelle pour l'analyse des données en ligne (ROLAP)

Magasins et entrepôts de données (Datamart, data warehouse) Approche relationnelle pour l'analyse des données en ligne (ROLAP) Magasins et entrepôts de données (Datamart, data warehouse) Approche relationnelle pour l'analyse des données en ligne (ROLAP) Définition (G. Gardarin) Entrepôt : ensemble de données historisées variant

Plus en détail

Les enjeux du Big Data Innovation et opportunités de l'internet industriel. Datasio 2013

Les enjeux du Big Data Innovation et opportunités de l'internet industriel. Datasio 2013 Les enjeux du Big Data Innovation et opportunités de l'internet industriel François Royer froyer@datasio.com Accompagnement des entreprises dans leurs stratégies quantitatives Valorisation de patrimoine

Plus en détail

Présentation de la gamme des PGI/ERP modulaires Wavesoft

Présentation de la gamme des PGI/ERP modulaires Wavesoft Solutions ouvertes pour esprits ouverts Présentation de la gamme des PGI/ERP modulaires Wavesoft Sommaire WaveSoft en quelques chiffres Positionnement des Éditions (Gammes) Standard Professionnelle Entreprise

Plus en détail

VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr

VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr Avril 2014 Virtualscale 1 Sommaire Les enjeux du Big Data et d Hadoop Quels enjeux

Plus en détail

IBM Software Big Data. Plateforme IBM Big Data

IBM Software Big Data. Plateforme IBM Big Data IBM Software Big Data 2 Points clés Aide les utilisateurs à explorer de grands volumes de données complexes Permet de rationaliser le processus de développement d'applications impliquant de grands volumes

Plus en détail

Hébergement MMI SEMESTRE 4

Hébergement MMI SEMESTRE 4 Hébergement MMI SEMESTRE 4 24/03/2015 Hébergement pour le Web Serveurs Mutualités Serveurs Dédiés Serveurs VPS Auto-Hébergement Cloud Serveurs Mutualités Chaque Serveur héberge plusieurs sites Les ressources

Plus en détail

Module BDR Master d Informatique (SAR) Cours 5- bases de données parallèles Anne Doucet Anne.Doucet@lip6.fr

Module BDR Master d Informatique (SAR) Cours 5- bases de données parallèles Anne Doucet Anne.Doucet@lip6.fr Module BDR Master d Informatique (SAR) Cours 5- bases de données parallèles Anne Doucet Anne.Doucet@lip6.fr 1 Plan Introduction Architectures Placement des données Parallélisme dans les requêtes Optimisation

Plus en détail

Exadata Storage Server et DB Machine V2

<Insert Picture Here> Exadata Storage Server et DB Machine V2 Exadata Storage Server et DB Machine V2 Croissance de la Volumétrie des Données Volumes multipliés par 3 tous les 2 ans Evolution des volumes de données 1000 Terabytes (Données) 800

Plus en détail

Solutions de Digital Asset Management. Photothèque de grande capacité. Gestion de flux de travail

Solutions de Digital Asset Management. Photothèque de grande capacité. Gestion de flux de travail Solutions de Digital Asset Management Photothèque de grande capacité Gestion de flux de travail Prérequis FotoStation : FotoStation Mac : Max OS X 10.7, 10.8, 10.9 ou 10.10 (Lion à Yosemite) Processeur

Plus en détail

Bases de données relationnelles : Introduction

Bases de données relationnelles : Introduction Bases de données relationnelles : Introduction historique et principes V. Benzaken Département d informatique LRI UMR 8623 CNRS Université Paris Sud veronique.benzaken@u-psud.fr https://www.lri.fr/ benzaken/

Plus en détail

Bases de données réparties

Bases de données réparties Bases de données réparties J. Akoka - I. Wattiau 1 Contexte Technologique : des solutions de communication efficace entre les machines des SGBD assurent la transparence des données réparties standardisation

Plus en détail

NoSQL. Introduction 1/23. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur)

NoSQL. Introduction 1/23. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur) 1/23 2/23 Anne-Cécile Caron Master MIAGE - BDA 1er trimestre 2013-2014 I : Not Only SQL, ce n est pas du relationnel, et le contexte d utilisation n est donc pas celui des SGBDR. I Origine : recherche

Plus en détail

BASES DE DONNÉES AVANCÉES

BASES DE DONNÉES AVANCÉES L3 Informatique Option : ISIL BASES DE DONNÉES AVANCÉES RAMDANI MED U-BOUIRA M. R A M D A N I @ U N I V - B O U I R A. D Z P E R S O. L I V E H O S T. F R Cours 5 : Evaluation et optimisation des requêtes

Plus en détail

Chapitre 1 Installer MySQL 5 21

Chapitre 1 Installer MySQL 5 21 Chapitre 1 Installer MySQL 5 21 1.1. Les outils nécessaires... 22 1.2. Télécharger et installer le serveur MySQL... 22 Télécharger la dernière version... 22 Lancer l installation sous Windows... 23 Lancer

Plus en détail

Architecture Constellio

Architecture Constellio Architecture Constellio Date : 12 novembre 2013 Version 3.0 Contact : Nicolas Bélisle nicolas.belisle@doculibre.com 5146555185 1 Table des matières Table des matières... 2 Présentation générale... 4 Couche

Plus en détail

Big Data et la santé

Big Data et la santé Big Data, c'est quoi? Big Data et la santé Collecte, stockage et exploitation de masses de données Capter de façon automatique et anonyme une très grande quantité d'informations, les traiter avec des algorithmes

Plus en détail

REQUEA Sizing REQUEA DEIMENSIONNEMENT DU SERVEUR APPLICATIF REQUEA. REQUEA - Sizing des Serveurs d Applications REQUEA. Requea

REQUEA Sizing REQUEA DEIMENSIONNEMENT DU SERVEUR APPLICATIF REQUEA. REQUEA - Sizing des Serveurs d Applications REQUEA. Requea REQUEA - Sizing des Serveurs d Applications REQUEA REQUEA Requea 1 Bd Vivier Merle Tour Société Suisse Lyon, 693 REQUEA Sizing DEIMENSIONNEMENT DU SERVEUR APPLICATIF REQUEA T +33 ()4 72 11 44 87 F +33

Plus en détail

Le monitoring de flux réseaux à l'in2p3 avec EXTRA

Le monitoring de flux réseaux à l'in2p3 avec EXTRA Le monitoring de flux réseaux à l'in2p3 avec EXTRA Journée JoSy «Supervision systèmes et réseaux dans un laboratoire de recherche» 27 mars 2008, ENS Paris Denis Pugnère, CNRS / IN2P3 / IPNL basé sur une

Plus en détail

MASTODONS. Un défi CNRS sur les «Big Data» Mokrane Bouzeghoub. Séminaire DUs INSHS - 6/12/2012

MASTODONS. Un défi CNRS sur les «Big Data» Mokrane Bouzeghoub. Séminaire DUs INSHS - 6/12/2012 MASTODONS Un défi CNRS sur les «Big Data» Mokrane Bouzeghoub Séminaire DUs INSHS - 6/12/2012 1 Qu est qu une (très grande) masse de données? VLDB XLDB Massive Data Big Data Very Big Data Data Deluge Grandes

Plus en détail

Analyse de données à l'échelle du PetaOctet avec Qserv. Fabrice Jammes Expert en développement logiciel IN2P3/LSST Data-management team.

Analyse de données à l'échelle du PetaOctet avec Qserv. Fabrice Jammes Expert en développement logiciel IN2P3/LSST Data-management team. Analyse de données à l'échelle du PetaOctet avec Qserv Fabrice Jammes Expert en développement logiciel IN2P3/LSST Data-management team Avril 2015 ADASS XXIV CALGARY, CANADA OCTOBER, 2014 Name of Meeting

Plus en détail

Systèmes d informations nouvelles générations. Répartition, Parallèlisation, hétérogénéité dans les SGBD. Exemple d application d un futur proche

Systèmes d informations nouvelles générations. Répartition, Parallèlisation, hétérogénéité dans les SGBD. Exemple d application d un futur proche Répartition, Parallèlisation, hétérogénéité dans les SGBD AI Mouaddib Département Informatique Université de Caen Systèmes d informations nouvelles générations! Constat :! Utilisation de nouveaux support

Plus en détail

15 septembre 2010. Démo #2 MySQL Séquençage

15 septembre 2010. Démo #2 MySQL Séquençage 15 septembre 2010 Démo #2 MySQL Séquençage SQL et MySQL SQL: structured query language langage pour manipuler des données dans des bases de données relationnelles MySQL: Implantation de SQL Ajout à SQL

Plus en détail

Aider les exploitants à comprendre les résultats analytiques rapidement et facilement

Aider les exploitants à comprendre les résultats analytiques rapidement et facilement Juin 2013 Aider les exploitants à comprendre les résultats analytiques rapidement et facilement (page 1) De nouveaux outils pour offrir davantage d options afin de visualiser les résultats analytiques

Plus en détail

Système OLAP Fresqueau

Système OLAP Fresqueau Système OLAP Fresqueau Kamal BOULIL Journées 20 mars Strasbourg Réunion plénière -Fresqueau 07-08 octobre 2013 1 Plan 1. Introduction 1. Projet ANR Fresqueau 2. Systèmes OLAP 2. Système OLAP Fresqueau

Plus en détail

Bases de données Cours 2 : Architecture pour les bases de données

Bases de données Cours 2 : Architecture pour les bases de données Cours 2 : Architecture pour les bases de données ESIL Université de la méditerranée Odile.Papini@esil.univ-mrs.fr http://odile.papini.perso.esil.univmed.fr Plan du cours Architecture SPARC-ANSI 1 Architecture

Plus en détail

PostgreSQL, le cœur d un système critique

PostgreSQL, le cœur d un système critique PostgreSQL, le cœur d un système critique Jean-Christophe Arnu PostgreSQLFr Rencontres Mondiales du Logiciel Libre 2005 2005-07-06 Licence Creative Commons Paternité - Pas d utilisation commerciale - Partage

Plus en détail

Introduction & concepts Big Data Khamprasit LANPHOUTHACOUL, Responsable de Centre de Compétences OAB UFR IM²AG, St Martin d'hères le 22 octobre 2015

Introduction & concepts Big Data Khamprasit LANPHOUTHACOUL, Responsable de Centre de Compétences OAB UFR IM²AG, St Martin d'hères le 22 octobre 2015 Introduction & concepts Big Data Khamprasit LANPHOUTHACOUL, Responsable de Centre de Compétences OAB UFR IM²AG, St Martin d'hères le 22 octobre 2015 Et à propos des objectifs de cette présentation? 2 Big

Plus en détail

DATA ANALYST UTILISER PIG, HIVE ET IMPALA AVEC HADOOP DE CLOUDERA

DATA ANALYST UTILISER PIG, HIVE ET IMPALA AVEC HADOOP DE CLOUDERA SI 2.0 DATA ANALYST UTILISER PIG, HIVE ET IMPALA AVEC HADOOP DE CLOUDERA REF : SICL001 DUREE : 4 JOURS TARIF : 2 695 HT Public Analystes de données, business analysts, développeurs et administrateurs.

Plus en détail

Présentation du module Base de données spatio-temporelles

Présentation du module Base de données spatio-temporelles Présentation du module Base de données spatio-temporelles S. Lèbre slebre@unistra.fr Université de Strasbourg, département d informatique. Partie 1 : Notion de bases de données (12,5h ) Enjeux et principes

Plus en détail

QUICK GUIDE #1. Guide du pilotage par la performance pour les distributeurs automobiles

QUICK GUIDE #1. Guide du pilotage par la performance pour les distributeurs automobiles QUICK GUIDE #1 Guide du pilotage par la performance pour les distributeurs automobiles INTRODUCTION Vous managez des concessions automobiles et c est une responsabilité qui demande un contrôle quotidien

Plus en détail

BI Haute performance. Jean-François Vannier Responsable Infrastructures Décisionnelles, Bull

BI Haute performance. Jean-François Vannier Responsable Infrastructures Décisionnelles, Bull BI Haute performance Jean-François Vannier Responsable Infrastructures Décisionnelles, Bull Bull aujourd'hui - La seule expertise 100% européenne des infrastructures et des applications critiques - Une

Plus en détail

Exploiter les statistiques d utilisation de SQL Server 2008 R2 Reporting Services

Exploiter les statistiques d utilisation de SQL Server 2008 R2 Reporting Services Exploiter les statistiques d utilisation de SQL Server 2008 R2 Reporting Services Nous verrons dans cet article comment exploiter simplement les données de Log de SQL Server 2008 R2 Reporting Services

Plus en détail

Enjeux mathématiques et Statistiques du Big Data

Enjeux mathématiques et Statistiques du Big Data Enjeux mathématiques et Statistiques du Big Data Mathilde Mougeot LPMA/Université Paris Diderot, mathilde.mougeot@univ-paris-diderot.fr Mathématique en Mouvements, Paris, IHP, 6 Juin 2015 M. Mougeot (Paris

Plus en détail

BUSINESS INTELLIGENCE. Une vision cockpit : utilité et apport pour l'entreprise

BUSINESS INTELLIGENCE. Une vision cockpit : utilité et apport pour l'entreprise BUSINESS INTELLIGENCE Une vision cockpit : utilité et apport pour l'entreprise 1 Présentation PIERRE-YVES BONVIN, SOLVAXIS BERNARD BOIL, RESP. SI, GROUPE OROLUX 2 AGENDA Définitions Positionnement de la

Plus en détail

Formation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop

Formation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop Passez au niveau supérieur en termes de connaissance grâce à la formation Data Analyst de Cloudera. Public Durée Objectifs Analystes de données, business analysts, développeurs et administrateurs qui ont

Plus en détail

Les défis statistiques du Big Data

Les défis statistiques du Big Data Les défis statistiques du Big Data Anne-Sophie Charest Professeure adjointe au département de mathématiques et statistique, Université Laval 29 avril 2014 Colloque ITIS - Big Data et Open Data au cœur

Plus en détail

Thomas Loubrieu (Ifremer) Small to Big Data. http://wwz.ifremer.fr/bigdata. 26 Novembre 2013, Ifremer, Brest

Thomas Loubrieu (Ifremer) Small to Big Data. http://wwz.ifremer.fr/bigdata. 26 Novembre 2013, Ifremer, Brest Thomas Loubrieu (Ifremer) Small to Big Data 26 Novembre 2013, Ifremer, Brest http://wwz.ifremer.fr/bigdata Small to Big data IFREMER/IDM/ISI T. Loubrieu Résumé A partir d'expériences en gestion de données

Plus en détail

AAA/SWITCH e-infrastructure for e-science

AAA/SWITCH e-infrastructure for e-science AAA/SWITCH e-infrastructure for e-science 1. Situation de départ: SWITCH a réalisé avec ses partenaires l infrastructure d authentification et d autorisation (SWITCHaai), qui permet aux étudiants et collaborateurs

Plus en détail

Libérez votre intuition

Libérez votre intuition Présentation de Qlik Sense Libérez votre intuition Qlik Sense est une application nouvelle génération de visualisation de données en libre-service qui permet à chacun de créer facilement des visualisations

Plus en détail

WD et le logo WD sont des marques déposées de Western Digital Technologies, Inc, aux États-Unis et dans d'autres pays ; absolutely WD Re, WD Se, WD

WD et le logo WD sont des marques déposées de Western Digital Technologies, Inc, aux États-Unis et dans d'autres pays ; absolutely WD Re, WD Se, WD WD et le logo WD sont des marques déposées de Western Digital Technologies, Inc, aux États-Unis et dans d'autres pays ; absolutely WD Re, WD Se, WD Xe, RAFF et StableTrac sont des marques de Western Digital

Plus en détail

Business Intelligence avec Excel, Power BI et Office 365

Business Intelligence avec Excel, Power BI et Office 365 Avant-propos A. À qui s adresse ce livre? 9 1. Pourquoi à chaque manager? 9 2. Pourquoi à tout informaticien impliqué dans des projets «BI» 9 B. Obtention des données sources 10 C. Objectif du livre 10

Plus en détail

Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales

Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales Retour d expérience en Astrophysique : utilisation du Cloud IaaS pour le traitement de données des missions spatiales Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe), Laboratoire

Plus en détail

Votre Infrastructure est-elle? La gestion de contenus d entreprise. mieux structurée et connectée

Votre Infrastructure est-elle? La gestion de contenus d entreprise. mieux structurée et connectée Votre Infrastructure est-elle? La gestion de contenus d entreprise mieux structurée et connectée Tous les contenus d entreprise à portée de main Aujourd hui, au sein de toutes les organisations, l information

Plus en détail

Utiliser Access ou Excel pour gérer vos données

Utiliser Access ou Excel pour gérer vos données Page 1 of 5 Microsoft Office Access Utiliser Access ou Excel pour gérer vos données S'applique à : Microsoft Office Access 2007 Masquer tout Les programmes de feuilles de calcul automatisées, tels que

Plus en détail

parée e avec C. Germain, B. Kegl et M. Jouvin CS de l Université Paris Sud

parée e avec C. Germain, B. Kegl et M. Jouvin CS de l Université Paris Sud Présentation prépar parée e avec C. Germain, B. Kegl et M. Jouvin CS de l Université Paris Sud (pré)histoire de la Grille Paris Sudn1 Les besoins de la communauté HEP La collaboration physiciens/informaticiens

Plus en détail

4. Utilisation d un SGBD : le langage SQL. 5. Normalisation

4. Utilisation d un SGBD : le langage SQL. 5. Normalisation Base de données S. Lèbre slebre@unistra.fr Université de Strasbourg, département d informatique. Présentation du module Contenu général Notion de bases de données Fondements / Conception Utilisation :

Plus en détail

Optimisation de requêtes. I3009 Licence d informatique 2015/2016. Traitement des requêtes

Optimisation de requêtes. I3009 Licence d informatique 2015/2016. Traitement des requêtes Optimisation de requêtes I3009 Licence d informatique 2015/2016 Cours 5 - Optimisation de requêtes Stéphane.Gançarski Stephane.Gancarski@lip6.fr Traitement et exécution de requêtes Implémentation des opérateurs

Plus en détail

Systèmes de Fichiers

Systèmes de Fichiers Systèmes de Fichiers Hachage et Arbres B Serge Abiteboul INRIA February 28, 2008 Serge Abiteboul (INRIA) Systèmes de Fichiers February 28, 2008 1 / 26 Systèmes de fichiers et SGBD Introduction Hiérarchie

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Cloud et scalabilité Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire

Plus en détail

HADOOP ET SON ÉCOSYSTÈME

HADOOP ET SON ÉCOSYSTÈME HADOOP ET SON ÉCOSYSTÈME Mars 2013 2012 Affini-Tech - Diffusion restreinte 1 AFFINI-TECH Méthodes projets Outils de reporting & Data-visualisation Business & Analyses BigData Modélisation Hadoop Technos

Plus en détail

Installation de la SDSS DR9 sur un serveur Linux avec MariaDB (LPC)

Installation de la SDSS DR9 sur un serveur Linux avec MariaDB (LPC) Installation de la SDSS DR9 sur un serveur Linux avec MariaDB (LPC) LSST France 7 8/12/2015 (Session Computing 7/12/2015) Bogdan Vulpescu Laboratoire de Physique Corpusculaire Clermont Ferrand Le serveur

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2014) Marc Parizeau, Département de génie électrique et de génie informatique Plan Mégadonnées («big data») Architecture Hadoop distribution

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Introduction du cours Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire

Plus en détail

Pentaho Business Analytics Intégrer > Explorer > Prévoir

Pentaho Business Analytics Intégrer > Explorer > Prévoir Pentaho Business Analytics Intégrer > Explorer > Prévoir Pentaho lie étroitement intégration de données et analytique. En effet, les services informatiques et les utilisateurs métiers peuvent accéder aux

Plus en détail

Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web

Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web Responsable du stage : Nabil Belcaid Le Guyader Chef de projet : Ali Belcaid Déroulement du stage

Plus en détail

Nouveautés Ignition v7.7

Nouveautés Ignition v7.7 ... Nouveautés Ignition v7.7 Nouveautés Ignition v7.7 Découvrez le Nouveau Scada avec plus de 40 nouveautés Principales nouveautés :... Cloud Templates Template Repeater Client Multilingue + Sequential

Plus en détail

De nouvelles plateformes technologiques pour les CLOM.

De nouvelles plateformes technologiques pour les CLOM. De nouvelles plateformes technologiques pour les CLOM. Pourquoi? Comment? Claude Coulombe consultant - doctorant TÉLUQ Plusieurs initiatives et technologies Critère 1 - Pour quoi faire? Simple vitrine

Plus en détail

Module MLBDA Master Informatique Spécialité DAC. Cours 10 NoSQL

Module MLBDA Master Informatique Spécialité DAC. Cours 10 NoSQL Module MLBDA Master Informatique Spécialité DAC Cours 10 NoSQL Systèmes NoSQL (not only SQL) Systèmes qui abandonnent certaines propriétés des SGBDR (one size does not fit all): Le langage d interrogation

Plus en détail

Présentation des. MicroStrategy 10.

Présentation des. MicroStrategy 10. Présentation des nouveautés de MicroStrategy 10. microstrategy.com/analytics 1 M MicroStrategy 10. Une véritable révolution. MicroStrategy 10 représente une étape majeure dans l évolution de la suite MicroStrategy

Plus en détail

//////////////////////////////////////////////////////////////////// Administration bases de données

//////////////////////////////////////////////////////////////////// Administration bases de données ////////////////////// Administration bases de données / INTRODUCTION Système d informations Un système d'information (SI) est un ensemble organisé de ressources (matériels, logiciels, personnel, données

Plus en détail

Cahier des évolutions. Version 2015 R1

Cahier des évolutions. Version 2015 R1 Cahier des évolutions Page 2 sur 18 Processus de validation Rédigé par Validé par Approuvé par MOLIERE Corinne LE FEVRE Bertrand MOLIERE Corinne 15/07/2014 2015-07-02 2015-07-02 Page 3 sur 18 Sommaire

Plus en détail

Les technologies documentaires adhoc intégrées au sein des services SharePoint pour Windows.

Les technologies documentaires adhoc intégrées au sein des services SharePoint pour Windows. Les technologies documentaires adhoc intégrées au sein des services SharePoint pour Windows. Les services «Microsoft SharePoint» offrent aux utilisateurs Windows un ensemble de fonctions de stockage de

Plus en détail

Logiciel d analyse du monde des objets connectés intelligents

Logiciel d analyse du monde des objets connectés intelligents Logiciel d analyse du monde des objets connectés intelligents Le défi : Transformer les données en intelligence décisionnelle Le logiciel SkySpark analyse automatiquement les données issues des équipements

Plus en détail

La rencontre du Big Data et du Cloud

La rencontre du Big Data et du Cloud La rencontre du Big Data et du Cloud Libérez le potentiel de toutes vos données Visualisez et exploitez plus rapidement les données de tous types, quelle que soit leur taille et indépendamment de leur

Plus en détail

Petit traité de performances à l usage de tous

Petit traité de performances à l usage de tous Petit traité de performances à l usage de tous Drupal Petit traité de performances à l usage de tous Intégrateur, architecte, développeur, tous concernés Pierre Rineau Makina Corpus pierre.rineau@makina-corpus.com

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution

Plus en détail

SharePoint Server 2013 Déploiement et administration de la plate-forme

SharePoint Server 2013 Déploiement et administration de la plate-forme Présentation des technologies SharePoint 1. Historique des technologies SharePoint 13 1.1 SharePoint Team Services v1 14 1.2 SharePoint Portal Server 2001 14 1.3 Windows SharePoint Services v2 et Office

Plus en détail

FAITES DE LA DONNÉE LE MOTEUR DE VOTRE BUSINESS. Alexandre Vasseur Responsable Avant-Vente Europe du Sud Pivotal, EMC

FAITES DE LA DONNÉE LE MOTEUR DE VOTRE BUSINESS. Alexandre Vasseur Responsable Avant-Vente Europe du Sud Pivotal, EMC FAITES DE LA DONNÉE LE MOTEUR DE VOTRE BUSINESS Alexandre Vasseur Responsable Avant-Vente Europe du Sud Pivotal, EMC 1 Big Data = Volume, Variété, Vélocité et Valorisation Internet des objets Informations

Plus en détail

BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ

BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ Laboratoire LaTICE Univ. de Tunis INRIA LYON Avalon Team Laboratoire d Informatique de Paris Nord (LIPN) BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ Heithem Abbes Heithem Abbes Rencontres

Plus en détail

Organiser vos données - Big Data. Patrick Millart Senior Sales Consultant

Organiser vos données - Big Data. Patrick Millart Senior Sales Consultant Organiser vos données - Big Data Patrick Millart Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be

Plus en détail

Les solutions SAS pour les Petites et Moyennes Entreprises

Les solutions SAS pour les Petites et Moyennes Entreprises BROCHURE SOLUTION Les solutions SAS pour les Petites et Moyennes Entreprises Sur un marché aussi compétitif que celui des Petites et Moyennes Entreprises, le temps et l efficacité sont deux valeurs prioritaires

Plus en détail

La dernière base de données de Teradata franchit le cap du big data grâce à sa technologie avancée

La dernière base de données de Teradata franchit le cap du big data grâce à sa technologie avancée Communiqué de presse Charles-Yves Baudet Twitter: Les clients de Teradata Teradata Corporation peuvent dan.conway@teradata.com tirer parti de plusieurs + 33 1 64 86 76 14 + 33 (0) 1 55 21 01 48/49 systèmes,

Plus en détail

LE BIG DATA. TRANSFORME LE BUSINESS Solution EMC Big Data

LE BIG DATA. TRANSFORME LE BUSINESS Solution EMC Big Data LE BIG DATA Solution EMC Big Data TRANSITION VERS LE BIG DATA En tirant profit du Big Data pour améliorer leur stratégie et son exécution, les entreprises se démarquent de la concurrence. La solution EMC

Plus en détail

Objectifs. Maîtriser. Pratiquer

Objectifs. Maîtriser. Pratiquer 1 Bases de Données Objectifs Maîtriser les concepts d un SGBD relationnel Les modèles de représentations de données Les modèles de représentations de données La conception d une base de données Pratiquer

Plus en détail

Programmation parallèle et distribuée (Master 1 Info 2015-2016)

Programmation parallèle et distribuée (Master 1 Info 2015-2016) Programmation parallèle et distribuée (Master 1 Info 2015-2016) Hadoop MapReduce et HDFS Note bibliographique : ce cours est largement inspiré par le cours de Benjamin Renaut (Tokidev SAS) Introduction

Plus en détail

Information utiles. cinzia.digiusto@gmail.com. webpage : Google+ : http://www.ibisc.univ-evry.fr/ digiusto/

Information utiles. cinzia.digiusto@gmail.com. webpage : Google+ : http://www.ibisc.univ-evry.fr/ digiusto/ Systèmes de gestion de bases de données Introduction Université d Evry Val d Essonne, IBISC utiles email : cinzia.digiusto@gmail.com webpage : http://www.ibisc.univ-evry.fr/ digiusto/ Google+ : https://plus.google.com/u/0/b/103572780965897723237/

Plus en détail

Marché Public en procédure adaptée : Infrastructure Informatique régionale hébergée CAHIER DES CHARGES ET DES CLAUSES TECHNIQUES

Marché Public en procédure adaptée : Infrastructure Informatique régionale hébergée CAHIER DES CHARGES ET DES CLAUSES TECHNIQUES GROUPEMENT DE COMMANDES CA54, CA55, CA57, CA88, CRAL Marché Public en procédure adaptée : Infrastructure Informatique régionale hébergée CAHIER DES CHARGES ET DES CLAUSES TECHNIQUES Etabli en application

Plus en détail

TP2_1 DE BUSINESS INTELLIGENCE ISIMA ZZ3 F3

TP2_1 DE BUSINESS INTELLIGENCE ISIMA ZZ3 F3 TP2_1 DE BUSINESS INTELLIGENCE ISIMA ZZ3 F3 03/11/2014 Plan du TP 2 Présentation de la suite Microsoft BI Ateliers sur SSIS (2H) Ateliers sur RS (2H) 3 Présentation de la suite Microsoft BI Présentation

Plus en détail

Applications Mobiles et Internet des Objets Programme du module

Applications Mobiles et Internet des Objets Programme du module Applications Mobiles et Internet des Objets Programme du module Thibault CHOLEZ - thibault.cholez@loria.fr TELECOM Nancy - Université de Lorraine LORIA - INRIA Nancy Grand-Est CC BY-NC-SA 3.0 05/01/2015

Plus en détail

Dossier I Découverte de Base d Open Office

Dossier I Découverte de Base d Open Office ETUDE D UN SYSTEME DE GESTION DE BASE DE DONNEES RELATIONNELLES Définition : Un SGBD est un logiciel de gestion des données fournissant des méthodes d accès aux informations. Un SGBDR permet de décrire

Plus en détail

Formation BusinessObjects v.6.5. Contenu des Formations

Formation BusinessObjects v.6.5. Contenu des Formations Formation BusinessObjects v.6.5 des Formations TABLE DES MATIERES I. UTILISATEUR BO V.6.5 NIVEAU 1 & 2... 3 DESCRIPTION... 3 PREALABLE... 3 CONTENU... 3 II. INFOVIEW & WEBINTELLIGENCE V.6.5... 4 DESCRIPTION...

Plus en détail

Le cloud computing c est pour moi?

Le cloud computing c est pour moi? Le cloud computing c est pour moi? Hackfest 2011 OPTIMIZED 4 novembre 2011 - Version 1.0 Mario Lapointe ing. MBA CISA CGEIT mario.lapointe@metastrategie.com Votre conférencier Mario Lapointe ing. MBA CISA

Plus en détail