BIG DATA en Sciences et Industries de l Environnement

Dimension: px
Commencer à balayer dès la page:

Download "BIG DATA en Sciences et Industries de l Environnement"

Transcription

1 BIG DATA en Sciences et Industries de l Environnement François Royer 21 mars 2012 FR Big Data Congress, Paris /23

2 Transport terrestre Traçabilité Océanographie Transport aérien Télémétrie - Argos Imagerie satellite FR Big Data Congress, Paris /23

3 Points clés Vers une Science ultra-empirique? Big Data pour la Recherche et l Industrie : mode d emploi Hadoop et les données géographiques et temporelles FR Big Data Congress, Paris /23

4 Points clés Vers une Science ultra-empirique? Big Data pour la Recherche et l Industrie : mode d emploi Hadoop et les données géographiques et temporelles FR Big Data Congress, Paris /23

5 L ère du Data Scientist L accumulation exponentielle de données transforme la démarche d analyse 1960 E. Wigner, The Unreasonable Effectiveness of Mathematics in the Natural Sciences, Comm. Pure and Applied Mathematics, vol. 13, no. 1, pp A. Halevy, P. Norvig, F. Pereira, The Unreasonable Effectiveness of Data, IEEE Intelligent Systems, vol. 24, no. 2, pp FR Big Data Congress, Paris /23

6 L ère du Data Scientist L accumulation exponentielle de données transforme la démarche d analyse 1960 E. Wigner, The Unreasonable Effectiveness of Mathematics in the Natural Sciences, Comm. Pure and Applied Mathematics, vol. 13, no. 1, pp A. Halevy, P. Norvig, F. Pereira, The Unreasonable Effectiveness of Data, IEEE Intelligent Systems, vol. 24, no. 2, pp FR Big Data Congress, Paris /23

7 All models are wrong, but some are useful. George Box FR Big Data Congress, Paris /23

8 Data Scientist = nouveau métier? Ce qui ne change pas Le besoin en compétences statistiques (Bayésiennes, fréquentistes etc...) La démarche de questionnement et de critique Les protocoles de collecte de données Ce qui change Le stockage et le traitement de données L interaction entre modélisateurs, ingénieurs systèmes et bases de données et... le client FR Big Data Congress, Paris /23

9 Data Scientist = nouveau métier? Ce qui ne change pas Le besoin en compétences statistiques (Bayésiennes, fréquentistes etc...) La démarche de questionnement et de critique Les protocoles de collecte de données Ce qui change Le stockage et le traitement de données L interaction entre modélisateurs, ingénieurs systèmes et bases de données et... le client FR Big Data Congress, Paris /23

10 Data Scientist = nouveau métier? Ce qui ne change pas Le besoin en compétences statistiques (Bayésiennes, fréquentistes etc...) La démarche de questionnement et de critique Les protocoles de collecte de données Ce qui change Le stockage et le traitement de données L interaction entre modélisateurs, ingénieurs systèmes et bases de données et... le client FR Big Data Congress, Paris /23

11 Data Scientist = nouveau métier? Ce qui ne change pas Le besoin en compétences statistiques (Bayésiennes, fréquentistes etc...) La démarche de questionnement et de critique Les protocoles de collecte de données Ce qui change Le stockage et le traitement de données L interaction entre modélisateurs, ingénieurs systèmes et bases de données et... le client FR Big Data Congress, Paris /23

12 Data Scientist = nouveau métier? Ce qui ne change pas Le besoin en compétences statistiques (Bayésiennes, fréquentistes etc...) La démarche de questionnement et de critique Les protocoles de collecte de données Ce qui change Le stockage et le traitement de données L interaction entre modélisateurs, ingénieurs systèmes et bases de données et... le client FR Big Data Congress, Paris /23

13 Data Scientist = nouveau métier? Ce qui ne change pas Le besoin en compétences statistiques (Bayésiennes, fréquentistes etc...) La démarche de questionnement et de critique Les protocoles de collecte de données Ce qui change Le stockage et le traitement de données L interaction entre modélisateurs, ingénieurs systèmes et bases de données et... le client FR Big Data Congress, Paris /23

14 Data Scientist = nouveau métier? Ce qui ne change pas Le besoin en compétences statistiques (Bayésiennes, fréquentistes etc...) La démarche de questionnement et de critique Les protocoles de collecte de données Ce qui change Le stockage et le traitement de données L interaction entre modélisateurs, ingénieurs systèmes et bases de données et... le client FR Big Data Congress, Paris /23

15 Points clés Vers une Science ultra-empirique? Big Data pour la Recherche et l Industrie : mode d emploi Hadoop et les données géographiques et temporelles FR Big Data Congress, Paris /23

16 Définition Big Data = gros volume (> 10 TB) Imagerie satellite 1-10 GB/jour Systèmes géolocalisés (véhicules, personnes) 100 MB/jour Modèles météo 100 GB/jour Simulateurs (traffic routier etc...) 100 GB/run Big Data + Big Process Données pré-traitées (GPS) Coût d analyse - Aggrégation, contextualisation Coût d analyse + Appels BD Coût d analyse +++ Calculs en cascade Coût d analyse +++ FR Big Data Congress, Paris /23

17 Définition Big Data = gros volume (> 10 TB) Imagerie satellite 1-10 GB/jour Systèmes géolocalisés (véhicules, personnes) 100 MB/jour Modèles météo 100 GB/jour Simulateurs (traffic routier etc...) 100 GB/run Big Data + Big Process Données pré-traitées (GPS) Coût d analyse - Aggrégation, contextualisation Coût d analyse + Appels BD Coût d analyse +++ Calculs en cascade Coût d analyse +++ FR Big Data Congress, Paris /23

18 Définition Big Data = gros volume (> 10 TB) Imagerie satellite 1-10 GB/jour Systèmes géolocalisés (véhicules, personnes) 100 MB/jour Modèles météo 100 GB/jour Simulateurs (traffic routier etc...) 100 GB/run Big Data + Big Process Données pré-traitées (GPS) Coût d analyse - Aggrégation, contextualisation Coût d analyse + Appels BD Coût d analyse +++ Calculs en cascade Coût d analyse +++ FR Big Data Congress, Paris /23

19 Définition Big Data = gros volume (> 10 TB) Imagerie satellite 1-10 GB/jour Systèmes géolocalisés (véhicules, personnes) 100 MB/jour Modèles météo 100 GB/jour Simulateurs (traffic routier etc...) 100 GB/run Big Data + Big Process Données pré-traitées (GPS) Coût d analyse - Aggrégation, contextualisation Coût d analyse + Appels BD Coût d analyse +++ Calculs en cascade Coût d analyse +++ FR Big Data Congress, Paris /23

20 Définition Big Data = gros volume (> 10 TB) Imagerie satellite 1-10 GB/jour Systèmes géolocalisés (véhicules, personnes) 100 MB/jour Modèles météo 100 GB/jour Simulateurs (traffic routier etc...) 100 GB/run Big Data + Big Process Données pré-traitées (GPS) Coût d analyse - Aggrégation, contextualisation Coût d analyse + Appels BD Coût d analyse +++ Calculs en cascade Coût d analyse +++ FR Big Data Congress, Paris /23

21 Définition Big Data = gros volume (> 10 TB) Imagerie satellite 1-10 GB/jour Systèmes géolocalisés (véhicules, personnes) 100 MB/jour Modèles météo 100 GB/jour Simulateurs (traffic routier etc...) 100 GB/run Big Data + Big Process Données pré-traitées (GPS) Coût d analyse - Aggrégation, contextualisation Coût d analyse + Appels BD Coût d analyse +++ Calculs en cascade Coût d analyse +++ FR Big Data Congress, Paris /23

22 Définition Big Data = gros volume (> 10 TB) Imagerie satellite 1-10 GB/jour Systèmes géolocalisés (véhicules, personnes) 100 MB/jour Modèles météo 100 GB/jour Simulateurs (traffic routier etc...) 100 GB/run Big Data + Big Process Données pré-traitées (GPS) Coût d analyse - Aggrégation, contextualisation Coût d analyse + Appels BD Coût d analyse +++ Calculs en cascade Coût d analyse +++ FR Big Data Congress, Paris /23

23 Définition Big Data = gros volume (> 10 TB) Imagerie satellite 1-10 GB/jour Systèmes géolocalisés (véhicules, personnes) 100 MB/jour Modèles météo 100 GB/jour Simulateurs (traffic routier etc...) 100 GB/run Big Data + Big Process Données pré-traitées (GPS) Coût d analyse - Aggrégation, contextualisation Coût d analyse + Appels BD Coût d analyse +++ Calculs en cascade Coût d analyse +++ FR Big Data Congress, Paris /23

24 Définition Big Data = gros volume (> 10 TB) Imagerie satellite 1-10 GB/jour Systèmes géolocalisés (véhicules, personnes) 100 MB/jour Modèles météo 100 GB/jour Simulateurs (traffic routier etc...) 100 GB/run Big Data + Big Process Données pré-traitées (GPS) Coût d analyse - Aggrégation, contextualisation Coût d analyse + Appels BD Coût d analyse +++ Calculs en cascade Coût d analyse +++ FR Big Data Congress, Paris /23

25 Définition Big Data = gros volume (> 10 TB) Imagerie satellite 1-10 GB/jour Systèmes géolocalisés (véhicules, personnes) 100 MB/jour Modèles météo 100 GB/jour Simulateurs (traffic routier etc...) 100 GB/run Big Data + Big Process Données pré-traitées (GPS) Coût d analyse - Aggrégation, contextualisation Coût d analyse + Appels BD Coût d analyse +++ Calculs en cascade Coût d analyse +++ FR Big Data Congress, Paris /23

26 Diagnostic Big Data Docteur, ais-je un problème Big Data? Oui, si : Vous avez un réseau d observation autonome (capteurs météo, RFID, GPS, balises Argos, smartphones, télémètres, instruments sur satellites...) Vos données dépendent d une communauté d utilisateurs ou d individus instrumentés (étude de la mobilité humaine, écologie terrestre et marine etc... ) Votre budget, programme de recherche ou business plan prévoit de mesurer d abord, traiter ensuite Ces systèmes de collecte produisent des flots de données plus vite que vous ne pouvez les traiter FR Big Data Congress, Paris /23

27 Diagnostic Big Data Docteur, ais-je un problème Big Data? Oui, si : Vous avez un réseau d observation autonome (capteurs météo, RFID, GPS, balises Argos, smartphones, télémètres, instruments sur satellites...) Vos données dépendent d une communauté d utilisateurs ou d individus instrumentés (étude de la mobilité humaine, écologie terrestre et marine etc... ) Votre budget, programme de recherche ou business plan prévoit de mesurer d abord, traiter ensuite Ces systèmes de collecte produisent des flots de données plus vite que vous ne pouvez les traiter FR Big Data Congress, Paris /23

28 Diagnostic Big Data Docteur, ais-je un problème Big Data? Oui, si : Vous avez un réseau d observation autonome (capteurs météo, RFID, GPS, balises Argos, smartphones, télémètres, instruments sur satellites...) Vos données dépendent d une communauté d utilisateurs ou d individus instrumentés (étude de la mobilité humaine, écologie terrestre et marine etc... ) Votre budget, programme de recherche ou business plan prévoit de mesurer d abord, traiter ensuite Ces systèmes de collecte produisent des flots de données plus vite que vous ne pouvez les traiter FR Big Data Congress, Paris /23

29 Diagnostic Big Data Docteur, ais-je un problème Big Data? Oui, si : Vous avez un réseau d observation autonome (capteurs météo, RFID, GPS, balises Argos, smartphones, télémètres, instruments sur satellites...) Vos données dépendent d une communauté d utilisateurs ou d individus instrumentés (étude de la mobilité humaine, écologie terrestre et marine etc... ) Votre budget, programme de recherche ou business plan prévoit de mesurer d abord, traiter ensuite Ces systèmes de collecte produisent des flots de données plus vite que vous ne pouvez les traiter FR Big Data Congress, Paris /23

30 Diagnostic Big Data Docteur, ais-je un problème Big Data? Oui, si : Vous avez un réseau d observation autonome (capteurs météo, RFID, GPS, balises Argos, smartphones, télémètres, instruments sur satellites...) Vos données dépendent d une communauté d utilisateurs ou d individus instrumentés (étude de la mobilité humaine, écologie terrestre et marine etc... ) Votre budget, programme de recherche ou business plan prévoit de mesurer d abord, traiter ensuite Ces systèmes de collecte produisent des flots de données plus vite que vous ne pouvez les traiter FR Big Data Congress, Paris /23

31 Diagnostic Big Data C est grave, Docteur? Tout ira bien, je vais vous prescrire du DevOps et des calculs distribués. FR Big Data Congress, Paris /23

32 Solutions Big Data FR Big Data Congress, Paris /23

33 Solutions Big Data Dev FR Big Data Congress, Paris /23

34 Solutions Big Data Opérations Dev FR Big Data Congress, Paris /23

35 Solutions Big Data Opérations QA Dev FR Big Data Congress, Paris /23

36 Solutions Big Data Opérations DevOps QA Dev FR Big Data Congress, Paris /23

37 Solutions Big Data Hier Noeuds de stockage périphériques Stockage sur plusieurs niveaux chaud / froid Supercalculateur au centre Data -> Code FR Big Data Congress, Paris /23

38 Solutions Big Data Hier Noeuds de stockage périphériques Stockage sur plusieurs niveaux chaud / froid Supercalculateur au centre Data -> Code FR Big Data Congress, Paris /23

39 Solutions Big Data Hier Noeuds de stockage périphériques Stockage sur plusieurs niveaux chaud / froid Supercalculateur au centre Data -> Code FR Big Data Congress, Paris /23

40 Solutions Big Data Hier Noeuds de stockage périphériques Stockage sur plusieurs niveaux chaud / froid Supercalculateur au centre Data -> Code FR Big Data Congress, Paris /23

41 Solutions Big Data Aujourd hui Noeuds de stockage sur même réseau GB Matériel milieu de gamme ( CPUs) Système de fichiers distribués (DFS) Gestion des jobs et données par des Master Nodes Code -> Data FR Big Data Congress, Paris /23

42 Solutions Big Data Aujourd hui Noeuds de stockage sur même réseau GB Matériel milieu de gamme ( CPUs) Système de fichiers distribués (DFS) Gestion des jobs et données par des Master Nodes Code -> Data FR Big Data Congress, Paris /23

43 Solutions Big Data Aujourd hui Noeuds de stockage sur même réseau GB Matériel milieu de gamme ( CPUs) Système de fichiers distribués (DFS) Gestion des jobs et données par des Master Nodes Code -> Data FR Big Data Congress, Paris /23

44 Solutions Big Data Aujourd hui Noeuds de stockage sur même réseau GB Matériel milieu de gamme ( CPUs) Système de fichiers distribués (DFS) Gestion des jobs et données par des Master Nodes Code -> Data FR Big Data Congress, Paris /23

45 Solutions Big Data Aujourd hui Noeuds de stockage sur même réseau GB Matériel milieu de gamme ( CPUs) Système de fichiers distribués (DFS) Gestion des jobs et données par des Master Nodes Code -> Data FR Big Data Congress, Paris /23

46 Solutions Big Data Aujourd hui Noeuds de stockage sur même réseau GB Matériel milieu de gamme ( CPUs) Système de fichiers distribués (DFS) Gestion des jobs et données par des Master Nodes Code -> Data FR Big Data Congress, Paris /23

47 Solutions Big Data Pourquoi Hadoop? Open source (fondation Apache, ouvert par Yahoo) Projet en maturation, communauté active Parallélisation de tâches et données robuste Standard de facto en analyse de données massives Bonne interopérabilité avec les data warehouse et BDs existantes (ETL, Hive, Sqoop) Offres commerciales (support, packaging, intégration: IBM, Cloudera, AWS...) FR Big Data Congress, Paris /23

48 Solutions Big Data Pourquoi Hadoop? Open source (fondation Apache, ouvert par Yahoo) Projet en maturation, communauté active Parallélisation de tâches et données robuste Standard de facto en analyse de données massives Bonne interopérabilité avec les data warehouse et BDs existantes (ETL, Hive, Sqoop) Offres commerciales (support, packaging, intégration: IBM, Cloudera, AWS...) FR Big Data Congress, Paris /23

49 Solutions Big Data Pourquoi Hadoop? Open source (fondation Apache, ouvert par Yahoo) Projet en maturation, communauté active Parallélisation de tâches et données robuste Standard de facto en analyse de données massives Bonne interopérabilité avec les data warehouse et BDs existantes (ETL, Hive, Sqoop) Offres commerciales (support, packaging, intégration: IBM, Cloudera, AWS...) FR Big Data Congress, Paris /23

50 Solutions Big Data Pourquoi Hadoop? Open source (fondation Apache, ouvert par Yahoo) Projet en maturation, communauté active Parallélisation de tâches et données robuste Standard de facto en analyse de données massives Bonne interopérabilité avec les data warehouse et BDs existantes (ETL, Hive, Sqoop) Offres commerciales (support, packaging, intégration: IBM, Cloudera, AWS...) FR Big Data Congress, Paris /23

51 Solutions Big Data Pourquoi Hadoop? Open source (fondation Apache, ouvert par Yahoo) Projet en maturation, communauté active Parallélisation de tâches et données robuste Standard de facto en analyse de données massives Bonne interopérabilité avec les data warehouse et BDs existantes (ETL, Hive, Sqoop) Offres commerciales (support, packaging, intégration: IBM, Cloudera, AWS...) FR Big Data Congress, Paris /23

52 Solutions Big Data Pourquoi Hadoop? Open source (fondation Apache, ouvert par Yahoo) Projet en maturation, communauté active Parallélisation de tâches et données robuste Standard de facto en analyse de données massives Bonne interopérabilité avec les data warehouse et BDs existantes (ETL, Hive, Sqoop) Offres commerciales (support, packaging, intégration: IBM, Cloudera, AWS...) FR Big Data Congress, Paris /23

53 Solutions Big Data Pourquoi Hadoop? Open source (fondation Apache, ouvert par Yahoo) Projet en maturation, communauté active Parallélisation de tâches et données robuste Standard de facto en analyse de données massives Bonne interopérabilité avec les data warehouse et BDs existantes (ETL, Hive, Sqoop) Offres commerciales (support, packaging, intégration: IBM, Cloudera, AWS...) FR Big Data Congress, Paris /23

54 Solutions Big Data Pourquoi Hadoop? Difficile à tuner pour des jobs complexes Encore confidentiel en France (cf. groupe Hadoop France sur LinkedIn) Difficile de formuler certains algorithmes sous forme map-reduce Embauche et formation de développeurs et analystes Autres alternatives disponibles (BSP, Storm, Disco...) FR Big Data Congress, Paris /23

55 Solutions Big Data Pourquoi Hadoop? Difficile à tuner pour des jobs complexes Encore confidentiel en France (cf. groupe Hadoop France sur LinkedIn) Difficile de formuler certains algorithmes sous forme map-reduce Embauche et formation de développeurs et analystes Autres alternatives disponibles (BSP, Storm, Disco...) FR Big Data Congress, Paris /23

56 Solutions Big Data Pourquoi Hadoop? Difficile à tuner pour des jobs complexes Encore confidentiel en France (cf. groupe Hadoop France sur LinkedIn) Difficile de formuler certains algorithmes sous forme map-reduce Embauche et formation de développeurs et analystes Autres alternatives disponibles (BSP, Storm, Disco...) FR Big Data Congress, Paris /23

57 Solutions Big Data Pourquoi Hadoop? Difficile à tuner pour des jobs complexes Encore confidentiel en France (cf. groupe Hadoop France sur LinkedIn) Difficile de formuler certains algorithmes sous forme map-reduce Embauche et formation de développeurs et analystes Autres alternatives disponibles (BSP, Storm, Disco...) FR Big Data Congress, Paris /23

58 Solutions Big Data Pourquoi Hadoop? Difficile à tuner pour des jobs complexes Encore confidentiel en France (cf. groupe Hadoop France sur LinkedIn) Difficile de formuler certains algorithmes sous forme map-reduce Embauche et formation de développeurs et analystes Autres alternatives disponibles (BSP, Storm, Disco...) FR Big Data Congress, Paris /23

59 Solutions Big Data Pourquoi Hadoop? Difficile à tuner pour des jobs complexes Encore confidentiel en France (cf. groupe Hadoop France sur LinkedIn) Difficile de formuler certains algorithmes sous forme map-reduce Embauche et formation de développeurs et analystes Autres alternatives disponibles (BSP, Storm, Disco...) FR Big Data Congress, Paris /23

60 Solutions Big Data FR Big Data Congress, Paris /23

61 Solutions Big Data HDFS FR Big Data Congress, Paris /23

62 Solutions Big Data Map Reduce HDFS FR Big Data Congress, Paris /23

63 Solutions Big Data Map Reduce HBase HDFS FR Big Data Congress, Paris /23

64 Solutions Big Data Hive Map Reduce HBase HDFS FR Big Data Congress, Paris /23

65 Solutions Big Data Hive Pig Map Reduce HBase HDFS FR Big Data Congress, Paris /23

66 Solutions Big Data Hive Pig Mahout Map Reduce HBase HDFS FR Big Data Congress, Paris /23

67 Solutions Big Data Hive Pig Mahout Map Reduce HDFS HBase Zookeeper FR Big Data Congress, Paris /23

68 Points clés Vers une Science ultra-empirique? Big Data pour la Recherche et l Industrie : mode d emploi Hadoop et les données géographiques et temporelles FR Big Data Congress, Paris /23

69 Hadoop-xyt ou Hadoop et les données géographiques et temporelles Besoin retraitement et fouille de données historiques (géographiques et séries temporelles) Accélérer la découverte d anomalies et l extraction de valeur ajoutée Problématique Données très structurées - solution compétitive? Données corrélées = pb du traitement indépendant? Données stockées en fichiers binaires - distribution? Algorithmes métier à réutiliser - interface Java? FR Big Data Congress, Paris /23

70 Hadoop-xyt ou Hadoop et les données géographiques et temporelles Besoin retraitement et fouille de données historiques (géographiques et séries temporelles) Accélérer la découverte d anomalies et l extraction de valeur ajoutée Problématique Données très structurées - solution compétitive? Données corrélées = pb du traitement indépendant? Données stockées en fichiers binaires - distribution? Algorithmes métier à réutiliser - interface Java? FR Big Data Congress, Paris /23

71 Hadoop-xyt ou Hadoop et les données géographiques et temporelles Besoin retraitement et fouille de données historiques (géographiques et séries temporelles) Accélérer la découverte d anomalies et l extraction de valeur ajoutée Problématique Données très structurées - solution compétitive? Données corrélées = pb du traitement indépendant? Données stockées en fichiers binaires - distribution? Algorithmes métier à réutiliser - interface Java? FR Big Data Congress, Paris /23

72 Hadoop-xyt ou Hadoop et les données géographiques et temporelles Besoin retraitement et fouille de données historiques (géographiques et séries temporelles) Accélérer la découverte d anomalies et l extraction de valeur ajoutée Problématique Données très structurées - solution compétitive? Données corrélées = pb du traitement indépendant? Données stockées en fichiers binaires - distribution? Algorithmes métier à réutiliser - interface Java? FR Big Data Congress, Paris /23

73 Hadoop-xyt ou Hadoop et les données géographiques et temporelles Besoin retraitement et fouille de données historiques (géographiques et séries temporelles) Accélérer la découverte d anomalies et l extraction de valeur ajoutée Problématique Données très structurées - solution compétitive? Données corrélées = pb du traitement indépendant? Données stockées en fichiers binaires - distribution? Algorithmes métier à réutiliser - interface Java? FR Big Data Congress, Paris /23

74 Hadoop-xyt ou Hadoop et les données géographiques et temporelles Besoin retraitement et fouille de données historiques (géographiques et séries temporelles) Accélérer la découverte d anomalies et l extraction de valeur ajoutée Problématique Données très structurées - solution compétitive? Données corrélées = pb du traitement indépendant? Données stockées en fichiers binaires - distribution? Algorithmes métier à réutiliser - interface Java? FR Big Data Congress, Paris /23

75 Hadoop-xyt ou Hadoop et les données géographiques et temporelles Besoin retraitement et fouille de données historiques (géographiques et séries temporelles) Accélérer la découverte d anomalies et l extraction de valeur ajoutée Problématique Données très structurées - solution compétitive? Données corrélées = pb du traitement indépendant? Données stockées en fichiers binaires - distribution? Algorithmes métier à réutiliser - interface Java? FR Big Data Congress, Paris /23

76 Hadoop-xyt ou Hadoop et les données géographiques et temporelles Besoin retraitement et fouille de données historiques (géographiques et séries temporelles) Accélérer la découverte d anomalies et l extraction de valeur ajoutée Problématique Données très structurées - solution compétitive? Données corrélées = pb du traitement indépendant? Données stockées en fichiers binaires - distribution? Algorithmes métier à réutiliser - interface Java? FR Big Data Congress, Paris /23

77 Hadoop-xyt Traitement d images Extraction + tiling + rendering Calculs massivement parallèles = gain de temps +++ FR Big Data Congress, Paris /23

78 Hadoop-xyt Traitement d images Extraction + tiling + rendering Calculs massivement parallèles = gain de temps +++ FR Big Data Congress, Paris /23

79 Hadoop-xyt Traitement d images Extraction + tiling + rendering Calculs massivement parallèles = gain de temps +++ FR Big Data Congress, Paris /23

80 Hadoop-xyt Traitement d images Extraction + tiling + rendering Calculs massivement parallèles = gain de temps +++ FR Big Data Congress, Paris /23

81 Hadoop-xyt Traitement d images Extraction + tiling + rendering Calculs massivement parallèles = gain de temps +++ FR Big Data Congress, Paris /23

82 Hadoop-xyt Traitement d images Extraction + tiling + rendering Calculs massivement parallèles = gain de temps +++ FR Big Data Congress, Paris /23

83 Hadoop-xyt Traitement d images Extraction + tiling + rendering Calculs massivement parallèles = gain de temps +++ FR Big Data Congress, Paris /23

84 Hadoop-xyt Géolocalisation de véhicules FR Big Data Congress, Paris /23

85 Transport terrestre Traçabilité Océanographie Transport aérien Télémétrie - Argos Imagerie satellite FR Big Data Congress, Paris /23

86 Datasio We are Data Scientists Data Mining Prototypage Algorithmie Détection d anomalies Prédiction Machine Learning Spatial data Time series François Royer FR Big Data Congress, Paris /23

L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13

L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13 L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com HUG France 250 membres sur la mailing liste 30 présentations 9 meetups organisés, de 20 à 100 invités Présence de Cloudera, MapR, Hortonworks,

Plus en détail

Introduction data science

Introduction data science Introduction data science Data science Master 2 ISIDIS Sébastien Verel verel@lisic.univ-littoral.fr http://www-lisic.univ-littoral.fr/~verel Université du Littoral Côte d Opale Laboratoire LISIC Equipe

Plus en détail

Panorama des solutions analytiques existantes

Panorama des solutions analytiques existantes Arnaud LAROCHE Julien DAMON Panorama des solutions analytiques existantes SFdS Méthodes et Logiciels - 16 janvier 2014 - Données Massives Ne sont ici considérés que les solutions autour de l environnement

Plus en détail

HADOOP ET SON ÉCOSYSTÈME

HADOOP ET SON ÉCOSYSTÈME HADOOP ET SON ÉCOSYSTÈME Mars 2013 2012 Affini-Tech - Diffusion restreinte 1 AFFINI-TECH Méthodes projets Outils de reporting & Data-visualisation Business & Analyses BigData Modélisation Hadoop Technos

Plus en détail

Les technologies du Big Data

Les technologies du Big Data Les technologies du Big Data PRÉSENTÉ AU 40 E CONGRÈS DE L ASSOCIATION DES ÉCONOMISTES QUÉBÉCOIS PAR TOM LANDRY, CONSEILLER SENIOR LE 20 MAI 2015 WWW.CRIM.CA TECHNOLOGIES: DES DONNÉES JUSQU'À L UTILISATEUR

Plus en détail

Cartographie des solutions BigData

Cartographie des solutions BigData Cartographie des solutions BigData Panorama du marché et prospective 1 1 Solutions BigData Défi(s) pour les fournisseurs Quel marché Architectures Acteurs commerciaux Solutions alternatives 2 2 Quels Défis?

Plus en détail

For Fun and Profit Datasio 2012

For Fun and Profit Datasio 2012 For Fun and Profit Datasio 2012 130 Nouveaux acteurs Big Data depuis 2009 1 2 3 Agenda Hadoop, poids lourd du Big Data Stats Web avec Hive chez Scoop.it Profession: Data Scientist Agenda 1 Hadoop, poids

Plus en détail

Fouillez facilement dans votre système Big Data. Olivier TAVARD

Fouillez facilement dans votre système Big Data. Olivier TAVARD Fouillez facilement dans votre système Big Data Olivier TAVARD A propos de moi : Cofondateur de la société France Labs Développeur (principalement Java) Formateur en technologies de moteurs de recherche

Plus en détail

Formation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop

Formation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop Passez au niveau supérieur en termes de connaissance grâce à la formation Data Analyst de Cloudera. Public Durée Objectifs Analystes de données, business analysts, développeurs et administrateurs qui ont

Plus en détail

Big Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1

Big Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1 Big Data Cyril Amsellem Consultant avant-vente 16 juin 2011 Talend 2010 1 Big Data Architecture globale Hadoop Les projets Hadoop (partie 1) Hadoop-Core : projet principal. HDFS : système de fichiers distribués

Plus en détail

FORMATION HADOOP Développeur pour Hadoop (Apache)

FORMATION HADOOP Développeur pour Hadoop (Apache) FORMATION HADOOP Développeur pour Hadoop (Apache) Ce document reste la propriété du Groupe Cyrès. Toute copie, diffusion, exploitation même partielle doit faire l objet d une demande écrite auprès de Cyrès.

Plus en détail

Implémentation et Benchmark. d une régression linéaire en RMR2

Implémentation et Benchmark. d une régression linéaire en RMR2 Add intelligence to data Anne Gayet Directrice Datamining Implémentation et Benchmark d une régression linéaire en RMR2 16 janvier 2014 Rendez-vous SFdS: : Méthodes et logiciels Données massives (big data)

Plus en détail

FORMATION HADOOP Administrateur pour Hadoop (Apache)

FORMATION HADOOP Administrateur pour Hadoop (Apache) FORMATION HADOOP Administrateur pour Hadoop (Apache) Ce document reste la propriété du Groupe Cyrès. Toute copie, diffusion, exploitation même partielle doit faire l objet d une demande écrite auprès de

Plus en détail

Les enjeux du Big Data Innovation et opportunités de l'internet industriel. Datasio 2013

Les enjeux du Big Data Innovation et opportunités de l'internet industriel. Datasio 2013 Les enjeux du Big Data Innovation et opportunités de l'internet industriel François Royer froyer@datasio.com Accompagnement des entreprises dans leurs stratégies quantitatives Valorisation de patrimoine

Plus en détail

Big Data Concepts et mise en oeuvre de Hadoop

Big Data Concepts et mise en oeuvre de Hadoop Introduction 1. Objectif du chapitre 9 2. Le Big Data 10 2.1 Introduction 10 2.2 Informatique connectée, objets "intelligents" et données collectées 11 2.3 Les unités de mesure dans le monde Big Data 12

Plus en détail

KARMA Le système de Revenue Management d'air France KLM avec Hadoop

KARMA Le système de Revenue Management d'air France KLM avec Hadoop KARMA Le système de Revenue Management d'air France KLM avec Hadoop Conférence BIG DATA - Master MBDS Université de Nice Sophia Antipolis 16 Décembre 2014 Martial AYAS maayas@airfrance.fr 2 Agenda 1. Présentation

Plus en détail

Une brève introduction aux Données Massives - Challenges et perspectives. Romain Picot-Clémente Cécile Bothorel Philippe Lenca

Une brève introduction aux Données Massives - Challenges et perspectives. Romain Picot-Clémente Cécile Bothorel Philippe Lenca Une brève introduction aux Données Massives - Challenges et perspectives Romain Picot-Clémente Cécile Bothorel Philippe Lenca Plan 1 Big Data 2 4Vs 3 Hadoop et son écosystème 4 Nouveaux challenges, nouvelles

Plus en détail

Programmation parallèle et distribuée (Master 1 Info 2015-2016)

Programmation parallèle et distribuée (Master 1 Info 2015-2016) Programmation parallèle et distribuée (Master 1 Info 2015-2016) Hadoop MapReduce et HDFS Note bibliographique : ce cours est largement inspiré par le cours de Benjamin Renaut (Tokidev SAS) Introduction

Plus en détail

Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr

Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr Déploiement d une architecture Hadoop pour analyse de flux françois-xavier.andreu@renater.fr 1 plan Introduction Hadoop Présentation Architecture d un cluster HDFS & MapReduce L architecture déployée Les

Plus en détail

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages 1 Mehdi LOUIZI Plan Pourquoi Hadoop? Présentation et Architecture Démo Usages 2 Pourquoi Hadoop? Limites du Big Data Les entreprises n analysent que 12% des données qu elles possèdent (Enquête Forrester

Plus en détail

Les datas = le fuel du 21ième sicècle

Les datas = le fuel du 21ième sicècle Les datas = le fuel du 21ième sicècle D énormes gisements de création de valeurs http://www.your networkmarketin g.com/facebooktwitter-youtubestats-in-realtime-simulation/ Xavier Dalloz Le Plan Définition

Plus en détail

Organiser vos données - Big Data. Patrick Millart Senior Sales Consultant

Organiser vos données - Big Data. Patrick Millart Senior Sales Consultant Organiser vos données - Big Data Patrick Millart Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be

Plus en détail

Ingénierie de la fouille et de la visualisation de données massives (RCP216)

Ingénierie de la fouille et de la visualisation de données massives (RCP216) . Ingénierie de la fouille et de la visualisation de données massives (RCP216). Introduction du cours Michel Crucianu, Raphaël Fournier-S niehotta, Pierre Cubaud (prenom.nom@cnam.fr, fournier@cnam.fr)

Plus en détail

Labs Hadoop Février 2013

Labs Hadoop Février 2013 SOA - BRMS - ESB - BPM CEP BAM - High Performance Compute & Data Grid - Cloud Computing - Big Data NoSQL - Analytics Labs Hadoop Février 2013 Mathias Kluba Managing Consultant Responsable offres NoSQL

Plus en détail

Les données massives à Calcul Québec

Les données massives à Calcul Québec Les données massives à Calcul Québec Marc Parizeau, professeur et directeur scientifique de Calcul Québec Plan Calcul Québec / Calcul Canada Les outils et les services disponibles Un outil en particulier

Plus en détail

Vos experts Big Data. contact@hurence.com. Le Big Data dans la pratique

Vos experts Big Data. contact@hurence.com. Le Big Data dans la pratique Vos experts Big Data contact@hurence.com Le Big Data dans la pratique Expert Expert Infrastructure Data Science Spark MLLib Big Data depuis 2011 Expert Expert Hadoop / Spark NoSQL HBase Couchbase MongoDB

Plus en détail

DocForum 18 Juin 2015. Réussites d un projet Big Data Les incontournables

DocForum 18 Juin 2015. Réussites d un projet Big Data Les incontournables DocForum 18 Juin 2015 Réussites d un projet Big Data Les incontournables Vos interlocuteurs Mick LEVY Directeur Innovation Business mick.levy@businessdecision.com 06.50.87.13.26 @mick_levy 2 Business &

Plus en détail

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -"Big Data par l'exemple" -Julien DULOUT

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -Big Data par l'exemple -Julien DULOUT 20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013 20 ans du SIAD -"BigData par l'exemple" -Julien DULOUT Qui a déjà entendu parler du phénomène BigData? Qui a déjà

Plus en détail

Projet de création de SAFRAN ANALYTICS

Projet de création de SAFRAN ANALYTICS Projet de création de SAFRAN ANALYTICS Comité de Groupe 27 février 2015 SOMMAIRE Contexte Enjeux du Big Data pour Safran Projet Safran Analytics Calendrier prévisionnel 1 / CONFIDENTIEL / 27-02-2015 /

Plus en détail

Introduction & concepts Big Data Khamprasit LANPHOUTHACOUL, Responsable de Centre de Compétences OAB UFR IM²AG, St Martin d'hères le 22 octobre 2015

Introduction & concepts Big Data Khamprasit LANPHOUTHACOUL, Responsable de Centre de Compétences OAB UFR IM²AG, St Martin d'hères le 22 octobre 2015 Introduction & concepts Big Data Khamprasit LANPHOUTHACOUL, Responsable de Centre de Compétences OAB UFR IM²AG, St Martin d'hères le 22 octobre 2015 Et à propos des objectifs de cette présentation? 2 Big

Plus en détail

L analytique en temps réel en un clic. Jean-Michel Franco Directeur Marketing Produit @jmichel_franco

L analytique en temps réel en un clic. Jean-Michel Franco Directeur Marketing Produit @jmichel_franco L analytique en temps réel en un clic Jean-Michel Franco Directeur Marketing Produit @jmichel_franco 2015 Talend Inc. 1 1 Dynamiser l entreprise par ses données Les entreprises orientées données 23X plus

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2014) Marc Parizeau, Département de génie électrique et de génie informatique Plan Mégadonnées («big data») Architecture Hadoop distribution

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution

Plus en détail

Anticiper et prédire les sinistres avec une approche Big Data

Anticiper et prédire les sinistres avec une approche Big Data Anticiper et prédire les sinistres avec une approche Big Data Julien Cabot Directeur Big Data Analytics OCTO jcabot@octo.com @julien_cabot OCTO 2013 50, avenue des Champs-Elysées 75008 Paris - FRANCE Tél

Plus en détail

API04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture

API04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture API04 Contribution Apache Hadoop: Présentation et application dans le domaine des Data Warehouses Introduction Cette publication a pour but de présenter le framework Java libre Apache Hadoop, permettant

Plus en détail

Introduction à MapReduce/Hadoop et Spark

Introduction à MapReduce/Hadoop et Spark 1 / 36 Introduction à MapReduce/Hadoop et Spark Certificat Big Data Ludovic Denoyer et Sylvain Lamprier UPMC Plan 2 / 36 Contexte 3 / 36 Contexte 4 / 36 Data driven science: le 4e paradigme (Jim Gray -

Plus en détail

Introduction Big Data

Introduction Big Data Introduction Big Data SOMMAIRE Rédacteurs : Réf.: SH. Lazare / F. Barthélemy AXIO_BD_V1 QU'EST-CE QUE LE BIG DATA? ENJEUX TECHNOLOGIQUES ENJEUX STRATÉGIQUES BIG DATA ET RH ANNEXE Ce document constitue

Plus en détail

Vos experts Big Data. contact@hurence.com. Mener un projet Big Data

Vos experts Big Data. contact@hurence.com. Mener un projet Big Data Vos experts Big Data contact@hurence.com Mener un projet Big Data Expert Expert Infrastructure Data Science Spark MLLib Big Data depuis 2011 Expert Expert Hadoop / Spark NoSQL HBase Couchbase MongoDB Expert

Plus en détail

Offre formation Big Data Analytics

Offre formation Big Data Analytics Offre formation Big Data Analytics OCTO 2014 50, avenue des Champs-Elysées 75008 Paris - FRANCE Tél : +33 (0)1 58 56 10 00 Fax : +33 (0)1 58 56 10 01 www.octo.com 1 Présentation d OCTO Technology 2 Une

Plus en détail

avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data

avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data Historique de Big data Jusqu à l avènement d Internet et surtout du Web 2.0 il n y avait pas tant de données

Plus en détail

FAITES DE LA DONNÉE LE MOTEUR DE VOTRE BUSINESS. Alexandre Vasseur Responsable Avant-Vente Europe du Sud Pivotal, EMC

FAITES DE LA DONNÉE LE MOTEUR DE VOTRE BUSINESS. Alexandre Vasseur Responsable Avant-Vente Europe du Sud Pivotal, EMC FAITES DE LA DONNÉE LE MOTEUR DE VOTRE BUSINESS Alexandre Vasseur Responsable Avant-Vente Europe du Sud Pivotal, EMC 1 Big Data = Volume, Variété, Vélocité et Valorisation Internet des objets Informations

Plus en détail

Les journées SQL Server 2013

Les journées SQL Server 2013 Les journées SQL Server 2013 Un événement organisé par GUSS Les journées SQL Server 2013 Romain Casteres MVP SQL Server Consultant BI @PulsWeb Yazid Moussaoui Consultant Senior BI MCSA 2008/2012 Etienne

Plus en détail

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data.

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data. Big Data De la stratégie à la mise en oeuvre Description : La formation a pour objet de brosser sans concession le tableau du Big Data. Les participants repartiront de cette formation en ayant une vision

Plus en détail

Préface Dunod Toute reproduction non autorisée est un délit. Les raisons de l émergence du Big Data sont bien connues. Elles sont d abord économiques et technologiques. La chute exponentielle des coûts

Plus en détail

Comment valoriser votre patrimoine de données?

Comment valoriser votre patrimoine de données? BIG DATA POUR QUELS USAGES? Comment valoriser votre patrimoine de données? HIGH PERFORMANCE HIGH ANALYTICS PERFORMANCE ANALYTICS MOULOUD DEY SAS FRANCE 15/11/2012 L ENTREPRISE SAS EN QUELQUES CHIFFRES

Plus en détail

Big Data : utilisation d un cluster Hadoop HDFS Map/Reduce HBase

Big Data : utilisation d un cluster Hadoop HDFS Map/Reduce HBase Big Data : utilisation d un cluster cluster Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe), Laboratoire APC, Université Paris Diderot LabEx UnivEarthS 14 Janvier 2014 C. Cavet

Plus en détail

Apprentissage Statistique et Données Massives

Apprentissage Statistique et Données Massives Apprentissage Statistique et Données Massives Philippe Besse Université de Toulouse INSA Dpt GMM Institut de Mathématiques ESP UMR CNRS 5219 Introduction Technologies des donne es massives Motivations,

Plus en détail

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis MapReduce Nicolas Dugué nicolas.dugue@univ-orleans.fr M2 MIAGE Systèmes d information répartis Plan 1 Introduction Big Data 2 MapReduce et ses implémentations 3 MapReduce pour fouiller des tweets 4 MapReduce

Plus en détail

Big Data. Concept et perspectives : la réalité derrière le "buzz"

Big Data. Concept et perspectives : la réalité derrière le buzz Big Data Concept et perspectives : la réalité derrière le "buzz" 2012 Agenda Concept & Perspectives Technologies & Acteurs 2 Pierre Audoin Consultants (PAC) Pierre Audoin Consultants (PAC) est une société

Plus en détail

DEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD

DEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD DEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD BIGDATA PARIS LE 1/4/2014 VINCENT HEUSCHLING @VHE74! 1 NOUS 100% Bigdata Infrastructure IT + Data Trouver vos opportunités Implémenter les

Plus en détail

Big Data par l exemple

Big Data par l exemple #PARTAGE Big Data par l exemple Alexandre Chauvin Hameau Directeur de la production Malakoff Médéric @achauvin CT BIG DATA 10/12/2015 Soyons pragmatiques BIG DATA beaucoup de bruit pour des choses finalement

Plus en détail

DATA ANALYST UTILISER PIG, HIVE ET IMPALA AVEC HADOOP DE CLOUDERA

DATA ANALYST UTILISER PIG, HIVE ET IMPALA AVEC HADOOP DE CLOUDERA SI 2.0 DATA ANALYST UTILISER PIG, HIVE ET IMPALA AVEC HADOOP DE CLOUDERA REF : SICL001 DUREE : 4 JOURS TARIF : 2 695 HT Public Analystes de données, business analysts, développeurs et administrateurs.

Plus en détail

Hadoop, les clés du succès

Hadoop, les clés du succès Hadoop, les clés du succès Didier Kirszenberg, Responsable des architectures Massive Data, HP France Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject

Plus en détail

Titre : La BI vue par l intégrateur Orange

Titre : La BI vue par l intégrateur Orange Titre : La BI vue par l intégrateur Orange Résumé : L entité Orange IT&L@bs, partenaire privilégié des entreprises et des collectivités dans la conception et l implémentation de SI Décisionnels innovants,

Plus en détail

Comment maximiser le ROI de la chaîne logistique Web

Comment maximiser le ROI de la chaîne logistique Web Comment maximiser le ROI de la chaîne logistique Web Pourquoi une gestion Lean et unifiée du cloud, des performances Web et des analytiques favorise la croissance des entreprises. 1 La chaîne logistique

Plus en détail

Pascal BASSET, - PMU Responsable Risques Numériques, Expériences Utilisateurs et DSI international

Pascal BASSET, - PMU Responsable Risques Numériques, Expériences Utilisateurs et DSI international Pascal BASSET, - PMU Responsable Risques Numériques, Expériences Utilisateurs et DSI international CRiP Thématique Sécurité de l informatique de demain 03/12/14 Agenda Introduction big data et lien avec

Plus en détail

Stages 2015-2016 ISOFT : 25 ANS DE RECHERCHE EN INFORMATIQUE DECISIONNELLE ET. Contact : Mme Lapedra, stage@isoft.fr ANALYSE DE DONNEES

Stages 2015-2016 ISOFT : 25 ANS DE RECHERCHE EN INFORMATIQUE DECISIONNELLE ET. Contact : Mme Lapedra, stage@isoft.fr ANALYSE DE DONNEES Stages 2015-2016 Contact : Mme Lapedra, stage@isoft.fr ISOFT : 25 ANS DE RECHERCHE EN INFORMATIQUE DECISIONNELLE ET ANALYSE DE DONNEES ISoft est un concepteur-éditeur de logiciels spécialisé dans la recherche

Plus en détail

BIG DATA. Veille technologique. Malek Hamouda Nina Lachia Léo Valette. Commanditaire : Thomas Milon. Encadré: Philippe Vismara

BIG DATA. Veille technologique. Malek Hamouda Nina Lachia Léo Valette. Commanditaire : Thomas Milon. Encadré: Philippe Vismara BIG DATA Veille technologique Malek Hamouda Nina Lachia Léo Valette Commanditaire : Thomas Milon Encadré: Philippe Vismara 1 2 Introduction Historique des bases de données : méthodes de stockage et d analyse

Plus en détail

Location Analytics. Astrid GLADYS Thierry BABELAERE Pierre TEYSSENDIER. SIG 2013 Conférence Francophone 2 & 3 Octobre Versailles Atelier Technique

Location Analytics. Astrid GLADYS Thierry BABELAERE Pierre TEYSSENDIER. SIG 2013 Conférence Francophone 2 & 3 Octobre Versailles Atelier Technique SIG 2013 Conférence Francophone 2 & 3 Octobre Versailles Atelier Technique Astrid GLADYS Thierry BABELAERE Pierre TEYSSENDIER Plan de session La solution Focus Esri Maps for Cognos Focus Esri Maps for

Plus en détail

Catalogue des stages Ercom 2013

Catalogue des stages Ercom 2013 Catalogue des stages Ercom 2013 Optimisations sur Modem LTE Poste basé à : Caen (14) Analyse et optimisation des performances des traitements réalisés dans un modem LTE. - Profiling et détermination des

Plus en détail

Pentaho Business Analytics Intégrer > Explorer > Prévoir

Pentaho Business Analytics Intégrer > Explorer > Prévoir Pentaho Business Analytics Intégrer > Explorer > Prévoir Pentaho lie étroitement intégration de données et analytique. En effet, les services informatiques et les utilisateurs métiers peuvent accéder aux

Plus en détail

Gestion de gros volumes de données RDF

Gestion de gros volumes de données RDF LIPADE Université Paris Descartes June 23, 2014 Sommaire 1 2 3 4 Contexte 1 Augmentation considérable des données du Web, RDF 2 Données provenant de multiple sources autonomes, donc 3 Hétérogènes : sémantique

Plus en détail

Les quatre piliers d une solution de gestion des Big Data

Les quatre piliers d une solution de gestion des Big Data White Paper Les quatre piliers d une solution de gestion des Big Data Table des Matières Introduction... 4 Big Data : un terme très vaste... 4 Le Big Data... 5 La technologie Big Data... 5 Le grand changement

Plus en détail

Surmonter les 5 défis opérationnels du Big Data

Surmonter les 5 défis opérationnels du Big Data Surmonter les 5 défis opérationnels du Big Data Jean-Michel Franco Talend Connect 9 octobre 2014 Talend 2014 1 Agenda Agenda Le Big Data depuis la découverte jusqu au temps réel en passant par les applications

Plus en détail

GT Big Data : transformer les données en valeur business pour l entreprise

GT Big Data : transformer les données en valeur business pour l entreprise GT Big Data : transformer les données en valeur business pour l entreprise Bruno Prévost (Dir. Infrastructures IT Groupe, ) Valère Dussaux (GCS d-sisif) Espace Grande Arche Paris La Défense Workshop Big

Plus en détail

IBM est reconnu par les plus grands analystes comme un leader dans la gestion de l'information

IBM est reconnu par les plus grands analystes comme un leader dans la gestion de l'information Facilité d'exécution IBM est reconnu par les plus grands analystes comme un leader dans la gestion de l'information Data Quality Data Integration MDM Product Data MDM Customer Data Data Masking Data monitoring

Plus en détail

FORUM NTIC BIG DATA, OPEN DATA Big Data: les challenges, les défis

FORUM NTIC BIG DATA, OPEN DATA Big Data: les challenges, les défis FORUM NTIC BIG DATA, OPEN DATA Big Data: les challenges, les défis Joseph Salmon Télécom ParisTech Jeudi 6 Février Joseph Salmon (Télécom ParisTech) Big Data Jeudi 6 Février 1 / 18 Agenda Contexte et opportunités

Plus en détail

Vous trouvez plus d information sur AREL. ainsi que sur : http://www.eisti.fr/ mma/html-iad/iad.html

Vous trouvez plus d information sur AREL. ainsi que sur : http://www.eisti.fr/ mma/html-iad/iad.html ainsi que sur : http://www.eisti.fr/ mma/html-iad/iad.html Option Deux thèmes : La recherche opérationnelle : Traiter des problèmes d optimisation, d aide à la décision et d évaluation de performances

Plus en détail

3 ème journée des utilisateurs de l archivage

3 ème journée des utilisateurs de l archivage Université Lille 2 CINES Département Archivage et Diffusion 3 ème journée des utilisateurs de l archivage 9 juin 2015 JOURNEE INTERNATIONALE Mardi 9 juin 2015 des ARCHIVES Et on la fête absolument partout

Plus en détail

Tables Rondes Le «Big Data»

Tables Rondes Le «Big Data» Tables Rondes Le «Big Data» 2012-2013 1 Plan Introduc9on 1 - Présenta9on Ingensi 2 - Le Big Data c est quoi? 3 - L histoire 4 - Le monde du libre : Hadoop 5 - Le système HDFS 6 - Les algorithmes distribués

Plus en détail

Technologies et techniques d aujourd hui et de demain 1 Virtualisation Containers Projet Docker Web 3.0 Cloud Big Data Internet des objets 2 1 Virtualisation 3 Virtualisation Logiciels appelés hyperviseurs

Plus en détail

VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr

VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr Avril 2014 Virtualscale 1 Sommaire Les enjeux du Big Data et d Hadoop Quels enjeux

Plus en détail

AXIAD Conseil pour décider en toute intelligence

AXIAD Conseil pour décider en toute intelligence AXIAD Conseil pour décider en toute intelligence Gestion de la Performance, Business Intelligence, Big Data Domaine d expertise «Business Intelligence» Un accompagnement adapté à votre métier dans toutes

Plus en détail

http://blog.khaledtannir.net

http://blog.khaledtannir.net Algorithme de parallélisations des traitements Khaled TANNIR Doctorant CIFRE LARIS/ESTI http://blog.khaledtannir.net these@khaledtannir.net 2e SéRI 2010-2011 Jeudi 17 mars 2011 Présentation Doctorant CIFRE

Plus en détail

Contexte. Objectif. Enjeu. Les 3 questions au cœur du Pilotage de la Performance :

Contexte. Objectif. Enjeu. Les 3 questions au cœur du Pilotage de la Performance : Contexte Il est naturel de construire et d adapter son système d information à son métier pour répondre aux besoins opérationnels et quotidiens. Facturation, production, gestion de stocks, ressources humaines,

Plus en détail

Retour d expérience BigData 16/10/2013 Cyril Morcrette CTO

Retour d expérience BigData 16/10/2013 Cyril Morcrette CTO Retour d expérience BigData 16/10/2013 Cyril Morcrette CTO Mappy en Chiffre Filiale du groupe Solocal 10M de visiteurs uniques 300M visites annuelles 100 collaborateurs dont 60% technique 3,7 Md de dalles

Plus en détail

IMAGERIE GÉNÉTIQUE : DÉFIS COMPUTATIONNELS ET IMPLÉMENTATION GROS GRAINS SUR CLUSTER

IMAGERIE GÉNÉTIQUE : DÉFIS COMPUTATIONNELS ET IMPLÉMENTATION GROS GRAINS SUR CLUSTER IMAGERIE GÉNÉTIQUE : DÉFIS COMPUTATIONNELS ET IMPLÉMENTATION GROS GRAINS SUR CLUSTER Forum TERATEC Vincent Frouin Déluge de données S Laguitton (CATI-CEA) B damota (INRIA-CEA) 28 JUIN 202 28 JUIN 202 CEA

Plus en détail

Panorama des solutions analytiques existantes

Panorama des solutions analytiques existantes Arnaud LAROCHE Julien DAMON Panorama des solutions analytiques existantes SFdS Méthodes et Logiciels - 16 janvier 2014 - Données Massives Ne sont ici considérés que les solutions autour de l environnement

Plus en détail

Acquisition des données - Big Data. Dario VEGA Senior Sales Consultant

Acquisition des données - Big Data. Dario VEGA Senior Sales Consultant Acquisition des données - Big Data Dario VEGA Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated

Plus en détail

GPC Computer Science

GPC Computer Science CYCLE ISMIN P2015 GPC Computer Science P LALEVÉE lalevee@emse.fr @p_lalevee A3.01 0442616715 C YUGMA yugma@emse.fr A3.01 0442616715 01/09/2014 Présentation GPC CS - Ph. Lalevée - C Yugma 1 Scolarité Site

Plus en détail

BIGDATA AN 3 : UNE NOUVELLE ERE DE B.I.

BIGDATA AN 3 : UNE NOUVELLE ERE DE B.I. BIGDATA AN 3 : UNE NOUVELLE ERE DE B.I. QUELLES PERSPECTIVES POUR LES 20 PROCHAINES ANNEES? 22 MARS 2013 CHARLES PARAT, DIR. INNOVATION adoption L ADOPTION DES EVOLUTIONS B.I. EST LENTE BIGDATA BUZZ MAINFRAME

Plus en détail

Le BIG DATA????? Big Buzz? Big Bang? Big Opportunity? Big hype? Big Business? Big Challenge? Big Hacking? Gérard Peliks planche 2

Le BIG DATA????? Big Buzz? Big Bang? Big Opportunity? Big hype? Big Business? Big Challenge? Big Hacking? Gérard Peliks planche 2 Le BIG DATA????? Big Bang? Big hype? Big Challenge? Big Buzz? Big Opportunity? Big Business? Big Hacking? Gérard Peliks planche 2 Les quatre paradigmes de la science en marche Paradigme 1 : L empirisme

Plus en détail

Marc AMADOU Technical Sales Analytics on System z amadoum@fr.ibm.com. 18 Mars 2015. Big data et le z. 2015 IBM Corporation

Marc AMADOU Technical Sales Analytics on System z amadoum@fr.ibm.com. 18 Mars 2015. Big data et le z. 2015 IBM Corporation Marc AMADOU Technical Sales Analytics on System z amadoum@fr.ibm.com 18 Mars 2015 Big data et le z 2015 IBM Corporation Agenda Contexte Cas d utilisation DB2 z/os et Hadoop Connecteurs z pour Hadoop 2

Plus en détail

ParaView / VTK / HDF5 un cas d utilisation : SimSERT. RDataDev OSUG 10 Avril 2015 Yves Rogez

ParaView / VTK / HDF5 un cas d utilisation : SimSERT. RDataDev OSUG 10 Avril 2015 Yves Rogez ParaView / VTK / HDF5 un cas d utilisation : SimSERT RDataDev OSUG 10 Avril 2015 Yves Rogez ParaView / VTK / HDF5 un cas d utilisation : SimSERT 1. Contexte : CONSERT / ROSETTA 2. ParaView : Fonctionnalités,

Plus en détail

Quantification des Risques

Quantification des Risques Quantification des Risques Comment considérer les aléas dans une projection financière? PragmaRisk met à disposition des solutions et des méthodes permettant de considérer les aléas dans vos projections

Plus en détail

Webinar EBG Nouvelles perspectives d'exploitation des données clients avec le big data

Webinar EBG Nouvelles perspectives d'exploitation des données clients avec le big data Webinar EBG Nouvelles perspectives d'exploitation des données clients avec le big data Approches & opportunités face aux enjeux de volume, variété et vélocité France, 2012-2014 28 mars 2013 Ce document

Plus en détail

Projet Xdata. Cinequant, Data Publica, EDF, ESRI, Hurence, INRIA, Institut Mines Telecom, La Poste, Orange, Veolia

Projet Xdata. Cinequant, Data Publica, EDF, ESRI, Hurence, INRIA, Institut Mines Telecom, La Poste, Orange, Veolia Projet Xdata Cinequant, Data Publica, EDF, ESRI, Hurence, INRIA, Institut Mines Telecom, La Poste, Orange, Veolia Mutualisation des données XData = Cross Data En croisant des données d origine diverses,

Plus en détail

Data 2 Business : La démarche de valorisation de la Data pour améliorer la performance de ses clients

Data 2 Business : La démarche de valorisation de la Data pour améliorer la performance de ses clients Data 2 Business : La démarche de valorisation de la Data pour améliorer la performance de ses clients Frédérick Vautrain, Dir. Data Science - Viseo Laurent Lefranc, Resp. Data Science Analytics - Altares

Plus en détail

Big data et données géospatiales : Enjeux et défis pour la géomatique. Thierry Badard, PhD, ing. jr Centre de Recherche en Géomatique

Big data et données géospatiales : Enjeux et défis pour la géomatique. Thierry Badard, PhD, ing. jr Centre de Recherche en Géomatique Big data et données géospatiales : Enjeux et défis pour la géomatique Thierry Badard, PhD, ing. jr Centre de Recherche en Géomatique Événement 25e anniversaire du CRG Université Laval, Qc, Canada 08 mai

Plus en détail

OFFRE DE FORMATION L.M.D.

OFFRE DE FORMATION L.M.D. REPUBLIQUE ALGERIENNE DEMOCRATIQUE ET POPULAIRE MINISTERE DE L ENSEIGNEMENT SUPERIEUR ET DE LA RECHERCHE SCIENTIFIQUE OFFRE DE FORMATION L.M.D. MASTER PROFESSIONNEL ET ACADEMIQUE Systèmes d Information

Plus en détail

Big Data -Comment exploiter les données et les transformer en prise de décisions?

Big Data -Comment exploiter les données et les transformer en prise de décisions? IBM Global Industry Solution Center Nice-Paris Big Data -Comment exploiter les données et les transformer en prise de décisions? Apollonie Sbragia Architecte Senior & Responsable Centre D Excellence Assurance

Plus en détail

We make your. Data Smart. Data Smart

We make your. Data Smart. Data Smart We make your We make your Data Smart Data Smart Une société Une société du du groupe Le groupe NP6 SPECIALISTE LEADER SECTEURS EFFECTIFS SaaS Marketing : 50% Data intelligence : 50% 15 sociétés du CAC

Plus en détail

Optim. EDM : Enterprise Data Management La gestion de données d entreprise. 2008 IBM Corporation

Optim. EDM : Enterprise Data Management La gestion de données d entreprise. 2008 IBM Corporation EDM : Enterprise Data Management La gestion de données d entreprise Fonctions Archiver Purger Conserver Accéder Gérer les données de Test Extraire / Alimenter Gérer les cas de test Tester les régressions

Plus en détail

Mobilité Innovante. Solutions intelligentes pour les véhicules en milieux incertains.

Mobilité Innovante. Solutions intelligentes pour les véhicules en milieux incertains. Mobilité Innovante Solutions intelligentes pour les véhicules en milieux incertains. Simulation en robotique mobile en milieux naturels. D une action LabEx à l entreprise innovante. Historique 2 Thèses

Plus en détail

Big Graph Data Forum Teratec 2013

Big Graph Data Forum Teratec 2013 Big Graph Data Forum Teratec 2013 MFG Labs 35 rue de Châteaudun 75009 Paris, France www.mfglabs.com twitter: @mfg_labs Julien Laugel MFG Labs julien.laugel@mfglabs.com @roolio SOMMAIRE MFG Labs Contexte

Plus en détail

New Features. Developed by. BPM Conseil - SARL au capital de 70 000 euros - RCS LYON 479 400 129 9, rue Pierre Blanc - 69001 Lyon - France 1/20

New Features. Developed by. BPM Conseil - SARL au capital de 70 000 euros - RCS LYON 479 400 129 9, rue Pierre Blanc - 69001 Lyon - France 1/20 5 New Features Developed by 1/20 Sommaire 1 Introduction... 3 2 Evolutions des studios de développement et améliorations fonctionnelles... 5 3 Portail Vanilla... 6 3.1 Open Street Maps... 6 3.2 Gestion

Plus en détail

Dossier Spécial BIG DATA, DÉMARRAGE À RISQUES

Dossier Spécial BIG DATA, DÉMARRAGE À RISQUES Dossier Spécial BIG DATA, DÉMARRAGE À RISQUES L es projets Big Data peuvent buter sur des difficultés, manque de compétences sur le marché, financements réduits... HP propose des solutions pour lever tous

Plus en détail

SR04 ETUDE : Les réseaux dans le big data

SR04 ETUDE : Les réseaux dans le big data UNIVERSITÉ DE TECHNOLOGIE DE COMPIÈGNE SR04 ETUDE : Les réseaux dans le big data Jaafar EL ALAMY, Nabil BOUABDALLAH, Frédéric CUNI, Meddy DECOUTURE 17 décembre 2015 Jaafar EL ALAMY, Nabil BOUABDALLAH,

Plus en détail

4 Exemples de problèmes MapReduce incrémentaux

4 Exemples de problèmes MapReduce incrémentaux 4 Exemples de problèmes MapReduce incrémentaux 1 / 32 Calcul des plus courtes distances à un noeud d un graphe Calcul des plus courts chemins entre toutes les paires de noeuds d un graphe Algorithme PageRank

Plus en détail

Livret de Stages 2014 / 2015

Livret de Stages 2014 / 2015 Livret de Stages 2014 / 2015 Paris & Niort www.bsc-france.com B.S.C. - Business Software Tour Montparnasse 33 Avenue du Maine 75015 Tel : +33(0)1 53 94 52 20 - Fax : +33(0)1 45 38 49 45 3 rue Archimède

Plus en détail