De à 4 millions. Khanh Tuong

Dimension: px
Commencer à balayer dès la page:

Download "De 20 000 à 4 millions. Khanh Tuong Maudoux @jetoile"

Transcription

1 De à 4 millions Khanh Tuong

2 2

3 Qui suis- Khanh Tuong Maudoux Développeur Java indépendant blog : 3

4 Contexte Collecteur Stockage Lecture Traitement 4

5 Contexte 5

6 Contexte Fonctionnel Réception de relevés de compteurs (fichiers xml) Fournir une consolidation (valorisation) des consommations en fonction de différents critères Algorithmes de lissage et de détection à faire sur les données Algorithmes de valorisation à faire sur les données 6

7 Contexte Volumétrie Avant : clients Cible : clients Avec un pas de 30 minutes! ~ fichiers par jours (~156 Go/jour) 7

8 Contexte État des lieux Algorithmes de lissage et de détection fait au moment de la collecte long» => anomalies «courantes» Algorithmes de consolidation exécutés par batch sur les données stockées 8

9 Contexte État des lieux Stockage TimeSeries Stockage Collecteur Consolidation Applicatif Stockage 9

10 Contexte État des lieux 10

11 Contexte Objectifs Objectif : Remplacer la solution de stockage Ne pas oublier la phase le ré-import totale! (~3 ans de données) 11

12 Collecteur 12

13 Collecteur Objectifs Batch de collecte avec stockage dans une solution propriétaire Objectifs : Valider différentes solutions (Cassandra, MySQL Cluster) Valider le modèle de données 13

14 Transformation JAXB Transformation Objet pivot Routage par xpath Transformation JAXB Transformation Objet pivot Collecteur État des lieux XML Java DTO Stockage XML Java DTO 14

15 Collecteur Pistes Pistes : Spring Batch EIP Spring Batch + EIP 15

16 Collecteur Outils / Framework : Spring Integration Metrics JMX / Jolokia Hawt.io Maven! 16

17 Collecteur Spring Integration Architecture «Pipe and Filters» 17

18 Transformation JAXB Transformation Objet pivot Routage par xpath Transformation JAXB Transformation Objet pivot Collecteur Spring Integration XML Java DTO Stockage XML Java DTO 18

19 Collecteur Spring Integration 19

20 Collecteur Spring Integration 20

21 Collecteur Spring Integration 21

22 Collecteur Spring Integration 22

23 Collecteur Spring Integration 23

24 Collecteur Spring Integration Message-history Scalabilité horizontale 24

25 Collecteur Metrics 25

26 Collecteur Jolokia JMX via HTTP/JSON 26

27 Collecteur Hawt.io 27

28 Collecteur Maven maven-jaxb2-plugin (org.jvnet.jaxb2.maven2) appassembler-maven-plugin (org.codehaus.mojo) 28

29 Collecteur endpoint REST pour injection 29

30 Stockage 30

31 Stockage Objectifs Rappels : Remplacer la solution existante de stockage Chaque capteur remonte une donnée toutes les 30 minutes Time series (au plus colonnes par ligne) 31

32 Stockage Cassandra Base de données orientée colonnes Keyspace Column Family Column 32

33 Stockage Cassandra Time series : 1 ligne avec de multiples colonnes (clé composite) capteur_id event temperature event temperature CREATE TABLE capteur ( capteur_id text, event timestamp, temperature text, PRIMARY KEY (capteur_id, event) ) Ordonnée 33

34 Stockage Attention longueur/taille de ligne CREATE TABLE capteur ( capteur_id text, event_period text, event timestamp, value text, PRIMARY KEY ((capteur_id, event_period), event) ) Attention modélisation aggrégation 34

35 Stockage Jolokia Comme agent sur la JVM 35

36 Lecture 36

37 Lecture Objectifs Évaluer la pertinence de la solution de stockage Véloce Simple Remonté de métriques => injecteur! 37

38 Lecture Pistes Pistes : From scratch 38

39 Lecture Outils / Framework : RestEasy Netty Swagger JMX / Jolokia Hawt.io Maven Gatling / AB 39

40 Lecture RestEasy Netty : JAX-RS Netty Simple 40

41 Lecture Swagger : 41

42 Lecture Jolokia 42

43 Lecture Gatling 43

44 Traitement 44

45 Traitement Rappel Stockage TimeSeries Stockage Collecteur Consolidation Applicatif Stockage 45

46 Traitement Objectifs Objectif : Collecte Rapide Pas de pertes de données (sécurisation de la données) Détection des données fausses Faite en aval de la collecte Consolidation Faite sur les données «valides» avec stockage des mesures dans des «batch View» Séparation des concepts! 46

47 Traitement Objectifs Objectif : Lambda architecture Query = function (all data) 47

48 Transformation Objet pivot C*DAO Traitement Objectifs Objectif : collecte C* transformation C* C* Valo All datas Precompute views Batch views Batch Layer Service Layer Query = function (all data) 48

49 Traitement Spark / Hadoop 49

50 Traitement Objectifs? Volumétrie non acceptable pour la production : Duplication de la donnée Souhaite une solution avec calcul à la demande 50

51 Transformation Objet pivot C*DAO Traitement Objectifs? Traitement collecte C* transformation C* C* Valo All datas Precompute views Batch views Service Layer 51

52 Traitement Objectifs? Algorithme de lissage en amont 52

53 Conclusion 53

54 Merci! 54

55 Questions? 55

56 pas le feedback en sortant! ou?

PERF UG. Programmation réactive. Février 2014

PERF UG. Programmation réactive. Février 2014 PERF UG Programmation réactive Février 2014 1 Sommaire Contexte Architectures Architecture des Tirs Protocole de test Résultats 2 Contexte 3 Contexte Recevoir en temps réel des informations de capteur

Plus en détail

Vos experts Big Data. contact@hurence.com. Le Big Data dans la pratique

Vos experts Big Data. contact@hurence.com. Le Big Data dans la pratique Vos experts Big Data contact@hurence.com Le Big Data dans la pratique Expert Expert Infrastructure Data Science Spark MLLib Big Data depuis 2011 Expert Expert Hadoop / Spark NoSQL HBase Couchbase MongoDB

Plus en détail

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Soutenance de projet ASR 27/01/2011 Julien Gerlier Siman Chen Encadrés par Bruno

Plus en détail

Vos experts Big Data. contact@hurence.com. Mener un projet Big Data

Vos experts Big Data. contact@hurence.com. Mener un projet Big Data Vos experts Big Data contact@hurence.com Mener un projet Big Data Expert Expert Infrastructure Data Science Spark MLLib Big Data depuis 2011 Expert Expert Hadoop / Spark NoSQL HBase Couchbase MongoDB Expert

Plus en détail

Nos offres de stages pour 2013

Nos offres de stages pour 2013 Nos offres de stages pour 2013 Les sujets de stage que nous vous proposons sont des projets à très forte valeur ajoutée, mêlant recherche amont, algorithmique et implémentation. Ils touchent à des domaines

Plus en détail

API04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture

API04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture API04 Contribution Apache Hadoop: Présentation et application dans le domaine des Data Warehouses Introduction Cette publication a pour but de présenter le framework Java libre Apache Hadoop, permettant

Plus en détail

Intégration avec Camel et ServiceMix

Intégration avec Camel et ServiceMix Charles Moulliard Architecte de Solutions Apache Committer Objectif «Faire découvrir les projets Apache orientés Intégration comme Camel ainsi que le conteneur ServiceMix et les architectures cibles» 3

Plus en détail

Vocabulaire 1/2. Base de données : collection de données interreliées. SGBD : système de gestion de bases de données.

Vocabulaire 1/2. Base de données : collection de données interreliées. SGBD : système de gestion de bases de données. Bases de données Au menu : Vocabulaire Le modèle relationnel Types de bases de données Implémentation libre : MySQL Le SQL (Simple Query Language) Administration d'un SGBD Sécurité des SGBD Vocabulaire

Plus en détail

Les activités de recherche sont associées à des voies technologiques et à des opportunités concrètes sur le court, moyen et long terme.

Les activités de recherche sont associées à des voies technologiques et à des opportunités concrètes sur le court, moyen et long terme. Mémoires 2010-2011 www.euranova.eu EURANOVA R&D Euranova est une société Belge constituée depuis le 1er Septembre 2008. Sa vision est simple : «Être un incubateur technologique focalisé sur l utilisation

Plus en détail

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL AVRIL 2014 Panorama des solutions NoSQL QUI SOMMES NOUS? Avril 2014 2 SMILE, EN QUELQUES CHIFFRES 1er INTÉGRATEUR EUROPÉEN DE SOLUTIONS OPEN SOURCE 3 4 NOS EXPERTISES ET NOS CONVICTIONS DANS NOS LIVRES

Plus en détail

Concepts de base. Distribution des données. Fig.1. Matthieu Nantern, Consultant chez Xebia

Concepts de base. Distribution des données. Fig.1. Matthieu Nantern, Consultant chez Xebia Cassandra : partez sur une bonne base! Cassandra est une base NoSQL orientée colonne et créée à l'origine par Facebook en s appuyant sur deux papiers de recherche : BigTable de Google, DynamoDB d'amazon.

Plus en détail

RESUME DU PROFIL COMPETENCES TECHNIQUES

RESUME DU PROFIL COMPETENCES TECHNIQUES RESUME DU PROFIL Maîtrise des serveurs d application et environnements de développement Java/J2EE Maîtrise des environnements techniques de développement, d intégration et d exploitation Réalisation des

Plus en détail

Cassandra chez Chronopost pour traiter en temps réel 1,5 milliard d événements par an

Cassandra chez Chronopost pour traiter en temps réel 1,5 milliard d événements par an Cassandra chez Chronopost pour traiter en temps réel 1,5 milliard d événements par an Qui suis-je? Alexander DEJANOVSKI Ingénieur EAI Depuis 15 ans chez Chronopost @alexanderdeja Chronopost International

Plus en détail

Unité de formation 1 : Structurer une application. Durée : 3 semaines

Unité de formation 1 : Structurer une application. Durée : 3 semaines PROGRAMME «DEVELOPPEUR LOGICIEL» Titre professionnel : «Développeur Logiciel» Inscrit au RNCP de niveau III (Bac+2) (JO du 23 Octobre 2007) (32 semaines) Unité de formation 1 : Structurer une application

Plus en détail

Lot 7 : Document Recette

Lot 7 : Document Recette Lot 7 : Document Recette Référence Document_Recette.pdf Version 2.0 Date 18/06/2009 Auteur Chef de projet Equipe INOVECO Lionel Croix Le présent document reprend le cahier des charges que l on s était

Plus en détail

CURRICULUM VITAE. 1. Informations générales. Nom et prénom: Akram KAMOUN. Date et lieu de naissance: 08 janvier 1988 à Tunis

CURRICULUM VITAE. 1. Informations générales. Nom et prénom: Akram KAMOUN. Date et lieu de naissance: 08 janvier 1988 à Tunis CURRICULUM VITAE 1. Informations générales Nom et prénom: Akram KAMOUN Date et lieu de naissance: 08 janvier 1988 à Tunis Adresse de correspondance: Route de Soukra, km 4, Cité El Amal 3, Maison N 4, Rue

Plus en détail

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -"Big Data par l'exemple" -Julien DULOUT

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -Big Data par l'exemple -Julien DULOUT 20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013 20 ans du SIAD -"BigData par l'exemple" -Julien DULOUT Qui a déjà entendu parler du phénomène BigData? Qui a déjà

Plus en détail

Panorama des solutions analytiques existantes

Panorama des solutions analytiques existantes Arnaud LAROCHE Julien DAMON Panorama des solutions analytiques existantes SFdS Méthodes et Logiciels - 16 janvier 2014 - Données Massives Ne sont ici considérés que les solutions autour de l environnement

Plus en détail

HADOOP ET SON ÉCOSYSTÈME

HADOOP ET SON ÉCOSYSTÈME HADOOP ET SON ÉCOSYSTÈME Mars 2013 2012 Affini-Tech - Diffusion restreinte 1 AFFINI-TECH Méthodes projets Outils de reporting & Data-visualisation Business & Analyses BigData Modélisation Hadoop Technos

Plus en détail

Fouillez facilement dans votre système Big Data. Olivier TAVARD

Fouillez facilement dans votre système Big Data. Olivier TAVARD Fouillez facilement dans votre système Big Data Olivier TAVARD A propos de moi : Cofondateur de la société France Labs Développeur (principalement Java) Formateur en technologies de moteurs de recherche

Plus en détail

Les formations. Développeur Logiciel. ENI Ecole Informatique

Les formations. Développeur Logiciel. ENI Ecole Informatique page 1/5 Titre professionnel : Reconnu par l Etat de niveau III (Bac), inscrit au RNCP (arrêté du 12/10/07, J.O. n 246 du 23/10/07) (32 semaines) Unité 1 : Structurer une application 6 semaines Module

Plus en détail

Network Efficiency Monitoring - version 2

Network Efficiency Monitoring - version 2 École Polytechnique de l Université de Tours 64, Avenue Jean Portalis 37200 TOURS, FRANCE Tél. +33 (0)2 47 36 14 14 www.polytech.univ-tours.fr Département Informatique 5 e année 2012-2013 Projet de fin

Plus en détail

Formation Certifiante : Java/Java EE, Hibernate, Struts2, JSF2 et Spring3

Formation Certifiante : Java/Java EE, Hibernate, Struts2, JSF2 et Spring3 Formation Certifiante : Java/Java EE, Hibernate, Struts2, JSF2 et Spring3 Présentation de la formation Cette formation s'inscrit dans le cadre des formations d'été assurées par la société Inovia Information

Plus en détail

Documentation technique. [EIP] TransLSF. Henri HARDILLIER - Thomas MOREL - Florian JOUSSEAU Alexis MONNIER - Keo KHEMARA - Leo MARTIN Stéphane RICARDO

Documentation technique. [EIP] TransLSF. Henri HARDILLIER - Thomas MOREL - Florian JOUSSEAU Alexis MONNIER - Keo KHEMARA - Leo MARTIN Stéphane RICARDO Documentation technique [EIP] TransLSF Henri HARDILLIER - Thomas MOREL - Florian JOUSSEAU Alexis MONNIER - Keo KHEMARA - Leo MARTIN Stéphane RICARDO Résumé Ce document présente la partie technique de TransLSF.

Plus en détail

Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web

Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web Responsable du stage : Nabil Belcaid Le Guyader Chef de projet : Ali Belcaid Déroulement du stage

Plus en détail

Une brève introduction aux Données Massives - Challenges et perspectives. Romain Picot-Clémente Cécile Bothorel Philippe Lenca

Une brève introduction aux Données Massives - Challenges et perspectives. Romain Picot-Clémente Cécile Bothorel Philippe Lenca Une brève introduction aux Données Massives - Challenges et perspectives Romain Picot-Clémente Cécile Bothorel Philippe Lenca Plan 1 Big Data 2 4Vs 3 Hadoop et son écosystème 4 Nouveaux challenges, nouvelles

Plus en détail

BIG DATA en Sciences et Industries de l Environnement

BIG DATA en Sciences et Industries de l Environnement BIG DATA en Sciences et Industries de l Environnement François Royer www.datasio.com 21 mars 2012 FR Big Data Congress, Paris 2012 1/23 Transport terrestre Traçabilité Océanographie Transport aérien Télémétrie

Plus en détail

Plan. Vérinews, phase 2. Marc-Antoine Tardif Pierre-Emmanuel Viau

Plan. Vérinews, phase 2. Marc-Antoine Tardif Pierre-Emmanuel Viau Vérinews, phase 2 Marc-Antoine Tardif Pierre-Emmanuel Viau Plan Pierre-Emmanuel VériNews L équipe Gestion du projet Phases du projet, besoins et priorités Cas d utilisations priorisés Marc-Antoine Architecture

Plus en détail

Youssef LYHYAOUI Ingénieur Java/J2EE, SOA, ESB, Web services 31 ans Statut : Indépendant SITUATION ACTUELLE

Youssef LYHYAOUI Ingénieur Java/J2EE, SOA, ESB, Web services 31 ans Statut : Indépendant SITUATION ACTUELLE Youssef LYHYAOUI Ingénieur Java/J2EE, SOA, ESB, Web services 31 ans Statut : Indépendant Adresse Personnelle : 3, allée du Roussillon 91300 Massy Téléphone : (+33) 06 78 37 34 82 E-mail : youssef.lyhyaoui@spartup.com

Plus en détail

Soutenance de XML & BD. Yong Li

Soutenance de XML & BD. Yong Li Soutenance de XML & BD Yong Li Li Yong Professeur :H.Schellinx Introduction La relation de XML et Base de donnees les avantage les inconvients l' utlilisation par ses avantage Data versus Documents Data-Centric

Plus en détail

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Julien Gerlier Siman Chen Rapport de projet de fin d étude ASR 2010/2011 Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Encadrants

Plus en détail

Titre : La BI vue par l intégrateur Orange

Titre : La BI vue par l intégrateur Orange Titre : La BI vue par l intégrateur Orange Résumé : L entité Orange IT&L@bs, partenaire privilégié des entreprises et des collectivités dans la conception et l implémentation de SI Décisionnels innovants,

Plus en détail

Intégration des données

Intégration des données Intégration des données Projet Scan Mail Master 1 SIGLIS Intégration des Données ScanMail S.TALLARD La but de ce projet est d implémenter une application permettant de prévenir par l envoie de mails, une

Plus en détail

Le langage SQL pour Oracle - partie 1 : SQL comme LDD

Le langage SQL pour Oracle - partie 1 : SQL comme LDD Le langage SQL pour Oracle - partie 1 : SQL comme LDD 1 SQL : Introduction SQL : Structured Query Langage langage de gestion de bases de donn ees relationnelles pour Définir les données (LDD) interroger

Plus en détail

BIG Data et R: opportunités et perspectives

BIG Data et R: opportunités et perspectives BIG Data et R: opportunités et perspectives Guati Rizlane 1 & Hicham Hajji 2 1 Ecole Nationale de Commerce et de Gestion de Casablanca, Maroc, rguati@gmail.com 2 Ecole des Sciences Géomatiques, IAV Rabat,

Plus en détail

L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13

L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13 L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com HUG France 250 membres sur la mailing liste 30 présentations 9 meetups organisés, de 20 à 100 invités Présence de Cloudera, MapR, Hortonworks,

Plus en détail

TimeSeries c'est simple

TimeSeries c'est simple TimeSeries c'est simple Informix IDS Big-Data et Power 8 12-13 Mars au Centre IBM Montpellier J. Rage FRAME TimeSeries : qu'est ce que c'est? Les données TimeSeries sont des séries de mesures prises à

Plus en détail

Les requêtes Oracle XML DB. Du modèle relationnelle au modèle Hiérarchique

Les requêtes Oracle XML DB. Du modèle relationnelle au modèle Hiérarchique Les requêtes Oracle XML DB Du modèle relationnelle au modèle Hiérarchique Sommaire Rappel des modèles Le modèle relationnel Le modèle hiérarchique Leurs différences Oracle XML DB Les types de XMLType Les

Plus en détail

Chap. 5 : Langage SQL (Structured Query Language) Pr. : Mohamed BASLAM Contact : baslam.med@gmail.com Niveau : S4 BCG Année : 2014/2015 1

Chap. 5 : Langage SQL (Structured Query Language) Pr. : Mohamed BASLAM Contact : baslam.med@gmail.com Niveau : S4 BCG Année : 2014/2015 1 Chap. 5 : Langage SQL (Structured Query Language) Pr. : Mohamed BASLAM Contact : baslam.med@gmail.com Niveau : S4 BCG Année : 2014/2015 1 Plan Généralités Langage de Définition des (LDD) Langage de Manipulation

Plus en détail

SGBDR. Systèmes de Gestion de Bases de Données (Relationnelles)

SGBDR. Systèmes de Gestion de Bases de Données (Relationnelles) SGBDR Systèmes de Gestion de Bases de Données (Relationnelles) Plan Approches Les tâches du SGBD Les transactions Approche 1 Systèmes traditionnels basés sur des fichiers Application 1 Gestion clients

Plus en détail

Les journées SQL Server 2013

Les journées SQL Server 2013 Les journées SQL Server 2013 Un événement organisé par GUSS Les journées SQL Server 2013 Romain Casteres MVP SQL Server Consultant BI @PulsWeb Yazid Moussaoui Consultant Senior BI MCSA 2008/2012 Etienne

Plus en détail

Offre Supervision OF. mercredi 17 septembre 2014. Groupe CGI inc. CONFIDENTIEL

Offre Supervision OF. mercredi 17 septembre 2014. Groupe CGI inc. CONFIDENTIEL Offre Supervision OF mercredi 17 septembre 2014 Groupe CGI inc. CONFIDENTIEL Agenda 1 2 3 4 5 6 7 Pourquoi cette solution? Principes et enjeux de la solution Les modules & fonctionnalités Architecture

Plus en détail

Architecture des systèmes d information

Architecture des systèmes d information Architecture des systèmes d information Table des matières 1 La décennie 70 1 2 Le modèle relationnel (les années 80) 1 3 Enrichissement du relationnel (les années 80/90) 2 4 Système d informations (les

Plus en détail

Spring par la pratique

Spring par la pratique Spring par la pratique 2 e édition Spring 2.5 et 3.0 Arnaud Cogoluègnes Thierry Templier Julien Dubois Jean-Philippe Retaillé avec la contribution de Séverine Templier Roblou et de Olivier Salvatori Groupe

Plus en détail

ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE

ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE Mémoires 2010-2011 www.euranova.eu MÉMOIRES ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE Contexte : Aujourd hui la plupart des serveurs d application JEE utilise des niveaux de cache L1

Plus en détail

DocForum 18 Juin 2015. Réussites d un projet Big Data Les incontournables

DocForum 18 Juin 2015. Réussites d un projet Big Data Les incontournables DocForum 18 Juin 2015 Réussites d un projet Big Data Les incontournables Vos interlocuteurs Mick LEVY Directeur Innovation Business mick.levy@businessdecision.com 06.50.87.13.26 @mick_levy 2 Business &

Plus en détail

Programme ASI Développeur

Programme ASI Développeur Programme ASI Développeur Titre de niveau II inscrit au RNCP Objectifs : Savoir utiliser un langage dynamique dans la création et la gestion d un site web. Apprendre à développer des programmes en objet.

Plus en détail

Apache Camel. Entreprise Integration Patterns. Raphaël Delaporte BreizhJUG 07.11.2011

Apache Camel. Entreprise Integration Patterns. Raphaël Delaporte BreizhJUG 07.11.2011 Apache Camel & Entreprise Integration Patterns Raphaël Delaporte BreizhJUG 07.11.2011 1 Speaker CTO Zenika Ouest Consultant et formateur Responsable comité technique Architecture d'entreprise Domaine ESB

Plus en détail

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis MapReduce Nicolas Dugué nicolas.dugue@univ-orleans.fr M2 MIAGE Systèmes d information répartis Plan 1 Introduction Big Data 2 MapReduce et ses implémentations 3 MapReduce pour fouiller des tweets 4 MapReduce

Plus en détail

Big Data par l exemple

Big Data par l exemple #PARTAGE Big Data par l exemple Alexandre Chauvin Hameau Directeur de la production Malakoff Médéric @achauvin CT BIG DATA 10/12/2015 Soyons pragmatiques BIG DATA beaucoup de bruit pour des choses finalement

Plus en détail

C-JDBC. Emmanuel Cecchet INRIA, Projet Sardes. http://sardes.inrialpes.fr

C-JDBC. Emmanuel Cecchet INRIA, Projet Sardes. http://sardes.inrialpes.fr Emmanuel Cecchet INRIA, Projet Sardes http://sardes.inrialpes.fr Plan Motivations Idées principales Concepts Caching Perspectives /ObjectWeb 15 octobre 2002 Emmanuel.Cecchet@inrialpes.fr 2 - Motivations

Plus en détail

Coach Agile Consultant Java / JEE 5 ans d expérience

Coach Agile Consultant Java / JEE 5 ans d expérience Axel VILLECHALANE 85 boulevard brune 75014 PARIS 29 ans Permis B Mail : axel1258@gmail.com Tel : 06.83.52.87.62 Coach Agile Consultant Java / JEE 5 ans d expérience QUALIFICATIONS Compétences professionnelles

Plus en détail

Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr

Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr Déploiement d une architecture Hadoop pour analyse de flux françois-xavier.andreu@renater.fr 1 plan Introduction Hadoop Présentation Architecture d un cluster HDFS & MapReduce L architecture déployée Les

Plus en détail

Déploiement de l infrastructure SOA. Retour d expérience Août 2013

Déploiement de l infrastructure SOA. Retour d expérience Août 2013 1 Déploiement de l infrastructure SOA Retour d expérience Août 2013 Agenda Contexte et constats Existant chez PSA Cible du chantier SOA Passerelle de sécurisation des services Les offres de service de

Plus en détail

OpenText Content Server v10 Cours 3-0126 (ex 215)

OpenText Content Server v10 Cours 3-0126 (ex 215) v10 Cours 3-0126 (ex 215) Administration système et indexation-recherche Durée : 5 jours Ce cours de 5 jours apprendra aux administrateurs, aux architectes système et aux services support comment installer,

Plus en détail

Scub Foundation. Socle technique Java Open Source http://www.scub-foundation.org

Scub Foundation. Socle technique Java Open Source http://www.scub-foundation.org Scub Foundation Socle technique Java Open Source http://www.scub-foundation.org Présentation de Scub Présentation de Scub Scub est une société de service en informatique qui a pour but de fournir du conseil

Plus en détail

Projet Web. Tim Burton. Refonte complète du site de Tim Burton en utilisant les dernières technologies du web : HTML 5 / CSS 3 / JavaScript...

Projet Web. Tim Burton. Refonte complète du site de Tim Burton en utilisant les dernières technologies du web : HTML 5 / CSS 3 / JavaScript... Projet Web Tim Burton Refonte complète du site de Tim Burton en utilisant les dernières technologies du web : HTML 5 / CSS 3 / JavaScript... Par Omar EDDASSER L3 ISC parcours MIAGE Sous l enseignement

Plus en détail

FONCTIONS DE TRAITEMENT} COUNT

FONCTIONS DE TRAITEMENT} COUNT Nom Prénom Promotion Date Buhl Damien Année 1 Groupe 2 21 Janvier 2007 CER Prosit n 22 Mots-Clés : - Requête/Langage SQL Le langage SQL (Structured Query Language) est un langage de requêtes, il permet

Plus en détail

Offre FlowUnit by CGI Tests automatisés de flux de données inter-applicatifs

Offre FlowUnit by CGI Tests automatisés de flux de données inter-applicatifs Offre FlowUnit by CGI Tests automatisés de flux de données inter-applicatifs CGI Group Inc. 2013 Agenda 1 2 3 4 5 6 7 Problématiques et enjeux Solutions et fonctionnalités Concepts Exécution et rapport

Plus en détail

NoSql. Principes. Google (Map Reduce, Big Table) et Amazone (Dynamo) pour faire face à la monté en charge liée au BigData

NoSql. Principes. Google (Map Reduce, Big Table) et Amazone (Dynamo) pour faire face à la monté en charge liée au BigData NoSql Principes Google (Map Reduce, Big Table) et Amazone (Dynamo) pour faire face à la monté en charge liée au BigData Les SGBD NoSql partagés ne peuvent satisfaire que 2 critères au plus NoSql Les transactions

Plus en détail

Cartographie des solutions BigData

Cartographie des solutions BigData Cartographie des solutions BigData Panorama du marché et prospective 1 1 Solutions BigData Défi(s) pour les fournisseurs Quel marché Architectures Acteurs commerciaux Solutions alternatives 2 2 Quels Défis?

Plus en détail

Le Big Data en marche. Georges HEBRAIL, Chercheur Senior, Dpt ICAME Marie-Luce PICARD, Chef de Projet, Dpt ICAME Max BRUDEY, Société Hortonworks

Le Big Data en marche. Georges HEBRAIL, Chercheur Senior, Dpt ICAME Marie-Luce PICARD, Chef de Projet, Dpt ICAME Max BRUDEY, Société Hortonworks Georges HEBRAIL, Chercheur Senior, Dpt ICAME Marie-Luce PICARD, Chef de Projet, Dpt ICAME Max BRUDEY, Société Hortonworks SOMMAIRE 1. LES ENJEUX ET DÉFIS DU BIG DATA 2. OFFRE DE SERVICE BIG DATA DE LA

Plus en détail

Data Tier Application avec SQL Server 2008 R2

Data Tier Application avec SQL Server 2008 R2 Data Tier Application avec SQL Server 2008 R2 Article par David BARBARIN (MVP SQL Server) David BARBARIN est actuellement consultant en bases de données pour une entreprise Suisse GOLD Partner Microsoft

Plus en détail

Lot 1 - Migration du serveur de base de données

Lot 1 - Migration du serveur de base de données Situation Rectiline Lot 1 - Migration du serveur de base de données Table des matières Lot 1 - Migration du serveur de base de données...1 Mise à jour du système Debian 6 :...2 Installation de PostgreSQL:...5

Plus en détail

Mesures DNS à l ère du Big Data : outils et défis. JCSA, 9 juillet 2015 Vincent Levigneron, Afnic

Mesures DNS à l ère du Big Data : outils et défis. JCSA, 9 juillet 2015 Vincent Levigneron, Afnic Mesures DNS à l ère du Big Data : outils et défis JCSA, 9 juillet 2015 Vincent Levigneron, Afnic Sommaire 1. Mesures DNS réalisées par l Afnic 2. Volumes et biais 3. Limitations 4. Pourquoi une approche

Plus en détail

FINI LA RÉCRÉ PASSONS AUX MÉGADONNÉES

FINI LA RÉCRÉ PASSONS AUX MÉGADONNÉES 1 FINI LA RÉCRÉ PASSONS AUX MÉGADONNÉES «Dans le concret, projets de transformation vers le BigData» V1-10/03/15 ABED AJRAOU CONNAISSEZ-VOUS PAGESJAUNES? CONNAISSEZ-VOUS PAGESJAUNES? LES MEGADONNEES RÉPONDENT

Plus en détail

Groovy & Grails. Langage de script basé sur Java appliqué dans un environnement JEE

Groovy & Grails. Langage de script basé sur Java appliqué dans un environnement JEE Groovy & Grails Langage de script basé sur Java appliqué dans un environnement JEE Martin Le Bas 1 Xposé 2010 Plan Introduction Groovy Grails Conclusion Références Plan de la présentation Introduction

Plus en détail

TP1 - Corrigé. Manipulations de données

TP1 - Corrigé. Manipulations de données TP1 - Corrigé Manipulations de données 1. Démarrez mysql comme suit : bash$ mysql -h 127.0.0.1 -u user4 -D db_4 p Remarque: le mot de passe est le nom de user. Ici user4 2. Afficher la liste des bases

Plus en détail

GRAILS L'ARCHITECTURE GRAILS

GRAILS L'ARCHITECTURE GRAILS GRAILS L'ARCHITECTURE GRAILS Grails est un serveur d'application web basé sur le langage Groovy, et le framework Spring. Il est édité par la société : SpringSource. Une application Grails se décompose

Plus en détail

IBM WebSphere Application Server 5.0 : Administration avancée

IBM WebSphere Application Server 5.0 : Administration avancée IBM WebSphere Application Server 5.0 : Administration avancée Slim CHENNOUFI Karim JENZRI chennoufilsim@yahoo.fr kjenzri@yahoo.com INSAT GL5 2004/2005 WAS 5.0: Pratiques d Administration 1 Plan La plate-forme

Plus en détail

Paris JUG. Spring Batch. Mardi 14 Mai 2013. Olivier Bazoud Julien Jakubowski

Paris JUG. Spring Batch. Mardi 14 Mai 2013. Olivier Bazoud Julien Jakubowski Paris JUG Spring Batch Mardi 14 Mai 2013 Olivier Bazoud Julien Jakubowski Intervenants Olivier Bazoud @obazoud Architecte technique sénior Java EE / Spring, Spring Batch, NoSQL, Node.js Co-auteur de «Spring

Plus en détail

PROSOP : un système de gestion de bases de données prosopographiques

PROSOP : un système de gestion de bases de données prosopographiques PROSOP : un système de gestion de bases de données prosopographiques Introduction : Ce document présente l outil en développement PROSOP qui permet la gestion d'une base de donnée prosopographique de la

Plus en détail

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages 1 Mehdi LOUIZI Plan Pourquoi Hadoop? Présentation et Architecture Démo Usages 2 Pourquoi Hadoop? Limites du Big Data Les entreprises n analysent que 12% des données qu elles possèdent (Enquête Forrester

Plus en détail

Base de donnée relationnelle. Exemple de table: Film. Exemple de table: Acteur. Exemple de table: Role. Contenu de la table Role

Base de donnée relationnelle. Exemple de table: Film. Exemple de table: Acteur. Exemple de table: Role. Contenu de la table Role IFT7 Programmation Serveur Web avec PHP Introduction à MySQL Base de donnée relationnelle Une base de données relationnelle est composée de plusieurs tables possédant des relations logiques (théorie des

Plus en détail

Windows 10 Comment récupérer sa clé de licence

Windows 10 Comment récupérer sa clé de licence Vous venez de migrer de Windows 7, 8, 8.1 vers Windows 10? Sachez que votre clé de licence n est plus la même! Je vous propose quelques softs pour récupérer cette clé qui sera indispensable en cas de réinstallation

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution

Plus en détail

du batch au temps réel Maxime Mézin Data & Photo Science Director

du batch au temps réel Maxime Mézin Data & Photo Science Director du batch au temps réel Maxime Mézin Data & Photo Science Director Leader Européen du tirage et du livre photo Plus 30 millions de membres 17 pays Stockage de milliards de photos Développement international

Plus en détail

Compte rendu d activité Fiche n 1

Compte rendu d activité Fiche n 1 Compte rendu d activité Fiche n 1 Alexandre K. (http://ploufix.free.fr) Nature de l activité Création d une base de connaissances avec PostgreSQL Contexte : Le responsable technique souhaite la mise en

Plus en détail

Générateur de code - EUGene

Générateur de code - EUGene Générateur de code - EUGene Florian Desbois Code Lutin www.codelutin.com 1 Plan 1.Présentation de Code Lutin 2.Différentes techniques de génération 3.Génération avec EUGene 4.Exemple de genération en Java

Plus en détail

Rapport de certification

Rapport de certification Rapport de certification Security Intelligence Platform 4.0.5 Préparé par : Le Centre de la sécurité des télécommunications à titre d organisme de certification dans le cadre du Schéma canadien d évaluation

Plus en détail

L art d ordonnancer. avec JobScheduler. François BAYART

L art d ordonnancer. avec JobScheduler. François BAYART L art d ordonnancer avec JobScheduler François BAYART 30 Octobre 2010 [1] 234567 introduction Introduction Qui suis-je? François Bayart consultant système en solution libre et propriétaire Redhat (1996),

Plus en détail

Chapitre 5 Vision Informatique Logique Architectures Applicative et Logicielle

Chapitre 5 Vision Informatique Logique Architectures Applicative et Logicielle Chapitre 5 Vision Informatique Logique Architectures Applicative et Logicielle NFE107 Chapitre 5 Vision Informatique Logique Architectures Applicative et Logicielle 5.1 Introduction Positionnement de la

Plus en détail

Des analyses logicielles dédiées et rentables

Des analyses logicielles dédiées et rentables Des analyses logicielles dédiées et rentables http://www.synectique.eu Un mot de présentation Depuis 1996 dans la maintenance et l évolution logicielle Auteur de Object-Oriented Reengineering Patterns

Plus en détail

Gildas Le Nadan. Thomas Clavier

Gildas Le Nadan. Thomas Clavier Chtijug 2011 Gildas Le Nadan Freelance Thomas Clavier AZAÉ Devops, une définition Devops est un mouvement visant à l'alignement du SI sur les besoins de l'entreprise

Plus en détail

THE GLOBAL EVENT MANAGER

THE GLOBAL EVENT MANAGER The Big Data Mining Company THE GLOBAL EVENT MANAGER Dans les systèmes d informations d entreprises d aujourd hui, l information est de plus en plus dipsersée, diverse, volumineuse, complexe et très indigeste

Plus en détail

Consoles graphiques. Compléments Web. MySQL Workbench. Connexion

Consoles graphiques. Compléments Web. MySQL Workbench. Connexion 4055_xomplement web Page 1 Lundi, 31. août 2015 10:56 10 Compléments Web Consoles graphiques MySQL AB fournit deux outils d administration : MySQL Workbench et MySQL Enterprise. Le premier est gratuit

Plus en détail

KARMA Le système de Revenue Management d'air France KLM avec Hadoop

KARMA Le système de Revenue Management d'air France KLM avec Hadoop KARMA Le système de Revenue Management d'air France KLM avec Hadoop Conférence BIG DATA - Master MBDS Université de Nice Sophia Antipolis 16 Décembre 2014 Martial AYAS maayas@airfrance.fr 2 Agenda 1. Présentation

Plus en détail

Webinar EBG Nouvelles perspectives d'exploitation des données clients avec le big data

Webinar EBG Nouvelles perspectives d'exploitation des données clients avec le big data Webinar EBG Nouvelles perspectives d'exploitation des données clients avec le big data Approches & opportunités face aux enjeux de volume, variété et vélocité France, 2012-2014 28 mars 2013 Ce document

Plus en détail

SQL-ON-HADOOP. Veille Technologique et Stratégique 2015 Guo Kai Élève de RICM 5 Kai.Guo@e.ujf-Grenoble.fr

SQL-ON-HADOOP. Veille Technologique et Stratégique 2015 Guo Kai Élève de RICM 5 Kai.Guo@e.ujf-Grenoble.fr SQL-ON-HADOOP Veille Technologique et Stratégique 2015 Guo Kai Élève de RICM 5 Kai.Guo@e.ujf-Grenoble.fr Données structurées (RDBMS) Exiger de strictement être organisé Annexer à RDBMS sans couture Consultable

Plus en détail

S1 Re-engineering de la base de données DB2 for i : approche et points-clés

S1 Re-engineering de la base de données DB2 for i : approche et points-clés Modernisation IBM i Nouveautés 2014-2015 19 et 20 mai 2015 IBM Client Center, Bois-Colombes S1 Re-engineering de la base de données DB2 for i : approche et points-clés Mardi 19 mai 14h00-15h30 Philippe

Plus en détail

Mercredi 15 Janvier 2014

Mercredi 15 Janvier 2014 De la conception au site web Mercredi 15 Janvier 2014 Loïc THOMAS Géo-Hyd Responsable Informatique & Ingénierie des Systèmes d'information loic.thomas@anteagroup.com 02 38 64 26 41 Architecture Il est

Plus en détail

PostgreSQL, le cœur d un système critique

PostgreSQL, le cœur d un système critique PostgreSQL, le cœur d un système critique Jean-Christophe Arnu PostgreSQLFr Rencontres Mondiales du Logiciel Libre 2005 2005-07-06 Licence Creative Commons Paternité - Pas d utilisation commerciale - Partage

Plus en détail

la phase exploratoire

la phase exploratoire V 1.00 la phase exploratoire élément facilitateur dans la réussite d un projet Agile A. MORVANT IT&L@BS Coach Agile aurelien.morvant@orange-ftgroup.com Page 1 Page 2 objet de la session > introduire la

Plus en détail

OWASP Top Ten 2013 Les dix risques de sécurité applicatifs Web les plus critiques

OWASP Top Ten 2013 Les dix risques de sécurité applicatifs Web les plus critiques OWASP Top Ten 2013 Les dix risques de sécurité applicatifs Web les plus critiques OSSIR Paris / 14 janvier 2014 Guillaume Lopes Consultant Sécurité Guillaume.Lopes@Intrinsec.com 14 janvier 2014 1 Qui suis-je?

Plus en détail

JBoss Seam Accélérez votre développement web 2.0. Malik SAHEB Senior Solution Architect Red Hat malik.saheb@redhat.com

JBoss Seam Accélérez votre développement web 2.0. Malik SAHEB Senior Solution Architect Red Hat malik.saheb@redhat.com JBoss Seam Accélérez votre développement web 2.0 ` Malik SAHEB Senior Solution Architect Red Hat malik.saheb@redhat.com 1 SOMMAIRE Introduction Atouts Majeurs Catalogue de Composants Roadmap RAD Démo Sim,

Plus en détail

Expériences Professionnelles

Expériences Professionnelles Youssef LYHYAOUI Ingénieur Java/J2EE, SOA, ESB, Web services 30 ans Statut : Salarié Adresse Personnelle : 4, allée du Roussillon 91300 Massy Téléphone : (+33) 06 34 52 50 22 E-mail : ly_youssef@yahoo.fr

Plus en détail

Contrôlez et Maîtrisez votre environnement de messagerie Lotus Notes Domino

Contrôlez et Maîtrisez votre environnement de messagerie Lotus Notes Domino Contrôlez et Maîtrisez votre environnement de messagerie Lotus Notes Domino avec MailFlow Analyzer TM un produit de l Infrastructure Management Suite TM Copyright COOPERTEAM SOFTWARE 2013 La gestion de

Plus en détail

Cytoscape pour la visualisation et le traitement de grands graphes

Cytoscape pour la visualisation et le traitement de grands graphes Cytoscape pour la visualisation et le traitement de grands graphes Laurent Risser CNRS, Institut de Mathématiques de Toulouse 01/16 1) Principaux logiciels Outils libres pour la visualisation et traitement

Plus en détail

SQL. Oracle. pour. 4 e édition. Christian Soutou Avec la participation d Olivier Teste

SQL. Oracle. pour. 4 e édition. Christian Soutou Avec la participation d Olivier Teste Christian Soutou Avec la participation d Olivier Teste SQL pour Oracle 4 e édition Groupe eyrolles, 2004, 2005, 2008, 2010, is BN : 978-2-212-12794-2 Partie III SQL avancé La table suivante organisée en

Plus en détail