De à 4 millions. Khanh Tuong

Dimension: px
Commencer à balayer dès la page:

Download "De 20 000 à 4 millions. Khanh Tuong Maudoux @jetoile"

Transcription

1 De à 4 millions Khanh Tuong

2 2

3 Qui suis- Khanh Tuong Maudoux Développeur Java indépendant blog : 3

4 Contexte Collecteur Stockage Lecture Traitement 4

5 Contexte 5

6 Contexte Fonctionnel Réception de relevés de compteurs (fichiers xml) Fournir une consolidation (valorisation) des consommations en fonction de différents critères Algorithmes de lissage et de détection à faire sur les données Algorithmes de valorisation à faire sur les données 6

7 Contexte Volumétrie Avant : clients Cible : clients Avec un pas de 30 minutes! ~ fichiers par jours (~156 Go/jour) 7

8 Contexte État des lieux Algorithmes de lissage et de détection fait au moment de la collecte long» => anomalies «courantes» Algorithmes de consolidation exécutés par batch sur les données stockées 8

9 Contexte État des lieux Stockage TimeSeries Stockage Collecteur Consolidation Applicatif Stockage 9

10 Contexte État des lieux 10

11 Contexte Objectifs Objectif : Remplacer la solution de stockage Ne pas oublier la phase le ré-import totale! (~3 ans de données) 11

12 Collecteur 12

13 Collecteur Objectifs Batch de collecte avec stockage dans une solution propriétaire Objectifs : Valider différentes solutions (Cassandra, MySQL Cluster) Valider le modèle de données 13

14 Transformation JAXB Transformation Objet pivot Routage par xpath Transformation JAXB Transformation Objet pivot Collecteur État des lieux XML Java DTO Stockage XML Java DTO 14

15 Collecteur Pistes Pistes : Spring Batch EIP Spring Batch + EIP 15

16 Collecteur Outils / Framework : Spring Integration Metrics JMX / Jolokia Hawt.io Maven! 16

17 Collecteur Spring Integration Architecture «Pipe and Filters» 17

18 Transformation JAXB Transformation Objet pivot Routage par xpath Transformation JAXB Transformation Objet pivot Collecteur Spring Integration XML Java DTO Stockage XML Java DTO 18

19 Collecteur Spring Integration 19

20 Collecteur Spring Integration 20

21 Collecteur Spring Integration 21

22 Collecteur Spring Integration 22

23 Collecteur Spring Integration 23

24 Collecteur Spring Integration Message-history Scalabilité horizontale 24

25 Collecteur Metrics 25

26 Collecteur Jolokia JMX via HTTP/JSON 26

27 Collecteur Hawt.io 27

28 Collecteur Maven maven-jaxb2-plugin (org.jvnet.jaxb2.maven2) appassembler-maven-plugin (org.codehaus.mojo) 28

29 Collecteur endpoint REST pour injection 29

30 Stockage 30

31 Stockage Objectifs Rappels : Remplacer la solution existante de stockage Chaque capteur remonte une donnée toutes les 30 minutes Time series (au plus colonnes par ligne) 31

32 Stockage Cassandra Base de données orientée colonnes Keyspace Column Family Column 32

33 Stockage Cassandra Time series : 1 ligne avec de multiples colonnes (clé composite) capteur_id event temperature event temperature CREATE TABLE capteur ( capteur_id text, event timestamp, temperature text, PRIMARY KEY (capteur_id, event) ) Ordonnée 33

34 Stockage Attention longueur/taille de ligne CREATE TABLE capteur ( capteur_id text, event_period text, event timestamp, value text, PRIMARY KEY ((capteur_id, event_period), event) ) Attention modélisation aggrégation 34

35 Stockage Jolokia Comme agent sur la JVM 35

36 Lecture 36

37 Lecture Objectifs Évaluer la pertinence de la solution de stockage Véloce Simple Remonté de métriques => injecteur! 37

38 Lecture Pistes Pistes : From scratch 38

39 Lecture Outils / Framework : RestEasy Netty Swagger JMX / Jolokia Hawt.io Maven Gatling / AB 39

40 Lecture RestEasy Netty : JAX-RS Netty Simple 40

41 Lecture Swagger : 41

42 Lecture Jolokia 42

43 Lecture Gatling 43

44 Traitement 44

45 Traitement Rappel Stockage TimeSeries Stockage Collecteur Consolidation Applicatif Stockage 45

46 Traitement Objectifs Objectif : Collecte Rapide Pas de pertes de données (sécurisation de la données) Détection des données fausses Faite en aval de la collecte Consolidation Faite sur les données «valides» avec stockage des mesures dans des «batch View» Séparation des concepts! 46

47 Traitement Objectifs Objectif : Lambda architecture Query = function (all data) 47

48 Transformation Objet pivot C*DAO Traitement Objectifs Objectif : collecte C* transformation C* C* Valo All datas Precompute views Batch views Batch Layer Service Layer Query = function (all data) 48

49 Traitement Spark / Hadoop 49

50 Traitement Objectifs? Volumétrie non acceptable pour la production : Duplication de la donnée Souhaite une solution avec calcul à la demande 50

51 Transformation Objet pivot C*DAO Traitement Objectifs? Traitement collecte C* transformation C* C* Valo All datas Precompute views Batch views Service Layer 51

52 Traitement Objectifs? Algorithme de lissage en amont 52

53 Conclusion 53

54 Merci! 54

55 Questions? 55

56 pas le feedback en sortant! ou?

PERF UG. Programmation réactive. Février 2014

PERF UG. Programmation réactive. Février 2014 PERF UG Programmation réactive Février 2014 1 Sommaire Contexte Architectures Architecture des Tirs Protocole de test Résultats 2 Contexte 3 Contexte Recevoir en temps réel des informations de capteur

Plus en détail

Nos offres de stages pour 2013

Nos offres de stages pour 2013 Nos offres de stages pour 2013 Les sujets de stage que nous vous proposons sont des projets à très forte valeur ajoutée, mêlant recherche amont, algorithmique et implémentation. Ils touchent à des domaines

Plus en détail

Plan. Vérinews, phase 2. Marc-Antoine Tardif Pierre-Emmanuel Viau

Plan. Vérinews, phase 2. Marc-Antoine Tardif Pierre-Emmanuel Viau Vérinews, phase 2 Marc-Antoine Tardif Pierre-Emmanuel Viau Plan Pierre-Emmanuel VériNews L équipe Gestion du projet Phases du projet, besoins et priorités Cas d utilisations priorisés Marc-Antoine Architecture

Plus en détail

Fouillez facilement dans votre système Big Data. Olivier TAVARD

Fouillez facilement dans votre système Big Data. Olivier TAVARD Fouillez facilement dans votre système Big Data Olivier TAVARD A propos de moi : Cofondateur de la société France Labs Développeur (principalement Java) Formateur en technologies de moteurs de recherche

Plus en détail

PostgreSQL. quand on est développeur. Dimitri Fontaine dimitri@2ndquadrant.fr. 31 Octobre 2012

PostgreSQL. quand on est développeur. Dimitri Fontaine dimitri@2ndquadrant.fr. 31 Octobre 2012 PostgreSQL quand on est développeur Dimitri Fontaine dimitri@2ndquadrant.fr 31 Octobre 2012 Dimitri Fontaine dimitri@2ndquadrant.fr PostgreSQL 31 Octobre 2012 1 / 29 Dimitri Fontaine 2ndQuadrant France

Plus en détail

Vos experts Big Data. contact@hurence.com. Le Big Data dans la pratique

Vos experts Big Data. contact@hurence.com. Le Big Data dans la pratique Vos experts Big Data contact@hurence.com Le Big Data dans la pratique Expert Expert Infrastructure Data Science Spark MLLib Big Data depuis 2011 Expert Expert Hadoop / Spark NoSQL HBase Couchbase MongoDB

Plus en détail

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Soutenance de projet ASR 27/01/2011 Julien Gerlier Siman Chen Encadrés par Bruno

Plus en détail

Présentation de l entreprise. La problématique des applications mobiles. Le serveur EPS. Les applications bâties autour de EPS.

Présentation de l entreprise. La problématique des applications mobiles. Le serveur EPS. Les applications bâties autour de EPS. Présenté par W. YOUSSEF Présentation de l entreprise La problématique des applications mobiles Le serveur EPS Les applications bâties autour de EPS Conclusion Page 2 Société à Actions Simplifiée (SAS)

Plus en détail

Vocabulaire 1/2. Base de données : collection de données interreliées. SGBD : système de gestion de bases de données.

Vocabulaire 1/2. Base de données : collection de données interreliées. SGBD : système de gestion de bases de données. Bases de données Au menu : Vocabulaire Le modèle relationnel Types de bases de données Implémentation libre : MySQL Le SQL (Simple Query Language) Administration d'un SGBD Sécurité des SGBD Vocabulaire

Plus en détail

Les formations. Développeur Logiciel. ENI Ecole Informatique

Les formations. Développeur Logiciel. ENI Ecole Informatique page 1/5 Titre professionnel : Reconnu par l Etat de niveau III (Bac), inscrit au RNCP (arrêté du 12/10/07, J.O. n 246 du 23/10/07) (32 semaines) Unité 1 : Structurer une application 6 semaines Module

Plus en détail

Vos experts Big Data. contact@hurence.com. Mener un projet Big Data

Vos experts Big Data. contact@hurence.com. Mener un projet Big Data Vos experts Big Data contact@hurence.com Mener un projet Big Data Expert Expert Infrastructure Data Science Spark MLLib Big Data depuis 2011 Expert Expert Hadoop / Spark NoSQL HBase Couchbase MongoDB Expert

Plus en détail

Le projet. Software QUality ASsurance enhancement. Club Qualimétrie 25 / 01 / 2011

Le projet. Software QUality ASsurance enhancement. Club Qualimétrie 25 / 01 / 2011 Le projet Software QUality ASsurance enhancement Club Qualimétrie 25 / 01 / 2011 Le projet Software QUality ASsurance enhancement Qu est-ce que Squash? L outillage open source proposé par Squash Les outils

Plus en détail

Panorama des solutions analytiques existantes

Panorama des solutions analytiques existantes Arnaud LAROCHE Julien DAMON Panorama des solutions analytiques existantes SFdS Méthodes et Logiciels - 16 janvier 2014 - Données Massives Ne sont ici considérés que les solutions autour de l environnement

Plus en détail

Spring par la pratique

Spring par la pratique Spring par la pratique 2 e édition Spring 2.5 et 3.0 Arnaud Cogoluègnes Thierry Templier Julien Dubois Jean-Philippe Retaillé avec la contribution de Séverine Templier Roblou et de Olivier Salvatori Groupe

Plus en détail

API04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture

API04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture API04 Contribution Apache Hadoop: Présentation et application dans le domaine des Data Warehouses Introduction Cette publication a pour but de présenter le framework Java libre Apache Hadoop, permettant

Plus en détail

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL AVRIL 2014 Panorama des solutions NoSQL QUI SOMMES NOUS? Avril 2014 2 SMILE, EN QUELQUES CHIFFRES 1er INTÉGRATEUR EUROPÉEN DE SOLUTIONS OPEN SOURCE 3 4 NOS EXPERTISES ET NOS CONVICTIONS DANS NOS LIVRES

Plus en détail

Cassandra chez Chronopost pour traiter en temps réel 1,5 milliard d événements par an

Cassandra chez Chronopost pour traiter en temps réel 1,5 milliard d événements par an Cassandra chez Chronopost pour traiter en temps réel 1,5 milliard d événements par an Qui suis-je? Alexander DEJANOVSKI Ingénieur EAI Depuis 15 ans chez Chronopost @alexanderdeja Chronopost International

Plus en détail

Documentation technique. [EIP] TransLSF. Henri HARDILLIER - Thomas MOREL - Florian JOUSSEAU Alexis MONNIER - Keo KHEMARA - Leo MARTIN Stéphane RICARDO

Documentation technique. [EIP] TransLSF. Henri HARDILLIER - Thomas MOREL - Florian JOUSSEAU Alexis MONNIER - Keo KHEMARA - Leo MARTIN Stéphane RICARDO Documentation technique [EIP] TransLSF Henri HARDILLIER - Thomas MOREL - Florian JOUSSEAU Alexis MONNIER - Keo KHEMARA - Leo MARTIN Stéphane RICARDO Résumé Ce document présente la partie technique de TransLSF.

Plus en détail

Les requêtes Oracle XML DB. Du modèle relationnelle au modèle Hiérarchique

Les requêtes Oracle XML DB. Du modèle relationnelle au modèle Hiérarchique Les requêtes Oracle XML DB Du modèle relationnelle au modèle Hiérarchique Sommaire Rappel des modèles Le modèle relationnel Le modèle hiérarchique Leurs différences Oracle XML DB Les types de XMLType Les

Plus en détail

BIG DATA en Sciences et Industries de l Environnement

BIG DATA en Sciences et Industries de l Environnement BIG DATA en Sciences et Industries de l Environnement François Royer www.datasio.com 21 mars 2012 FR Big Data Congress, Paris 2012 1/23 Transport terrestre Traçabilité Océanographie Transport aérien Télémétrie

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution

Plus en détail

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages 1 Mehdi LOUIZI Plan Pourquoi Hadoop? Présentation et Architecture Démo Usages 2 Pourquoi Hadoop? Limites du Big Data Les entreprises n analysent que 12% des données qu elles possèdent (Enquête Forrester

Plus en détail

Lot 7 : Document Recette

Lot 7 : Document Recette Lot 7 : Document Recette Référence Document_Recette.pdf Version 2.0 Date 18/06/2009 Auteur Chef de projet Equipe INOVECO Lionel Croix Le présent document reprend le cahier des charges que l on s était

Plus en détail

Mettez les évolutions technologiques au service de vos objectifs métier

Mettez les évolutions technologiques au service de vos objectifs métier Mettez les évolutions technologiques au service de vos objectifs métier 2 OXIA a pour mission de concevoir et mettre en oeuvre les meilleures solutions technologiques visant à améliorer la productivité,

Plus en détail

Introduction à l'indexation fulltext

Introduction à l'indexation fulltext Introduction à l'indexation fulltext Robert VISEUR Assistant (FPMs) Guideur technologique (CETIC) robert.viseur@fpms.ac.be Solutions Linux 2008 31 janvier 2008 Objectifs de l'exposé Proposer une introduction

Plus en détail

DocForum 18 Juin 2015. Réussites d un projet Big Data Les incontournables

DocForum 18 Juin 2015. Réussites d un projet Big Data Les incontournables DocForum 18 Juin 2015 Réussites d un projet Big Data Les incontournables Vos interlocuteurs Mick LEVY Directeur Innovation Business mick.levy@businessdecision.com 06.50.87.13.26 @mick_levy 2 Business &

Plus en détail

Les activités de recherche sont associées à des voies technologiques et à des opportunités concrètes sur le court, moyen et long terme.

Les activités de recherche sont associées à des voies technologiques et à des opportunités concrètes sur le court, moyen et long terme. Mémoires 2010-2011 www.euranova.eu EURANOVA R&D Euranova est une société Belge constituée depuis le 1er Septembre 2008. Sa vision est simple : «Être un incubateur technologique focalisé sur l utilisation

Plus en détail

Labs Hadoop Février 2013

Labs Hadoop Février 2013 SOA - BRMS - ESB - BPM CEP BAM - High Performance Compute & Data Grid - Cloud Computing - Big Data NoSQL - Analytics Labs Hadoop Février 2013 Mathias Kluba Managing Consultant Responsable offres NoSQL

Plus en détail

Le Big Data en marche. Georges HEBRAIL, Chercheur Senior, Dpt ICAME Marie-Luce PICARD, Chef de Projet, Dpt ICAME Max BRUDEY, Société Hortonworks

Le Big Data en marche. Georges HEBRAIL, Chercheur Senior, Dpt ICAME Marie-Luce PICARD, Chef de Projet, Dpt ICAME Max BRUDEY, Société Hortonworks Georges HEBRAIL, Chercheur Senior, Dpt ICAME Marie-Luce PICARD, Chef de Projet, Dpt ICAME Max BRUDEY, Société Hortonworks SOMMAIRE 1. LES ENJEUX ET DÉFIS DU BIG DATA 2. OFFRE DE SERVICE BIG DATA DE LA

Plus en détail

ARCHITECTURE REST & WEB SERVICES. Exposé Informatique & Réseaux CHAMBON Florian 14 janvier 2014

ARCHITECTURE REST & WEB SERVICES. Exposé Informatique & Réseaux CHAMBON Florian 14 janvier 2014 ARCHITECTURE REST & WEB SERVICES Exposé Informatique & Réseaux CHAMBON Florian 14 janvier 2014 1 Introduction Présentation de Rest Serveur Java JAX-RS Démonstration 2 Introduction Présentation de Rest

Plus en détail

ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE

ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE Mémoires 2010-2011 www.euranova.eu MÉMOIRES ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE Contexte : Aujourd hui la plupart des serveurs d application JEE utilise des niveaux de cache L1

Plus en détail

L art d ordonnancer. avec JobScheduler. François BAYART

L art d ordonnancer. avec JobScheduler. François BAYART L art d ordonnancer avec JobScheduler François BAYART 30 Octobre 2010 [1] 234567 introduction Introduction Qui suis-je? François Bayart consultant système en solution libre et propriétaire Redhat (1996),

Plus en détail

Offre FlowUnit by CGI Tests automatisés de flux de données inter-applicatifs

Offre FlowUnit by CGI Tests automatisés de flux de données inter-applicatifs Offre FlowUnit by CGI Tests automatisés de flux de données inter-applicatifs CGI Group Inc. 2013 Agenda 1 2 3 4 5 6 7 Problématiques et enjeux Solutions et fonctionnalités Concepts Exécution et rapport

Plus en détail

HADOOP ET SON ÉCOSYSTÈME

HADOOP ET SON ÉCOSYSTÈME HADOOP ET SON ÉCOSYSTÈME Mars 2013 2012 Affini-Tech - Diffusion restreinte 1 AFFINI-TECH Méthodes projets Outils de reporting & Data-visualisation Business & Analyses BigData Modélisation Hadoop Technos

Plus en détail

Mesures DNS à l ère du Big Data : outils et défis. JCSA, 9 juillet 2015 Vincent Levigneron, Afnic

Mesures DNS à l ère du Big Data : outils et défis. JCSA, 9 juillet 2015 Vincent Levigneron, Afnic Mesures DNS à l ère du Big Data : outils et défis JCSA, 9 juillet 2015 Vincent Levigneron, Afnic Sommaire 1. Mesures DNS réalisées par l Afnic 2. Volumes et biais 3. Limitations 4. Pourquoi une approche

Plus en détail

Unité de formation 1 : Structurer une application. Durée : 3 semaines

Unité de formation 1 : Structurer une application. Durée : 3 semaines PROGRAMME «DEVELOPPEUR LOGICIEL» Titre professionnel : «Développeur Logiciel» Inscrit au RNCP de niveau III (Bac+2) (JO du 23 Octobre 2007) (32 semaines) Unité de formation 1 : Structurer une application

Plus en détail

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis MapReduce Nicolas Dugué nicolas.dugue@univ-orleans.fr M2 MIAGE Systèmes d information répartis Plan 1 Introduction Big Data 2 MapReduce et ses implémentations 3 MapReduce pour fouiller des tweets 4 MapReduce

Plus en détail

Intégration avec Camel et ServiceMix

Intégration avec Camel et ServiceMix Charles Moulliard Architecte de Solutions Apache Committer Objectif «Faire découvrir les projets Apache orientés Intégration comme Camel ainsi que le conteneur ServiceMix et les architectures cibles» 3

Plus en détail

Editeur de logiciel de gestion Architecte en solution informatique. www.xware.fr

Editeur de logiciel de gestion Architecte en solution informatique. www.xware.fr Editeur de logiciel de gestion Architecte en solution informatique NOTRE SAVOIR FAIRE Forte de son expérience, XWARE développe et intègre des solutions de gestion, de communication et de sécurité innovantes

Plus en détail

Comment valoriser votre patrimoine de données?

Comment valoriser votre patrimoine de données? BIG DATA POUR QUELS USAGES? Comment valoriser votre patrimoine de données? HIGH PERFORMANCE HIGH ANALYTICS PERFORMANCE ANALYTICS MOULOUD DEY SAS FRANCE 15/11/2012 L ENTREPRISE SAS EN QUELQUES CHIFFRES

Plus en détail

Scub Foundation. Socle technique Java Open Source http://www.scub-foundation.org

Scub Foundation. Socle technique Java Open Source http://www.scub-foundation.org Scub Foundation Socle technique Java Open Source http://www.scub-foundation.org Présentation de Scub Présentation de Scub Scub est une société de service en informatique qui a pour but de fournir du conseil

Plus en détail

PostgreSQL, le cœur d un système critique

PostgreSQL, le cœur d un système critique PostgreSQL, le cœur d un système critique Jean-Christophe Arnu PostgreSQLFr Rencontres Mondiales du Logiciel Libre 2005 2005-07-06 Licence Creative Commons Paternité - Pas d utilisation commerciale - Partage

Plus en détail

Générateur de code - EUGene

Générateur de code - EUGene Générateur de code - EUGene Florian Desbois Code Lutin www.codelutin.com 1 Plan 1.Présentation de Code Lutin 2.Différentes techniques de génération 3.Génération avec EUGene 4.Exemple de genération en Java

Plus en détail

Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web

Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web Sujet du stage Mise en place et paramétrage d un moteur spécialisé pour la recherche de CV à travers le web Responsable du stage : Nabil Belcaid Le Guyader Chef de projet : Ali Belcaid Déroulement du stage

Plus en détail

Paris JUG. Spring Batch. Mardi 14 Mai 2013. Olivier Bazoud Julien Jakubowski

Paris JUG. Spring Batch. Mardi 14 Mai 2013. Olivier Bazoud Julien Jakubowski Paris JUG Spring Batch Mardi 14 Mai 2013 Olivier Bazoud Julien Jakubowski Intervenants Olivier Bazoud @obazoud Architecte technique sénior Java EE / Spring, Spring Batch, NoSQL, Node.js Co-auteur de «Spring

Plus en détail

Cartographie des solutions BigData

Cartographie des solutions BigData Cartographie des solutions BigData Panorama du marché et prospective 1 1 Solutions BigData Défi(s) pour les fournisseurs Quel marché Architectures Acteurs commerciaux Solutions alternatives 2 2 Quels Défis?

Plus en détail

Soutenance de XML & BD. Yong Li

Soutenance de XML & BD. Yong Li Soutenance de XML & BD Yong Li Li Yong Professeur :H.Schellinx Introduction La relation de XML et Base de donnees les avantage les inconvients l' utlilisation par ses avantage Data versus Documents Data-Centric

Plus en détail

Titre : La BI vue par l intégrateur Orange

Titre : La BI vue par l intégrateur Orange Titre : La BI vue par l intégrateur Orange Résumé : L entité Orange IT&L@bs, partenaire privilégié des entreprises et des collectivités dans la conception et l implémentation de SI Décisionnels innovants,

Plus en détail

Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr

Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr Déploiement d une architecture Hadoop pour analyse de flux françois-xavier.andreu@renater.fr 1 plan Introduction Hadoop Présentation Architecture d un cluster HDFS & MapReduce L architecture déployée Les

Plus en détail

TD6 - Audit. Corrigé. 14 janvier 2016

TD6 - Audit. Corrigé. 14 janvier 2016 TD6 - Audit Corrigé Chantal Keller 14 janvier 2016 1 Généralités Question 1 Peut-on avoir confiance dans les tests détection d infection (c est-à-dire regardant a posteriori

Plus en détail

Du paiement à la facture : la fluidification de la chaine financière avec Chorus

Du paiement à la facture : la fluidification de la chaine financière avec Chorus Du paiement à la facture : la fluidification de la chaine financière avec Chorus Emmanuel SPINAT Délégué de la directrice à la Maintenance et Supervision Opérationnelle (DMSO) de l Agence pour l Informatique

Plus en détail

Exposé: Web sémantique. Web 2.0: impact Sur les IHM, Plasticité. Présenté par: BEN AMOR Akram

Exposé: Web sémantique. Web 2.0: impact Sur les IHM, Plasticité. Présenté par: BEN AMOR Akram Exposé: Web sémantique. Web 2.0: impact Sur les IHM, Plasticité Présenté par: BEN AMOR Akram Plan Web Sémantique Définition et objectif Historique Principe général Quels sont les finalités et les objectifs

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2014) Marc Parizeau, Département de génie électrique et de génie informatique Plan Mégadonnées («big data») Architecture Hadoop distribution

Plus en détail

C-JDBC. Emmanuel Cecchet INRIA, Projet Sardes. http://sardes.inrialpes.fr

C-JDBC. Emmanuel Cecchet INRIA, Projet Sardes. http://sardes.inrialpes.fr Emmanuel Cecchet INRIA, Projet Sardes http://sardes.inrialpes.fr Plan Motivations Idées principales Concepts Caching Perspectives /ObjectWeb 15 octobre 2002 Emmanuel.Cecchet@inrialpes.fr 2 - Motivations

Plus en détail

Formation Certifiante : Java/Java EE, Hibernate, Struts2, JSF2 et Spring3

Formation Certifiante : Java/Java EE, Hibernate, Struts2, JSF2 et Spring3 Formation Certifiante : Java/Java EE, Hibernate, Struts2, JSF2 et Spring3 Présentation de la formation Cette formation s'inscrit dans le cadre des formations d'été assurées par la société Inovia Information

Plus en détail

du batch au temps réel Maxime Mézin Data & Photo Science Director

du batch au temps réel Maxime Mézin Data & Photo Science Director du batch au temps réel Maxime Mézin Data & Photo Science Director Leader Européen du tirage et du livre photo Plus 30 millions de membres 17 pays Stockage de milliards de photos Développement international

Plus en détail

OpenText Content Server v10 Cours 3-0126 (ex 215)

OpenText Content Server v10 Cours 3-0126 (ex 215) v10 Cours 3-0126 (ex 215) Administration système et indexation-recherche Durée : 5 jours Ce cours de 5 jours apprendra aux administrateurs, aux architectes système et aux services support comment installer,

Plus en détail

Network Efficiency Monitoring - version 2

Network Efficiency Monitoring - version 2 École Polytechnique de l Université de Tours 64, Avenue Jean Portalis 37200 TOURS, FRANCE Tél. +33 (0)2 47 36 14 14 www.polytech.univ-tours.fr Département Informatique 5 e année 2012-2013 Projet de fin

Plus en détail

NoSql. Principes. Google (Map Reduce, Big Table) et Amazone (Dynamo) pour faire face à la monté en charge liée au BigData

NoSql. Principes. Google (Map Reduce, Big Table) et Amazone (Dynamo) pour faire face à la monté en charge liée au BigData NoSql Principes Google (Map Reduce, Big Table) et Amazone (Dynamo) pour faire face à la monté en charge liée au BigData Les SGBD NoSql partagés ne peuvent satisfaire que 2 critères au plus NoSql Les transactions

Plus en détail

CURRICULUM VITAE. 1. Informations générales. Nom et prénom: Akram KAMOUN. Date et lieu de naissance: 08 janvier 1988 à Tunis

CURRICULUM VITAE. 1. Informations générales. Nom et prénom: Akram KAMOUN. Date et lieu de naissance: 08 janvier 1988 à Tunis CURRICULUM VITAE 1. Informations générales Nom et prénom: Akram KAMOUN Date et lieu de naissance: 08 janvier 1988 à Tunis Adresse de correspondance: Route de Soukra, km 4, Cité El Amal 3, Maison N 4, Rue

Plus en détail

XML et Bases de données. XMLType Oracle XML DB

XML et Bases de données. XMLType Oracle XML DB Oracle XML DB Oracle XML DB Depuis la version 9i et de façon enrichie dans la version 10g, Oracle propose des outils pour gérer des documents XML Depuis la 10g il n'y a plus d'extraction car auparavant

Plus en détail

Introduction aux Bases de Données Relationnelles Conclusion - 1

Introduction aux Bases de Données Relationnelles Conclusion - 1 Pratique d un : MySQL Objectifs des bases de données Où en sommes nous? Finalement, qu est-ce qu un? Modèle relationnel Algèbre relationnelle Conclusion SQL Conception et rétro-conception Protection de

Plus en détail

Offre Supervision OF. mercredi 17 septembre 2014. Groupe CGI inc. CONFIDENTIEL

Offre Supervision OF. mercredi 17 septembre 2014. Groupe CGI inc. CONFIDENTIEL Offre Supervision OF mercredi 17 septembre 2014 Groupe CGI inc. CONFIDENTIEL Agenda 1 2 3 4 5 6 7 Pourquoi cette solution? Principes et enjeux de la solution Les modules & fonctionnalités Architecture

Plus en détail

Nouveau : Test de DATAGEN, générateur de données

Nouveau : Test de DATAGEN, générateur de données Nouveau : Test de DATAGEN, générateur de données par Date de publication : 10 avril 2005 Dernière mise à jour : Test de DATAGEN, outil de génération de jeux de données SGBD par Sylvain James, rédacteur

Plus en détail

Groovy & Grails. Langage de script basé sur Java appliqué dans un environnement JEE

Groovy & Grails. Langage de script basé sur Java appliqué dans un environnement JEE Groovy & Grails Langage de script basé sur Java appliqué dans un environnement JEE Martin Le Bas 1 Xposé 2010 Plan Introduction Groovy Grails Conclusion Références Plan de la présentation Introduction

Plus en détail

Les journées SQL Server 2013

Les journées SQL Server 2013 Les journées SQL Server 2013 Un événement organisé par GUSS Les journées SQL Server 2013 Romain Casteres MVP SQL Server Consultant BI @PulsWeb Yazid Moussaoui Consultant Senior BI MCSA 2008/2012 Etienne

Plus en détail

Le stockage de l'énergie : des nouvelles perspectives de performance énergétique pour les industriels?

Le stockage de l'énergie : des nouvelles perspectives de performance énergétique pour les industriels? Le stockage de l'énergie : des nouvelles perspectives de performance énergétique pour les industriels? Usine + 13 et 14 Novembre 2014 Francois Borghese - Prosumer marketing director Francois2.borghese@schneider-electric.com

Plus en détail

Big Data et Graphes : Quelques pistes de recherche

Big Data et Graphes : Quelques pistes de recherche Big Data et Graphes : Quelques pistes de recherche Hamamache Kheddouci Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université

Plus en détail

Big Data par l exemple

Big Data par l exemple #PARTAGE Big Data par l exemple Alexandre Chauvin Hameau Directeur de la production Malakoff Médéric @achauvin CT BIG DATA 10/12/2015 Soyons pragmatiques BIG DATA beaucoup de bruit pour des choses finalement

Plus en détail

TimeSeries c'est simple

TimeSeries c'est simple TimeSeries c'est simple Informix IDS Big-Data et Power 8 12-13 Mars au Centre IBM Montpellier J. Rage FRAME TimeSeries : qu'est ce que c'est? Les données TimeSeries sont des séries de mesures prises à

Plus en détail

Evolutions du Web et des langages

Evolutions du Web et des langages Evolutions du Web Evolutions du Web et des langages WEB statique Ces pages sont écrites en HTML Les pages demandées sont identiques quelque soit La personne qui les demande L heure de la demande Etc. WEB

Plus en détail

Semarchy Convergence for Data Integration La Plate-Forme d Intégration pour le MDM Évolutionnaire

Semarchy Convergence for Data Integration La Plate-Forme d Intégration pour le MDM Évolutionnaire FICHE PRODUIT Semarchy Convergence for Data Integration La Plate-Forme d Intégration pour le MDM Évolutionnaire BENEFICES Des projets réussis dans les délais et les budgets La bonne donnée disponible au

Plus en détail

PRO BTP Démarche SOA. IBM SOA EXECUTIVE SUMMIT 21 mai 2008

PRO BTP Démarche SOA. IBM SOA EXECUTIVE SUMMIT 21 mai 2008 PRO BTP Démarche SOA IBM SOA EXECUTIVE SUMMIT 21 mai 2008 Sommaire Présentation du groupe PRO BTP La démarche SOA à PRO BTP PRO BTP Groupe professionnel de Protection sociale Au service de tous les «Bâtisseurs»

Plus en détail

Concepts de base. Distribution des données. Fig.1. Matthieu Nantern, Consultant chez Xebia

Concepts de base. Distribution des données. Fig.1. Matthieu Nantern, Consultant chez Xebia Cassandra : partez sur une bonne base! Cassandra est une base NoSQL orientée colonne et créée à l'origine par Facebook en s appuyant sur deux papiers de recherche : BigTable de Google, DynamoDB d'amazon.

Plus en détail

Modélisation et Gestion des bases de données avec mysql workbench

Modélisation et Gestion des bases de données avec mysql workbench Modélisation et Gestion des bases de données avec mysql workbench par novembre 2011 Table des matières 1 Installation 3 1.1 Ecran de chargement 3 1.2 Page d accueil 3 2 Réalisation d une base de données

Plus en détail

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -"Big Data par l'exemple" -Julien DULOUT

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -Big Data par l'exemple -Julien DULOUT 20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013 20 ans du SIAD -"BigData par l'exemple" -Julien DULOUT Qui a déjà entendu parler du phénomène BigData? Qui a déjà

Plus en détail

Gestion de gros volumes de données RDF

Gestion de gros volumes de données RDF LIPADE Université Paris Descartes June 23, 2014 Sommaire 1 2 3 4 Contexte 1 Augmentation considérable des données du Web, RDF 2 Données provenant de multiple sources autonomes, donc 3 Hétérogènes : sémantique

Plus en détail

Pascal BASSET, - PMU Responsable Risques Numériques, Expériences Utilisateurs et DSI international

Pascal BASSET, - PMU Responsable Risques Numériques, Expériences Utilisateurs et DSI international Pascal BASSET, - PMU Responsable Risques Numériques, Expériences Utilisateurs et DSI international CRiP Thématique Sécurité de l informatique de demain 03/12/14 Agenda Introduction big data et lien avec

Plus en détail

Gildas Le Nadan. Thomas Clavier

Gildas Le Nadan. Thomas Clavier Chtijug 2011 Gildas Le Nadan Freelance Thomas Clavier AZAÉ Devops, une définition Devops est un mouvement visant à l'alignement du SI sur les besoins de l'entreprise

Plus en détail

Compte rendu d activité Fiche n 1

Compte rendu d activité Fiche n 1 Compte rendu d activité Fiche n 1 Alexandre K. (http://ploufix.free.fr) Nature de l activité Création d une base de connaissances avec PostgreSQL Contexte : Le responsable technique souhaite la mise en

Plus en détail

Le langage SQL pour Oracle - partie 1 : SQL comme LDD

Le langage SQL pour Oracle - partie 1 : SQL comme LDD Le langage SQL pour Oracle - partie 1 : SQL comme LDD 1 SQL : Introduction SQL : Structured Query Langage langage de gestion de bases de donn ees relationnelles pour Définir les données (LDD) interroger

Plus en détail

Une brève introduction aux Données Massives - Challenges et perspectives. Romain Picot-Clémente Cécile Bothorel Philippe Lenca

Une brève introduction aux Données Massives - Challenges et perspectives. Romain Picot-Clémente Cécile Bothorel Philippe Lenca Une brève introduction aux Données Massives - Challenges et perspectives Romain Picot-Clémente Cécile Bothorel Philippe Lenca Plan 1 Big Data 2 4Vs 3 Hadoop et son écosystème 4 Nouveaux challenges, nouvelles

Plus en détail

Base de donnée relationnelle. Exemple de table: Film. Exemple de table: Acteur. Exemple de table: Role. Contenu de la table Role

Base de donnée relationnelle. Exemple de table: Film. Exemple de table: Acteur. Exemple de table: Role. Contenu de la table Role IFT7 Programmation Serveur Web avec PHP Introduction à MySQL Base de donnée relationnelle Une base de données relationnelle est composée de plusieurs tables possédant des relations logiques (théorie des

Plus en détail

Experimental Evaluation of a Dynamic Cubing system: workflow, metrics and prototype

Experimental Evaluation of a Dynamic Cubing system: workflow, metrics and prototype Experimental Evaluation of a Dynamic Cubing system: workflow, metrics and prototype Anne Tchounikine, Maryvonne Miquel, Usman Ahmed LIRIS CNRS UMR 5205, INSA-Université de Lyon, France 1 Motivations Motivé

Plus en détail

Bases de données avancées Introduction

Bases de données avancées Introduction Bases de données avancées Introduction Dan VODISLAV Université de Cergy-Pontoise Master Informatique M1 Cours BDA Plan Objectifs et contenu du cours Rappels BD relationnelles Bibliographie Cours BDA (UCP/M1)

Plus en détail

RESUME DU PROFIL COMPETENCES TECHNIQUES

RESUME DU PROFIL COMPETENCES TECHNIQUES RESUME DU PROFIL Maîtrise des serveurs d application et environnements de développement Java/J2EE Maîtrise des environnements techniques de développement, d intégration et d exploitation Réalisation des

Plus en détail

Augmenter la disponibilité des applications JEE grâce au clustering : Le projet open source JShaft

Augmenter la disponibilité des applications JEE grâce au clustering : Le projet open source JShaft Augmenter la disponibilité des applications JEE grâce au clustering : Le projet open source Jérôme Petit, Serge Petit & Serli Informatique, ITMatic Jérôme Petit, Serge Petit & SERLI & ITMatic Serli : SSII

Plus en détail

L injection essence 1 DATE : CLASSE :

L injection essence 1 DATE : CLASSE : 1 1. Frontière de l étude : 2. Solutions technologiques : On dénombre deux architectures selon le nombre et l emplacement des injecteurs : L injection multipoint : système le plus répandu actuellement,

Plus en détail

DUT Génie Biologique Option Bioinformatique. Les bases de données relationnelles. Travaux Pratiques n 4

DUT Génie Biologique Option Bioinformatique. Les bases de données relationnelles. Travaux Pratiques n 4 DUT Génie Biologique Option Bioinformatique Les bases de données relationnelles avec MySQL Éric Pipard Travaux Pratiques n 4 Jointures externes Requêtes internes et externes Vues et transactions Objectifs

Plus en détail

Modification des données stockées dans une base. LIF4 - Initiation aux Bases de données : SQL - 3. Exemple. Insertion. Insertion utilisant une requête

Modification des données stockées dans une base. LIF4 - Initiation aux Bases de données : SQL - 3. Exemple. Insertion. Insertion utilisant une requête Modification des données stockées dans une base LIF4 - Initiation aux Bases de données : SQL - 3 E.Coquery emmanuel.coquery@liris.cnrs.fr http ://liris.cnrs.fr/ ecoquery La modification s effectue par

Plus en détail

Chapitre V. Les bases de données relationnelles en pratique : Mise en oeuvre et utilisation

Chapitre V. Les bases de données relationnelles en pratique : Mise en oeuvre et utilisation Chapitre V Les bases de données relationnelles en pratique : Mise en oeuvre et utilisation 175 Mise en oeuvre et utilisation d une base de données : points principaux Organisation d un système de gestion

Plus en détail

SQL-ON-HADOOP. Veille Technologique et Stratégique 2015 Guo Kai Élève de RICM 5 Kai.Guo@e.ujf-Grenoble.fr

SQL-ON-HADOOP. Veille Technologique et Stratégique 2015 Guo Kai Élève de RICM 5 Kai.Guo@e.ujf-Grenoble.fr SQL-ON-HADOOP Veille Technologique et Stratégique 2015 Guo Kai Élève de RICM 5 Kai.Guo@e.ujf-Grenoble.fr Données structurées (RDBMS) Exiger de strictement être organisé Annexer à RDBMS sans couture Consultable

Plus en détail

Vulnérabilités logicielles Injection SQL

Vulnérabilités logicielles Injection SQL MGR850 Hiver 2014 Vulnérabilités logicielles Injection SQL Hakima Ould-Slimane Chargée de cours École de technologie supérieure (ÉTS) Département de génie électrique 1 Plan SQL Injection SQL Injections

Plus en détail

Modèle relationnel Création et modification des relations en SQL

Modèle relationnel Création et modification des relations en SQL Modèle relationnel Création et modification des relations en SQL ENT - Clé sql2009 BD - Mírian Halfeld-Ferrari p. 1 Insertion dans une relation Pour insérer un tuple dans une relation: insert into Sailors

Plus en détail

ERGDOM. Gestionnaire d énergie auto configurable pour l habitat et le petit tertiaire. Évolution du concept

ERGDOM. Gestionnaire d énergie auto configurable pour l habitat et le petit tertiaire. Évolution du concept ERGDOM Gestionnaire d énergie auto configurable pour l habitat et le petit tertiaire Évolution du concept Lauréat à l appel d offre «Bâtiment 2010» en 2002 1 ERGDOM : Rappel du concept EDF et le LAAS collaborent

Plus en détail

1/28 XML. I XML = extensible markup language. I Langage de description de documents (semi)-structurés, utilisant des.

1/28 XML. I XML = extensible markup language. I Langage de description de documents (semi)-structurés, utilisant des. 1/28 2/28 Anne-Cécile Caron Master MIAGE - BDA 1er trimestre 2013-2014 XML I XML = extensible markup language I Langage de description de documents (semi-structurés, utilisant des balises

Plus en détail

Techniques d optimisation standard des requêtes

Techniques d optimisation standard des requêtes 6 Techniques d optimisation standard des requêtes L optimisation du SQL est un point très délicat car elle nécessite de pouvoir modifier l applicatif en veillant à ne pas introduire de bogues. 6.1 Réécriture

Plus en détail

Bases de Données Relationnelles. SQL Le langage de définition des données de SQL

Bases de Données Relationnelles. SQL Le langage de définition des données de SQL Bases de Données Relationnelles SQL Le langage de définition des données de SQL Introduction SQL : Structured Query Language SQL est normalisé SQL 2: adopté (SQL 92) SQL 3: adopté (SQL 99) Standard d'accès

Plus en détail

Des analyses logicielles dédiées et rentables

Des analyses logicielles dédiées et rentables Des analyses logicielles dédiées et rentables http://www.synectique.eu Un mot de présentation Depuis 1996 dans la maintenance et l évolution logicielle Auteur de Object-Oriented Reengineering Patterns

Plus en détail