De à 4 millions. Khanh Tuong

Dimension: px
Commencer à balayer dès la page:

Download "De 20 000 à 4 millions. Khanh Tuong Maudoux @jetoile"

Transcription

1 De à 4 millions Khanh Tuong

2 2

3 Qui suis- Khanh Tuong Maudoux Développeur Java indépendant blog : 3

4 Contexte Collecteur Stockage Lecture Traitement 4

5 Contexte 5

6 Contexte Fonctionnel Réception de relevés de compteurs (fichiers xml) Fournir une consolidation (valorisation) des consommations en fonction de différents critères Algorithmes de lissage et de détection à faire sur les données Algorithmes de valorisation à faire sur les données 6

7 Contexte Volumétrie Avant : clients Cible : clients Avec un pas de 30 minutes! ~ fichiers par jours (~156 Go/jour) 7

8 Contexte État des lieux Algorithmes de lissage et de détection fait au moment de la collecte long» => anomalies «courantes» Algorithmes de consolidation exécutés par batch sur les données stockées 8

9 Contexte État des lieux Stockage TimeSeries Stockage Collecteur Consolidation Applicatif Stockage 9

10 Contexte État des lieux 10

11 Contexte Objectifs Objectif : Remplacer la solution de stockage Ne pas oublier la phase le ré-import totale! (~3 ans de données) 11

12 Collecteur 12

13 Collecteur Objectifs Batch de collecte avec stockage dans une solution propriétaire Objectifs : Valider différentes solutions (Cassandra, MySQL Cluster) Valider le modèle de données 13

14 Transformation JAXB Transformation Objet pivot Routage par xpath Transformation JAXB Transformation Objet pivot Collecteur État des lieux XML Java DTO Stockage XML Java DTO 14

15 Collecteur Pistes Pistes : Spring Batch EIP Spring Batch + EIP 15

16 Collecteur Outils / Framework : Spring Integration Metrics JMX / Jolokia Hawt.io Maven! 16

17 Collecteur Spring Integration Architecture «Pipe and Filters» 17

18 Transformation JAXB Transformation Objet pivot Routage par xpath Transformation JAXB Transformation Objet pivot Collecteur Spring Integration XML Java DTO Stockage XML Java DTO 18

19 Collecteur Spring Integration 19

20 Collecteur Spring Integration 20

21 Collecteur Spring Integration 21

22 Collecteur Spring Integration 22

23 Collecteur Spring Integration 23

24 Collecteur Spring Integration Message-history Scalabilité horizontale 24

25 Collecteur Metrics 25

26 Collecteur Jolokia JMX via HTTP/JSON 26

27 Collecteur Hawt.io 27

28 Collecteur Maven maven-jaxb2-plugin (org.jvnet.jaxb2.maven2) appassembler-maven-plugin (org.codehaus.mojo) 28

29 Collecteur endpoint REST pour injection 29

30 Stockage 30

31 Stockage Objectifs Rappels : Remplacer la solution existante de stockage Chaque capteur remonte une donnée toutes les 30 minutes Time series (au plus colonnes par ligne) 31

32 Stockage Cassandra Base de données orientée colonnes Keyspace Column Family Column 32

33 Stockage Cassandra Time series : 1 ligne avec de multiples colonnes (clé composite) capteur_id event temperature event temperature CREATE TABLE capteur ( capteur_id text, event timestamp, temperature text, PRIMARY KEY (capteur_id, event) ) Ordonnée 33

34 Stockage Attention longueur/taille de ligne CREATE TABLE capteur ( capteur_id text, event_period text, event timestamp, value text, PRIMARY KEY ((capteur_id, event_period), event) ) Attention modélisation aggrégation 34

35 Stockage Jolokia Comme agent sur la JVM 35

36 Lecture 36

37 Lecture Objectifs Évaluer la pertinence de la solution de stockage Véloce Simple Remonté de métriques => injecteur! 37

38 Lecture Pistes Pistes : From scratch 38

39 Lecture Outils / Framework : RestEasy Netty Swagger JMX / Jolokia Hawt.io Maven Gatling / AB 39

40 Lecture RestEasy Netty : JAX-RS Netty Simple 40

41 Lecture Swagger : 41

42 Lecture Jolokia 42

43 Lecture Gatling 43

44 Traitement 44

45 Traitement Rappel Stockage TimeSeries Stockage Collecteur Consolidation Applicatif Stockage 45

46 Traitement Objectifs Objectif : Collecte Rapide Pas de pertes de données (sécurisation de la données) Détection des données fausses Faite en aval de la collecte Consolidation Faite sur les données «valides» avec stockage des mesures dans des «batch View» Séparation des concepts! 46

47 Traitement Objectifs Objectif : Lambda architecture Query = function (all data) 47

48 Transformation Objet pivot C*DAO Traitement Objectifs Objectif : collecte C* transformation C* C* Valo All datas Precompute views Batch views Batch Layer Service Layer Query = function (all data) 48

49 Traitement Spark / Hadoop 49

50 Traitement Objectifs? Volumétrie non acceptable pour la production : Duplication de la donnée Souhaite une solution avec calcul à la demande 50

51 Transformation Objet pivot C*DAO Traitement Objectifs? Traitement collecte C* transformation C* C* Valo All datas Precompute views Batch views Service Layer 51

52 Traitement Objectifs? Algorithme de lissage en amont 52

53 Conclusion 53

54 Merci! 54

55 Questions? 55

56 pas le feedback en sortant! ou?

PERF UG. Programmation réactive. Février 2014

PERF UG. Programmation réactive. Février 2014 PERF UG Programmation réactive Février 2014 1 Sommaire Contexte Architectures Architecture des Tirs Protocole de test Résultats 2 Contexte 3 Contexte Recevoir en temps réel des informations de capteur

Plus en détail

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL AVRIL 2014 Panorama des solutions NoSQL QUI SOMMES NOUS? Avril 2014 2 SMILE, EN QUELQUES CHIFFRES 1er INTÉGRATEUR EUROPÉEN DE SOLUTIONS OPEN SOURCE 3 4 NOS EXPERTISES ET NOS CONVICTIONS DANS NOS LIVRES

Plus en détail

Concepts de base. Distribution des données. Fig.1. Matthieu Nantern, Consultant chez Xebia

Concepts de base. Distribution des données. Fig.1. Matthieu Nantern, Consultant chez Xebia Cassandra : partez sur une bonne base! Cassandra est une base NoSQL orientée colonne et créée à l'origine par Facebook en s appuyant sur deux papiers de recherche : BigTable de Google, DynamoDB d'amazon.

Plus en détail

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Soutenance de projet ASR 27/01/2011 Julien Gerlier Siman Chen Encadrés par Bruno

Plus en détail

Intégration avec Camel et ServiceMix

Intégration avec Camel et ServiceMix Charles Moulliard Architecte de Solutions Apache Committer Objectif «Faire découvrir les projets Apache orientés Intégration comme Camel ainsi que le conteneur ServiceMix et les architectures cibles» 3

Plus en détail

Nos offres de stages pour 2013

Nos offres de stages pour 2013 Nos offres de stages pour 2013 Les sujets de stage que nous vous proposons sont des projets à très forte valeur ajoutée, mêlant recherche amont, algorithmique et implémentation. Ils touchent à des domaines

Plus en détail

Cassandra chez Chronopost pour traiter en temps réel 1,5 milliard d événements par an

Cassandra chez Chronopost pour traiter en temps réel 1,5 milliard d événements par an Cassandra chez Chronopost pour traiter en temps réel 1,5 milliard d événements par an Qui suis-je? Alexander DEJANOVSKI Ingénieur EAI Depuis 15 ans chez Chronopost @alexanderdeja Chronopost International

Plus en détail

CURRICULUM VITAE. 1. Informations générales. Nom et prénom: Akram KAMOUN. Date et lieu de naissance: 08 janvier 1988 à Tunis

CURRICULUM VITAE. 1. Informations générales. Nom et prénom: Akram KAMOUN. Date et lieu de naissance: 08 janvier 1988 à Tunis CURRICULUM VITAE 1. Informations générales Nom et prénom: Akram KAMOUN Date et lieu de naissance: 08 janvier 1988 à Tunis Adresse de correspondance: Route de Soukra, km 4, Cité El Amal 3, Maison N 4, Rue

Plus en détail

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -"Big Data par l'exemple" -Julien DULOUT

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -Big Data par l'exemple -Julien DULOUT 20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013 20 ans du SIAD -"BigData par l'exemple" -Julien DULOUT Qui a déjà entendu parler du phénomène BigData? Qui a déjà

Plus en détail

Youssef LYHYAOUI Ingénieur Java/J2EE, SOA, ESB, Web services 31 ans Statut : Indépendant SITUATION ACTUELLE

Youssef LYHYAOUI Ingénieur Java/J2EE, SOA, ESB, Web services 31 ans Statut : Indépendant SITUATION ACTUELLE Youssef LYHYAOUI Ingénieur Java/J2EE, SOA, ESB, Web services 31 ans Statut : Indépendant Adresse Personnelle : 3, allée du Roussillon 91300 Massy Téléphone : (+33) 06 78 37 34 82 E-mail : youssef.lyhyaoui@spartup.com

Plus en détail

BIG Data et R: opportunités et perspectives

BIG Data et R: opportunités et perspectives BIG Data et R: opportunités et perspectives Guati Rizlane 1 & Hicham Hajji 2 1 Ecole Nationale de Commerce et de Gestion de Casablanca, Maroc, rguati@gmail.com 2 Ecole des Sciences Géomatiques, IAV Rabat,

Plus en détail

API04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture

API04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture API04 Contribution Apache Hadoop: Présentation et application dans le domaine des Data Warehouses Introduction Cette publication a pour but de présenter le framework Java libre Apache Hadoop, permettant

Plus en détail

RESUME DU PROFIL COMPETENCES TECHNIQUES

RESUME DU PROFIL COMPETENCES TECHNIQUES RESUME DU PROFIL Maîtrise des serveurs d application et environnements de développement Java/J2EE Maîtrise des environnements techniques de développement, d intégration et d exploitation Réalisation des

Plus en détail

Déploiement de l infrastructure SOA. Retour d expérience Août 2013

Déploiement de l infrastructure SOA. Retour d expérience Août 2013 1 Déploiement de l infrastructure SOA Retour d expérience Août 2013 Agenda Contexte et constats Existant chez PSA Cible du chantier SOA Passerelle de sécurisation des services Les offres de service de

Plus en détail

Les journées SQL Server 2013

Les journées SQL Server 2013 Les journées SQL Server 2013 Un événement organisé par GUSS Les journées SQL Server 2013 Romain Casteres MVP SQL Server Consultant BI @PulsWeb Yazid Moussaoui Consultant Senior BI MCSA 2008/2012 Etienne

Plus en détail

Apache Camel. Entreprise Integration Patterns. Raphaël Delaporte BreizhJUG 07.11.2011

Apache Camel. Entreprise Integration Patterns. Raphaël Delaporte BreizhJUG 07.11.2011 Apache Camel & Entreprise Integration Patterns Raphaël Delaporte BreizhJUG 07.11.2011 1 Speaker CTO Zenika Ouest Consultant et formateur Responsable comité technique Architecture d'entreprise Domaine ESB

Plus en détail

Titre : La BI vue par l intégrateur Orange

Titre : La BI vue par l intégrateur Orange Titre : La BI vue par l intégrateur Orange Résumé : L entité Orange IT&L@bs, partenaire privilégié des entreprises et des collectivités dans la conception et l implémentation de SI Décisionnels innovants,

Plus en détail

Network Efficiency Monitoring - version 2

Network Efficiency Monitoring - version 2 École Polytechnique de l Université de Tours 64, Avenue Jean Portalis 37200 TOURS, FRANCE Tél. +33 (0)2 47 36 14 14 www.polytech.univ-tours.fr Département Informatique 5 e année 2012-2013 Projet de fin

Plus en détail

L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13

L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13 L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com HUG France 250 membres sur la mailing liste 30 présentations 9 meetups organisés, de 20 à 100 invités Présence de Cloudera, MapR, Hortonworks,

Plus en détail

Panorama des solutions analytiques existantes

Panorama des solutions analytiques existantes Arnaud LAROCHE Julien DAMON Panorama des solutions analytiques existantes SFdS Méthodes et Logiciels - 16 janvier 2014 - Données Massives Ne sont ici considérés que les solutions autour de l environnement

Plus en détail

Une brève introduction aux Données Massives - Challenges et perspectives. Romain Picot-Clémente Cécile Bothorel Philippe Lenca

Une brève introduction aux Données Massives - Challenges et perspectives. Romain Picot-Clémente Cécile Bothorel Philippe Lenca Une brève introduction aux Données Massives - Challenges et perspectives Romain Picot-Clémente Cécile Bothorel Philippe Lenca Plan 1 Big Data 2 4Vs 3 Hadoop et son écosystème 4 Nouveaux challenges, nouvelles

Plus en détail

Cartographie des solutions BigData

Cartographie des solutions BigData Cartographie des solutions BigData Panorama du marché et prospective 1 1 Solutions BigData Défi(s) pour les fournisseurs Quel marché Architectures Acteurs commerciaux Solutions alternatives 2 2 Quels Défis?

Plus en détail

Vos experts Big Data. contact@hurence.com. Le Big Data dans la pratique

Vos experts Big Data. contact@hurence.com. Le Big Data dans la pratique Vos experts Big Data contact@hurence.com Le Big Data dans la pratique Expert Expert Infrastructure Data Science Spark MLLib Big Data depuis 2011 Expert Expert Hadoop / Spark NoSQL HBase Couchbase MongoDB

Plus en détail

HADOOP ET SON ÉCOSYSTÈME

HADOOP ET SON ÉCOSYSTÈME HADOOP ET SON ÉCOSYSTÈME Mars 2013 2012 Affini-Tech - Diffusion restreinte 1 AFFINI-TECH Méthodes projets Outils de reporting & Data-visualisation Business & Analyses BigData Modélisation Hadoop Technos

Plus en détail

Groovy & Grails. Langage de script basé sur Java appliqué dans un environnement JEE

Groovy & Grails. Langage de script basé sur Java appliqué dans un environnement JEE Groovy & Grails Langage de script basé sur Java appliqué dans un environnement JEE Martin Le Bas 1 Xposé 2010 Plan Introduction Groovy Grails Conclusion Références Plan de la présentation Introduction

Plus en détail

Programme ASI Développeur

Programme ASI Développeur Programme ASI Développeur Titre de niveau II inscrit au RNCP Objectifs : Savoir utiliser un langage dynamique dans la création et la gestion d un site web. Apprendre à développer des programmes en objet.

Plus en détail

Fouillez facilement dans votre système Big Data. Olivier TAVARD

Fouillez facilement dans votre système Big Data. Olivier TAVARD Fouillez facilement dans votre système Big Data Olivier TAVARD A propos de moi : Cofondateur de la société France Labs Développeur (principalement Java) Formateur en technologies de moteurs de recherche

Plus en détail

Mettez les évolutions technologiques au service de vos objectifs métier

Mettez les évolutions technologiques au service de vos objectifs métier Mettez les évolutions technologiques au service de vos objectifs métier 2 OXIA a pour mission de concevoir et mettre en oeuvre les meilleures solutions technologiques visant à améliorer la productivité,

Plus en détail

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Julien Gerlier Siman Chen Rapport de projet de fin d étude ASR 2010/2011 Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Encadrants

Plus en détail

Cytoscape pour la visualisation et le traitement de grands graphes

Cytoscape pour la visualisation et le traitement de grands graphes Cytoscape pour la visualisation et le traitement de grands graphes Laurent Risser CNRS, Institut de Mathématiques de Toulouse 01/16 1) Principaux logiciels Outils libres pour la visualisation et traitement

Plus en détail

TimeSeries c'est simple

TimeSeries c'est simple TimeSeries c'est simple Informix IDS Big-Data et Power 8 12-13 Mars au Centre IBM Montpellier J. Rage FRAME TimeSeries : qu'est ce que c'est? Les données TimeSeries sont des séries de mesures prises à

Plus en détail

Plan. Vérinews, phase 2. Marc-Antoine Tardif Pierre-Emmanuel Viau

Plan. Vérinews, phase 2. Marc-Antoine Tardif Pierre-Emmanuel Viau Vérinews, phase 2 Marc-Antoine Tardif Pierre-Emmanuel Viau Plan Pierre-Emmanuel VériNews L équipe Gestion du projet Phases du projet, besoins et priorités Cas d utilisations priorisés Marc-Antoine Architecture

Plus en détail

Documentation technique. [EIP] TransLSF. Henri HARDILLIER - Thomas MOREL - Florian JOUSSEAU Alexis MONNIER - Keo KHEMARA - Leo MARTIN Stéphane RICARDO

Documentation technique. [EIP] TransLSF. Henri HARDILLIER - Thomas MOREL - Florian JOUSSEAU Alexis MONNIER - Keo KHEMARA - Leo MARTIN Stéphane RICARDO Documentation technique [EIP] TransLSF Henri HARDILLIER - Thomas MOREL - Florian JOUSSEAU Alexis MONNIER - Keo KHEMARA - Leo MARTIN Stéphane RICARDO Résumé Ce document présente la partie technique de TransLSF.

Plus en détail

Expériences Professionnelles

Expériences Professionnelles Youssef LYHYAOUI Ingénieur Java/J2EE, SOA, ESB, Web services 30 ans Statut : Salarié Adresse Personnelle : 4, allée du Roussillon 91300 Massy Téléphone : (+33) 06 34 52 50 22 E-mail : ly_youssef@yahoo.fr

Plus en détail

Coach Agile Consultant Java / JEE 5 ans d expérience

Coach Agile Consultant Java / JEE 5 ans d expérience Axel VILLECHALANE 85 boulevard brune 75014 PARIS 29 ans Permis B Mail : axel1258@gmail.com Tel : 06.83.52.87.62 Coach Agile Consultant Java / JEE 5 ans d expérience QUALIFICATIONS Compétences professionnelles

Plus en détail

Le langage SQL pour Oracle - partie 1 : SQL comme LDD

Le langage SQL pour Oracle - partie 1 : SQL comme LDD Le langage SQL pour Oracle - partie 1 : SQL comme LDD 1 SQL : Introduction SQL : Structured Query Langage langage de gestion de bases de donn ees relationnelles pour Définir les données (LDD) interroger

Plus en détail

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis MapReduce Nicolas Dugué nicolas.dugue@univ-orleans.fr M2 MIAGE Systèmes d information répartis Plan 1 Introduction Big Data 2 MapReduce et ses implémentations 3 MapReduce pour fouiller des tweets 4 MapReduce

Plus en détail

FINI LA RÉCRÉ PASSONS AUX MÉGADONNÉES

FINI LA RÉCRÉ PASSONS AUX MÉGADONNÉES 1 FINI LA RÉCRÉ PASSONS AUX MÉGADONNÉES «Dans le concret, projets de transformation vers le BigData» V1-10/03/15 ABED AJRAOU CONNAISSEZ-VOUS PAGESJAUNES? CONNAISSEZ-VOUS PAGESJAUNES? LES MEGADONNEES RÉPONDENT

Plus en détail

SGBDR. Systèmes de Gestion de Bases de Données (Relationnelles)

SGBDR. Systèmes de Gestion de Bases de Données (Relationnelles) SGBDR Systèmes de Gestion de Bases de Données (Relationnelles) Plan Approches Les tâches du SGBD Les transactions Approche 1 Systèmes traditionnels basés sur des fichiers Application 1 Gestion clients

Plus en détail

Webinar EBG Nouvelles perspectives d'exploitation des données clients avec le big data

Webinar EBG Nouvelles perspectives d'exploitation des données clients avec le big data Webinar EBG Nouvelles perspectives d'exploitation des données clients avec le big data Approches & opportunités face aux enjeux de volume, variété et vélocité France, 2012-2014 28 mars 2013 Ce document

Plus en détail

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data.

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data. Big Data De la stratégie à la mise en oeuvre Description : La formation a pour objet de brosser sans concession le tableau du Big Data. Les participants repartiront de cette formation en ayant une vision

Plus en détail

KARMA Le système de Revenue Management d'air France KLM avec Hadoop

KARMA Le système de Revenue Management d'air France KLM avec Hadoop KARMA Le système de Revenue Management d'air France KLM avec Hadoop Conférence BIG DATA - Master MBDS Université de Nice Sophia Antipolis 16 Décembre 2014 Martial AYAS maayas@airfrance.fr 2 Agenda 1. Présentation

Plus en détail

INGÉNIEUR LOGICIEL JAVAEE / GROOVY 8 ANS D EXPÉRIENCE

INGÉNIEUR LOGICIEL JAVAEE / GROOVY 8 ANS D EXPÉRIENCE INGÉNIEUR LOGICIEL JAVAEE / GROOVY 8 ANS D EXPÉRIENCE Igor Rosenberg 30 ans DEA «Image-Vision» de l Université de Nice Sophia-Antipolis POSTES PRECEDENTS MMA: Développement Web/Grails sur démonstrateur

Plus en détail

C-JDBC. Emmanuel Cecchet INRIA, Projet Sardes. http://sardes.inrialpes.fr

C-JDBC. Emmanuel Cecchet INRIA, Projet Sardes. http://sardes.inrialpes.fr Emmanuel Cecchet INRIA, Projet Sardes http://sardes.inrialpes.fr Plan Motivations Idées principales Concepts Caching Perspectives /ObjectWeb 15 octobre 2002 Emmanuel.Cecchet@inrialpes.fr 2 - Motivations

Plus en détail

Gildas Le Nadan. Thomas Clavier

Gildas Le Nadan. Thomas Clavier Chtijug 2011 Gildas Le Nadan Freelance Thomas Clavier AZAÉ Devops, une définition Devops est un mouvement visant à l'alignement du SI sur les besoins de l'entreprise

Plus en détail

Projet de Java Enterprise Edition

Projet de Java Enterprise Edition Projet de Java Enterprise Edition Cours de Master 2 Informatique Boutique en ligne L objectif du projet de JEE est de réaliser une application de boutique en ligne. Cette boutique en ligne va permettre

Plus en détail

BIG DATA en Sciences et Industries de l Environnement

BIG DATA en Sciences et Industries de l Environnement BIG DATA en Sciences et Industries de l Environnement François Royer www.datasio.com 21 mars 2012 FR Big Data Congress, Paris 2012 1/23 Transport terrestre Traçabilité Océanographie Transport aérien Télémétrie

Plus en détail

ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE

ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE Mémoires 2010-2011 www.euranova.eu MÉMOIRES ETUDE ET IMPLÉMENTATION D UNE CACHE L2 POUR MOBICENTS JSLEE Contexte : Aujourd hui la plupart des serveurs d application JEE utilise des niveaux de cache L1

Plus en détail

Des analyses logicielles dédiées et rentables

Des analyses logicielles dédiées et rentables Des analyses logicielles dédiées et rentables http://www.synectique.eu Un mot de présentation Depuis 1996 dans la maintenance et l évolution logicielle Auteur de Object-Oriented Reengineering Patterns

Plus en détail

Introduction aux bases de données NoSQL

Introduction aux bases de données NoSQL Introduction aux bases de données NoSQL Khaled Tannir ets@khaledtannir.net Montréal - 23 Juillet 2015 Qui suis-je? Khaled TANNIR Big Data Architect Lead 20 ans d expérience ets@khaledtannir.net @khaled_tannir

Plus en détail

Data Tier Application avec SQL Server 2008 R2

Data Tier Application avec SQL Server 2008 R2 Data Tier Application avec SQL Server 2008 R2 Article par David BARBARIN (MVP SQL Server) David BARBARIN est actuellement consultant en bases de données pour une entreprise Suisse GOLD Partner Microsoft

Plus en détail

StruxureWare Power Monitoring v7.0. La nouvelle génération en matière de logiciel de gestion complète d énergie

StruxureWare Power Monitoring v7.0. La nouvelle génération en matière de logiciel de gestion complète d énergie StruxureWare Power Monitoring v7.0 La nouvelle génération en matière de logiciel de gestion complète d énergie Évolution des deux plate-formes originales Power Monitoring v7.0 SMS ION Enterprise 2012 Struxureware

Plus en détail

Datomic. La base qui détonne (aka database as a value)

Datomic. La base qui détonne (aka database as a value) Datomic La base qui détonne (aka database as a value) Identité Base de données NoSQL Distribuée ("cloud"!) ACID Annoncée début 2012 Version 0.8.XXXX Rich Hickey et Relevance (Clojure!) Licence privative

Plus en détail

SQL. Oracle. pour. 4 e édition. Christian Soutou Avec la participation d Olivier Teste

SQL. Oracle. pour. 4 e édition. Christian Soutou Avec la participation d Olivier Teste Christian Soutou Avec la participation d Olivier Teste SQL pour Oracle 4 e édition Groupe eyrolles, 2004, 2005, 2008, 2010, is BN : 978-2-212-12794-2 Partie III SQL avancé La table suivante organisée en

Plus en détail

PARCOURS WEB DUREE CONDITIONS

PARCOURS WEB DUREE CONDITIONS PARCOURS WEB CONDITIONS D ADMISSION Être titulaire d un titre Bac+2 / Bac+3 (selon la formation) ou titre reconnu comme équivalent OU Avoir une expérience professionnelle de 3 ou 5 ans (selon la formation)

Plus en détail

Java à Murex: un retour d'expérience. Jean-Pierre DACHER & Craig MORRISON

Java à Murex: un retour d'expérience. Jean-Pierre DACHER & Craig MORRISON 1 Java à Murex: un retour d'expérience Jean-Pierre DACHER & Craig MORRISON Résumé Description des défis et contraintes d un grand éditeur de logiciel Le cycle de développement Murex pour atteindre les

Plus en détail

NFA 008. Introduction à NoSQL et MongoDB 25/05/2013

NFA 008. Introduction à NoSQL et MongoDB 25/05/2013 NFA 008 Introduction à NoSQL et MongoDB 25/05/2013 1 NoSQL, c'est à dire? Les bases de données NoSQL restent des bases de données mais on met l'accent sur L'aspect NON-relationnel L'architecture distribuée

Plus en détail

Proposition d une architecture pour ebay, en mettant l accent sur les notions de scalabilité, de résilience, et de tolérance aux pannes.

Proposition d une architecture pour ebay, en mettant l accent sur les notions de scalabilité, de résilience, et de tolérance aux pannes. PROJET «EBAY» V1 MANUEL ROLLAND, SCIA 2009, REMIS LE 7 MARS 2008 1. Rappels sur le projet : Proposition d une architecture pour ebay, en mettant l accent sur les notions de scalabilité, de résilience,

Plus en détail

Big Data On Line Analytics

Big Data On Line Analytics Fdil Fadila Bentayeb Lb Laboratoire ERIC Lyon 2 Big Data On Line Analytics ASD 2014 Hammamet Tunisie 1 Sommaire Sommaire Informatique décisionnelle (BI Business Intelligence) Big Data Big Data analytics

Plus en détail

Apache JMeter de A à Z. Antonio Gomes Rodrigues and Bruno Demion a.k.a. Milamber

Apache JMeter de A à Z. Antonio Gomes Rodrigues and Bruno Demion a.k.a. Milamber Apache JMeter de A à Z Antonio Gomes Rodrigues and Bruno Demion a.k.a. Milamber Apache JMeter de A à Z Antonio Gomes Rodrigues and Bruno Demion a.k.a. Milamber This book is for sale at http://leanpub.com/apache-jmeter-de-a-z

Plus en détail

Open Source Job Scheduler. Installation(s)

Open Source Job Scheduler. Installation(s) Open Source Job Scheduler Installation(s) Installations Standard Configuration Superviseur Agent SOS-Paris 2 Pré-requis o Base de données o MySQL, MSACCESS, Oracle o JDBC ou ODBC o Connecteurs o Mysql

Plus en détail

SemWeb : Interrogation sémantique du web avec XQuery. Les membres du projet SemWeb

SemWeb : Interrogation sémantique du web avec XQuery. Les membres du projet SemWeb SemWeb : Interrogation sémantique du web avec XQuery Les membres du projet SemWeb Contexte et objectifs Le projet SemWeb s inscrit dans les efforts de recherche et de développement actuels pour construire

Plus en détail

TP1 - Corrigé. Manipulations de données

TP1 - Corrigé. Manipulations de données TP1 - Corrigé Manipulations de données 1. Démarrez mysql comme suit : bash$ mysql -h 127.0.0.1 -u user4 -D db_4 p Remarque: le mot de passe est le nom de user. Ici user4 2. Afficher la liste des bases

Plus en détail

Générateur de code - EUGene

Générateur de code - EUGene Générateur de code - EUGene Florian Desbois Code Lutin www.codelutin.com 1 Plan 1.Présentation de Code Lutin 2.Différentes techniques de génération 3.Génération avec EUGene 4.Exemple de genération en Java

Plus en détail

Programme «Analyste Programmeur» Diplôme d état : «Développeur Informatique» Homologué au niveau III (Bac+2) (JO N 176 du 1 août 2003) (34 semaines)

Programme «Analyste Programmeur» Diplôme d état : «Développeur Informatique» Homologué au niveau III (Bac+2) (JO N 176 du 1 août 2003) (34 semaines) Programme «Analyste Programmeur» Diplôme d état : «Développeur Informatique» Homologué au niveau III (Bac+2) (JO N 176 du 1 août 2003) (34 semaines) Module 1 : Programmer une application informatique Durée

Plus en détail

Paris JUG. Spring Batch. Mardi 14 Mai 2013. Olivier Bazoud Julien Jakubowski

Paris JUG. Spring Batch. Mardi 14 Mai 2013. Olivier Bazoud Julien Jakubowski Paris JUG Spring Batch Mardi 14 Mai 2013 Olivier Bazoud Julien Jakubowski Intervenants Olivier Bazoud @obazoud Architecte technique sénior Java EE / Spring, Spring Batch, NoSQL, Node.js Co-auteur de «Spring

Plus en détail

OpenPaaS Le réseau social d'entreprise

OpenPaaS Le réseau social d'entreprise OpenPaaS Le réseau social d'entreprise Spécification des API datastore SP L2.3.1 Diffusion : Institut MinesTélécom, Télécom SudParis 1 / 12 1OpenPaaS DataBase API : ODBAPI...3 1.1Comparaison des concepts...3

Plus en détail

La S O A O pen S ource avec. Démos / Outils PEtALS

La S O A O pen S ource avec. Démos / Outils PEtALS La S O A O pen S ource avec Démos / Outils PEtALS Sept. 2007 La route vers la SOA Un ESB (Enterprise Service Bus) basé sur les standards Java, JBI et Web Services est une bonne technologie pour instancier

Plus en détail

IBM WebSphere Application Server 5.0 : Administration avancée

IBM WebSphere Application Server 5.0 : Administration avancée IBM WebSphere Application Server 5.0 : Administration avancée Slim CHENNOUFI Karim JENZRI chennoufilsim@yahoo.fr kjenzri@yahoo.com INSAT GL5 2004/2005 WAS 5.0: Pratiques d Administration 1 Plan La plate-forme

Plus en détail

Performances. Gestion des serveurs (2/2) Clustering. Grid Computing

Performances. Gestion des serveurs (2/2) Clustering. Grid Computing Présentation d Oracle 10g Chapitre VII Présentation d ORACLE 10g 7.1 Nouvelles fonctionnalités 7.2 Architecture d Oracle 10g 7.3 Outils annexes 7.4 Conclusions 7.1 Nouvelles fonctionnalités Gestion des

Plus en détail

Instructions SQL. Première partie : Langage de description et de gestion des données

Instructions SQL. Première partie : Langage de description et de gestion des données Instructions SQL Première partie : Langage de description et de gestion des données Quelques instructions et leur syntaxe 1. Introduction Trois principales catégories d instructions. Instructions de création

Plus en détail

Labs Hadoop Février 2013

Labs Hadoop Février 2013 SOA - BRMS - ESB - BPM CEP BAM - High Performance Compute & Data Grid - Cloud Computing - Big Data NoSQL - Analytics Labs Hadoop Février 2013 Mathias Kluba Managing Consultant Responsable offres NoSQL

Plus en détail

PROSOP : un système de gestion de bases de données prosopographiques

PROSOP : un système de gestion de bases de données prosopographiques PROSOP : un système de gestion de bases de données prosopographiques Introduction : Ce document présente l outil en développement PROSOP qui permet la gestion d'une base de donnée prosopographique de la

Plus en détail

Le NoSQL - Cassandra

Le NoSQL - Cassandra Le NoSQL - Cassandra Thèse Professionnelle Xavier MALETRAS 27/05/2012 Ce document présente la technologie NoSQL au travers de l utilisation du projet Cassandra. Il présente des situations ainsi que des

Plus en détail

de Les l Informatique systèmes d information critiques avec Thales Services Nouvelle génération Architectures efficaces Transformation

de Les l Informatique systèmes d information critiques avec Thales Services Nouvelle génération Architectures efficaces Transformation www.thalesgroup.com L évolution des echnologies de Les l nformatique systèmes d information critiques avec hales Services Nouvelle génération Architectures efficaces ransformation Sommaire 1 La nouvelle

Plus en détail

Big Data et Graphes : Quelques pistes de recherche

Big Data et Graphes : Quelques pistes de recherche Big Data et Graphes : Quelques pistes de recherche Hamamache Kheddouci Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université

Plus en détail

Outils de visualisation de traces

Outils de visualisation de traces Outils de visualisation de traces Damien DOSIMONT 23 mars 2012 1/29 Sommaire 1 Introduction Complexité croissante des systèmes embarqués Visualisation de traces Thèse et travaux de Lucas Schnorr 2 Etat

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution

Plus en détail

Méthodes Agiles et gestion de projets

Méthodes Agiles et gestion de projets Méthodes Agiles et gestion de projets Eric LELEU Consultant Solutions Collaboratives Contact ericleleu@nordnet.fr Site Personnel http://home.nordnet.fr/~ericleleu Blog http://ericleleu.spaces.live.fr La

Plus en détail

La gestion de la performance applicative dans des environnements complexes et distribués

La gestion de la performance applicative dans des environnements complexes et distribués La gestion de la performance applicative dans des environnements complexes et distribués Juin 2011 Agenda Introduction Problématique Démarche Mise en œuvre Retour d expérience Crédit Agricole Questions

Plus en détail

Les requêtes Oracle XML DB. Du modèle relationnelle au modèle Hiérarchique

Les requêtes Oracle XML DB. Du modèle relationnelle au modèle Hiérarchique Les requêtes Oracle XML DB Du modèle relationnelle au modèle Hiérarchique Sommaire Rappel des modèles Le modèle relationnel Le modèle hiérarchique Leurs différences Oracle XML DB Les types de XMLType Les

Plus en détail

L offre décisionnel IBM. Patrick COOLS Spécialiste Business Intelligence

L offre décisionnel IBM. Patrick COOLS Spécialiste Business Intelligence L offre décisionnel IBM Patrick COOLS Spécialiste Business Intelligence Le marché du Business Intelligence L enjeux actuel des entreprises : devenir plus «agiles» Elargir les marchés tout en maintenant

Plus en détail

Mathématiques et énergie quelles opportunités dès demain? SMAI 10 Avril 2012

Mathématiques et énergie quelles opportunités dès demain? SMAI 10 Avril 2012 CONFIDENTIEL - Copyright 2012 Clean Horizon Consulting 1 Mathématiques et énergie quelles opportunités dès demain? SMAI 10 Avril 2012 Source: Clean Horizon CONFIDENTIEL - Copyright 2012 Clean Horizon Consulting

Plus en détail

Big Data, un nouveau paradigme et de nouveaux challenges

Big Data, un nouveau paradigme et de nouveaux challenges Big Data, un nouveau paradigme et de nouveaux challenges Sebastiao Correia 21 Novembre 2014 Séminaire Thématique : Traitement et analyse statistique des données massives, Poitiers. 1 Présentation Sebastiao

Plus en détail

Master Informatique et Systèmes. Architecture des Systèmes d Information. 03 Architecture Logicielle et Technique

Master Informatique et Systèmes. Architecture des Systèmes d Information. 03 Architecture Logicielle et Technique Master Informatique et Systèmes Architecture des Systèmes d Information 03 Architecture Logicielle et Technique Damien Ploix 2014-2015 Démarche d architecture SI : structuration en vues Quels métiers?

Plus en détail

Le traitement du Big Data inclue la collecte, la curation, le stockage, l enrichissement, le croisement, la partage, l analyse et la visualisation.

Le traitement du Big Data inclue la collecte, la curation, le stockage, l enrichissement, le croisement, la partage, l analyse et la visualisation. Les infrastructure du Big Data Le «Big Data» vise à tirer un avantage concurrentiel au travers de méthodes de collecte, d analyse et d exploitation des données qu on ne pouvait utiliser jusqu à présent

Plus en détail

CATALOGUE DE FORMATIONS BUSINESS INTELLIGENCE. Edition 2012

CATALOGUE DE FORMATIONS BUSINESS INTELLIGENCE. Edition 2012 CATALOGUE DE FORMATIONS BUSINESS INTELLIGENCE Edition 2012 AGENDA Qui sommes nous? Présentation de Keyrus Keyrus : Expert en formations BI Nos propositions de formation 3 modes de formations Liste des

Plus en détail

4. Utilisation d un SGBD : le langage SQL. 5. Normalisation

4. Utilisation d un SGBD : le langage SQL. 5. Normalisation Base de données S. Lèbre slebre@unistra.fr Université de Strasbourg, département d informatique. Présentation du module Contenu général Notion de bases de données Fondements / Conception Utilisation :

Plus en détail

Pentaho Business Analytics Intégrer > Explorer > Prévoir

Pentaho Business Analytics Intégrer > Explorer > Prévoir Pentaho Business Analytics Intégrer > Explorer > Prévoir Pentaho lie étroitement intégration de données et analytique. En effet, les services informatiques et les utilisateurs métiers peuvent accéder aux

Plus en détail

Programmation d applications distribuées

Programmation d applications distribuées Programmation d applications distribuées François Charoy Université Henri Poincaré 8 octobre 2007 Première partie I Développement d applications distribuées Objectifs du cours Comprendre ce qu est une

Plus en détail

NoSQL. Introduction 1/30. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur)

NoSQL. Introduction 1/30. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur) 1/30 2/30 Anne-Cécile Caron Master MIAGE - SGBD 1er trimestre 2014-2015 I : Not Only SQL, ce n est pas du relationnel, et le contexte d utilisation n est donc pas celui des SGBDR. I Origine : recherche

Plus en détail

Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr

Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr Déploiement d une architecture Hadoop pour analyse de flux françois-xavier.andreu@renater.fr 1 plan Introduction Hadoop Présentation Architecture d un cluster HDFS & MapReduce L architecture déployée Les

Plus en détail

1/ Présentation de SQL Server :

1/ Présentation de SQL Server : Chapitre II I Vue d ensemble de Microsoft SQL Server Chapitre I : Vue d ensemble de Microsoft SQL Server Module: SQL server Semestre 3 Année: 2010/2011 Sommaire 1/ Présentation de SQL Server 2/ Architerture

Plus en détail

Hibernate vs. le Cloud Computing

Hibernate vs. le Cloud Computing Hibernate vs. le Cloud Computing Qui suis-je? Julien Dubois Co-auteur de «Spring par la pratique» Ancien de SpringSource Directeur du consulting chez Ippon Technologies Suivez-moi sur Twitter : @juliendubois

Plus en détail

Spécialité Compétence complémentaire en informatique

Spécialité Compétence complémentaire en informatique STATISTIQUES INFORMATIQUE Sur les 92 diplômés entrant dans le champ d enquête (de nationalité française et en formation initiale), 80 ont répondu au questionnaire soit un taux de réponse de 87%. Développeur

Plus en détail

Cyrille GUERIN cyrille@cyrgue.com 823, place Soulanges 514 967-3529 Brossard, J4X1L8

Cyrille GUERIN cyrille@cyrgue.com 823, place Soulanges 514 967-3529 Brossard, J4X1L8 Cyrille GUERIN cyrille@cyrgue.com 823, place Soulanges 514 967-3529 Brossard, J4X1L8 16 années d expérience dans la conception d applications WEB, JAVA/J2EE/Javascript COMPÉTENCES Architecture, conception

Plus en détail

Curriculum Vitae de Michel Casabianca

Curriculum Vitae de Michel Casabianca Curriculum Vitae de Michel Casabianca Ingénieur Logiciel Sénior : Développement, Architecture et Conduite de Projet. Michel Casabianca 110 cours Saint Louis Bat B App 44 33300 Bordeaux 06.86.99.63.89 casa@sweetohm.net

Plus en détail

Mesures DNS à l ère du Big Data : outils et défis. JCSA, 9 juillet 2015 Vincent Levigneron, Afnic

Mesures DNS à l ère du Big Data : outils et défis. JCSA, 9 juillet 2015 Vincent Levigneron, Afnic Mesures DNS à l ère du Big Data : outils et défis JCSA, 9 juillet 2015 Vincent Levigneron, Afnic Sommaire 1. Mesures DNS réalisées par l Afnic 2. Volumes et biais 3. Limitations 4. Pourquoi une approche

Plus en détail