Talented Together L ÉCHANGE DE DONNÉES TEMPS RÉEL Retours d expériences avec Talend
Julien DULOUT Manager Sopra Consulting Expert des offres BI, MDM & BigData Ludovic MONNIER Architecte Sopra Expert EAI ESB sur des projets d intégration SOMMAIRE 1 Sopra & Talend 2 L évolution du marché de la donnée 3 Échange temps réel : Zoom Projet Transport 4 Échange temps réel : Projets Ministère Intérieur & Orange 5 Retours d expériences 2
SOPRA & TALEND Sopra Stéria Group + 35000 collaborateurs 3,1 Mds de CA en 2013 Top 10 des ESN en Europe 4 métiers : Conseil, Services, Edition, Infrastructure Sopra & Talend Partenaires depuis 2008 + 150 projets + 100 collaborateurs expérimentés Partenariat étendu au Big Data en 2014 Pourquoi Platinum Partner? Offre cohérente pour outiller transport, contrôle et transformation de la donnée (ESB ETL DQM MDM) Solutions Open Source pertinentes plus fonctionnalités industrielles en souscription Apport d accélération et d industrialisation sur nos projets Centres de Services Talend Paris, Lille, Bordeaux, Toulouse Partage de bonnes pratiques Capitalisation sur un socle applicatif autour des solutions Talend ETL et Talend ESB 3
L ÉVOLUTION DU MARCHÉ DE LA DONNÉE A nouvelle donne Explosion des volumes Multiplication des sources Prédominance du non structuré Prise de conscience du potentiel de valeur porté par les données Nouveaux besoins Partager plus les données Fluidifier les échanges Gérer les référentiels pour faciliter les croisements Contrôler et garantir la qualité des données Analyser la sémantique Prédire les comportements Nouveau Une bonne partie des réponses 4
PROJET SECTEUR TRANSPORT Enjeux Centraliser, homogénéiser et accéder en temps réel aux données des perturbations Solution Moderniser le système d échange et de diffusion des informations commerciales auprès des usagers via les sites web et les afficheurs passagers Rassembler les données de production des plans de transport de plusieurs sources pour alimenter les différents canaux de diffusion lors des journées de perturbation Accéder aux données de perturbation en temps réel depuis une IHM avant la diffusion de l information Architecture Talend Data Services Talend Administration Center PostgresSQL Web services Pilotage de la plate forme via IHM Appli 1 Appli 2 Appli 3 Diffuseur Canaux de diffusion finaux 5
PROJET SECTEUR TRANSPORT ZOOM INDUSTRIALISATION Normes de nommage Application des règles de nommage standardisées sur différents projets ETL Talend SOPRA pour les jobs et les composants Utilisation des règles de nommage proposées par TALEND pour les services Réutilisation du code Création de jobs techniques génériques pour : Gestion des erreurs Chargement du contexte Chargement du schéma XML Les jobs spécifiques sont dédiés aux aspect fonctionnels de la solution Gestion des contextes Création d un job générique pour une meilleure gestion du chargement et du contrôle d existence du fichier de contexte Centralisation de l ensemble des données de contexte par environnement dans un fichier unique Template pour les web services Utilisation d un job chapeau paramétrable couvrant les fonctionnalités techniques applicables à toute opération Appel à un Joblet générique de validation du format de la requête SOAP par chargement du schéma attendu Utilisation d un deuxième Joblet pour couvrir le besoin fonctionnel de l opération et générer la réponse SOAP 6
PROJET SECTEUR TRANSPORT INDUSTRIALISATION DE LA MISE EN ŒUVRE DES WEBSERVICES Utilisation d un «sous job» générique pour la gestion du contexte (fichier) Gestion unifiée des erreurs au niveau le plus haut avec retour SOAP Pattern implémentation haut niveau: contrôle de la requête systématique implémentation de la fonctionnalité via Joblet avec I/O standardisées 7
PROJET MINISTÈRE DE L INTÉRIEUR SCHENGEN NSIS Enjeux Permettre la coopération policière au sein de l espace Schengen Solution Partage des alertes au sein de l espace Schengen 14 catégories de signalement (Personnes recherchées, Véhicules, Documents, ) 2 niveaux : NSIS et CSIS Mise en production : Avril 2013 Architecture Talend ESB (open source ) 700 messages/minutes émis 8
PROJET ORANGE PHARAON (PORTAIL HABILITÉ POUR L ANALYSE ET LA RESTITUTION DES DEMANDES, DES INTERVENTIONS, DES CLIENTS) Enjeux Centraliser les accès aux applications principales du processus commande et livraison Offrir un outil national unique de consultation destiné aux utilisateurs «Production en Unités d Intervention» sur 32 UI Améliorer l'ergonomie, permettre des gains de productivité et de fiabilité des données. Solution Projet Agile Intégration et indexation de données en temps réel Optimisations ETL (Parallélisation, Ordonnancement) Optimisations BDD (Gestion de sessions, optimisation et partitionnement Oracle) Architecture Talend Data Integration Consultation des données via IHM GWT et moteur Exalead 600Go de données / 6 M de lignes par jour / 10 VMs d acquisition Talend 9
Talented Together L ÉCHANGE DE DONNÉES TEMPS RÉEL Retours d expériences avec Talend
RETOURS D EXPÉRIENCES VISION «PRODUIT» Routage/Transformation Variété des connecteurs disponibles Création de connecteur «Custom» Exposition des services Intégration de CXF : Service Web créé à partir du WSDL Conteneur d application Rechargement à chaud des bundles Contrôle individuel des routes Traitements ETL continus Administration Versionning des services Gestion de la haute disponibilité (Service Locator) Déploiement outillé 11
RETOURS D EXPÉRIENCES VISION «MISE EN ŒUVRE» Développement Validation des routes par les tests unitaires Tuning fin des traitements Talend Mode collaboratif possible Simplicité de prise en main via le studio Performance Scalabilité via Zookeeper Paramétrage détaillé du niveau de parallélisme Maîtrise de la mémoire RAM Privilégier la charge sur le SGBD (ELT) Architecture Accompagnement d une démarche SOA auprès de nos clients TalendESB : une solution OpenSource en appui sur des produits éprouvés (Camel, CXF, Karaf) Industrialisation 1 produit : installation, déploiement et exploitation simplifiés Réutilisabilité de composants génériques 12
QUESTIONS / RÉPONSES 13