Agenda. Le groupe Keyrus. Orange Tunisie. Présentation du projet. Choix initial de Talend Open Studio. Evolution de la plateforme. Nécessité de migrer

Transcription

1 Keyrus Talend Connect Business case Orange Tunisie

2 Agenda Le groupe Keyrus Orange Tunisie Présentation du projet Choix initial de Talend Open Studio Evolution de la plateforme Nécessité de migrer Réalisation Perspectives

3 Le groupe Keyrus La performance de l ère digitale Un groupe solide et agile 159M Chiffre d affaires 2013 Spécialiste de la performance des organisations 350 clients Grands Comptes* et MGE *dont 80 Global Fortune clients PME Des valeurs au service de nos clients 1800 collaborateurs Une dimension internationale 15pays sur 4 continents AFRIQUE DU SUD BELGIQUE BRÉSIL CANADA CHINE EMIRATS ARABES UNIS ESPAGNE ETATS-UNIS FRANCE ILE MAURICE ISRAËL LUXEMBOURG SUISSE TUNISIE UNITED KINGDOM 3

4 Le groupe Keyrus La performance de l ère digitale TROIS UNIVERS EN RÉPONSE AUX ENJEUX DE LA PERFORMANCE DE L ÈRE DIGITALE Business Intelligence Information Management Corporate Performance Big Data Analytics Stratégies Digitales e-commerce CRM Transformation Digitale Change Management Finance Organisation RH Stratégie IT Santé Médico-Social 4

5 Agenda Le groupe Keyrus Orange Tunisie Présentation du projet Choix initial de Talend Open Studio Evolution de la plateforme Nécessité de migrer Réalisation Perspectives

6 Orange Tunisie Filiale du groupe Orange Lancement en Mai 2010 Deuxième opérateur privé de télécommunications à obtenir une licence de téléphonie mobile en Tunisie Premier opérateur en termes de licence d exploitation des réseaux 3G en Tunisie 3 millions d abonnés 6

7 Agenda Le groupe Keyrus Orange Tunisie Présentation du projet Choix initial de Talend Open Studio Evolution de la plateforme Nécessité de migrer Réalisation Perspectives

8 Présentation du projet Contexte du projet: Alimentation du Data Warehouse d Orange Tunisie Traitement des données avec Talend Open Studio Objectifs du projet: Migration des jobs TalendOpen Studio (~ 300 jobs ) versla version Talend Data Integration Enterprise Edition Refonte des job existants selon les bonnes pratiques Talend Optimisation de l ordonnancement des jobs (scheduling) Amélioration des performances des Jobs ETL Déléguer la gestion de la plateforme ETL à l équipe d exploitation 8

9 Agenda Le groupe Keyrus Orange Tunisie Présentation du projet Choix initial de Talend Open Studio Evolution de la plateforme Nécessité de migrer Réalisation Perspectives

10 Choix Initial de Talend Open Studio Au moment du lancement de l opérateur Richesse de fonctionnalités et de connecteurs Facile à déployer Prise en main facile Licence gratuite 10

11 Agenda Le groupe Keyrus Orange Tunisie Présentation du projet Choix initial de Talend Open Studio Evolution de la plateforme Nécessité de migrer Réalisation Perspectives

12 Evolution de la Plateforme ETL Evolution des sources de données (nombre et volumétrie) Augmentation du nombre de jobs ( environ 300 ) Données à traiter par jour de l ordre de dizaines de Go Volume de l entrepôt de données de l ordre de To Complexité élevée des dépendances fonctionnelles entre les Jobs Talend 12

13 Evolution de la Plateforme ETL 13

14 Agenda Le groupe Keyrus Orange Tunisie Présentation du projet Choix initial de Talend Open Studio Evolution de la plateforme Nécessité de migrer Réalisation Perspectives

15 Nécessité de la migration Charge de travail liée à l exploitation des jobs en moyenne de 3h/j Délais de traitement de données J-1 souvent dépassés Reporting manuel sur l état des Jobs Ordonnancement des jobs via Linux Crontab Difficile de déléguer la gestion de la plateforme à l équipe d exploitation 15

16 Agenda Le groupe Keyrus Orange Tunisie Présentation du projet Choix initial de Talend Open Studio Evolution de la plateforme Nécessité de migrer Réalisation Perspectives

17 Réalisations Développement: Travail collaboratif: Talend DI Studio utilise SVN Factorisation des traitements via les Joblets Réalisation de Jobs génériques grâce au schéma dynamique: 260 Jobs ont été remplacés par 5 Jobs génériques Réduction importante du temps nécessaire pour le développement de nouveaux Jobs 17

18 Réalisations Performances: Réduction d environ 50% du temps de traitement de données Données J-1 traitées avant les délais Ordonnancement (scheduling): Groupement des jobs selon des plans d exécution Liaison des jobs au sein d un plan via des relations de type: OnOK, OnError, After, Parallel Enchainement événementiel des jobs et des plans via les FileTrigger 18

19 Réalisations Exploitation et monitoring Suivi en temps réel de l exécution des jobs: grille 19

20 Réalisations Exploitation et monitoring Suivi en temps réel de l exécution des jobs: graphe 20

21 Réalisations Exploitation et monitoring L échec d un Job Talend est notifié par mail Interfaçage avec un logiciel tierde monitoring (HP SiteScope): TAC dispose d un service web permettant de renseigner l état de chacun de ses composants ainsi que l état des jobs 21

22 Réalisations Exploitation et monitoring La charge de travail liée à l exploitation de la plateforme a été réduite à quelques minutes par jour Délégation de la gestion de la plateforme Talend au service d exploitation 22

23 Agenda Le groupe Keyrus Orange Tunisie Présentation du projet Choix initial de Talend Open Studio Evolution de la plateforme Nécessité de migrer Réalisation Perspectives

24 Perspectives Intégration de nouvelles sources de données non structurées (Logs serveurs, Clickstream, social media, ) Réaliser des analyses poussées afin de mieux connaitre ses clients (sentimental analysis, vue 360, ) BIG DATA 24

25 Références Présentation faite par: Bessem Ben Salem Témoignage Client (Orange Tunisie): 25

26 Merci pour votre attention 26