SAS to Hadoop : cas pratique d une migration vers une utilisation opérationnelle des données

Dimension: px

Commencer à balayer dès la page:

Download "SAS to Hadoop : cas pratique d une migration vers une utilisation opérationnelle des données"

Marie-Paule Goudreau
il y a 8 ans
Total affichages :

1 SAS to Hadoop : cas pratique d une migration vers une utilisation opérationnelle des données SAS Forum France 10 octobre 2016

2 1 Présentation d EXL Group Talan Solutions Qui est Talan? Acteur français de référence dans l accompagnement de la transformation agile de ses clients Fin 2015 : 15 ans d existence, 150 M de CA, collaborateurs Bases à Paris, Lyon, Londres, Luxembourg, Genève, New York, Hong Kong, Montréal et Tunis et EXL Group? Multi-spécialiste en systèmes d information, orienté décisionnel, valorisation des données et couverture technologique Fondé en 2008, 30 M de CA, 300 collaborateurs Rejoint le groupe Talan en 2016 pour devenir Talan Solutions 3 métiers complémentaires : Conseil opérationnel & Expertise métier BI, CRM, ERP & Big Data/ Data Science Expertise technologique 6 secteurs d activité majeurs : Energie et Utilities Services Publics Finance Assurance Télécoms Médias Transport Logistique Industrie

3 2 Contexte et enjeux EXL Group vous propose de partager son retour d'expérience sur la migration d'une plateforme complète de : Un environnement 100% SAS (SAS Office Analytics et SAS Visual Analytics) dédié au projet Vers Une plateforme mutualisée SAS sur Hadoop Nous vous présenterons : Les architectures initiale et cible du projet Notre accompagnement Les avantages et difficultés rencontrés Nos préconisations pour ce type de projet

4 4 Architecture initiale VA CLIENTS Desktop (Admin) Web Mobile SAS Server OA + VA Metadata Server Workspace Server OA CLIENTS Desktop (MS Office, EG) Web (Sharepoint) Stored Process Server SAS LASR Analytic Server

5 3 Architecture cible

6 4 Notre rôle Cadrage Déploiement Conduite du changement Pilotage de projet Dimensionnement de la plateforme en termes de : utilisateurs, données (structure, volume, historique, ) Identification des besoins et priorisation des modules SAS Recette d intégration de la plateforme et particulièrement de la partie SAS To Hadoop Migration des programmes et rapports SAS existants Développement de nouveaux programmes et rapports SAS sur Hadoop Préconisations pour la programmation SAS sur Hadoop Formation des utilisateurs de la plateforme

7 5 Retour d expérience Avantages Points de vigilance Un environnement unique pour les développements Hadoop (Hive) et SAS (usage classique : étapes data, proc reg, ) Bénéficier de la force SAS sur des données volumineuses Temps de traitement réduits. Exemples : de 2h à 5mn sous OA et réduction par 3 sous VA Mutualisation des coûts de licence et d exploitation Besoin d une gestion mature de la plateforme Hadoop (priorisation des jobs, gouvernance des données, ) Recodage de certaines parties de programmes SAS pour bénéficier de temps de traitement optimaux Formation des utilisateurs SAS pour un usage optimal de la plateforme Dépendance vis-à-vis des autres projets de la plateforme : perte en personnalisation

8 6 Best practices SI Build Dimensionner la plateforme selon les recommandations SAS, définies à partir des besoins métier : modules, volumes, existant, Passer par une phase POC pour s assurer que les modules fournis correspondent au besoin métier Solliciter un expert SAS pour le paramétrage initial de plateforme Run Inclure un administrateur SAS à temps plein dans l équipe projet Favoriser le passage par des VM afin d être au plus proche de la donnée et minimiser les échanges Hadoop SAS Local Définir des formats SAS sur les tables Hive

9 6 Best practices Métier Privilégier le «execute by hadoop» pour les gros volumes Favoriser les formats SAS aux jointures avec des référentiels Accompagner et former les utilisateurs à l utilisation de SAS sur Hadoop Minimiser les transferts de données Hadoop - SAS Eviter l usage implicite de la work Favoriser les requêtes SQL aux étapes Data

10 7 Vos contacts en cas de question Rafik DJEDOUR Resp. Offre Data Science Mob : /21 rue Dumont D Urville - Paris 16 Vianney DALMAS Ingénieur d affaires [email protected] Mob : /21 rue Dumont D Urville - Paris 16 Septembre 2016 Proposition commerciale

11 11

Documents pareils

EXL GROUP FILIÈRE ERP - QUI SOMMES NOUS?

EXL GROUP FILIÈRE ERP - QUI SOMMES NOUS? 94 Rue de Provence - 75009 Paris - Tél : +33 (0)1 53 32 21 40 - Fax : +33 (0)1 53 16 35 85 - www.exl Group.com EXL GROUP - Tous droits réservés SOMMAIRE 1. Présentation