VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr

Transcription

1 VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr Avril 2014 Virtualscale 1

2 Sommaire Les enjeux du Big Data et d Hadoop Quels enjeux opérationnels? Le positionnement de Virtualcale L offre Produits & Services Les premiers succès commerciaux Projections financières VirtualScale : fondateurs et dirigeants Avril 2014 Virtualscale 2

3 Les enjeux du Big Data et d Hadoop Le Big Data : nouvelle révolution impliquant un modèle autour de traitement et de l analyse de grandes masses de DONNEES CRM 360, Détection de fraude, Analyse des usages, Internet des Objets,.. Virtualscale 3

4 Les enjeux du Big Data et d Hadoop L environnement Hadoop un catalyseur au cœur de la révolution Big Data (Applications, Analytiques et Infrastructures) : Une avancée majeure issue des géants du web, socle technique d un traitement Big Data en rupture (ralliement de l ensemble des acteurs de l industrie) -Technologique : issue de la communauté Open source, Hadoop permet de traiter parallèlement des données (structurées et non structurées), en très grosses volumétries grâce à son système de fichiers distribués. -Financière : capable de reposer sur une infrastructure à faible coût de stockage et de traitement, Hadoop rebat les cartes de l accès au traitement Big Data face aux bases de données traditionnelles. Virtualscale 4

5 Les enjeux du Big Data et d Hadoop Un métier de spécialiste va émerger autour de la gestion applications infrastructures du Big data Expertise et courbe de connaissance très récente du à un démarrage de quelques Grands comptes Une complexité inhérente à la profondeur de l éco système HADOOP et sa jeunesse : système de gestion de fichiers distribués, totale imbrication des infrastructures sous jacentes comme le réseau, la sécurité, les serveurs, l impact sur la performance des applications et de leur développements au sein des cluster Hadoop Avril 2014 Virtualscale 5

6 Quels enjeux opérationnels? Nous sommes sur des architectures hautement élastiques tant sur les CPU/RAM que sur les stockages : perdre une machine ou un disque ne donne pas les mêmes effets quant aux architectures 3 tiers des serveurs BD/Web classiques ; Après une extension d un cluster (ajout de nouveaux nœuds, de CPU, de RAM ou de capacité de stockage aux serveurs existants), des requêtes SQL (Hive) impliquant des ressources importantes ne fonctionnent plus (problème de configuration des comptes utilisateurs) ; Les nœuds de données sont identifiés comme non utilisables après un processus de réplication de données, qui est un processus naturel utilisé par HDFS pour disposer les données sur plusieurs disques (problème de configuration des délais d envois de rapports par les nœuds) ; Avril

7 Quels enjeux opérationnels? Chaque redémarrage du nœud de gestion de l ensemble de l infrastructure de données (Name Node) déclenche au bout d une heure une instabilité majeure du cluster (problème de configuration des délais d envois de rapports par les nœuds) ; Les nœuds de données sont bloqués de temps à autres (marqués donc inutilisable par le nœud de gestion du cluster Name Node) : ils sont lockés par d autres programmes qui attendent de se terminer (problème de nœuds attendant en cascade des résultats d opérations) ; Les programmes exécutants les requêtes SQL (Hive) sont marqués «KILLED Unclean» par l utilisateur provoquant ainsi une très forte lenteur du résultat de la requête (problème de configuration des ressources affectées à Hive, le scheduler met alors fin à certaines tâches pour en prioriser d autres) Avril

8 Le positionnement Virtualscale Partenaire BI Big Data Virtualscale Avril

9 L offre Produits & Services Devenir le leader Français «Gestion des infrastructures Hadoop» autour des axes majeurs suivants : Conseil en architecture, déploiement d infrastructures matérielles et logicielles Open source Hadoop, distribution 100% Apache et formations Hortonworks Prestation Forfait journalier Pack Annuel de 50 tickets de support incluant le support technique sur HDP 2.0 (versioning, sécurité, performances, bugs, assurance qualité Open source, diagnostics impact applicatif ) Centre de formation agréé Hortonworks. Services managés «Hadoop as a service» intégrant infogérance, centre de support et sécurisation d infrastructures Hadoop avec gestion de SLA, soit sur site client (My datazoomr), soit le Paas de Virtualscale ou d un Cloud Public (Cloud datazoomr) Editeur du logiciel d orchestration Hadoop, datazoomr Éditeur contributif de la communauté Open Source avec Efficient Hadoop on Openstack (optimisation Hadoop sur Openstack) Avril 2014 Virtualscale 9

10 Le Paas Cloud datazoomr Une plateforme et un logiciel (datazoomr) pour la mise en place et la gestion de cluster Hadoop en mode service, hébergé en France Avril 2014 Virtualscale 10

11 Premiers succès commerciaux Teralab choisit la plateforme Cloud datazoomr de VirtualScale pour la première itération de son projet de plateforme Big Data destiné aux laboratoires de recherche Quelques POC se testent au quotidien sur notre Plateforme par plusieurs Entreprises et société de Business Intelligence Avril 2014 Virtualscale 11

12 Projections financières Turnover Hadoop Consulting Services Cloud datazoomr Management Software Training Virtuali General expenses & administration Sales & Marcom (incl indirect sales com) Finance & support IT (incl Hardware and Licences costs for integration) General expenses Revenue Avril 2014 Virtualscale 12

13 Fondateur et Dirigeants Sofiane Ammar Président Serge Alexandre Directeur du développement Evelyne Bourderioux Directrice partenaires Cyril Masson Directeur Business Développement Arnault Janson Directeur Technique et des Opérations Avril 2014 Virtualscale 13