All in one with Polybase. SQL Server 2016, Azure SQL DataWarehouse,

Transcription

1 All in one with Polybase SQL Server 2016, Azure SQL DataWarehouse,

2 Merci à nos sponsors

3 Speakers Romain Casteres Microsoft PFE Data Platform Arnaud Voisin Consultant BI

4 Agenda Polybase Big Picture Apache SQOOP Cas d usages Les outils & services autour de Polybase HDInsight Azure Blob Storage // HDFS APS : Appliance MPP Azure SQL DataWarehouse Polybase dans SQL Server 2016 CTP 2.x Démos : Analyse des comportements des automobilistes Architecture, Installation, Configuration, Analyse

5 Les limites du DWH traditionnel BI and analytics Data warehouse 3 Real-time Analysis 1 Augmentation du volume de données ETL 2 De nouvelles sources et types de données 4 Cloud data Data sources Non-relational data

6 Le DataWarehouse moderne Data sources Non-relational data

7 Big Picture

8 Pourquoi? SQL Résultat SQL Server Polybase Les données proviennent des deux mondes Hot Data RDBMS Cold Data HDFS Hybrid SQL & Hadoop solutions (Microsoft PolyBase, Teradata QueryGrid, IBM Big SQL etc.) Familiar SQL interface Decades of research and optimization Load first, schema later Cheap and scalable data store Les réponses aux nouvelles questions Big Data Données relationnelles

9 Polybase vs SQOOP SQOOP : Transfert de données entre Hadoop et des SGBDR (SQL To Hadoop) Génération de Jobs Map Reduce Import Export

10 Cas d usages

11 HDInsight

12 HDInsight : Le stockage HDFS WASB Système de fichier distribué et extensible (scalable) Le stockage est attaché à son Datanode Déconnexion des données et des Compute Nodes Les données sont persistées même après désallocation du cluster Plusieurs cluster Hadoop peuvent utiliser le même set de données

13 APS : Appliance MPP APS / HDInsight APS / HDInsight APS / HDInsight APS / HDInsight APS / HDInsight APS / HDInsight APS 0TB 6PB

14 Polybase dans APS Select Result set Permet d accéder à un cluster Hadoop interne ou externe, ou à un conteneur WASB Windows Azure HDInsight Hortonworks (Windows, Linux), Cloudera Analytics Platform System PolyBase Microsoft HDInsight Importer des données d un système EXTERNE grâce au CTAS

15 SQL DataWarehouse Base de données distribuée dans Azure Scalable à la demande : Accroître, réduire ou interrompre les ressources de calcul (DWU) Traitement MPP en mode PaaS basé sur APS Possibilité de connecter SQL DataWarehouse avec les système On- Premise HDINSIGHT Stockage données Azure DW Traitement & agrégation SQL Server Exploitation & Analyse

16 External Table Polybase dans SQL Server 2016 Moteur SQL 16 1 Azure Blob Storage (WASB) External Datasource Cluster Hadoop Gestion de rejets External File Format Supportes différents format et compression : CSV ORC RC FILE Headnode Ressource Manager Compute/D ata Node 3 2 Compute/D ata Node Azure Blob Storage (WASB) Jobs map/reduce Compute/D ata Node

17 Notre scénario : «Pay-How-You-Drive» Une assurance ajustée selon votre utilisation!

18 Architecture 1 Polybase & WASB

19 Installation & Configuration Prérequis : 64-bit SQL Server Evaluation edition Microsoft.NET Framework 4.0. Oracle Java SE RunTime Environment (JRE) Minimum memory: 4GB Minimum hard disk space: 2GB Dans l onglet de configuration du serveur, le service Polybase Engine et Polybase Data Movement doivent s exécuter avec le même compte. A noter 3 bases sont installées : DWConfiguration, DWDiagnostics, DWQueue Fichier de configuration : C:\Program Files\Microsoft SQL Server\MSSQL13.MSSQLSERVER\MSSQL\Binn\Polybase

20 Démo Architecture WASB

21 Architecture 2 Polybase & SQL DHW Hadoop Power BI WASB PolyBase Queries Azure SQL Data Warehouse Envoie toutes les minutes des évènements

22 Démo Architecture SQL DWH

23 Exemple de Rapport

24 Limites & Evolutions : CTP3, CTP2 Export de données relationnelles vers Hadoop ou Wasbs à des fins d archivage Architecture Scale-out : Configuration de cluster d instance pour attaquer une source Hadoop ou Azure Blob Storage. De nouveaux formats pris en charge : Parquet, Avro? CTP3

25 Merci!

26 Merci à nos volontaires

27 Et en plus on peut gagner des cadeaux