All in one with Polybase SQL Server 2016, Azure SQL DataWarehouse,
Merci à nos sponsors
Speakers Romain Casteres Microsoft PFE Data Platform Arnaud Voisin Consultant BI Data Platform @PulsWeb @ArnaudVoisinSQL www.pulsweb.fr www.arnaudvoisin.blogspot.fr
Agenda Polybase Big Picture Apache SQOOP Cas d usages Les outils & services autour de Polybase HDInsight Azure Blob Storage // HDFS APS : Appliance MPP Azure SQL DataWarehouse Polybase dans SQL Server 2016 CTP 2.x Démos : Analyse des comportements des automobilistes Architecture, Installation, Configuration, Analyse
Les limites du DWH traditionnel BI and analytics Data warehouse 3 Real-time Analysis 1 Augmentation du volume de données ETL 2 De nouvelles sources et types de données 4 Cloud data Data sources Non-relational data
Le DataWarehouse moderne Data sources Non-relational data
Big Picture
Pourquoi? SQL Résultat SQL Server Polybase Les données proviennent des deux mondes Hot Data RDBMS Cold Data HDFS Hybrid SQL & Hadoop solutions (Microsoft PolyBase, Teradata QueryGrid, IBM Big SQL etc.) Familiar SQL interface Decades of research and optimization Load first, schema later Cheap and scalable data store Les réponses aux nouvelles questions Big Data Données relationnelles
Polybase vs SQOOP SQOOP : Transfert de données entre Hadoop et des SGBDR (SQL To Hadoop) Génération de Jobs Map Reduce Import Export
Cas d usages
HDInsight
HDInsight : Le stockage HDFS WASB Système de fichier distribué et extensible (scalable) Le stockage est attaché à son Datanode Déconnexion des données et des Compute Nodes Les données sont persistées même après désallocation du cluster Plusieurs cluster Hadoop peuvent utiliser le même set de données
APS : Appliance MPP APS / HDInsight APS / HDInsight APS / HDInsight APS / HDInsight APS / HDInsight APS / HDInsight APS 0TB 6PB
Polybase dans APS Select Result set Permet d accéder à un cluster Hadoop interne ou externe, ou à un conteneur WASB Windows Azure HDInsight Hortonworks (Windows, Linux), Cloudera Analytics Platform System PolyBase Microsoft HDInsight Importer des données d un système EXTERNE grâce au CTAS
SQL DataWarehouse Base de données distribuée dans Azure Scalable à la demande : Accroître, réduire ou interrompre les ressources de calcul (DWU) Traitement MPP en mode PaaS basé sur APS Possibilité de connecter SQL DataWarehouse avec les système On- Premise HDINSIGHT Stockage données Azure DW Traitement & agrégation SQL Server Exploitation & Analyse
External Table Polybase dans SQL Server 2016 Moteur SQL 16 1 Azure Blob Storage (WASB) External Datasource Cluster Hadoop Gestion de rejets External File Format Supportes différents format et compression : CSV ORC RC FILE Headnode Ressource Manager Compute/D ata Node 3 2 Compute/D ata Node Azure Blob Storage (WASB) Jobs map/reduce Compute/D ata Node
Notre scénario : «Pay-How-You-Drive» Une assurance ajustée selon votre utilisation!
Architecture 1 Polybase & WASB
Installation & Configuration Prérequis : 64-bit SQL Server Evaluation edition Microsoft.NET Framework 4.0. Oracle Java SE RunTime Environment (JRE) Minimum memory: 4GB Minimum hard disk space: 2GB Dans l onglet de configuration du serveur, le service Polybase Engine et Polybase Data Movement doivent s exécuter avec le même compte. A noter 3 bases sont installées : DWConfiguration, DWDiagnostics, DWQueue Fichier de configuration : C:\Program Files\Microsoft SQL Server\MSSQL13.MSSQLSERVER\MSSQL\Binn\Polybase
Démo Architecture WASB
Architecture 2 Polybase & SQL DHW Hadoop Power BI WASB PolyBase Queries Azure SQL Data Warehouse Envoie toutes les minutes des évènements
Démo Architecture SQL DWH
Exemple de Rapport
Limites & Evolutions : CTP3, CTP2 Export de données relationnelles vers Hadoop ou Wasbs à des fins d archivage Architecture Scale-out : Configuration de cluster d instance pour attaquer une source Hadoop ou Azure Blob Storage. De nouveaux formats pris en charge : Parquet, Avro? CTP3
Merci!
Merci à nos volontaires
http://guss.pro/sqlsat Et en plus on peut gagner des cadeaux