Les journées SQL Server 2013 Un événement organisé par GUSS
Les journées SQL Server 2013 Romain Casteres MVP SQL Server Consultant BI @PulsWeb Yazid Moussaoui Consultant Senior BI MCSA 2008/2012 Etienne Pommier Ingénieur Etude & Développement.Net Big Data & BI Retour d expérience Un événement organisé par GUSS
Merci à nos sponsors
Agenda Planning o Besoin Clients : APVX o Pourquoi la Big Data? o Présentation de Hadoop o Offre Microsoft : HDInsight o Complémentarité BI & Big Data o Architecture mise en place o Démos
Besoin Client : APVX Aide à la prévision des ventes Besoin d analyse des réseaux sociaux Poids des campagnes réalisées sur les réseaux Trouver une relation entre les ventes et ce qui se dit sur les réseaux
Pourquoi la Big Data? Volume, Variété & Vitesse
La tendance
Framework Apache Hadoop HDFS Ecriture Lecture
Framework Apache Hadoop Map & Reduce
Apache Hadoop, Hortonworks, Hdinsight Apache Hadoop Hive : Gestionnaire des données distribuées (SQL Like) Pig : Scripting ETL Sqoop : Transfer des données entre Hadoop et des SGBDR Hbase : Base de données non relationnelle Hcatalog : services de méta données Mahout : Langage de programmation pour le Machine Learning Flume : Intégrateur de logs Oozie : Ordonnanceur HDInsight HDP 1.3 pour Windows On Azure On Premise Scale Out for Pay As You Go Windows Azure PowerShell CodePlex.Net SDK Microsoft Hive ODBC Driver
Plate-forme Big Data Microsoft Volume x Variety x Velocity x Visualization = Value Polybase SERVICES ET DONNEES EXTERNES MARKETPLACE Polybase Native Query
Architecture WASB
Architecture WASB
La solution sur Windows Azure Un Azure Web Site (ASP.Net MVC 4) Un Cloud Service Un Compte de stockage (Tables et Blobs) Une SQL Database
Le site Interface de gestion Azure Active Directory Authentification
Le Cloud Service
RÉCUPÉRATION DE DONNÉES TWITTER
Architecture WASB
Création du cluster HDInsight Nombre de Nœud Hive Meta Données Stockage Activation de l accès distant Installation du Driver Hive ODBC Linked Server
Hive Table Externe Table Interne UDF : User Defined Functions
Flux des données Windows Azure Storage Blob Azure Network Hadoop On Azure Compute Node
Automatisation via SSIS Création d un package SSIS SSIS HDInsight Tasks Création d une source de données ODBC http://tinyurl.com/hdinsightssis Livre Blanc HDInsight & Visual Studio : aka.ms/lbhdinsight
Architecture WASB
Exploitation des données 2 scénarios : «BI d entreprise» ou «BI en Self-Service» BI d entreprise Integration Services SQL Server SSAS Tabular Power View SharePoint POWER BI Power Query Excel Power Pivot Excel Power View Excel
Integration des données avec SSIS BI d entreprise SQL Server Integration Services Importation des table Hive vers une base de donnée locale Source : Table Hive SELECT Theater, ScreenAuthorizationNumber, Screen, Title, TitleId FROM lecture Destination : Table SQL Server Connexion ODBC
Analyse et restitution des données BI d entreprise Analysis Services Mode Serveur Cube tabulaire Langage DAX Power View for SharePoint Intégration à SharePoint Publication et partage Création de rapports en self-service Drag & Drop Analyse des données issues de PowerPivot ou d Analysis Services PowerPoint SharePoint Server SQL Server 2012 Instance Analysis Services Instance SQL Server DWH
BI en self-service avec Excel 2013 POWER BI Excel 2013 POWER QUERY POWER PIVOT POWER VIEW
Power Query POWER BI ETL destiné à l utilisateur Import Data From Hadoop File (HDFS) From Windows Azure HDInsight
Power Pivot POWER BI Création du modèle de données à partir de sources distinctes : Tables SQL Server Table hive intégrés au modèle via Power Query
Power View POWER BI Création de rapport Ad-hoc interactif Source de donnée : Classeur de Modèle Power Pivot Modèle Tabulaire SSAS (Power View mode SharePoint)
Questions? Merci!