données optimisée Une solution d'entreprise pour fournir à la demande des données mélangées, hiérarchisées et prêtes à être analysées

Transcription

1 Concevoir une données optimisée Une solution d'entreprise pour fournir à la demande des données mélangées, hiérarchisées et prêtes à être analysées Copyright 2015 Pentaho Corporation. Redistribution autorisée. Toutes les marques commerciales sont déposées par leur propriétaire respectif. Pour connaître les dernières informations, veuillez consulter notre site Web à l adresse

2 Introduction Le volume et la diversité des données ayant littéralement explosé au cours de ces dernières années, il est de plus en plus difficile pour les entreprises de les exploiter efficacement. Tirer tout le potentiel des Big Data a déjà été un défi majeur en soi, mais les nouveaux modes de consommation des données ont encore accentué la difficulté. Les rapports par lots classiques ne suffisent plus. Les consommateurs d'informations veulent pouvoir analyser les données à la demande et au format de leur choix, bien souvent dans l'environnement des applications qu'ils utilisent au quotidien. Face à ces contraintes, les services informatiques font de leur mieux pour suivre la cadence. De nouveaux outils de visualisation de données ont aidé les métiers à se prendre en main, mais les besoins ne sont que partiellement satisfaits. Dans le meilleur des cas, les utilisateurs n'accèdent qu'à un sous-ensemble de données et doivent faire face au dilemme de ne pas faire confiance aux données sans pouvoir attendre qu'elles soient approuvées par le service informatique. Au pire, les utilisateurs n'ont pas accès aux données dont ils ont besoin au moment où ils en ont besoin. Cela est souvent le cas s'ils comptent sur les «Big Data» ou des données non structurées pour atteindre leurs objectifs. Dans ces circonstances, les entreprises cherchent à se doter d'une raffinerie de données optimisée, qui constitue un moyen souple et économique de traiter l'information et d'automatiser sa mise à disposition à un grand nombre d'utilisateurs à des fins d'analyses très diverses. Une raffinerie de données optimisée repose sur une orchestration à la demande du mélange des données traditionnelles et des Big Data, ce qui constitue la première étape vers la gouvernance des données (voir ci-dessous). Dans cet article, nous allons explorer les scénarios où une raffinerie de données optimisée peut apporter une réelle valeur ajoutée, et passer en revue chacune des composantes de l'architecture de cette solution. La gouvernance des données se définit comme la capacité à mélanger des données fiables et actualisées pour alimenter l'analytique à grande échelle quels que soient la source des données, l'environnement ou le rôle des utilisateurs. En s'appuyant sur ce concept fondateur, les utilisateurs pourront sans peine explorer et analyser des mélanges de données validées provenant de l'ensemble de l'entreprise. PENTAHO 1

3 La problématique En raison de la nécessité de fournir aux utilisateurs des données de plus en plus variées, dans des délais toujours plus courts, nous avons choisi de présenter des scénarios d'utilisation qui soulignent l'importance de fournir au moment opportun des mélanges de données personnalisés, contrôlés et prêts à être analysés. Bien évidemment, cette liste n'est pas exhaustive. Données à la demande pour les chercheurs et analystes métier Ces spécialistes ne peuvent plus se contenter des approches classiques, basées sur SQL, qui consistent à extraire des données de bases de données individuelles. Les chercheurs ont besoin de décortiquer des informations provenant de sources complexes (données de machines/ capteurs, journaux Web et textes non structurés) qui sont souvent archivées dans Hadoop. Une solution consiste à permettre aux utilisateurs de demander, à tout moment, des jeux de données personnalisés et de déposer des Big Data mélangées dans un emplacement facile d'accès (comme un serveur FTP ou un portail de collaboration) et dans un format immédiatement utilisable (Excel ou CSV, par exemple) De plus, les jeux de données peuvent résider dans une base de données analytique comme HP Vertica pour alléger la charge d'hadoop liée aux requêtes complexes. Distribution contrôlée des jeux de données aux responsables des audits et des réglementations Les entreprises des secteurs industriels soumis à de fortes réglementations, comme les services financiers, la santé et l'énergie, sont tenues de prouver leur conformité et le respect des obligations gouvernementales. Pour ce faire, elles doivent recouper des données de plusieurs sources, calculer des statistiques et prouver que leurs méthodes de gestion des données répondent à des normes spécifiques. Par exemple, la loi Dodd-Franck impose des taux de réserve en capital aux sociétés de holding bancaire, caisses d'épargne et organismes de prêt. Des tests de résistance doivent être lancés sur plusieurs sources de données opérationnelles bancaires afin d'évaluer la conformité, et les résultats doivent être documentés et vérifiables. Enquêtes judiciaires en réponse à des événements commerciaux exceptionnels Le volume des Big Data est tel qu'il empêche souvent les entreprises de les «pré-intégrer» dans un entrepôt de données à l'aide des approches ETL traditionnelles. Les entreprises comptent de plus en plus sur l'analyse prédictive pour détecter les anomalies (fraude financière ou menaces de sécurité réseau, par exemple) et pour générer des alertes informant les analystes de la nécessité d'étudier ces anomalies. Il est possible d'optimiser et d'accélérer ces démarches en automatisant la préparation des jeux de données analytiques pour les utilisateurs. PENTAHO 2

4 «Le mélange des données en tant que service» pour les clients et partenaires Les produits liés aux données constituent une nouvelle source de revenus pour les fournisseurs de solutions SaaS. Beaucoup d'entre eux intègrent l'analytique aux applications destinées à leurs clients et partenaires pour dynamiser leurs relations avec les principaux intervenants. En plus de fournir des flux de données brutes aux tiers, les entreprises peuvent proposer le mélange des données en tant que service à valeur ajoutée. Dans ce scénario, les utilisateurs chargent les données sur un site où elles seront combinées avec les données de l'entreprise hébergeuse, puis renvoyées sous forme d'un jeu enrichi de données. Parmi ces scénarios d'utilisation, il y a trois enjeux communs à relever pour accroître la productivité et la valeur métier de l'entreprise, à savoir : ENJEU Orchestration à la demande Gouvernance des données Des données mélangées au format choisi DESCRIPTION FONCTIONNELLE Les utilisateurs doivent pouvoir demander facilement des jeux de données complexes et obtenir les résultats correspondants en temps et en heure, ce qui impose le déclenchement à la demande du traitement, du mélange et de la modélisation des données. Un processus automatisé doit être mis en place pour faciliter cette orchestration à la demande. Les données prêtes à être analysées doivent respecter toutes les règles de gouvernance pertinentes de façon à être fiables, conformes, actualisées et mélangées correctement. Les utilisateurs analytiques doivent pouvoir disposer de données multisources mélangées et enrichies, fournies dans un format immédiatement exploitable (dans un outil d'analyse adapté ou dans un format de fichier et un emplacement spécifiques). VALEUR ASSOCIÉE Cette orchestration accélère le retour sur investissement des projets analytiques, simplifie le travail des utilisateurs qui ne sont pas confrontés à la complexité des systèmes sous-jacents, et permet à l'entreprise de réagir rapidement aux fluctuations. De plus, l'informatique gagne du temps en traitant plusieurs requêtes à l'aide d'un seul processus automatisé pour le libre-service des utilisateurs. Minimise les risques et renforce la confiance à l'égard des décisions prises en fonction des données de l'entreprise. Accroît l'efficacité des utilisateurs en leur donnant la possibilité d'analyser des données brutes. PENTAHO 3

5 Une solution : la raffinerie de données optimisée Cette architecture répond à toutes les exigences de base des scénarios d'utilisation décrits ci-dessus, en garantissant une distribution de données fiables, pilotée par l'utilisateur. De par sa conception, l'architecture permet de lancer à la demande une requête de données soumise par l'utilisateur, de mélanger et d'affiner les données, de créer automatiquement un modèle d'analyse et de publier les jeux de données analytiques dans le format adapté. Elle comprend plusieurs éléments clés. Centre de traitement des données évolutif Cet entrepôt, le plus souvent Hadoop, est prévu pour héberger et gérer toute une variété de données, structurées ou non, en provenance de l'ensemble de l'entreprise. Dans le schéma ci-dessous, Hadoop centralise toutes les données, qu'elles proviennent d'internet, des médias sociaux, des systèmes transactionnels ou des machines/capteurs. Base de données haute performance La base de données choisie doit faciliter les requêtes à haute performance en vue des analyses et des visualisations. En cas de volumes importants, une base de données analytiques comme HP Vertica constitue un bon choix. Intégration de données Pentaho Hautement évolutif, le moteur d'intégration de données de Pentaho, géré via une interface utilisateur intuitive, assure le lien entre les sources et les entrepôts de données présents dans cette architecture. Le processus décrit ici peut être déclenché à la demande via la plateforme PDI : Mélange et orchestration : La plateforme PDI absorbe les données en provenance de quasiment n'importe quels sources, systèmes traditionnels et entrepôts Big Data, puis les traite, les nettoie, les mélange selon les combinaisons requises pour fournir les analyses. Modélisation et publication automatique : Dans le cadre de l'orchestration des données, la plateforme PDI crée automatiquement un schéma OLAP et le publie vers le serveur Pentaho Business Analytics où l'utilisateur peut explorer et visualiser les données. Gouvernance : Avec la plateforme PDI, l'équipe informatique valide rapidement et facilement les sources de données mélangées à la source, ce qui permet d'exercer un contrôle approprié sans entraver l'accès aux données utilisateur. PENTAHO 4

6 Schéma de l architecture d une raffinerie de données optimisée Internet Emplacements, s, autres données Requête de données en libre-service, Données structurées à la demande Pentaho Analyzer Réseaux sociaux Pentaho Data Integration Pentaho Data Integration Transactions par lots et en temps réel Cluster Hadoop Base de données analytiques Pentaho Reports Données des capteurs Données internes Mélanges structurés Les développeurs de données exploitent la puissance de Pentaho Data Integration pour créer un processus de fusion de données que les utilisateurs peuvent lancer au moment de l'exécution. Ce partenariat entre le service informatique et les entités métier permet de mélanger à la demande des données contrôlées, par le biais de requêtes en libre-service. Requête de données en libre-service Les utilisateurs peuvent demander à tout moment des données prêtes à être analysées via une interface Web, créée à l'aide des outils communautaires (CTools) de Pentaho, ce qui garantit une personnalisation à 100 % des expériences analytiques des utilisateurs. Via cette interface en ligne, les utilisateurs peuvent facilement saisir des paramètres (champs de données, systèmes sources, périodes, etc.). Ils peuvent aussi décider de recevoir les données sous forme de source de données contrôlées dans Pentaho Business Analytics ou sous un autre format (Excel, CSV, etc.) dans un emplacement cible différent. Pentaho Business Analytics Représenté par les solutions Analyzer et Reports dans le schéma, Pentaho Business Analytics est un ensemble flexible d'outils qui permet l'exploration, la visualisation et l'exploitation des données. Les utilisateurs tirent pleinement parti de Pentaho pour accéder aux modèles de données générés automatiquement en vue d'une analyse interactive. PENTAHO 5

7 Exemple client : Organisme de régulation financière Objectif Donner aux analystes les moyens d'identifier tout comportement suspect parmi les milliards de transactions boursières enregistrées par jour. Solution Pentaho Les utilisateurs explorent des données synthétiques et ont la possibilité de demander des jeux de données détaillés à la volée pour les analyser à l'aide de modèles multidimensionnels. Architecture Exploite Hadoop avec Amazon Elastic MapReduce et Hive ; utilise Amazon RedShift en tant que base de données analytique haute performance dans le Cloud. Avantages de la raffinerie de données optimisée En plus d'offrir un accès hors du commun à des données variées et contrôlées pour une analyse à la demande, la raffinerie de données optimisée de Pentaho procure d'autres avantages : Jeux de données «virtualisés» et gérés par le biais de points de service logiques Dans ce cas, la mise en place est totalement transparente pour les utilisateurs, ce qui permet à l'équipe informatique de «reconditionner» ou redimensionner l'infrastructure de données sous-jacente sans gêner les utilisateurs métier. Règles de sécurité centralisées Toutes les demandes transitent par une application commune (la console utilisateur de Pentaho), ce qui signifie que l'accès peut être refusé en désactivant simplement un compte d'utilisateur ou en supprimant une appartenance à un rôle. De plus, le contrôle d'accès de Pentaho peut être configuré de manière à suivre les règles de sécurité de l'entreprise. PENTAHO 6

8 Stockage, transformation des données et traitement des requêtes (SQL et OLAP) mis en œuvre à l'aide de produits correspondant à l'infrastructure et aux compétences existantes Les travaux et les transformations PDI sont flexibles, ce qui permet aux développeurs informatiques d'exécuter des charges de travail dans Hadoop (MapReduce ou YARN), dans des clusters PDI dédiés ou sur des serveurs PDI uniques. De même, le moteur OLAP de Pentaho (Mondrian) fonctionne avec un grand nombre de bases de données analytiques. Par ailleurs, l'infrastructure peut évoluer pour tirer parti des nouvelles options de stockage et de traitement sans nuire à la disponibilité des points de service logiques. Le module Adaptative Big Data Layer de Pentaho maximise la pérennité. Réduction des requêtes de flux de données personnalisés en attente En mettant à disposition des formulaires de requêtes paramétrables dans la raffinerie de données optimisée, les services informatiques confient la sélection et le filtrage des données brutes aux analystes et aux autres experts des données. Cela revient à créer des rapports de façon interactive et en libre-service excepté que les données peuvent être utilisées par n'importe quel outil de création de rapports, d'analyses et de statistiques standard. Processus contrôlé, piloté par l'utilisateur, de la raffinerie de données optimisée Lancement de la requête de données par l'utilisateur Mélange et affinage des données Demande Affinage Gouvernance Publication Publication de jeux de données analytiques Génération automatique des modèles de données PENTAHO 7

9 Conclusion Dans cet article, nous avons mis en lumière les trois principaux enjeux liés à la mise à disposition de données, pour lesquels peu de solutions sont proposées sur le marché aujourd'hui : > Orchestrer à la demande le traitement, le mélange et la modélisation des jeux de données, suite aux requêtes de l'utilisateur, pour accélérer la création de valeur lors de projets analytiques complexes. > Assurer la gouvernance des données tout au long du processus de façon à minimiser les risques et établir la confiance lors des prises de décision. > Fournir des données mélangées et enrichies dans le format choisi par l'utilisateur de façon à ce qu'il puisse les exploiter avec une efficacité optimale. Ces défis, comme nous l'avons vu, se rencontrent dans de nombreux scénarios et secteurs : exploration approfondie des données par les chercheurs, enquêtes judiciaires en cas d'événements inattendus, preuve de la conformité dans les secteurs réglementés et distribution de données «en tant que service» à des clients et partenaires clés. Avec la raffinerie de données optimisée et son architecture bien définie, vous pouvez relever ces défis. Elle vous permet de tirer parti des compétences existantes et de réagir à tout changement en recevant à la demande des données parfaitement à jour. PENTAHO 8

10 En savoir plus sur Pentaho Business Analytics Global Headquarters Citadel International - Suite Hazeltine National Dr. Orlando, FL 32822, USA tel fax pentaho.com/contact +1 (866) US & Worldwide Sales Office 353 Sacramento Street, Suite 1500 San Francisco, CA 94111, USA tel toll free United Kingdom, Rest of Europe, Middle East, Africa London, United Kingdom tel +44 (0) toll free (UK) FRANCE Offices - Paris, France tel toll free (France) GERMANY, AUSTRIA, SWITZERLAND Offices - Munich, Germany tel +49 (0) toll free (Germany) BELGIUM, NETHERLANDS, LUXEMBOURG Offices - Antwerp, Belgium tel toll free (Belgium) ITALY, SPAIN, PORTUGAL Offices - Valencia, Spain toll free (Italy) toll free (Spain) toll free (Portugal) PENTAHO 10

11 Copyright 2015 Pentaho Corporation. Redistribution autorisée. Toutes les marques appartiennent à leurs propriétaires respectifs. Pour connaître les dernières informations, veuillez consulter notre site Web à l adresse pentaho.com. PENTAHO 11