Des solutions IBM pour tout le cycle de vie de l information

Transcription

1 Des solutions IBM pour tout le cycle de vie de BUSINESS PROCESS MANAGEMENT & BUSINESS RULES MANAGEMENT INFORMATION ACCESS & ANALYTICS OPERATIONAL APPLICATIONS ENTERPRISE ARCHIVE ENTERPRISE DATA ENTERPRISE CONTENT MASTER DATA METADATA INFORMATION INTEGRATION DATA WAREHOUSE [ ENTERPRISE DATAPOLICY: GROWTH, PRIVACY & APPLICATION TEST DATA, RETIRE, MIGRATION ] DATAMARTS BUSINESS INTELLIGENCE & PREDICTIVE ANALYSIS & PERFORMANCE MANAGEMENT

2 La vision IBM InfoSphere Une plateforme d information unique Simplifier l accès à une information fiable Accélérer l obtention de valeur Permettre une meilleure collaboration Gérer le risque Une plateforme modulaire mais intégrée Scalable à l échelle de votre entreprise

3 IBM Information Server Pour un accès à une information fiable IBM Information Server Un déploiement unifié Comprendre Nettoyer Transformer Livrer Découvrir, modéliser et piloter la structure et le contenu des informations Standardiser, fusionner et corriger les informations Combiner et restructurer les informations pour de nouvelles utilisations Synchroniser, virtualiser et transférer les informations pour une livraison en temps réel Une gestion unifiée des métadonnées Traitement parallèle Connectivité optimale avec les applications, données et contenus

4 IBM Information Server Pour un accès à une information fiable IBM Information Server Comprendre Nettoyer Transformer Livrer Découvrir, modéliser et piloter la structure et le contenu des informations Standardiser, fusionner et corriger les informations Combiner et restructurer les informations pour de nouvelles utilisations Synchroniser, virtualiser et transférer les informations pour une livraison en temps réel Platform Parallel Processing Connectivity Metadata Administration Deployment

5 InfoSphere End to End External Sources Integrate Master Data Analyze SPSS Business Analytics Business Applications Database Infrastructure Transactional Business Applications Content Data DataMart Warehouse Govern Data Quality Security Lifecycle Management Reports & Dashboards Cognos Business Intelligence Applications 5

6 IBM InfoSphere Information Server Délivrer une Information de confiance IBM InfoSphere Information Server Comprendre Nettoyer Transformer Delivrer Cartographier, définir, découvrir, modéliser, maîtriser la qualité de Standardiser, fusionner et corriger Transformer, enrichir, déplacer et synchroniser Délivrer, CDC, Réplication Plateforme Execution Parallèle connectivité Métadonnées Administration Déploiement

7 Comprendre les données : Information Analyzer Cartographie détaillée et exhaustive de contenu, structure et qualité des données existantes Analyse de colonnes Analyse de Table Analyse Inter-Table Fréquences de distribution Analyse de clé primaire IBM Information Analyzer Business Glossary Analyse des dépendances Analyse des Classe, propriétés, format, domaine/complétude Annotations & Marquage pour revue Gestion de Règles Rapports

8 IBM InfoSphere Information Server Délivrer une Information de confiance IBM InfoSphere Information Server Comprendre Nettoyer Transformer Delivrer Cartographier, définir, découvrir, modéliser, maîtriser la qualité de Standardiser, fusionner et corriger Transformer, enrichir, déplacer et synchroniser Délivrer, CDC, Réplication Plateforme Execution Parallèle connectivité Métadonnées Administration Déploiement

9 InfoSphere FastTrack Data Analyst Developer Outil orienté Business Analysts, Data modeler, developpeur Diminution des temps de specifications dans les projets Définition de règle métier, simple et complexe Prise en compte dès les spécifications des sources et cibles Mapping entre les termes métiers et les métadonnées Genère des jobs DataStage Gestion de l historique Comprendre InfoSphere FastTrack Accélerer les projets d intégration de données, Améliorer la collaboration des équipes Specification Flexible Reporting Auto-generates DataStage jobs

10 IBM InfoSphere Information Server Délivrer une Information de confiance IBM InfoSphere Information Server Comprendre Nettoyer Transformer Delivrer Cartographier, définir, découvrir, modéliser, maîtriser la qualité de Standardiser, fusionner et corriger Transformer, enrichir, déplacer et synchroniser Délivrer, CDC, Réplication Plateforme Execution Parallèle connectivité Métadonnées Administration Déploiement

11 Un exemple de données non propres Comment identifier et consolider des données quand le nombre d enregistrement s élève a plusieurs millions/milliards d enregistrements? Anomalies Pas de standard Pas de clés communes IBM 17 Av Europe, Bois-Colombes 8, I.B.M. Inc. 17 Avenue de l Europe, BC 3, Int. Bus. Machines Avenue Europe, Bois-Colombes 2, International Bus. M. Av. Europe, Bois-Collombes 5, Inter-Nation Consults 17 Ave Europe, Bois-Colombes 6, Int. Bus. Consultants Avenue Europe, Bois-Colombes 10, I.B. Manufacturing Avenue Europe, Bios-Colombes 15, Faute de frappe

12 Garantir la qualité et la pertinence de vos données QualityStage Standardiser vos données Tout type de données : Noms, Titre, Adresses, Description Produits, Algorithmes de Phonétisation Ex. Standardisation et Validation postale prédéfinies pour plusieurs pays Rapprocher les données similaires ou en doublon Proposer de nombreux algorithmes de rapprochements Comparaison exacte ou floue de chaînes de caractères Distance, Pourcentage, Dates Aucune limite dans le nombre de critères utilisés pour effectuer le rapprochement Algorithme probabiliste Entièrement personnalisable Consolider les doublons, reformuler la donnée Algorithmes prédéfinis et personnalisables Gestion des références croisées

13 Une intégration totale dans la suite Information Server source à investiguer information Standardisée Rapprochement Consolidation

14 IBM InfoSphere Information Server Délivrer une Information de confiance IBM InfoSphere Information Server Comprendre Nettoyer Transformer Delivrer Cartographier, définir, découvrir, modéliser, maîtriser la qualité de Standardiser, fusionner et corriger Transformer, enrichir, déplacer et synchroniser Délivrer, CDC, Réplication Plateforme Execution Parallèle connectivité Métadonnées Administration Déploiement

15 IBM DataStage Modélisation graphique des flux de données sans programmation Plus de 50 composants génériques Connectivité : Fichier, XML, SGBDs, ERPs, Web, EJB, WS MQ, JMS, Transformation : Jointure, Tri, Agrégation, Lookup, Gestion des Dimensions changeantes, Plus de 300 fonctions de transformation Réutilisation de l existant : librairies externes, procédures stockées, COBOL, SAS, Support des architectures parallèles sans modification des développements Support du batch et du temps réel Transformer Livrer Développeurs Architectes IBM DataStage Transformer et agréger n importe quel volume d informations par lots ou en temps réel via une logique conçue de manière visuelle Des centaines de fonctions de transformation intégrées

16 IBM InfoSphere Information Server Délivrer une Information de confiance IBM InfoSphere Information Server Comprendre Nettoyer Transformer Delivrer Cartographier, définir, découvrir, modéliser, maîtriser la qualité de Standardiser, fusionner et corriger Transformer, enrichir, déplacer et synchroniser Délivrer, CDC, Réplication Plateforme Execution Parallèle connectivité Métadonnées Administration Déploiement

17 Intégration avec DataStage (ETL) /Quality Stage InfoSphere Change Data Capture Intégration DataStage Direct Connect Table ODS Alimentation au fil de l eau ou en Temps Réel Les données sont capturées au fur et à mesure que les événements se produisent Support aux plates-formes Hétérogènes Capturez les données depuis un grand nombre de sources Faible Impact 0.05% des systèmes ressources utilisées pour 300+Gb par jour Hautement Performante 2 milliards de transactions par heure TCP via Data Stage operator Natif SQL Native DB Log CDC Continuous Message Queue Fichier IBM IBM Information Information Server Server Natif Import Projet DataStage ETL Chargement EDW IBM / DB2 IBM Industry Models

18 IBM InfoSphere Information Server Délivrer une Information de confiance IBM InfoSphere Information Server Comprendre Nettoyer Transformer Delivrer Cartographier, définir, découvrir, modéliser, maîtriser la qualité de Standardiser, fusionner et corriger Transformer, enrichir, déplacer et synchroniser Délivrer, CDC, Réplication Plateforme Execution Parallèle Connectivité Metadonnées Administration Deploiement

19 Performances: Exécution Parallélisée Transformer Enrichir Charger Source Cible L entreprise a besoin de performance Partitionnement Repartitionnement A Propos de Enterprise Edition Réalisation des processus d intégration sans nécessité de prendre en compte les volumes de données et contraintes de temps Etapes simplifiées permettant de définir des partitionnement multiples dynamiques dans chaque processus si nécessaire Sources Nom Client Code Postal N de Carte de crédit Cible Simple fichier de configuration pouvant être modifié pour ajouter de nouveaux processeurs Pas de programmation manuelle pour prendre en charge d avantage de processeurs Le Pipelining Mode rapide (mémoire) d acheminement des Données. Le Partitionnement Une autoroute multivoies, bout en bout. Support et environnements SMP, Cluster, GRID, et plates-formes MPP Linéarité des Performances Le Repartitionnement Capacité à changer de voie, à la volée, en fonction des actions à réaliser

20 IBM InfoSphere Information Server Délivrer une Information de confiance IBM InfoSphere Information Server Comprendre Nettoyer Transformer Delivrer Cartographier, définir, découvrir, modéliser, maîtriser la qualité de Standardiser, fusionner et corriger Transformer, enrichir, déplacer et synchroniser Délivrer, CDC, Réplication Plateforme Execution Parallèle Connectivité Metadonnées Administration Deploiement

21 Les services d information: Information Service Director Portails EAI, BPM, EII Applications Web Tableaux de bord ISD met en place une architecture orientée service dans un contexte d intégration de données Partagés Il permet de rendre accessible un ensemble de services qui masquent la complexité de l intégration de données Progiciels Référentiels Ces services régissent leur propre contrôle sur les données (validation, standardisation, transformation) Ils laissent le soin aux spécialistes de gérer comment les données sont utilisées, sans en limiter l accès Data Warehouses Données partenaires Applis Legacy

22 Étapes de publication d un service type SOA Dévelopment (job DataStage & QualitySage) Deploiement (ISD Console) Execution (Serveur SOA) Server SOA DataStage Servers Création d un job dans DataStage en utilisant les stages Input et Output spécifiques Validation d une checkbox (seulement!) pour signaler à ISD que ce job peut devenir un Service. Points d attentions : Définition du mapping du service Choix du binding (EJB, JMS, ou SOAP/HTTP, RSS ) Sécurisation du service le service sera-t-il disponible sur plusieurs serveurs DataStage? Spécification des parametres de runtime Load balancing pour favoriser le meilleur serveur DataStage du moment. Map l interface d entrée du service avec les lignes de données Les lignes sont traitées en temps-réel par le job DataStage Map l interface de sortie du service avec les résultats du traitement.

23 IBM InfoSphere Information Server Délivrer une Information de confiance IBM InfoSphere Information Server Comprendre Nettoyer Transformer Delivrer Cartographier, définir, découvrir, modéliser, maîtriser la qualité de Standardiser, fusionner et corriger Transformer, enrichir, déplacer et synchroniser Délivrer, CDC, Réplication Plateforme Execution Parallèle connectivité Métadonnées Administration Déploiement

24 Gestion des Metadonnées integrées METADATA SERVER BANK1 BI REPORT LINEAGE WAREHOUSE SOURCE SYSTEMS Txt Oracle Tableaux de Bord DB2 DATAMARTS DATA INTEGRATION

25 Comment contextualiser l'information? Les métadonnées Logo Boîte de conserve Producteur Depuis qd Contenu Ingrédient Nb Variétés Littéralement, données au sujet des données qui décrivent les informations concernant votre entreprise à partir des perspectives business et technique 25

26 IBM Business Glossary Un outil Web pour créer une dictionnaire métier La création & la gestion d un vocabulaire commun contrôlé La création & la gestion d une taxonomie Une démarche collaborative pour créer/évaluer les metadonnées métiers Un outil de référence pour connaître le capital information de l entreprise Signification Dépendances Usage Qualité Propriété/responsabilité 26

27 Qu est-ce que IBM Metadata Workbench? Explore les metadonnées générées et utilisées au sein d Informations Server Rend compte sur les données, leur mouvement, leur signification métier, leurs dépendances et leurs impacts Trace les données provenant des rapports métiers à travers des applications éparpillées (Process ETL, Data Marts, etc.) Comprendre Manager d intégration Developpeurs IBM Metadata Workbench Fournit aux professionnels IT un outil pour explorer et comprendre les informations produites et employées par la suite Information Server. 27

28 Metadonnées Connectées Business Glossary ETL Operational Metadata (Job Run Information) BI Reports Physical Schemas ETL Job Design 28

29 D où vient le champ de données dans ce rapport? Navigue à travers les attributs du rapport Navigue visuellement dans la lignée des données multiproduits Combine point de vue opérationnel & design Source Tables IBM Information Server 29