Master Data Management et intégration des données clients

Transcription

1 Master Data Management et intégration des données clients Patrick Aboussouan Salon du BI 6 novembre 2012

2 Objectifs de la présentation Aider les participants à mieux comprendre ce qu est le MDM, notamment le MDM Client la valeur stratégique d'une solution de MDM Client les problèmes d'affaires ciblés les rôles et responsabilités associés au MDM les processus associés au MDM l architecture de la solution Le quoi Le pourquoi Le qui Le comment Sensibiliser les participants à l'importance de l'équilibre entre les aspects technologiques et non technologiques de la problématique Illustrer les risques et les pièges qui guettent les initiatives MDM Client au moyen d'exemples concrets 2

3 Table des matières La problématique Qu est-ce que le MDM Client? Comment bâtir un MDM Client? Planifier Construire Entretenir Les pièges à éviter Conclusion 3

4 Table des matières La problématique Qu est-ce que le MDM Client? Comment bâtir un MDM Client? Planifier Construire Entretenir Les pièges à éviter Conclusion 4

5 Définition préalable : données de référence Master Data Management : Gestion des données de référence Les données de référence sont les entités de données fondamentales non transactionnelles d'une organisation et partagées par les différents processus d'affaires Acteurs (Party) Produits et Services Comptes/ Ententes Unités Organisationnelles Géographie Rubriques comptables Etc. 5

6 Un paysage fragmenté 6

7 Qui dit vrai? Système A ID : DUP123 NOM : Frédéric Dupont DN: 1960/08/09 SEXE: M NAS: ADR: 123, rue Principale, Montréal, QC, H1A 1H1 TEL : (514) Système B ID : NOM : F Dupond DN: SEXE: 1 ADR: 123 Principale, Montreal, PQ, H1A 1H1 TEL : Système C ID : NOM : F A Dupont DN: SEXE: Masculin NAS: ADR: 456 rue Secondaire, St- Sauveur, Quebec, H1A 1H1 TEL : (450) Système N ID : DUPF NOM : Fred A Dupont ADR: 789 rue Centrale, Montréal, QC, H2B 2H2 TEL : (514) COUR: jean.dupont@hotmail.com 7

8 Répercussions commerciales importantes M. Dupont, pouvez-vous nous dire quels sont tous les produits que vous avez achetés chez nous dans les dernières années? J ai rejeté la demande de M. Dupont, mais je ne savais pas que c était un client Platine dans notre filiale de Québec. Annie, tu ne peux pas t imaginer. Je passe mon temps à faire du rapprochement de données! Je n ai pas le temps de faire d analyse. Mais Madame, vous me sollicitez pour m offrir un produit que j ai déjà! - Mais je vous ai déjà informé de mon changement d adresse il y a quelques jours! - Ah bon? Avec quel département avez-vous communiqué? Pourquoi nos projets informatiques coûtent-ils toujours aussi cher? 8

9 Vue 360 o des clients : une priorité de l industrie 9

10 Table des matières La problématique Qu est-ce que le MDM Client? Comment bâtir un MDM Client? Planifier Construire Entretenir Les pièges à éviter Conclusion 10

11 Le MDM à la rescousse Le Master Data Management (MDM), ou Gestion des données de référence, est une discipline d entreprise impliquant les secteurs d activité et les technologies de l'information qui définit un ensemble de politiques, de processus et d outils visant à définir, stocker, maintenir, distribuer et imposer une vue uniforme, complète, fiable et à jour des données de référence au sein de l entreprise, et ce, indépendamment des canaux de communications, des secteurs d'activité ou des subdivisions métiers ou géographiques. Le MDM Client (ou Customer Data Integration/CDI) réfère au sous-domaine du MDM associé à la gestion des données de référence Acteur 11

12 Meilleure version de la vérité Système A ID : DUP123 NOM : Frédéric Dupont DN: 1960/08/09 SEXE: M NAS: ADR: 123 rue Principale, Montréal, QC, H1A 1H1 TEL : (514) Système B ID : NOM : F Dupond DN: SEXE: 1 ADR: 123 Principale, Montreal, QC, H1A 1H1 TEL : Système C ID : NOM : F A Dupont DN: SEXE: Masculin NAS: ADR: 456 rue Secondaire, St-Sauveur, QC, H1A 1H1 TEL : (450) Système N ID : DUPF NOM : Fred A Dupont ADR: 789 rue Centrale, Montréal, QC, H2B 2H2 TEL : (514) COUR: jean.dupont@hotmail.com EID : NOM : Frédéric F Dupont DN: 1960/08/09 SEXE: M NAS: ADR PRINC: 123 rue Principale, Montréal, QC, H1A 1H1 TEL DOM : ADR SEC: 456 rue Secondaire, St-Sauveur, QC, J0R 1R1 TEL SEC : COUR: jean.dupont@hotmail.com 12

13 Qu est-ce que la Vue 360 o? Comptes Identification Réseau relationnel Coordonnées Profil 13

14 Le MDM n est pas qu une solution technologique 14

15 La solution technologique en un coup d œil 15

16 Des processus interreliés Processus MDM On veille à la qualité des données Gouvernance des données Intendance de données Gestion des règles de divulgation et d accès Gestion de la solution technologique Soutien à la clientèle Données de référence Client Vente/CRM On produit et consomme les données Gestion des comptes à recevoir Gestion des commandes Processus d affaires 16

17 Processus MDM Data Stewards Perform ongoing data quality task resolution Data Governance Establishes strategy, policies, standards, processes, roles, responsibilities, disclosure and access rules, metrics & controls Information Technologies Data Quality Improvement Loop Improve data entry validation Configure data quality task generation & reports Master Data Data Producers & Consumers Configure access rules 17

18 Qu est-ce que la qualité des données? 18

19 Gouvernance de données 19

20 Intendance de données 20

21 Gestion de la qualité des données Résolution de conflit Profilage Appariement Validation Enrichissement Normalisation Nettoyage 21

22 Qui est propriétaire du MDM Client? Les données de référence clients sont partagées : il n y a pas 1 propriétaire du MDM Client, mais des copropriétaires avec des aires communes et des aires privatives. De nombreuses fonctions commerciales y contribuent d une manière ou une autre Tous les fonctions commerciales sont responsables de maintenir les données clients conformes aux politiques de gouvernance et aux normes de qualité établies Il est essentiel de créer un partenariat de collaboration Secteurs commerciaux, gouvernance des données, intendance des données, architecture, équipes de projet 22

23 MDM vs 23

24 Table des matières La problématique Qu est-ce que le MDM Client? Comment bâtir un MDM Client? Planifier Construire Entretenir Les pièges à éviter Conclusion 24

25 Le rendement du capital investi Malgré les nombreux bénéfices récoltés après coup, il est très difficile de démontrer au départ la valeur économique d'une initiative MDM La meilleure façon d évaluer les bénéfices du MDM est de déterminer les coûts associés à des données de référence de piètre qualité et aux efforts requis pour compenser pour des processus sous-optimaux 21% des entreprises aux ÉU estiment que cela leur coûte entre 10 et 100 millions $/an ; 6% au-delà de 50 millions (Dr Dave Waddington, Senior VP and Head of Research, The Information Difference, June 2008) 25

26 Un partenariat TI Affaires De nombreuses initiatives MDM trébuchent pour des raisons associées à des problèmes organisationnels et de gouvernance plutôt qu'à des problèmes technologiques Il est donc essentiel : d harmoniser la vision MDM Client avec la vision d'affaires Compte tenu de l'ampleur de la tâche, d'obtenir le parrainage indéfectible de la haute direction d impliquer les gens d'affaires. Une initiative MDM Client doit être cogérée par les gens d'affaires et les TI d élaborer un programme de communication autour du MDM afin que les parties prenantes soient informées en tout temps et que leurs attentes soient bien gérées 26

27 Délégation des responsabilités Escalade Organigramme type Responsabilités Rôles Niveau haute direction Parrainage Fournit fonds et ressources Soutient le programme de gouvernance des données Haute direction Niveau stratégique Orientations et stratégie d'entreprise Définit les orientations en matière de besoins de l'entreprise Soutient les exigences en données et en technologie Propriétaires des principaux secteurs et processus commerciaux Gouverneur des données Chef de l architecture d entreprise Niveau Gouvernance de données Politiques et procédures Établit les politiques de gouvernance des données, les procédures et les normes pour les données, les droits d accès, les processus et les technologies. Facilite la gestion du processus de gouvernance Comité de gouvernance des données Intendants de données Responsables des secteurs et des processus commerciaux Architectes d entreprise Analystes d affaires d entreprise Niveau d exécution Mise en œuvre Conçoit et met en œuvre les politiques et les procédures relatives aux données au sein des processus commerciaux et des applications, puis les exécute au quotidien Intendants de données Architectes d entreprise Équipes de projets: architectes de solution, architectes de données, analystes d affaires, analystes, concepteurs, développeurs, DBA, etc. 27

28 Un plan de transition prudent Vue 360 o Cible 100% % Acteurs 28

29 Table des matières La problématique Qu est-ce que le MDM Client? Comment bâtir un MDM Client? Planifier Construire Entretenir Les pièges à éviter Conclusion 29

30 Composants fonctionnels d un MDM Client Intégration ETL Détection de variations de données (CDC) Services d accès aux données de référence (CRUD) Publication/ Synchronisation Application des règles de divulgation Consolidation des données Normalisation, Validation, Nettoyage Identification Appariement Gestion des références croisées Enrichissement au moyen de sources externes Homologation et création du Golden Record Établisseme nt des relations et des hiérarchies Outils d intendance de données Profilage de données Résolution des tâches Appariement Désapparie ment Édition des règles d homologation Gestion des relations et des hiérarchies Utilitaires et rapports (vues, recherche, etc.) Gestion des métadonnées Sécurité et confidentialité Journalisation et gestion de l historique Authentification Autorisation Gestion des règles de divulgation Gestion des rôles Journalisation pour fins d audit Gestion des versions et de l historique Référentiels de données Acteur Produit & Service Instrument financier Entente Géographie Tables de référence Unité organisationnelle Finances/Comptabilité Canal de distribution Actif 30

31 Choix du produit Construire un MDM Client est une initiative complexe qui implique une multitude de technologies Cœur : engin d appariement, engin de création de l enregistrement de référence, etc. Mais aussi : BD, outil de profilage de données, services Web, ETL, ESB, etc. Se rappeler qu un produit ne couvre que 70-80% des besoins d une entreprise. La panacée n existe pas. Le reste devra être développé le produit est essentiel, mais ne constitue qu une infime partie du projet. La complexité réside dans l intégration de la solution dans l écosystème de l entreprise : intégration, consolidation, synchronisation, etc. 31

32 Modèles d architecture 4 modèles types Référentiel de type registre Référentiel de consolidation Référentiel de coexistence Référentiel transactionnel 32

33 Référentiel de type registre 33

34 Référentiel de consolidation 34

35 Référentiel de coexistence 35

36 Référentiel transactionnel 36

37 Normalisation Système A MDM Client Système A MDM Client Country Pays ID Piece d'identite Canada Arménie Carte maladie CAM USA Canada P. de conduire Permis de conduire France États-Unis Autre? Passeport Carte de USSR France citoyenneté? Russie Autre Ukraine Ukraine Système A Phone Main Alternate?? MDM Client Telephone Domicile Cellulaire Bureau Chalet 37

38 Appariement/Dédoublonnage (Matching) : clé de voûte du MDM Client Copyright 2012 IBM 38

39 Appariement : faux positifs et faux négatifs 39

40 Références croisées Système A ID : DUP123 NOM : Frédéric Dupont DN: 1960/08/09 SEXE: M NAS: ADR: 123 rue Principale, Montréal, QC, H1A 1H1 TEL : (514) Système B ID : NOM : F Dupond DN: SEXE: 1 ADR: 123 Principale, Montreal, QC, H1A 1H1 TEL : Système C ID : NOM : F A Dupont DN: SEXE: Masculin NAS: ADR: 456 rue Secondaire, St-Sauveur, QC, H1A 1H1 TEL : (450) Système N ID : DUPF NOM : Fred A Dupont ADR: 789, rue Centrale, Montréal, QC, H2B 2H2 TEL : (514) COUR: jean.dupont@hotmail.com Système ID EID A DUP B C N DUPF

41 Homologation (Survivorship) et création de l enregistrement de référence (Golden Record) Système X MDM Client Système Y Champ Valeur Mise à jour Champ Valeur Mise à jour Champ Valeur Mise à jour ID DUP EID ID Prénom Frédéric Prénom Frédéric Prénom Nom Dupont Nom Dupont Nom F Dupond DN DN DN SEXE M SEXE M SEXE NAS NAS NAS ADR 123 rue Principale Montréal, PQ H1A 1H ADR 123 rue Principale Montréal, QC H1A 1H ADR 789 rue Centrale Montréal, QC H2B 2H TEL (514) TEL (514) TEL Enregistrement de référence (Golden Record) Légende : Règles d'homologation (Survivorship) Le plus récent l'emporte La source la plus fiable (après profilage) pour ce champ l'emporte Le plus complet l'emporte 41

42 Génération du Golden Record Système A ID : DUP123 NOM : Frédéric Dupont DN: 1960/08/09 SEXE: M NAS: ADR: 123 rue Principale, Montréal, QC, H1A 1H1 TEL : (514) Système B ID : NOM : F Dupond DN: SEXE: 1 ADR: 123 Principale, Montreal, QC, H1A 1H1 TEL : Système C ID : NOM : F A Dupont DN: SEXE: Masculin NAS: ADR: 456 rue Secondaire, St-Sauveur, QC, H1A 1H1 TEL : (450) Système N ID : DUPF NOM : Fred A Dupont ADR: 789 rue Centrale, Montréal, QC, H2B 2H2 TEL : (514) COUR: jean.dupont@hotmail.com EID : NOM : Frédéric F Dupont DN: 1960/08/09 SEXE: M NAS: ADR PRINC: 123 rue Principale, Montréal, QC, H1A 1H1 TEL DOM : ADR SEC: 456 rue Secondaire, St-Sauveur, QC, J0R 1R1 TEL SEC : COUR: jean.dupont@hotmail.com 42

43 Publication et synchronisation Chargement initial Chargement initial Système A Système B Deltas aux heures Services en temps réel Deltas en temps quasi réel Chargement initial MDM Client Deltas en temps quasi réel Chargement initial Extractions mensuelles complètes Deltas hebdomadaires Système C Deltas quotidiens Chargement initial Chargement initial Deltas quotidiens Système D 43

44 Table des matières La problématique Qu est-ce que le MDM Client? Comment bâtir un MDM Client? Planifier Construire Entretenir Les pièges à éviter Conclusion 44

45 Métriques : mesurer pour mieux progresser La qualité des données est au cœur de la mission du MDM En l'absence de métriques permettant de mesurer la qualité des données et son incidence sur les affaires, il n'existe aucune base sur laquelle mesurer les progrès engendrés par une initiative MDM Établir ces métriques et définir des objectifs de succès en harmonie avec les objectifs stratégiques de l'entreprise Développer un tableau de bord périodique de manière à évaluer l'écart entre les objectifs et le réel Completeness Consistency Integrity Validity Tableau de bord Qualité des données Accuracy Timeliness 45

46 Atteindre la maturité des processus Désorganisé Organisé Processus 1 - Embryonnaire 2 - Planifié, géré et reproductible 3 - Défini, maîtrisé et normalisé 4 - Quantifié, mesuré et contrôlé 5 - Optimisé et continuellement enrichi Gouvernance de données Intendance de données Gestion des règles de divulgation et d'accès Gestion de la solution technologique Gestion de projet Tableau de bord de maturité des processus MDM Un exemple 46

47 Table des matières La problématique Qu est-ce que le MDM Client? Comment bâtir un MDM Client? Planifier Construire Entretenir Les pièges à éviter Conclusion 47

48 Parrainage et financement Réalisation du MDM exclusivement comme un projet informatique Manque d adhésion de la haute direction et de collaboration de toutes les parties prenantes Appropriation/détournement du projet MDM par un secteur d affaires ou un projet particulier, notamment pour le financement et le calendrier de réalisation Sous-estimation de la sensibilité politique des règles de divulgation 48

49 Gestion de projet Immaturité de la gestion de projet (estimation des coûts, calendrier de réalisation, gestion du risque, etc.) Gestion du projet comme un projet d intégration de données (avec un début et une fin) plutôt que comme un actif d entreprise pérenne Perte du contrôle de la portée Sous-estimation du manque de qualité des données dans les systèmes sources (GIGO) et de son impact sur les efforts de consolidation et de normalisation Essoufflement de l équipe de projet et de la direction 49

50 Architecture, conception, réalisation Abandon d une architecture cible évolutive au profit d un projet spécifique Refus de modifier les systèmes patrimoniaux Immaturité des équipes de développement et de test Sous-estimation des obstacles techniques (mapping, élaboration du modèle canonique, survivorship, boucles infinies, séquencement des messages, etc.) Introduction brutale d un trop grand nombre de nouvelles technologies Complexité des tests intégrés bout en bout et de la mise en place d environnements de test appropriés 50

51 Table des matières La problématique Qu est-ce que le MDM Client? Comment bâtir un MDM Client? Planifier Construire Entretenir Les pièges à éviter Conclusion 51

52 Projet complexe Obtenir l adhésion indéfectible de la direction Prévoir un budget transversal récurrent et des budgets spécifiques aux secteurs d affaires S assurer d avoir la maturité nécessaire pour s y embarquer à tous les niveaux S équiper d une équipe technique solide Bien structurer les différents rôles et responsabilités Faire une planification prudente avec un budget et des dates réalistes auxquelles tout le monde adhère 52

53 mais le jeu en vaut la chandelle Vue uniforme, complète, fiable et à jour des données de référence client Capacité analytique accrue Diminution des erreurs dans la relation avec nos clients Diminution des coûts de consolidation et de rapprochement des données Diminution des coûts informatiques Des clients mieux servis! Une organisation et des employés plus efficaces! 53

54 54

55 55