Le décisionnel et la culture des données à AF KL

Transcription

1 Le décisionnel et la culture des données à AF KL - & Perspectives - 5 Décembre 2013 CUSI Xavier Henderson xahenderson@airfrance.fr

2 2 Prolégomènes

3 3 Objectifs Présenter l exemple de AFKL Présenter les métiers «données» Sensibiliser à la culture «données» Illustrer les bénéfices Présenter la demande des entreprises aujourd hui et demain

4 4 Agenda 1. Historique 2. Couverture fonctionnelle 3. Positionnement du EDW 4. Exemples 5. Organisation 6. Acteurs 7. Forces et facteurs de succès 8. Défis 9. Évolutions, prospective ANNEXES

5 5 Agenda Historique 1. Historique 2. Couverture fonctionnelle 3. Positionnement du EDW 4. Exemples 5. Organisation 6. Acteurs 7. Forces et facteurs de succès 8. Défis 9. Évolutions, prospective

6 6 Historique décisionnel AF Couverture Aujourd hui Nombreux débats Croissance forte et continue Des résistances (infocentres..) Un existant facilitateur Démarrage difficile Operational BI Temps Air inter /11 SRAS Référentiels & infocentres BICC Fusions (Air Inter, UTA) & SI intégré, SOA Recherche opérationnelle KLM JV Alitalia, Delta 2013

7 7 Historique décisionnel AF Couverture PLUS DE Aujourd hui X15 (+25%/an) - Domaines & applications - Données - Usage - Types «d Analytics» - Fonctionnalités outils - Efficience - Ergonomie - Performance - QDS - Réactivité Operational BI Temps Air inter /11 SRAS BICC KLM JV Alitalia, Delta 2013

8 8 Débats historiques Organisation & méthode Fonctionnel Technique Culture Politique

9 9 Culture données AF Mise en œuvre de référentiels Équipes dédiées d administration de données «Predictive Analytics», Recherche Opérationnelle, Revenue Management (go show, no show ) Suites SAP, CRM avec référentiels intégrés Services «SOA» middleware Data Warehouse d Entreprise depuis ~ 2000 «La richesse réside dans les contenus, dans leur organisation, dans leur communication» - Yannis Delmas

10 10 Agenda Couverture fonctionnelle 1. Historique 2. Couverture fonctionnelle 3. Positionnement du EDW 4. Exemples 5. Organisation 6. Acteurs 7. Forces et facteurs de succès 8. Défis 9. Évolutions, prospective

11 11 Petit Exemple de données du DW AF/KL Référentiels Individu Données AF - KL - JV DL - JV AZ CRM Cartes Payantes Fidélisés Flying Blue Catering Réclamations Recettes diverses - operating, marketing Bagages Ponctualité Exploitation Programme prévu et réalisé Concurrence (MIDT, OAG) Logs web AF Billets Dossiers Passagers Agences Firmes Revenue Management BIEN D AUTRES..

12 12 Couverture fonctionnelle Plus de 2/3 des sous-domaines couverts Exceptions: ce qui ressort de SAP finance/achats & ce qui restera départemental il reste < 10% à conquérir Plus de 80% données potentielles en volume Plus de 1/3 domaines ont des données AF et KLM Rythme dicté par l alignement des processus, des référentiels, des applications, et des obligations réglementaires ou métiers Poids des historiques de données, et culturels

13 13 Marketing, RM & Réseau Ventes PASSAGER Services Sol Opérations Vol CARGO Flight INDUSTRIEL MÉTIERS CORPORATE Finance Financial Services Ressources Humaines Strategic HR HR Administration Revenue Accounting Informatique Domaining 2011 Couvert Grandement Couvert Peu Couvert

14 14 Agenda Positionnement du EDW 1. Historique 2. Couverture fonctionnelle 3. Positionnement du EDW 4. Exemples 5. Organisation 6. Acteurs 7. Forces et facteurs de succès 8. Défis 9. Évolutions, prospective

15 15 Positionnement EDW App. Transac. Externe Flux données batchs & services s t a g i n g DECISIONNEL «STANDARD» EDW/BI DM 1 DW 1 DM 2 DW 2 CRM, ERP Décisionnel intégré dans les applications (1) Cas général TRANSACTIONNEL Décisionnel Prédictif & Advanced Analytics (2) (1) Ex: tableaux de bords dans gestion de contrats firmes, CRM (2) Ex: recherche opérationnelle, CCO + data mining (3) Arbitrage : solutions «data mart» d Operational Intelligence

16 16 Solution Décisionnel «standard» AFKL Quelques Repères TERADATA ~ objets (dont tables) scripts 148 To RAID1 dont 38 To de données utiles compressées Les tables les plus volumineuses : 1.3 To 331 attributs millions de lignes Personnel 2 équipes développement ~45 internes 1 équipe Production ~10 internes 130 applications, avec : 250+ univers BO 300 batch jobs (y compris Informatica) 7 applications autres techno (Java, SAS) 5+ applications QlikView utilisateurs déclarés, dont ~900 KLM se connectent 1fois+/mois Données de tous les métiers de l entreprise + KLM

17 CRYSTAL Population d utilisateurs 17 Positionnement des outils IT AFKL BI traditionnel Petite Utilisation statique dynamique Legende: Reporting and querying OLAP (MSAS, ESSBASE) Analysis Qlikview Outils maison Enrichissements possibles (cf prospectives) Large Faible Efficacité de l analyste Elevée En tant que composant intégré OEM

18 18 Agenda Exemples 1. Historique 2. Couverture fonctionnelle 3. Positionnement du EDW 4. Exemples 5. Organisation 6. Acteurs 7. Forces et facteurs de succès 8. Défis 9. Évolutions, prospective

19 19 Analyse Comparative des primes et contrats flying blue vs recette

20 20 Dashboard des Commerciaux - Croisement de données Firmes contrats - agences

21 21 Informations passager ou soute Dossiers passagers ou Soutes 2 ans, grain événement Gain productivité 2h/pers/jr BABAR RATAXES BABAR RATAXES Délai de mise à disposition données très rapide Temps de réponse: < 1sec Milliards d enregistrements BABAR BABAR BABAR BABAR BABAR BABAR BABAR BABAR BABAR BABAR BABAR BABAR BABAR BABAR BABAR RATAXES RATAXES RATAXES RATAXES RATAXES RATAXES RATAXES RATAXES RATAXES RATAXES RATAXES RATAXES RATAXES RATAXES RATAXES

22 22 Et encore Pilotage Recettes Annexes Bagage (DW+BO) Facturation excédent bagage en Escale Facturation inter-cies gestion bagages Analyse PNR pour Revenue Integrity (DW+BO) Identification de faux noms-prénoms et de réservations abusives; Analyse des fraudes

23 23 KARMA ADT - DI.IZ Traitement Schedule + Réservations (RM) Milliards de lignes à traiter Temps de calcul ramené de 3 semaines à 2h45 Réseau 10 Gb Big Data Hadoop 3 To NFS partagé Map/Reduce 14 serveurs = 112 coeurs

24 24 Module Web d analyse dynamique («Voice of the Customer»)

25 25 Agenda Organisation 1. Historique 2. Couverture fonctionnelle 3. Positionnement du EDW 4. Exemples 5. Organisation 6. Acteurs 7. Forces et facteurs de succès 8. Défis 9. Évolutions, prospective

26 26 Schéma Général Propritaire «métier» «utilisateur final» Assistance à Maîtrise d Ouvrage (AMO) Porte parole IT et métier Informatique (IT) Exprime un besoin Formalise Valide les solutions IT Spécifs Livraison & opérations

27 27 Le BICC position relative AMO PN AMO / BIZ Métier Métier exploit. Sol AMO Process AMO Déci. Support «Front Office BI» BICC Dev IT 1 Dev et support util. Support dev. Dev IT 2 Dev IT N Production

28 28 Agenda Acteurs 1. Historique 2. Couverture fonctionnelle 3. Positionnement du EDW 4. Exemples 5. Organisation 6. Acteurs 7. Forces et facteurs de succès 8. Défis 9. Évolutions, prospective

29 29 Dimensions des postes 12 dimensions spécifiques: Centré sur les données ou sur les outils ou sur le fonctionnel Intégré au métier ou IT Front end ou IT back end Selon le type de pratiques données: administration/stewardship, visualisation, Voir annexe Autres dimensions habituelles Caractéristiques personnelles: communication...«soft skills» Du débutant à l expert au super expert polyvalent (data scientist) Multi niveaux hiérarchiques et managériaux

30 30 Synthèse de fonctions Fonction Nb où Métiers à dominante managériale C Dir. Métier - AMO - IT Métiers à dominante analytique B/C Dir. Métier Métiers à dominante données/information B Dir. Métier - IT Métiers à dominante normative (Méthodologie, standards, normes) A IT Métiers à dominante outils (Back End + admin front end) C IT Métiers à dominante outils (Front End) A/B (1) Dir. Métier - AMO - IT Métiers à dominante projet/maintenance C surtout AMO-IT si tradi, sinon Dir Métier - IT si agile Métiers à dominance support B/C Selon nature du support architecture (en coordo avec tous les acteurs) A/B (2) Métiers IT en vue de Monter et Opérer l'éco-système DW + BI B (3) IT ou Dir. Métier IT Gestionnaire de fournisseurs (IT, données, hébergement, clé en main, cloud) A (3) Métiers chez les consultants, SSII, SSCI, free lance N/A N/A IT Nombre de fonctions: - A : 1 à 5 - B: 5 à 10 - C: plus de 10 Nombreuses fonctions, nombreuses opportunités (1) par outil (2) selon complexité de l'installation (3) fonctions souvent mutualisées

31 31 Agenda Forces et facteurs de succès 1. Historique 2. Couverture fonctionnelle 3. Positionnement du EDW 4. Exemples 5. Organisation 6. Acteurs 7. Forces et facteurs de succès 8. Défis 9. Évolutions, prospective

32 32 Forces et facteurs de succès Bon Fond de «culture données» Soutien Directions Métiers et IT Vision, stratégie, feuille de route décisionnelle (IT) Architecture et Infrastructure «état de l art» Équipes dédiées: BICC IT, AMO dédiés, admin. de données Démarche incrémentale «pseudo-agile» en spirale Performances opérationnelles du socle teradata Couverture, accessibilité et disponibilité données Déploiement large

33 33 Forces et facteurs de succès Assez bonne proximité IT <> métier Fluidité et agilité Ergonomie & autonomie utilisateur (outils, méthodes, formation) Opérational BI et DW Développer une communauté entre utilisateurs clés, IMO et IT Développer le Self Service BI (SSBI) Intégrer les évolutions des dernières années Développer la maîtrise du contenu des données et des metadonnées

34 34 Agenda Défis 1. Historique 2. Couverture fonctionnelle 3. Positionnement du EDW 4. Exemples 5. Organisation 6. Acteurs 7. Forces et facteurs de succès 8. Défis 9. Évolutions, prospective

35 35 Défis Toujours plus flexible, rapide et concret; Plus d agilité Structurer notre approche pour être encore plus orienté données Raz de marée d évolutions, changements profonds Appréhender la nature de la donnée L homme intemporel Ubik Être c'est être perçu ou percevoir L homme multidimensionnel 1984 Voir Annexes pour vision détaillée

36 36 Agenda Évolutions, prospective 1. Historique 2. Couverture fonctionnelle 3. Positionnement du EDW 4. Exemples 5. Organisation 6. Acteurs 7. Forces et facteurs de succès 8. Défis 9. Évolutions, prospective

37 37 Tendances du Marché CRM Web

38 38 Prospective Air France KLM est dans le peloton de tête aérien Mais d autres sont en avance surtout aux USA et Allemagne: Web, High Tech, Telecoms, Banques et Assurances, Retail, R&D Tendances Nb items Utilisation 13 - SSBI - Operational BI Principaux items Technique IT 8 - En phase avec nouveaux usages - Zoo Big Data Opportunités AFKL Nombreuses Nombreuses Développement 7 - Agile BI Nombreuses Organisation 7 - Gouvernance des informations Très Nombreuses Gestion des Infos 4 - Qualité des informations - Metadata Management Très Nombreuses Voir Annexes pour vision détaillée

39 39 Prospective zoom sur Opportunités Données Transactional & Application Data Volume - Données structurées - Débit Machine Data Vélocité/Faible latence - Semi-structurées - Ingestion Social Data Variété - Non Structurées - Véracité Enterprise Content Variété - Non Structurées - Volume Source : IBM Solconnect13 (2013)

40 40 Ce qui est en train de se passer Le Big Data redynamise le BI Exploration Analyse opérationnelle: capteurs avion, RFID Extension analytique Source : IBM Solconnect13 (2013) Secteurs à fort investissement DW/BI/analytics Les compagnies innovantes Les compagnies et organismes où beaucoup d argent est en jeu Les compagnies et organismes où la vie est en jeu Cf annexe pour détails

41 41 En conclusion: Un beau présent et un meilleur avenir Besoins qui explosent, durables, Relative immaturité dans les entreprises et du secteur Le savoir-faire «contenu données» est préservé car difficile à copier Nombreuses fonctions très variées, IT et hors IT Possibilité d innover (data scientist, entrepreneur, start-up)

42 42 Questions?

43 43 Agenda ANNEXES 1. Air France KLM éléments clés 2. Composants DW & Big Data 3. Échelle de maturité décisionnelle 4. Types de BICC 5. Types d utilisateurs et d utilisation, fonctions 6. Détail défis et prospectives & directives QI 7. Qui investit beaucoup? 8. Glossaire 9. Références

44 44 ANNEXES Air France - KLM Source: Assemblée Générale 2013 NB: Les indicateurs évoluent selon l activité et le contexte économique

45 45 Air France KLM éléments clés Source: Assemblée Générale 2013

46 46 +60% de nos ventes sont réalisées à l international Source: Assemblée Générale 2013

47 47 Les métiers d Air France KLM Passage Cargo Maintenance Loisirs Catering Source: Assemblée Générale 2013

48 48 Services (janvier 2013) (avril 2013)

49 49 ANNEXES COMPOSANTS

50 50 Schéma générique décisionnel standard Staging EDW Marts Operational Business Intelligence Sources Information Integration Reporting & Performance Management Modeling, Analytics & Simulation Decision Support Data Governance & Security Master Data Management Metadata Repository Data Management

51 51 Cible Infrastructure BI (réflexion en cours feb 2013) Application entry points Operational services Business Portal : One multi-channel access point Reporting / Exploration / Dashboard over SAP and non SAP data Business Objects 4 Analysis /Explorer/ Dashboard / Webi / Crystal OLAP Expl. Tbc Executive viewer Service Qlikview Service Advanced analytics xxx tools WAS appl SAP queries Ad hoc query Enterprise reporting Olap Exploration Dynamic Analysis Statistical Analysis xxx SAP/BW Engine (Sap data only) BO Universes Cube Olap (MSAS -Essbase) QV files Transactional applications SAP Zos / DB2 Unix / Oracle Natural/Adabas. Data integration Informatica/Tibco TERADATA

52 52 Composants d une architecture Big Data (IBM) Sources Techniques Device Logs Données Traditionnelles Données Externes Ingestion and Real-time Analytic Zone Ingest Filter, Transform Correlate, Classify Ingest Extract, Annotate Landing & Historical Analytic Zone Analytics MapReduce Documents In Variety of Formats Hive/HBase Col Stores Indexes, facets Models Data Sinks Data Management Warehousing Zone Data Warehouse Analytics Appliance Data Marts Governance & Integration Zone Analytics and Reporting Zone Query Engines Cubes Descriptive, Predictive Models Discovery, Visualizer Search MDM, Metadata, Workbench, Intégration BI / Reporting Exploration / Visualization Functional App Industry App Predictive Analytics Content Analytics Analytic Applications Source : IBM Solconnect13 (2013)

53 53 ANNEXES ECHELLE DE MATURITE DW/BI

54 54 Echelle de maturité décisionnelle Source: «Business Intelligence Strategy» Boyer, Frank, Green, Harris, Van De Vanter - sept 2010 MC Press

55 55 ANNEXES TYPES DE BICC

56 56 Type d organisation BICC Source: «Business Intelligence Strategy» Boyer, Frank, Green, Harris, Van De Vanter - sept 2010 MC Press Repris de «Building a BI Competency Center» IBM 2009

57 57 ANNEXES POSTES & FONCTIONS

58 58 Type d utilisateurs et de solutions IT Users (2% headcount) 98% producer 2% consumer IT Data Mining Application Development Metadata Design Power Users (5% headcount) 85% producer 15% consumer Power Users Ad-hoc Query + OLAP Statistical Analysis Analytic Reporting Business Users Business Users (25% headcount) 15% producer 85% consumer Analytic Apps Scorecards Business Reporting Casual Users Casual Users (30% headcount) 5% producer 95% consumer Extended Enterprise Users Enterprise Reporting In-line Analytics Dashboards Ext Enterprise Users (38% headcount) 1% producer 99% consumer Mobile/ Wireless Extranets/ B2B B2C

59 59 Particularités du Décisionnel Fluidité entre métier AMO IT Des fonctions de l un peuvent se retrouver chez l autre surtout pour le front-end Les data scientists peuvent être intégrés dans certains métiers Recouvrements limités à AF Varie selon les compagnies et les cultures Besoin de proximité données + processus métiers + solutions informatiques Situation évolutive Le back end restera IT ainsi que les parties très techniques et la production Le front end migre de plus en plus vers les directions métiers

60 60 Dimensions des postes 1/2 Remarque: pour l IT, c est plutôt «back-end» Mécanicien ou pilote, constructeur ou utilisateur? Contenu ou contenant, signifiant ou signifié? Du focalisé au global; multi domaine ou spécifique fonctionnel; Spécialisé ou polyvalent IT; Explorateur, «mineur», fermier ou touriste (consommateur de données); Créateur/producteur de données et analyse au simple consommateur? Front end (IT ou métier) ou back end (IT)? Cœur de métier/opérationnel ou support côté métier ou IT? Quel degré de technicité IT? Quel degré de technicité données; quelle connaissance des informations? Quel degré de technicité métier; quelle expertise processus? Selon quelles caractéristiques personnelles (communication «soft skills» etc)? Avec quel niveau de compétences; Du débutant à l expert au super expert polyvalent (data scientist)? A quel niveau hiérarchique et managérial?

61 61 Dimensions des postes 2/2 Dans quel pratique donnée évoluer? MDM, Gouvernance des Informations, Qualité des Informations Administration/Stewardship, Metadata management, Sécurité, Confidentialité Développement, Support accompagnement, formation, assistance Production, SOA & Integration, DW modélisation, SQL, optimisation, stockage et accès, EIM, BI - analytics: reporting, dashboard, scorecard, ad hoc query, predictive, prescriptive, Data mining, Text mining, Statistiques, Algorithmique Impacts et applications big data, ECM, document management Visualisation, NLP, Machine learning,

62 62 Types de fonctions 1/4 Nombre de fonctions: - A : 1 à 5 - B: 5 à 10 - C: plus de 10 Fonction Nb où Métiers à dominante managériale C Dir. Métier - AMO - IT Métiers à dominante analytique B/C Dir. Métier Utilisateur données (touriste, fermier) Dir. Métier producteur données ( explorateur) Dir. Métier collaborateur données Dir. Métier data scientists, statisticiens, data miner, text miner, predictive analytics, prescriptive analytics Dir. Métier expert analytique (en relation avec expert outil front end) Dir. Métier Métiers à dominante données/information B Dir. Métier - IT Chief data officer (CDO) Dir. Métier Conseil de gouvernance des informations Dir. Métier - IT Administrateur fonctionnel de données (propriétaire, dépositaire, gestionnaire des Données,; en charge des habilitations, de la qualité D., de la confidentialité; en charge des métadonnées fonctionnelles) - MDM (contenu) et Dir. Métier Metadata Management (fonctionnel) Admnistrateur technique des données (metadonnées techniques, traçabilité, auditabilité) - MDM (outil et support) et Metadata Management (admin et metadonnées tech) Expert données fonctionnel (contenu, sémantique, finalité, contexte d'usage) Expert données IT (format, syntaxe, flux, traçabilité, vision SI) Sécurité, confidentialité, habilitation (en relation avec équipes sécurité) utilisateurs ECM (bibliothécaire..) IT Dir. Métier IT Dir. Métier - IT Dir. Métier

63 63 Types de fonctions 2/4 Nombre de fonctions: - A : 1 à 5 - B: 5 à 10 - C: plus de 10 Fonction Nb où Métiers à dominante normative (Méthodologie, standards, normes) A IT Métiers à dominante outils (Back End + admin front end) C IT experts ETL, Informatica, batchs, chargement, extraction, virtualisation données, SOA etc - en projet et en support experts Base de données, Teradata, etc - en proj et en support experts ordonnancement, etc - en projet et en support modélisateur expert optimisation équipe exploitation, monitoring IT IT IT IT IT IT Métiers à dominante outils (Front End) experts BO, Qlikview etc en projet, support, usage régulier ergonome expert visualisation expert requêtes, dashboard, scorecard, traduction besoin et ensemble de solution front end (1) par outil A/B (1) Dir. Métier - AMO - IT Dir. Métier - AMO - IT Dir. Métier - AMO - IT Dir. Métier - AMO - IT Dir. Métier - AMO - IT

64 64 Types de fonctions 3/4 Nombre de fonctions: - A : 1 à 5 - B: 5 à 10 - C: plus de 10 Fonction Nb où Métiers à dominante projet/maintenance C surtout AMO-IT si tradi, sinon Dir Métier - IT si agile cf profils projet habituels + métiers outils + construire des scenari focus front end base données (dimensions, données, modélisation, règles données, metadonnées, sans processus) focus back end (chargement et transformation des données, qualité des données, stockage, intégration, mutualisation données, modélisation, architecture, dimensionnement) AMO - IT Dir. Métier - AMO AMO - IT IT Métiers à dominance support expert conseil réalisateur / auditeur sur chaque outil Formateur expert conseil méthodes, démarche, interlocuteurs expert sur données, indicateurs, modèles de données et relation avec processus Help-Desk, accompagnement, gestion changement Formation, Front office BI, "service bureau" formateurs B/C Selon nature du support IT AMO IT Dir. Métier - IT AMO - IT Dir. Métier - AMO - IT

65 65 Types de fonctions 4/4 Nombre de fonctions: - A : 1 à 5 - B: 5 à 10 - C: plus de 10 Fonction Nb où architecture (en coordo avec tous les acteurs) A/B (2) IT ou Dir. Métier architecte DW & BI IT equipe architectes données (domaining, flux, metadonnées, macro modèles) IT architecte Unified Information Access, ECM IT architecte Big Data IT architecte NLP, Machine learning, Intelligence artificielle IT architecte fonctionnel/domaine/entreprise Dir. Métier Métiers IT en vue de Monter et Opérer l'éco-système DW + BI B (3) Dimensionner, faire évoluer, exploiter, intervenir à froid/à chaud, administrer les infra et les logiciels, gestion d'incidents Gestionnaire du SLA (Service Level Agreement) et Qualité de Service (Définition contrat, indicateurs, tableaux de suivi, boucle d'amélioration, évolution, instruire le Traitement d'anomalies IT IT IT Gestionnaire de fournisseurs (IT, données, hébergement, clé en main, cloud) A (3) IT Métiers chez les consultants, SSII, SSCI, free lance N/A N/A (2) selon complexité de l'installation (3) fonctions souvent mutualisées

66 66 ANNEXES DETAILS DEFIS ET PROSPECTIVES

67 67 Défis 1/2 Toujours plus flexible, rapide et concret; Plus d agilité Structurer l approche données et l intégrer dans les métiers & AMO+IT Structurer la Gouvernance de l information, «Chief Data Officer» Qualité de l information appliquée de façon permanente Upgrade organisation, contenu et outils autour des référentiels et de la QI «Data scientists», mathématiques et sachant communiquer Être responsable et respectueux de la réglementation, la sécurité, de la vie privée

68 68 Défis 2/2 Raz de marée d évolutions, changements profonds Culture, technologies, méthodes, déluge d informations, variété internationale, ubiquité, virtualisation, digitalisation, pérennisation des traces Mathématiques, informatique, Intelligence Artificielle, NLP, Machine Learning Former et se tenir informé. Devancer? Appréhender la nature de la donnée Linguistique, théorie de la communication, théorie de la connaissance, enjeux sociaux et juridiques

69 69 Prospective 1 / 4 - Utilisation Tendances d utilisation 1. Solutions personnalisées 2. Boîte à Outils de standards de solutions BI 3. SSBI, Front Line BI, rapprocher IT utilisateur final 4. Operational BI & BI incrustée ( embedded BI ), stream analytics 5. Analyses avancées ( advanced analytics, predictive analytics ) 6. Mobile BI 7. Simulations, CPM (Corporate Performance Mgt) 8. Analyses en bac à sable ( data as is ) 9. Exploration et découverte 10. Content analytics, text analytics 11. Social media analytics 12. Enhanced visualisation 13. Big data BI

70 70 Prospective 2 / 4 - Technique Tendances Techniques 1. Cf utilisation: Pervasive BI et SSBI, Mobilité: BI/ipad, iphone etc., Operational BI, Exploration, bacs à sable, 2. Java 3. Appliances, in memory, 4. Cloud BI (externe) vs Cloud BI (interne) vs installations sur site 5. Data Virtualisation, Data Federation 6. SGBD spécifiques (NoSQL, SGBD colonne, SGBD graphe) 7. Big data zoo: Hadoop, Map reduce families Event Analytics, Complex Event Processing (CEP)

71 71 Prospective 3 / 4 - développement Tendances dévelopt 1. Agile BI 2. Réduire le time to market & réactivité 3. Composants réutilisables 4. Référentiels Centralisés 5. Prototypages 6. Mashups (mixer à la volée des données multi-formats / sources) 7. Adaptations méthodologies et techniques (cf diapos précédentes)

72 72 Prospective 4 / 4 Organisation et Données Tendances organisation 1. Mettre en place un BICC commun IT+ Business 2. Mettre en place un CIF Corporate Information Factory flexible 3. Mettre en place une Gouvernance des Informations Tendances données 4. Généraliser les data architects 5. Généraliser les experts technico-métier intégrés aux métiers 6. Généraliser les experts données technico-métier 7. Accompagner les utilisateurs (Held Desk, réseau utilisateurs clés..) 1. Développer la qualité des informations 2. Développer le Master data Management 3. Développer le Metadata Management fonctionnel 4. Mettre en place un eco-système d accès unifié à l information ( unified information Access ) à la Google

73 73 12 Directives for Data Quality Directive 1: Obtain Management Commitment to Data Quality Directive 2: Treat Data as an Asset Directive 3: Apply Resources to Focus on Quality Directive 4: Build Explicit Knowledge of Data Directive 5: Treat Data as a Product of Processes which can be Measured and Improved Directive 6: Recognize Quality is Defined by Data Consumers Directive 7: Address the Root Causes of Data Problems Directive 8: Measure Data Quality, Monitor Critical Data Directive 9: Hold Data Producers Accountable for the Quality their Data Directive 10: Provide Data Consumers with the Knowledge the Require for Data Use Directive 11: Data will continue to evolve Plan for evolution Directive 12: Data Quality goes Beyond the Data Build a Culture Focused on Data Quality Source: «A Strategic Approach To Data Quality: A Dataversity Webinar» Laura Sebastian-Coleman 15 octobre 2013

74 74 ANNEXES QUI INVESTIT BEAUCOUP?

75 75 Investisseurs en décisionnel (au sens large) Les secteurs à fort investissement sont : Compagnies du web : Google, Amazon, Apple, Facebook (GAAF), media sociaux et start-ups Télécoms Banques et Assurances, Finance Energie: prospection énergies fossiles Retail vente grande distribution Gouvernement «sanctuarisé»: Défense et RG, Impôts, URSAFF R&D sub atomique, astronomie, CERN, génomique Santé privé et public Ce qui a trait à la résolution de litiges (et amendes) Sécurité, confidentialité, Juridique

76 76 ANNEXES GLOSSAIRE

77 77 Glossaire 1/2 Souvent possibilité d interchanger les termes «Knowledge» «Data» «Information» et leur traduction en français S applique surtout aux fonctions Dwglossary.pdf COURS_SI_decisionnel_glossaire.pdf chez de jchambon.fr/textes/ Nombreux glossaires à la fin d ouvrages de référence

78 78 Glossaire 2/2 OLAP et MOLAP; cube, agrégation et calcul à la volée Data Warehouse et Data Mart; dénormalisation, dimension et faits, conformed dimension, derived column, hiérarchie; drill-down; indicateurs et KPI, métriques ODS et Infocentre opérationnel Modèle de données relationnel, en étoile, en flocon; données structurées, non structurées, documents, video, audio, xml Scalability, shared nothing, NoSQL, BD vectorielle, en colonne, MPP, MapReduce, HDFS, GFS, NFS, BigData, Hadoop Métadonnées (techniques, métier, processus), qualité de données, gouvernance de données ETL, ELT et intégration de données; virtualisation, CDC, operational BI; Middleware, SOA, web services Data mining, text mining Analytics, advanced analytics, predictive analytics, prescriptive analytics Business Intelligence, BI, dashboards, requêtes ad hoc, Visualisation, SLA, QoS et qualité de service

79 79 ANNEXES REFERENCES

80 80 Références Sites Web 1/3 Réseaux sociaux - Nombreux groupes linkedin, Facebook etc Sites de SSII et de grands éditeurs (IBM, Oracle, Teradata, SAS) dont Informatica, SAS, Business Objects, Microstrategy, Pentaho, Qlikview, Tableau Souvent une version française est disponible Sites d auteurs (cf diapo auteurs, par ex ) Google scholar Pour big data: Les grands noms de la BI et du DW, Alteryx, Attivio, Cloudera, Couchbase, Greenplum, Hortonworks, Karmasphere, Lavastorm, MapR, Mongo, Salesforce, Splunk, Vertica, Aster, Les précurseurs: Google, Amazon, Yahoo, Facebook Académies Toutes ces sources sont précieuses

81 81 Références Sites Web 2/3 MOOC (Massive Open Online Courses) Open Courseware déclinable sur plusieurs universiés Ted Ed online Coursera Slideshare Open Study Desire2learn Knewton Sites Blackboard (dont nombreuses institutions françaises), Grockit, etc. Youtube Académies et universités: Oregon, MIT, Stanford, Oklahoma, Arizona, Arkansas, Carnegie-Mellon, St Gallen et beaucoup d autres Toutes ces sources sont précieuses

82 82 Références Sites Web 3/3 Sites (white paper, webinars, entretiens, podcasts, de nombreux blogs et Expert Channel (aussi BI Journal, What Works..) (inside analysis, white papers, The briefing room) (DM Radio) sentialguide/guide-to-big-data-analytics-toolstrends-and-best-practices The MDM institute (Aaron Zornes) (français) (français) et (français) (français) Les sites les plus riches sont en gras