Le cycle de vie d'un projet en intelligence d'affaires

Transcription

1 MTI820 Entrepôts de données et intelligence d affaires Le cycle de vie d'un projet en intelligence d'affaires Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 1

2 QuesKons Rappel: Qu est- ce que le BI? Qu est- ce que l entreposage de données Quels sont les avantages d une solukon de BI / entreposage de données? Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 2

3 QuesKons Quelles sont les principales étapes d un projet en technologie de l informakon (TI)? Quelles sont les différentes approches de développement d une solukon de TI? Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 3

4 Le cycle de vie d un projet en BI Diagramme de flux de travail: Concep<on de l architecture technique Sélec<on et installa<on des produits Croissance Planifica<on de projet / programme Défini<on des besoins d affaires Modélisa<on des données Concep<on physique Concep<on et développement du système ETL Déploiement Concep<on des applica<on de BI Développement des applica<ons de BI Maintenance Ges<on de projet / programme Note: dépendance horizontale et verkcale entre les ackvités; Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 4

5 Projet vs programme de BI Projet: Une seule itérakon dans le cycle de vie d un projet de BI; A une date de début et de fin; Plus facile à planifier. Programme: CoordinaKon de ressources, infrastructures et communicakons sur plusieurs projets; DéfiniKon conknuelle de nouveaux projets (pas de fin abrupte); Plus difficile à planifier. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 5

6 Phases d un projet de BI [1/7] PlanificaKon: Fait interackvement avec la définikon des besoins; Comprend: DéfiniKon de la portée; Recrutement; IdenKficaKon, eskmakon et affectakon des tâches. GesKon du projet: Assure la coordinakon des ackvités du projet; Comprend: Suivi de l avancement et de l état du projet; Suivi des problèmes; Contrôle des changements (ex: portée du projet); Développement du plan de communicakon (affaires et TI). Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 6

7 Phases d un projet de BI [2/7] DéfiniKon des besoins: CriKque à la réussite du projet; Se concentre sur les u<lisateurs, et non les données; IdenKfie les besoins les plus prioritaires; Comprend: Entrevue des uklisateurs; IdenKficaKon des processus d affaires; PréparaKon du document de descripkon des besoins. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 7

8 Phases d un projet de BI [3/7] ModélisaKon des données: Se base sur le document de descripkon des besoins; Processus hautement itérakf et dynamique; Vise la simplicité et l efficacité; Comprend (modèle mul+dimensionnel): IdenKficaKon des faits et leur granularité; IdenKficaKon des dimensions et leur hiérarchie; Stratégies: dénormalisakon, geskon des changements, etc. ConcepKon physique: UKlise le modèle de données; Comprend: Détail du schéma relakonnel (ex: clés, types, contraintes, etc.); OpKmisaKon de la performance (ex: indexes, parkkonnement, agrégakon, etc.); GesKon de la sécurité. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 8

9 Phases d un projet de BI [4/7] ConcepKon de l architecture technique: Définit la vision d ensemble de la solukon et l intégrakon des technologies du projet; Se concentre sur les besoins, pas les aspects techniques; Doit considérer: Environnement technique actuel; DirecKons stratégiques prévues. Comprend: IdenKficaKon des besoins techniques; CréaKon du plan d architecture. SélecKon et installakon des produits: Se base sur le plan d architecture; Produits: DBMS, ETL, reporkng, analyse mulkdimensionnelle, forage de données, etc. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 9

10 Phases d un projet de BI [5/7] ConcepKon et développement du système ETL: Représente environ 70% des efforts et risques du projet; Doit considérer: Nombre et type des sources de données; OuKls disponibles. Comprend: IdenKficaKon et analyse des sources de données; Développement des méthodes d extrackon, de netoyage et de consolidakon des données (code maison ou oukls commerciaux); Développement des méthodes d inserkon de données (ex: scripts, oukls complexes); ValidaKon de la qualité des données. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 10

11 Phases d un projet de BI [6/7] ConcepKon et développement des applicakons de BI: Se fait en parallèle avec la modélisakon des données et la concepkon du plan d architecture; Nécessite une interackon importante avec les uklisateurs; Comprend: ModélisaKon des tableaux de bord, rapports, indices de performances (KPI) adaptés aux uklisateurs; DéfiniKon des modèles de prédickon, classificakon et clustering; ConfiguraKon des oukls et des métadonnées; ImplémentaKon du portail de navigakon; ValidaKon des applicakons. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 11

12 Phases d un projet de BI [7/7] Déploiement: Point de convergence des ackvités de développement; Ne doit pas être fait avant d avoir: Matériel de formakon des uklisateurs; Mécanismes de geskon et de suivi d erreurs; DocumentaKon complète; ValidaKon des données et oukls; Processus efficace de communicakon. Maintenance et croissance: Assure le fonckonnement opkmal du système et prévoit l ajout de nouvelles fonckonnalités; Comprend: Suivi de l uklisakon et réglages de performance (tuning); Sauvegarde et récupérakon des données; Support aux uklisateurs; PréparaKon de nouveaux cycles de développement. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 12

13 QuesKon Doit- on modéliser la solukon tout d un coup (approche top- down) ou bien y aller morceau par morceau (approche bo6om- up)? Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 13

14 Approche top- down vs bo6om- up Caractéris<que Top- down (B. Inmon) BoRom- up (R. Kimball) Objec<fs Livrer une solukon technologiquement saine basée sur des méthodes et technologies éprouvées des bases de données Complexité de la méthode Plutôt complexe Plutôt simple Importance de la concep<on physique Importante Livrer une solukon permetant aux usager d obtenir facilement et rapidement des réponses à leurs requêtes d analyse Peu importante Orienta<on du modèle Orienté données Orienté processus d affaires Accessibilité des u<lisateurs finaux Ou<ls de concep<on Faible TradiKonnels (diagrammes enkté- relakon et flot de données) Forte ModélisaKon dimensionnelle (schéma en étoile) Auditoire principal Professionnels en TI UKlisateurs finaux Source: E. Turban, R. Sharda, D. Delen et D. King (2010). «Business intelligence: A manegerial approach», Pearson. Département de génie logiciel et des TI MTI820 Hiver 2011 C. Desrosiers 14

15 QuesKon Quels sont les facteurs les plus déterminants pour la réussite d un projet de TI? Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 15

16 Besoins prioritaires en TI Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 16

17 Taux de réussite: Le succès d'un projet de BI Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 17

18 Critères de prédisposikon [1/3] Les 5 critères de succès (selon R.Kimball): Critère Le parrainage de la haute direckon* La mokvakon et la légikmité du changement* La faisabilité* Le partenariat entre les intervenants d affaires et des TI La culture analykque Contribu<on 60 % 15 % 15 % 5 % 5 % *: critères indispensables Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 18

19 Critères de prédisposikon [2/3] Parrainage de la haute direckon: Facteur crikque au succès du projet; CaractérisKques d un sponsor idéal: ConvicKon de l impact potenkel de la solukon de BI; Influence importante au sein de l entreprise; Exigeant mais réaliste; Connaissance des concepts de base du BI est un atout; Vision axée sur le succès à long- terme du projet. Important d avoir plusieurs sponsors dans le projet. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 19

20 Critères de prédisposikon [1/3] MoKvaKon et la légikmité du changement: Besoin urgent d améliorer l accès à de l informakon de qualité (ex: concurrence, nouvelle réglementakon, etc.); Les projets de BI alignés avec des besoins d affaires réels ont de meilleures chances de réussir; Le projet est plus facilement juskfiable lorsqu il existe de telles mokvakons. Faisabilité: Concerne principalement la disponibilité de données de qualité: Niveau de détail (granularité) suffisamment fin; Effort raisonnable pour netoyer et consolider. Se détermine à l aide du profilage de données (profiling). Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 20

21 QuesKons Qu est- ce que la portée d un projet de TI? Comment détermine- t- on cete portée? Quels impacts le choix de la portée a- t- il sur le projet? Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 21

22 La portée préliminaire du projet [1/2] Dépend de: Le nombre de sujets d analyse visés (ex: fonckons d affaires, régions, etc.) Le nombre et le type de sources de données brutes; L approche employée pour charger les données des sources dans l entrepôt de données; Les règles d affaires appliquées aux données sources lors de la validakon; Le contenu, le niveau de détail, et l historique des données sources; Les oukls frontaux (front- end) d intelligence d affaires employées pour l analyse; La complexité architecturelle de l environnement. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 22

23 La portée préliminaire du projet DirecKves pour déterminer la portée: Définie en fonckon de besoins spécifiques; Doit apporter une valeur d affaires suffisante à l entreprise, tout en restant faisable; Doit être fait conjointement avec les représentants d affaires et ceux des TI. Approche botom- up (Kimball) ou top- down (Inmon); Document de portée du projet: InformaKon de base sur le projet; Les inclusions et exclusions de la portée; Les critères de succès; Les risques et stratégies de geskon de risque. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 23

24 Informa<on de base Exemple de document de portée Nom du projet BigCo désire maximiser les revenus provenant de ses ackvités de promokon. Présentement, elle dépense environ $40 million annuellement en publicité. L objeckf est de réduire les dépenses reliées aux ackvités promokonnelle de 25% d ici trois ans. La prochaine phase du projet de BI portera sur l informakon promokonnelle, complémentant le projet précédent consacré aux données de vente. Les équipes de vente et de markekng auront accès à la fois aux données de vente et de promokon, permetant ainsi le développement de stratégie promokonnelles plus efficaces. Portée du projet: Trois années de données historiques sur les ackvités internes de promokon; Maximum de 25 uklisateurs inikalement, avec le plan d augmenter la capacité à 150 uklisateurs; L architecture technique sera basée sur Exclusions: Données externes, telles que les informakon sur les ventes et promokons des principaux compékteurs; Support pour des programmes promokonnels non- domeskques; Critères de succès: Une seule source d informakon employée pour les analyses reliées aux ackvités de promokon; RéducKon du temps requis pour effectuer une analyse reliées aux ackvités de promokon; Risques et stratégies de ges<on des risques: Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 24

25 QuesKon Comment juskfie- t- on un projet de TI à la direckon et aux invesksseurs de l entreprise? Comment peut- on démontrer la valeur du projet à ceux- ci? Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 25

26 JusKficaKon du projet [1/2] Retour sur l inveskssement (ROI): ROI = Bénéfices Dépenses. InvesKssements et coûts: Achat/mise à niveau de composantes matérielles: Ex: serveurs, réseau, HD, etc. Achat/mise à niveau de composantes logicielles: Ex: Profilage de données, ETL, DBMS, analyse mulkdimensionnelle, etc. Embauches internes: Ex: analyste de données, DBA, directeur de projet, etc. Ressources externes: Ex: consultants, support technique de produits achetés, etc. Coûts de maintenance: Ex: Frais de maintenance, support et croissance. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 26

27 JusKficaKon du projet [2/2] Bénéfices: AugmentaKon des revenus de vente; Meilleur taux de réponse aux envois publicitaires; ÉliminaKon des produits à faible marge de profit; Meilleure geskon des fournisseurs; RéducKon des dépenses en markekng; DiminuKon du taux d atrikon; RéducKon des cas de fraude; etc. Coûts et bénéfices es<més au stade de planificakon. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 27

28 Exemple de ROI [1/2] Qui: Compagnie IBM, complexe de produckon de semi- conducteurs dans l'état de New- York; Défis: SaKsfaire les besoins en rapports (reporkng) des équipes de produckon et d'ingénierie; SoluKon: SAS Business Intelligence; 600 uklisateurs; 100 sources; 100 Gb; source: Nucleus Research Inc., 2007 Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 28

29 Coûts et bénéfices: Exemple de ROI [2/2] Bénéfices principaux: RéducKon du temps de créakon de rapports; AmélioraKon de la qualité et la visibilité des données; Embauche d'employé en TI évitée; ROI: 386% (après 3 ans) source: Nucleus Research Inc., 2007 Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 29

30 QuesKon Quelle est la composikon d une équipe de développement d une solukon de TI? Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 30

31 Équipe d un projet de BI [1/6] Analogie avec une équipe de hockey: Propriétaire, Président Sponsors Directeur général Directeur de projet Entraîneur chef, Entraîneur adjoint Gardien de but, Centres, Ailiers, Défenseurs Unités spéciales Chef de projet Analyste d affaires, Architecte de données, Analyste en QA, Administrateur de BD, Architecte/développeur ETL, Architecte/développeur d applica<ons BI Spécialiste technique, Spécialiste en sécurité, Spécialiste en forage de données, Chargé des tests, Éducateur Par<sans U<lisateurs Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 31

32 Équipe d un projet de BI [2/6] Sponsor: Membre de la haute direckon; Approuve les budgets; Défend le projet en cas de besoin. Directeur de projet: Sert de liaison entre les sponsors et les autres membres de l équipe; Responsable du leadership et de la direckon du projet; Influence les décisions stratégiques et architecturelles. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 32

33 Équipe d un projet de BI [3/6] Chef de projet: Gère le projet au jour le jour: CoordinaKon des ressources et des ackvités; PlanificaKon des tâches et des budgets; Suivi de l état et de l avancement du projet. Doit pouvoir réagir rapidement aux problèmes rencontrés, avant que ceux- ci s intensifient. Analyste d affaires: Gère la collecte et la définikon des besoins; Assure la juste représentakon des besoins dans les autres étapes du projet; Doit très bien connaître les processus d affaires de l entreprise. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 33

34 Équipe d un projet de BI [4/6] Analyste en QA / intendant des données: Responsable d établir une vue consolidée des définikons et règles des données, à l échelle de l entreprise; S assure que les données insérées dans l entrepôt sont valides et complètes; Peut également être responsable de vérifier l intégrité des applicakons de BI. Architecte de données: En charge de définir une architecture facilitant la réuklisabilité, l intégrakon et l opkmisakon des données; Conçoit et développe le modèle dimensionnel des données; ParKcipe parfois à la collecte des besoins. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 34

35 Équipe d un projet de BI [5/6] Administrateur de BD (DBA): Responsable de converkr le modèle des données en structures physiques de l entrepôt (ex: tables, colonnes, etc.); Choisit des paramètres physiques maximisant la performance de l entrepôt (ex: disposikon des disques, parkkonnement, indexes, etc.) Gère l intégrité, la disponibilité et la performance de l entrepôt au quokdien. Architecte/développeur ETL: Responsable de la concepkon et développement du système ETL; Architecte est souvent impliqué dans la collecte des besoins; Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 35

36 Équipe d un projet de BI [6/6] Architecte/développeur d applicakon de BI: En charge de concevoir la couche d interackon aux données; Conçoit et développe les applicakons de BI, souvent à l aide de produits commerciaux; Configure la couche sémankque des oukls de BI. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 36

37 QuesKons Comment planifie- t- on un projet de TI? À quoi sert cete planificakon? Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 37

38 Plan de projet [1/2] Définit pour chaque ackvité: Ressources responsables; Les dates de début et de fin eskmées (ne doivent pas être modifiées); L état courant (ex: future, en cours ou complétée); Les dates de début et de fin mises à jour; Le nombre de jours de retard; Le % complété; Les dépendances (autres tâches). Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 38

39 Plan de projet [2/2] Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 39

40 La geskon du risque (selon Kimball) Dangers: Ne pas pouvoir recruter un sponsor influent et visionnaire provenant de la haute direckon; En faire trop en même temps, au lieu d employer une approche de développement itérakve centrée sur un sujet à la fois; Être séduit par la technologie, au lieu de se concentrer sur les objeckfs et les besoins de l entreprise; Supposer qu il est possible de développer le projet sans l apport des membres d affaires; Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 40

41 La geskon du risque (selon Kimball) Dangers (suite): Aller de l avant avec le projet, même si les données source sont de piètre qualité ou n ont pas été validées; Faire la concepkon d un entrepôt de données comme s il s agissait d une BD transackonnelle (ex: normalisakon); Sous- eskmer la quankté de travail reliée au netoyage et la consolidakon des données; Accorder trop d importance au système ETL, au détriment de la performance et la qualité des applicakons de BI (et vice- versa). Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 41

42 QuesKons À quoi correspond le développement Agile? Quels sont les avantages/inconvénients de ce mode de développement? Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 42

43 Le développement en mode agile [1/2] Philosophie Agile: «Si un projet doit se solder par un échec, mieux vaut le savoir après 1 seul mois, qu après 15 mois» Jeffries, Anderson et Hendrickson (2000). Extreme Programming Installed. Principes de base des méthodes agile: Se concentrer sur les besoins prioritaires; Développer en itérakons/prototype; PeKtes équipes; CollaboraKon soutenue entre l équipe de développement et les clients; La livraison est plus importante que le processus; DocumentaKon : seulement le nécessaire. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 43

44 Le développement en mode agile [2/2] Agile vs Développement en cascade: Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 44

45 Les entrepôts de données en mode agile [1/3] Exemple d itérakons de développement agile ITÉRATION 1: Défini<on des besoins ITÉRATION 2: Défini<on de la portée ITÉRATION 3: Dévelopement de la solu<on ITÉRATION 4: Intégra<on de la solu<on Durée 1-2 mois 1-2 mois 4-8 mois 1-2 mois Livrable Prototype SoluKon BI SoluKon complète SoluKon complète livrée Processus 75% Besoins 25% ConcepKon 0% Développement 0% Test 25% Besoins 50% ConcepKon 15% Développement 10% Test 5% Besoins 10% ConcepKon 50% Développement 35% Test 5% Besoins 10% ConcepKon 50% Développement 35% Test Ressources 50% UKlisateur 100% Architect 25% Lead technique 0% Sp. modélisakon 0% Développeur ETL 0% Développeur BI 50% UKlisateur 100% Architecte 100% Lead technique 50% Sp. modélisakon 0% Développeur ETL 50% Développeur BI 25% UKlisateur 100% Architecte 100% Lead technique 100% Sp. modélisakon 100% Développeur ETL 100% Développeur BI 100% Sp. tests 100% UKlisateur 100% Architecte 100% Lead technique 50% Sp. modélisakon 50% Développeur ETL 50% Développeur BI 100% Sp. tests 100% Chef livraison Technologie Accès uklisateurs Accès uklisateurs Données d analyse Données source Accès uklisateurs Données d analyse Netoyage et transfert Données source Accès uklisateurs Données d analyse Netoyage et transfert Données source Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 45

46 Les entrepôts de données en mode agile [2/3] Avantages vs inconvénients: Avantages Livraison plus rapide de la solukon; RéducKon des coûts; Évite d avoir des besoins obsolètes. Inconvénients Peut développer des silos de données; PotenKel de réduire: o Qualité de données; o Stabilité du système; o Partage d informakon. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 46

47 Les entrepôts de données en mode agile [3/3] SoluKon: Integrated Sandboxing*: Créer un environnement de prototype (Sand box); AdministraKon de données flexible et allégée; Copie de produckon / fédérakon des données; Ramener les données rapidement sans trop de formalisme; Gouvernance; Déploiement en produckon; *: S. Brobst, M. McInKre et E. Rado (2008). Agile Data Warehousing with Integrated Sandboxing, Business Intelligence Journal, vol. 13, no. 1. Département de génie logiciel et des TI MTI820 Hiver 2011 S. ChaHi, C. Desrosiers 47