BI INTELLIGENT AVEC MICROSOFT EXCEL
À propos de l auteur Benoit Girard a accumulé près de 20 ans d'expérience en tant que professionnel des technologies de l'information au sein de grandes sociétés, tout spécialement dans le domaine des institutions bancaires, de la santé, des télécommunications et de l industrie pharmaceutique. Il se spécialise dans le conseil stratégique, la conception de plan de gouvernance ainsi que la mise en place de centres d excellences dans le domaine de l Intelligence d Affaires (BI). Il a été cofondateur de trois entreprises, dont Techolap, une société canado-américaine spécialisée dans la prestation de service en Intelligence d'affaires (BI). Livre Blanc sur comment les TI peuvent supporter
Table des matières Sommaire... 1 Le problème avec Excel comme solution BI... 2 Le mythe de remplacer Microsoft Excel par un autre outil BI... 5 Les TI peuvent-elles supporter efficacement Microsoft Excel?... 6 L approche... 9 et le logo sont des marques déposées appartenant à Virtual Cube Solutions. Tous les autres noms sont des marques déposées de leurs compagnies respectives. Bien que tout ait été mis en place pour s assurer que les informations présentes dans ce document sont complètes, des erreurs typographiques ou des imprécisions techniques peuvent y subsister. vcube Solution décline toute responsabilité relativement à toutes pertes qui pourraient être la conséquence de l utilisation des informations contenues dans ce document. Ce document contient des informations appartenant à qui sont protégées par copyright et qui sont sujettes à être modifiées sans préavis. Aucune partie de ce document ne peut être reproduite par n importe quel moyen que ce soit, ou traduite dans une autre langue sans le consentement écrit de. Ce document a été publié pour la première fois en juin 2013. Copyright 2013. http:// Livre Blanc sur comment les TI peuvent supporter
Sommaire Malgré les efforts continus depuis près de 20 ans des éditeurs de solutions logiciels en Intelligence d Affaires (Business Intelligence, BI), Microsoft Excel demeure l outil de prédilection d un très grand nombre d utilisateurs, notamment dans les départements de finance et de comptabilité. Ils aiment sa flexibilité ainsi que la possibilité d offrir à des utilisateurs non techniques une certaine indépendance vis-à-vis des groupes de Technologie de l Information (TI). Cependant, la prolifération de solutions informationnelles Microsoft Excel dans les unités d affaires induit dans l entreprise des problèmes de gouvernance, d optimisation du travail, de traçabilité ainsi que d assurance qualité de l information. D un côté les TI veulent de la rigueur et du contrôle, pendant que de l autre les utilisateurs désirent de la flexibilité et un maximum d indépendance vis-à-vis des spécialistes techniques. Ce clivage est également reflété dans les offres de logiciels BI, qui soit mettent l accent sur les besoins de structure des TI, soit mettent plutôt l accent sur les besoins des utilisateurs en minimisant ou ignorant totalement ceux des TI. Nous présentons une solution novatrice permettant aux TI d'enfin soutenir efficacement les groupes d utilisateurs qui désirent utiliser Microsoft Excel comme principal outil de reporting BI. 1 Livre Blanc sur comment les TI peuvent supporter
Le problème avec Excel comme solution BI Pour beaucoup des gestionnaires TI, Microsoft est un mal nécessaire, qu il faut supporter tant bien que mal dans un rôle plutôt ingrat. En effet, si les utilisateurs y trouvent initialement leur compte en apparence, avec le temps les TI se retrouvent sollicitées peu à peu, de manière non planifiée, à pallier en catastrophe les déficiences des systèmes informationnels maison conçus par les unités d affaires. John Hagerty (Gartner Group); La prolifération de Microsoft Excel comme outil BI dans l entreprise est vue par les groupes de TI comme étant «dangereux», car ils voient en celui-ci une recette pour le chaos et l anarchie. La stratégie employée par les unités d affaires est simple. Quelques utilisateurs, les «power users», développent une expertise technique, limitée selon les normes TI, mais quand même suffisante pour pouvoir importer des données et les transformer dans Microsoft Excel. Ces fichiers Excel sont ensuite distribués par courriel aux autres utilisateurs qui deviennent alors consommateurs de l information, et qui la transforment ensuite à leur tour. Ce qui à l origine servait d outil de reporting, devient alors une source de données transformées utilisée pour d autres rapports, une mini base de données locale maintenue manuellement par un unique individu qui est devenu au fil du temps le dépositaire de la vérité. On appelle ces fichiers Excel des «spreadmarts», car ils induisent une chaîne de producteur-consommateur d information qui se répand alors dans l entreprise comme un virus, atteignant éventuellement les plus hautes sphères dirigeantes, aidées en grande partie par les capacités d Excel d offrir des rapports et tableaux de bord visuellement attrayants. 2 Livre Blanc sur comment les TI peuvent supporter
Avec la multiplication de ces «spreadmarts» dans les unités d affaires, on se retrouve éventuellement avec des couplages hétéroclites avec d autres systèmes provenant des TI, qui se greffent peu à peu le long de cette chaîne, la rendant complexe, redondante et de plus en plus opaque, car non-documentée et dépendante pour son bon fonctionnement de la bonne volonté de quelques individus. Pour les groupes de TI et l entreprise elle-même, les impacts sont multiples et sournois. Risques pour la pérennité des systèmes; Les «spreadmarts» sont le résultat ingénieux de certaines ressources qui se sont imposées au fil du temps comme propriétaire/développeur de ces systèmes dans leur temps libre. L intelligence d affaire contenue dans ces systèmes n est pas documentée autre que dans la tête de son propriétaire. Pas de relève. Lorsqu un de ces barons des données quitte l entreprise, celle-ci se retrouve alors avec une boîte noire non documentée, implantée de manière plus ou moins structurée avec des technologies qui ne respectent pas les normes de développement utilisées par les TI. Traçabilité limitée; Les informations contenues dans les rapports finaux sont le résultat de manipulations diverses. Elles peuvent être le produit de formules Excel, avec des références à d autres feuilles qui elles-mêmes sont le résultat de données provenant d autres fichiers Excel. Les transformations d affaires ne sont pas documentées ce qui ne permet pas d avoir une trace complète de la provenance de l information. Inefficience des efforts; Du travail technique manuel est effectué par des ressources d affaires, lesquelles n ont pas reçu de formation adéquate et sont en général payées beaucoup plus cher que les spécialistes TI. Ces ressources investissent temps et efforts dans la compréhension puis l implantation de mécaniques techniques, telles que du langage SQL, de la transformation/assemblage de données et de la programmation VBA, au lieu de se concentrer sur ce pour quoi elles ont été engagées, notamment sur l analyse de l information. Rôle ingrat joué par les TI; Les TI sont souvent blâmées pour les erreurs contenues dans les rapports Microsoft Excel des utilisateurs, parce que les unités d affaires sont sous l impression que les données sources ne sont pas fiables. En réalité, la grande majorité de ces erreurs sont essentiellement dues à des erreurs de formules, des erreurs de compréhension des données ou de l utilisation de données qui ne sont pas à jour ou périmées. 3 Livre Blanc sur comment les TI peuvent supporter
Gouvernance inexistante; Les données sont produites par différents intervenants qui chacun peuvent inventer leurs propres normes, nomenclatures et définitions, ce qui peut induire des situations telles que calculs différents ayant une nomenclature unique (total des ventes calculé de deux manières différentes, mais appelées «Ventes totales» dans les deux rapports), ou calcul unique, mais nomenclature différente. Il est difficile dans ce cas d atteindre l objectif de «une seule version de la vérité». Fiabilité douteuse de l information produite; Les fichiers Microsoft Excel complexes implantés par les unités d affaires sont en général très difficiles à valider à cause 1) des processus manuels impliqués, 2) de l implantation parfois tordue des utilisateurs qui ne facilitent pas la vérification de la logique d affaire implantée, 3) de la gestion ad hoc des versions de fichiers, et 3) de la compréhension souvent incomplète des données brutes provenant des systèmes opérationnels sous le contrôle des TI. Raymond R. Panko (Université d Hawaï); Une étude sur l impact des erreurs humaines sur la fiabilité des fichiers complexes Microsoft Excel a montré que près de 20% de ceux-ci contiennent des erreurs et qu en moyenne 5% des cellules calculées étaient erronées. Pour les groupes de TI, la conséquence de ces impacts est sévère. Durant la percolation graduelle de ces «spreadmarts», les TI sont appelées à intervenir dans un mode nonplanifié de demandes d accès aux systèmes sources ainsi que de la création de vues et de tables d agrégats ad hoc, ce qui ne permet pas l implantation d une stratégie de gouvernance et d architecture plus rationnelle. Éventuellement, lorsque toutes les unités d affaires sont touchées et que les limitations de l expertise technique disponible dans celles-ci sont atteintes, le groupe de TI est finalement appelé en renfort pour trouver une solution globale au problème, en général dans le cadre de projets très politisés et sous pression, car il faut alors faire décortiquer, analyser et refaire une infrastructure complète pour refaire correctement ce qui dans la perception des unités d affaires est «presque 100% fonctionnel.» Que faire alors pour prévenir cette situation? 4 Livre Blanc sur comment les TI peuvent supporter
Le mythe de remplacer Microsoft Excel par un autre outil BI Il existe des solutions à la problématique énoncée dans la section précédente, mais de tenter de remplacer Microsoft Excel par un autre outil BI n en est pas une. Les éditeurs d outils BI ont rapidement misé sur la problématique énnoncée précédemment pour tenter de convaincre de remplacer le plus possible Microsoft. Nous avons assisté à plusieurs installations de solutions BI offrant aux utilisateurs des outils avancés leur permettant de construire des rapports dans un environnement contrôlé. À l exception de certains types de besoins, telle la production automatisée de rapports de masse par exemple, l utilisation de tels outils se résumait éventuellement à la production de fichiers d extraction destinés à être ensuite importés dans Microsoft Excel. Il est important de réaliser que la résistance relativement à l implantation de nouvelles technologies est très vive dès que l on sort des groupes de TI. Dans les unités d affaires, à l exception de quelques utilisateurs «power users», qui ont un appétit plus marqué pour la nouveauté technologique, la grande majorité des utilisateurs non techniques voient l informatique comme un mal nécessaire essentiel à l'exécution de leur travail. Ils ne souhaitent pas apprendre de nouvelles technologies et préfèrent de loin miser sur quelque chose qu ils maîtrisent déjà, comme Microsoft Excel. De plus, pour certains départements comme les finances et la comptabilité, Microsoft Excel est souvent le seul outil BI accepté par les utilisateurs. Bill Hostmann (Gartner Group); Malgré des années d investissements dans le BI, les groupes de TI ont encore de la difficulté à connecter le BI avec les unités d affaires et de faire en sorte que les utilisateurs sortent de la culture Microsoft Excel. Microsoft Excel est tout simplement devenu un incontournable et les éditeurs de solutions BI, ayant réalisé cela, ont commencé à offrir des «addin» permettant d accéder à leur offre BI directement dans Microsoft Excel. 5 Livre Blanc sur comment les TI peuvent supporter
Les TI peuvent-elles supporter efficacement Microsoft Excel? Si on ne peut pas faire sans Microsoft Excel, il faut savoir faire avec Que peuvent faire alors les groupes de TI pour ne pas se retrouver avec la même problématique que celle décrite précédemment? Il faut offrir une solution BI, bien sûr basée sur Microsoft Excel, mais qui permet surtout aux utilisateurs d affaires de se concentrer principalement sur l interprétation des données et la définition de rapports plutôt que de faire du travail technique, tels que de l assemblage manuel de données, le chargement de fichiers d extraction, la définition de jointures entre des tables, le codage de requête SQL ou de VBA. En contrepartie, cette même solution devra permettre au groupe de TI de déployer et de supporter de manière économique une infrastructure BI, ici vu comme étant le moyen technique et organisationnel par lequel TI déploie le BI dans l entreprise, qui est flexible, permet de répondre rapidement aux demandes de changement et minimise la dépendance face aux spécialistes BI externes qui coûtent cher et ne sont pas toujours disponibles. Nous avons identifié des points-clés de gouvernance TI permettant d atteindre ces deux objectifs; Réduire la dépendance aux ressources spécialisées; La gestion efficace de l expertise spécialisée est un élément-clé dans le support économique d une infrastructure BI. Des éléments tels la gestion des accès et l optimisation des structures de données physiques destinées au BI devraient être pris en charge de manière centralisée et simple par la solution BI. Par exemple, les connexions devraient être gérées de manière centralisée et non pas par les utilisateurs directement sur Microsoft Excel afin de faciliter le contrôle des accès et de minimiser les efforts impliqués dans le support de celles-ci. De la même manière la conception de structures de données BI, tels les schémas en étoile et les cubes OLAP, devrait être assisté par de l intelligence dans la solution elle-même. Ceci permet au groupe de TI d'utiliser des ressources techniques non spécialisées pour effectuer ces tâches, ce qui facilite la gestion du parc de ressources, augmente l efficacité globale du département, et diminue grandement les risques associés à la dépendance envers des ressources spécialisées. Restreindre l accès des utilisateurs aux langages de définition de requêtes; Donner accès à des requêtes SQL est dangereux, car en plus de la connaissance du langage SQL, les utilisateurs doivent avoir comme prérequis un minimum 6 Livre Blanc sur comment les TI peuvent supporter
d expertise technique telle que; ce qu est une base de données, ce qu est une table, ce qu est un champ, ainsi que la notion de jointure. De plus, on suppose ici que les utilisateurs possèdent une compréhension très pointue sur comment les processus d affaires sont modélisés physiquement dans les systèmes sources, ce qui en règle général n est jamais le cas. La solution BI devrait permettre aux utilisateurs de concevoir des rapports sans aucun de ces préalables. Ceci permet de réduire de nombreux problèmes, allant de la réduction de la disponibilité des bases de données sources qui risquent de recevoir des requêtes avec des jointures manquantes ce qui génère un produit cartésien dans le résultat, jusqu à des données qui ne sont pas les bonnes, car il y a des filtres requis qui n ont pas été spécifiés. Faciliter l audit des fichiers Excel; Les rapports créés par les utilisateurs peuvent contenir des données provenant de plusieurs sources; des valeurs saisies manuellement, des valeurs résultant de formules Excel et des valeurs provenant de bases de données ou cubes OLAP. La solution BI doit permettre de rapidement identifier quelles sont les valeurs qui proviennent des bases de données ou cubes OLAP, et qui sont donc fiables, et parmi celles-ci quelles sont celles qui ne sont plus à jour. Ceci permet aux utilisateurs des rapports de déterminer aisément la provenance de l information qui leur est offerte, d augmenter la confiance en l information produite et de minimiser les risques que le groupe de TI soit pointé du doigt à cause de la perception négative qu ont les utilisateurs sur la fiabilité de l infrastructure BI. Utilisez des définitions globales; Il est critique que les groupes de TI assurent la gouvernance sur la mise en place d une couche d affaires interposée entre les utilisateurs et le modèle physique des données. Les utilisateurs ne devraient utiliser que des termes et des définitions centralisés, utilisés par tous, et permettant d identifier sans ambiguïté les éléments d affaires à l aide d un langage commun. Ceci permet d éviter que des rapports soient produits avec des définitions arbitraires, des calculs différents pour les mêmes éléments d affaires ou des définitions d affaires différentes ayant le même calcul, ce qui permet de réaliser l objectif d une infrastructure BI offrant «une seule version de la réalité» 7 Livre Blanc sur comment les TI peuvent supporter
Minimisez l impact des demandes de changements; Les utilisateurs vont toujours vouloir des modifications à ce que le groupe de TI leur offre. C est dans la nature même du processus évolutif inhérent au BI. Il y a cependant des demandes très courantes, qui monopolisent les ressources des TI mais devraient en fait être gérées exclusivement par les usagers. Ceci permet de libérer les ressources TI et de réduire le sentiment d impuissance qu ont les utilisateurs vis-à-vis de la dépendance envers les TI pour des modifications qui sont simples à leurs yeux, mais en fait peuvent être très complexes une fois transposées dans le monde de l infrastructure BI. 8 Livre Blanc sur comment les TI peuvent supporter
L approche Il existe maintenant une solution BI novatrice, 100% basée sur Microsoft, orientée à la fois pour permettre aux utilisateurs de faire encore plus avec Microsoft Excel, tout en donnant aux groupes de TI les moyens de supporter de manière économique une infrastructure BI «end-to-end» élaborée et flexible. Nous offrons une productivité accrue des groupes de TI avec l aide de notre vcube BI Intelligent Designer, un outil d administration permettant de définir des structures physiques BI aisément grâce à nos algorithmes sophistiqués qui interprètent vos sources de données et déduit automatiquement les dimensions, hiérarchies, niveaux et mesures. Nous assurons une saine gouvernance à l aide de notre vcube BI Repository qui centralise tous les définitions et termes de la couche d affaires afin de permettre aux unités d affaires de travailler avec une seule version de la réalité. Enfin, nous augmentons la puissance de Microsoft Excel grâce à notre vcube BI Excel Addin, qui offre de nombreuses fonctionnalités BI intégrées à même Excel, telles que des filtres intelligents automatiques, des consolidations personnalisées, des forages aux enregistrements détaillés, de l allocation budgétaire complexe ainsi que des fonctions d audits permettant la traçabilité de l information produite. add-in Transformations Couche d affaire add-in add-in Groupe de TI vcube BI Intelligent Designer vcube BI Repository Unités d affaires vcube BI Excel AddIn Nous vous invitons à communiquer avec nous à info@vcsol.com pour plus d information. 9 Livre Blanc sur comment les TI peuvent supporter