Livre blanc. Décisionnel Solutions open source. Édition 2012. Pour plus d information : www.smile.fr Tél : +33 (0)1 41 40 11 00 Mailto : sdc@smile.

Livre blanc Décisionnel Solutions open source Édition 2012 Pour plus d information : www.smile.fr Tél : +33 (0)1 41 40 11 00 Mailto : sdc@smile.fr

Page 2 PREAMBULE SMILE Smile est une société d ingénieurs experts dans la mise en œuvre de solutions open source et l intégration de systèmes appuyés sur l open source. Smile est membre de l APRIL, l association pour la promotion et la défense du logiciel libre, du PLOSS le réseau des entreprises du Logiciel Libre en Ile de France et du CNLL le conseil national du logiciel libre. Smile compte près de 600 collaborateurs dans le monde, dont plus de 500 en France (décembre 2011), ce qui en fait le premier intégrateur français et européen de solutions open source. Depuis 2000, environ, Smile mène une action active de veille technologique qui lui permet de découvrir les produits les plus prometteurs de l open source, de les qualifier et de les évaluer, de manière à proposer à ses clients les produits les plus aboutis, les plus robustes et les plus pérennes. Cette démarche a donné lieu à toute une gamme de livres blancs couvrant différents domaines d application. La gestion de contenus (2004), les portails (2005), la business intelligence (2006), la virtualisation (2007), la gestion électronique de documents (2008), les PGIs/ERPs (2008), les VPN open source (2009), les Firewall et Contrôle de flux (2009), les Middleware orientés messages (2009), l ecommerce et les Réseaux Sociaux d'entreprise (2010) et plus récemment, le Guide de l open source et NoSQL (2011). Chacun de ces ouvrages présente une sélection des meilleures solutions open source dans le domaine considéré, leurs qualités respectives, ainsi que des retours d expérience opérationnels. Au fur et à mesure que des solutions open source solides gagnent de nouveaux domaines, Smile sera présent pour proposer à ses clients d en bénéficier sans risque. Smile apparaît dans le paysage informatique français comme le prestataire intégrateur de choix pour accompagner les plus grandes entreprises dans l adoption des meilleures solutions open source. Ces dernières années, Smile a également étendu la gamme des services proposés. Depuis 2005, un département consulting accompagne nos clients, tant dans les phases d avant projet, en recherche de solutions, qu en accompagnement de projet. Depuis 2000, Smile dispose d un studio graphique, devenu en 2007 Smile Digital agence interactive, proposant outre la création graphique, une expertise e marketing, éditoriale, et interfaces riches. Smile dispose aussi d une agence spécialisée dans la TMA (support et l exploitation des applications) et d un centre de formation complet, Smile Training. Enfin, Smile est implanté à Paris, Lille, Lyon, Grenoble, Nantes, Bordeaux, Marseille et Montpellier. Et présent également en Espagne, en Suisse, au Benelux, en Ukraine et au Maroc.

Page 3 QUELQUES REFERENCES DE SMILE SMILE est fier d avoir contribué, au fil des années, aux plus grandes réalisations Web françaises et européennes. Vous trouverez ci dessous quelques clients nous ayant adressé leur confiance. ERP et Décisionnel Veolia, La Poste, Christian Louboutin, Eveha, Sun R, Home Ciné Solutions, Pub Audit, Effia, France 24, Publicis, icasque, Nomadvantage, Gets, Nouvelles Frontières, Anevia, Jus de Fruits de Mooréa, Espace Loggia, Bureau Veritas, Skyrock, Lafarge, Cadremploi, Meilleurmobile.com, Groupe Vinci, IEDOM (Banque de France), Carrefour, Jardiland, Trésorerie Générale du Maroc, Ville de Genève, ESCP, Sofia, Faiveley Transport, INRA, Deloitte, Yves Rocher, ETS, DGAC, Generalitat de Catalunya, Gilbert Joseph, Perouse Médical, Société Générale, Solucom, Corsairfly, Virgin, Nexway, Sagem Sites Internet EMI Music, Salon de l Agriculture, Mazars, Areva, Société Générale, Gîtes de France, Patrice Pichet, Groupama, Eco Emballage, CFnews, CEA, Prisma Pub, Véolia, NRJ, JCDecaux, 01 Informatique, Spie, PSA, Boiron, Larousse, Dassault Systèmes, Action Contre la Faim, BNP Paribas, Air Pays de Loire, Forum des Images, IFP, BHV, ZeMedical, Gallimard, Cheval Mag, Afssaps, Benetaux, Carrefour, AG2R La Mondiale, Groupe Bayard, Association de la Prévention Routière, Secours Catholique, Canson, Veolia, Bouygues Telecom, CNIL Portails, Intranets et Systèmes d Information HEC, Bouygues Telecom, Prisma, Veolia, Arjowiggins, INA, Primagaz, Croix Rouge, Eurosport, Invivo, Faceo, Château de Versailles, Eurosport, Ipsos, VSC Technologies, Sanef, Explorimmo, Bureau Veritas, Région Centre, Dassault Systèmes, Fondation d Auteuil, INRA, Gaz Electricité de Grenoble, Ville de Niort, Ministère de la Culture, PagesJaunes Annonces E Commerce Krys, La Halle, Gibert Joseph, De Dietrich, Adenclassifieds, Macif, Furet du Nord, Gîtes de France, Camif Collectivité, GPdis, Projectif, ETS, Bain & Spa, Yves Rocher, Bouygues Immobilier, Nestlé, Stanhome, AVF Périmédical, CCI, Pompiers de France, Commissariat à l Energie Atomique, Snowleader, Darjeeling

Page 4 Gestion documentaire Primagaz, UCFF, Apave, Géoservices, Renault F1 Team, INRIA, CIDJ, SNCD, Ecureuil Gestion, CS informatique, Serimax, Véolia Propreté, NetasQ, Corep, Packetis, Alstom Power Services, Mazars Infrastructure et Hébergement Agence Nationale pour les Chèques Vacances, Pierre Audoin Consultants, Rexel, Motor Presse, OSEO, Sport24, Eco Emballage, Institut Mutualiste Montsouris, ETS, Ionis, Osmoz, SIDEL, Atel Hotels, Cadremploi, SETRAG, Institut Français du Pétrole, Mutualité Française Consultez nos références, en ligne, à l adresse : http://www.smile.fr/clients.

Page 5 CE LIVRE BLANC Après avoir pris l ascendant sur des marchés entiers, tels que la gestion de contenus, les portails, ou les frameworks de développement, l open source gagne des parts de marché dans les solutions d aide à la décision, avec des solutions aujourd hui très compétitives. Comme les autres livres blancs publiés par Smile, cet ouvrage s efforce de réunir : Une approche générale de l informatique décisionnelle, ses concepts, ses champs d application, ses besoins spécifiques. Un recensement des meilleurs outils open source dans le domaine du décisionnel. Une présentation relativement complète de ces outils, de leurs forces, de leurs limites, de leur maturité et de leur aptitude à satisfaire des besoins opérationnels. Une présentation des offres de supports professionnels existantes en accompagnement de ces outils Cette étude, réalisée par notre équipe de consultants décisionnels, a été fondée sur plusieurs années de travail de recherche, de déploiements effectifs, et optimisée en permanence par le biais des mises en œuvre opérationnelles pour nos clients. VERSION 2012 La première version de ce livre blanc remonte à juin 2006. Depuis, chaque année a vu une nouvelle version, fruit du travail sur les projets et de veille sur les outils. Cette version 2012 permet de prendre en compte les nouveautés des solutions open source à ce jour. Ainsi nous étudions la version 3.3 chez SpagoBI, la version 4.1 de la suite Pentaho, la version 4.5 chez JasperSoft, la version 3.3 chez Palo, la version 5.0 chez Talend ainsi que la version 3.7 chez BIRT. Les sujets suivants font leur apparition dans ce livre blanc : L offre mobile, au travers des solutions proposées par Palo, Pentaho et Jasper. Le Big Data, au travers des solutions proposées par Talend, Pentaho et Jasper

Page 6 SOMMAIRE PREAMBULE...2 SMILE...2 QUELQUES REFERENCES DE SMILE...3 CE LIVRE BLANC...5 VERSION 2012...5 SOMMAIRE...6 PRINCIPES...8 L AIDE A LA DECISION...8 GENERATEUR DE RAPPORTS OU REPORTING...9 ANALYSE A LA DEMANDE OU AD HOC...10 L ANALYSE MULTIDIMENSIONNELLE OU OLAP...11 LA CONSOLIDATION DES DONNEES...15 LES PRINCIPES DE L ETL...17 LE TABLEAU DE BORD...19 LE DATA MINING...19 LE MASTER DATA MANAGEMENT (MDM)...20 L ANALYSE DE DONNEES EN MASSE : BIG DATA...21 TENDANCES...22 LES COMPOSANTS DECISIONNELS... 23 PENTAHO DATA INTEGRATION...23 TALEND...29 BIRT...33 JASPERREPORTS / IREPORT...37 PENTAHO REPORT DESIGNER...41 PENTAHO ANALYSIS / MONDRIAN...45 JPIVOT...46 PALO...48 WEKA...51 TALEND MDM...53 LES SUITES DECISIONNELLES... 58 PENTAHO BI SUITE...58 SPAGOBI...68 JASPERSOFT BI SUITE...74

Page 7 PALO BI SUITE...80 SERVICES PROPOSES PAR LES EDITEURS... 85 CONCLUSION... 86 REMERCIEMENTS... 87

Page 8 PRINCIPES L AIDE A LA DECISION Le chiffre d affaires a baissé en octobre. Pour y remédier, des décisions sont à prendre. Mais pour prendre la bonne décision, il faut savoir pourquoi le chiffre d affaires a baissé, et d abord comment il a baissé. Dans quelle gamme de produits? Dans quels pays, quelles régions? Dans le portefeuille de clientèle de quels commerciaux? Dans quel segment de distribution? N avait on pas une baisse semblable en octobre chaque année? Les questions sont nombreuses, auxquelles il faut savoir répondre avant de prendre la bonne décision. On appelle «aide à la décision», ou bien «le décisionnel», ou encore «business intelligence», un ensemble de solutions informatiques permettant l analyse des données de l entreprise, afin d en dégager les informations qualitatives nouvelles qui vont fonder des décisions, qu elles soient tactiques ou stratégiques.

Page 9 Une entreprise moderne brasse dans son système d information d immenses volumes de données, mais bien souvent, du fait même de ces volumes trop importants, il est très difficile de donner un sens à ces données, de comprendre ce qu elles expriment : des tendances sousjacentes, des faiblesses ou des forces cachées, toutes choses que l on doit connaître afin de prendre de bonnes décisions. La BI, après réconciliation des données sources, permet de restituer une vision large et unifiée de l'information d'entreprise. Ainsi, les outils d aide à la décision, avant d aider à la prise de décision, aident d abord à analyser les données afin d identifier les informations macroscopiques pertinentes cachées dans de grands volumes de données. GENERATEUR DE RAPPORTS OU REPORTING Un rapport est la présentation de données de manière synthétique et lisible, généralement à des fins d impression. Le rapport fait apparaître des tableaux de chiffres, en gérant en têtes, pieds de pages, soustotaux, etc. Un générateur de rapports est un programme qui permet de définir un rapport selon ses besoins, avec un minimum de programmation, uniquement au moyen d une interface interactive. Une fois défini, le rapport peut être généré à échéance régulière. Un rapport peut dépendre de paramètres : l année, le mois, la région, la branche d activité, etc. Ainsi, un même rapport qui aura été défini une fois, pourra être généré avec différentes variantes, selon les valeurs prises par quelques paramètres. Les paramètres du rapport pourront être renseignés par l utilisateur selon ses souhaits, et il pourra également faire varier ces paramètres afin d affiner sa recherche. Dans d autres cas, les paramètres sont définis automatiquement par des règles de gestion, par exemple pour adresser à chaque commercial le rapport de ses propres ventes du mois. On parle ici de rapports en rafale ou de «bursting».

Page 10 On peut donc distinguer deux phases dans la génération d un rapport : Une phase de conception initiale, qui requiert le plus souvent une expertise spécifique, et qui n est pas entre les mains de l utilisateur final ; Une phase de paramétrage et de production, qui ne requiert plus d expertise et qui peut être mise entre les mains de l utilisateur final. Bien sûr, on aimerait limiter la première phase, qui est la plus coûteuse, et mettre directement des outils de conception entre les mains des utilisateurs finaux. Mais l expérience montre que c est rarement possible : même si l apprentissage est possible, les utilisateurs ont en réalité d autres priorités. En 2007, des outils de reporting destinés aux utilisateurs finaux et dits «ad hoc» sont apparus au sein des solutions BI open source. Ils permettent aux utilisateurs finaux de réaliser rapidement et simplement des rapports simples, sans connaissance technique. ANALYSE A LA DEMANDE OU AD HOC On peut distinguer deux modes de travail en décisionnel : le mode rapport statique et le mode interactif, avec une analyse qui répond interactivement aux demandes des utilisateurs. Ils correspondent à des besoins différents, et parfois complémentaires : Obtenir une information récurrente, correspondant à une analyse prédéfinie, par exemple la décomposition des ventes par région ; Chercher une information en effectuant différentes analyses successives, les résultats de l une amenant des questions nouvelles, qui demandent une nouvelle restitution de données. Les outils peuvent être en partie les mêmes, mais il y a également des différences de fond : Les analyses récurrentes sont préparées en amont. Leur paramétrage peut nécessiter l intervention d experts. Une fois préparés, ils seront produits régulièrement, de manière quasi automatisée. A l inverse, les analyses interactives doivent être sous le contrôle de l utilisateur final, qui n est plus simplement consommateur d analyse, mais en devient le principal acteur, sans être pour autant un expert des outils décisionnels.

Page 11 Les outils de requêtage adhoc, simples d'utilisation, permettent d'obtenir rapidement l'information, en langage naturel et avec autonomie, apportant ainsi une abstraction au langage SQL de requêtage des bases de données que les utilisateurs ne sont pas censés connaître. Enfin, l analyse interactive ou ad hoc requiert également d excellents temps de réponse, afin de permettre à l utilisateur de tâtonner en direct en affinant son analyse. L ANALYSE MULTIDIMENSIONNELLE OU OLAP L analyse multidimensionnelle est l un des modes d analyse les plus courants dans le décisionnel. Essayons d en donner les grands principes. On dispose de jeux d informations élémentaires, généralement en grands volumes, chaque ligne d information étant un évènement caractérisée par : Un identifiant unique Des attributs qualifiant l information Des grandeurs portant une information quantitative Pour être concrets, prenons l exemple suivant, très classique, même s il est très simplifié. Considérons l entité élémentaire qui est la ligne de facture. C est souvent une entité clé dans une entreprise, l information la plus fine dont on dispose par rapport aux processus de vente. La ligne de facture appartient à une facture et porte sur la vente d un produit, dans une quantité donnée, pour un prix donné, à un client donné. Elle porte en elle différents attributs : une indication de produit, une quantité, un prix unitaire, un prix total. Au travers de la facture à laquelle la ligne appartient, on dispose d autres informations : une référence de client, une date (année, mois, jour). Sur le client lui même, on possède d autres informations : pays, région, type de client, secteur de métier, etc. Par ailleurs, le client est peut être affecté à un collaborateur du commerce.

Page 12 Nous nous arrêterons ici pour cet exemple, mais l on voit bien que l on peut pousser très loin cette collecte d information gravitant autour de l entité la plus élémentaire qu est la ligne de facture. Une première étape est donc la réunion de toutes les informations nécessaires à nos analyses. Ici, les informations sont par exemple : Date (année, mois, jour) Produit Famille de produits Client Pays du client Commercial Quantité CA

Page 13 Les premières informations constituent les axes d analyse potentiels, les deux dernières constituent les grandeurs. Dans l analyse multidimensionnelle, la modélisation relationnelle de départ n est pas la plus pertinente, ni la plus efficace. On préfère généralement dénormaliser la base, c est à dire travailler sur une table unique dans laquelle ont été rassemblées toutes les informations utiles. Dans notre cas, on obtient : Date Produit Segment Famille Client Pays Ccal Qté CA 31/03/07 12030991 Tondeuse Jardinage Castorama France Lepaul 50 50 000 31/03/07 14030952 Perceuse Outillage Castorama France Lepaul 120 11 000 30/04/07 12030993 Tondeuse Jardinage Leroy Merlin Italie Legrand 250 230 000 Etc. On remarque bien sûr qu il y a énormément de redondance dans ce tableau, mais finalement il est plus utile ici de gérer de l information redondante mais simple, et l on ne s occupe pas des problèmes de cohérence et d intégrité qui sont du domaine des systèmes d information. L étape suivante consiste à réaliser un premier niveau d agrégation, c est à dire à réunir certaines lignes. Dans notre cas, on peut faire par exemple l hypothèse que les données ne seront pas utilisées au niveau de la référence produit, mais uniquement par segment. Dans ce cas, on réunira toutes les lignes identiques pour la clé (date, segment, famille, client, pays, commercial), et l on cumulera les grandeurs quantité et CA. La dernière étape est celle de l analyse multidimensionnelle proprement dite, qui consiste à sélectionner des axes d analyse. Parmi ces axes, on peut distinguer : Des axes à valeurs discrètes, ou discontinues, c est à dire qui portent un nombre fini de valeurs, par exemple un code postal, un segment CSP. Des axes à valeurs continues, typiquement une date, un prix. On peut les ramener à un nombre discret de valeurs en définissant des tranches : tranches de prix, tranches d âges.

Page 14 On distingue également : Des grandeurs cumulables, par exemple un montant, un nombre d items. Des grandeurs non cumulables, par exemple l âge ou la date. Les grandeurs cumulables sont celles qu il est pertinent d agréger, c est à dire dont on peut calculer la somme, (ou la moyenne, ou d autres fonctions mathématiques), pour un sousensemble de lignes, par exemple pour chaque thématique.

Page 15 L analyse multidimensionnelle consiste donc à : Définir les axes d analyse que l on utilisera, et l ordre dans lesquels on les utilise. Par exemple : par région, puis par année, puis par vendeur, puis par gamme de produits. On n utilisera pas toujours tous les axes possibles. Définir la ou les grandeurs qui sont étudiées, et éventuellement la fonction qu on applique à ces grandeurs. Chaque hiérarchisation des axes d analyse correspond à une question que l on se pose. Par exemple une analyse par année, par vendeur vise à représenter l évolution du chiffre d affaires, puis à comparer les vendeurs chaque année écoulée. Une analyse par vendeur, par année vise avant tout à comparer les vendeurs ( ). LA CONSOLIDATION DES DONNEES Principes Les informations, les données, qui seront à la base du système décisionnel, proviennent souvent de multiples systèmes d information de l entreprise. Une application décisionnelle constitue le plus souvent un entrepôt de données, un «datawarehouse», en puisant les données de plusieurs sources dans l entreprise. Il y a de nombreuses raisons à cette étape de consolidation : La centralisation : il serait très difficile, et parfois impossible, d accéder en temps réel aux données dans les différents systèmes où elles se trouvent : problèmes d interconnexions réseaux, de débits, mais également de disparités de protocoles et d interfaces, L unification : le datawarehouse réunit les données dans un système unique, avec un référentiel commun, une modélisation unifiée, et des interfaces d accès identiques. Il permet de créer des liens entre des données à l origine hétérogènes. Les ressources informatiques : les applications décisionnelles peuvent être gourmandes en CPU, disque, mémoire, et les systèmes en place ne sont pas dimensionnés pour supporter ces nouveaux traitements.

Page 16 La spécialisation : les applications décisionnelles ont des besoins spécifiques qui ne pourront être satisfaits par les systèmes en place dans l entreprise. Le datawarehouse est une base de données de consolidation, souvent une base relationnelle relativement standard, mais qui doit accueillir et manipuler de gros volumes d information. Cela peut être une base de données open source (MySQL, PostgreSQL, ) ou une base commerciale (Oracle, SQL Server). Le datawarehouse concentre de l information décisionnelle issue de différents systèmes d information de l entreprise.

Page 17 Organisation Comme évoqué précédemment, cette nouvelle base de données au sein de l entreprise n est pas créée pour les bienfaits d une application opérationnelle directement liée à l activité de l entreprise (ex : système comptable, base de données RH, base de données des commerciaux, ). Le datawarehouse ne va stocker que les informations clés de l entreprise et ne sera dédié qu aux requêtes d analyse et de reporting. L entreprise pourra ainsi analyser ces données sans diminuer les performances de ses outils de production courants. La base décisionnelle va être modélisée dans le but de faciliter les «requêtes». On parle de modélisation décisionnelle en flocon ou en étoile. Les tables ne vont être reliées que par un seul champ clé afin d aider aux performances de requêtes et certaines informations de type «liste de valeurs» vont être répétées de multiples fois dans les tables de dimension. Comme toute modélisation de base de données, cette étape est cruciale dans la réussite d un projet décisionnel. La modélisation doit être évolutive afin de facilement recevoir de nouveaux «datamarts» à l avenir et assurer une réelle pérennité à l entreprise en historisant un grand nombre d informations. Le datawarehouse se doit d avoir une durée de vie plus longue que les outils de production. En effet, eux peuvent évoluer, voire être remplacés. Dans ce cas, le datawarehouse assure la mémoire de l entreprise, et seules les interfaces de chargement de ce datawarehouse seront mises à jour. LES PRINCIPES DE L ETL Afin d alimenter le datawarehouse à partir des différentes applications de l entreprise, on utilise une gamme d outils appelés ETL, pour «Extract, Transform, Load». Comme le nom l indique, ces outils permettent d extraire des données à partir de différentes sources, de les transformer (format, dénomination), et de les charger dans la base de données cible, ici le datawarehouse. Les transformations confiées à un ETL sont souvent simples, mais elles peuvent, dans certains cas, inclure des traitements procéduraux, de véritables programmes spécifiques.

Page 18 Un ETL permet d éviter la réalisation de programmes batch répétitifs, souvent semblables, dont il faudra également assurer la maintenance. Le principe est que l intégration d un nouveau flux de données ne requiert aucun développement, et s opère par une simple configuration interactive : on choisit les éléments de données dans le référentiel source, on indique les transformations simples qu ils doivent subir, et on précise la destination de la donnée dans le datawarehouse. L ETL peut prendre en charge différentes natures de sources de données, tant en entrée qu en sortie, les principales étant bien sûr les SGBD relationnels et les flux XML, mais il peut s agir également de fichiers à formats fixes ou avec séparateurs (CSV). Une fois qu un flux d extraction transformation chargement a été défini, il est généralement déclenché de manière régulière, ceci sous le contrôle d un outil de planification de tâches, ou bien d ordonnancement. Un ETL traite généralement des flux de point à point, c est à dire entre une source unique et une destination unique. L ETL a vocation à travailler en différé, le plus souvent la nuit. Un datawarehouse enregistrant par nature une succession de «photos» de l activité de l entreprise, l ETL va permettre d alimenter le datawarehouse d une «photo» supplémentaire. Une fois l alimentation terminée, les données ainsi chargées deviennent statiques et sont alors mises à la disposition des utilisateurs.

Page 19 LE TABLEAU DE BORD Un tableau de bord n est rien d autre qu une forme particulière de rapport. On appelle tableau de bord un rapport qui est : Particulièrement synthétique : tout doit tenir sur une feuille A4, ou sur un écran d ordinateur ; Le plus souvent composite, c est à dire présentant plusieurs indicateurs, qui ensemble offrent une représentation complète de l activité de l entreprise ; Souvent également personnalisé, c est à dire que chaque acteur consulte un tableau de bord qui concerne son activité. On parle de Key Performance Indicators (KPI), des indicateurs clés. Ce sont les indicateurs qui sont présentés dès la page d accueil d un portail décisionnel. Selon les cas, le tableau de bord peut se suffire à lui même, ou bien être le point d entrée vers des analyses affinées, des tableaux de bord secondaires, ou bien des accès en drill down. On utilise parfois également le terme de Executive Information System, ou EIS, pour faire référence à un système décisionnel spécifiquement destiné à la Direction Générale, et donc présentant des informations stratégiques très consolidées. LE DATA MINING Le data mining consiste à rechercher des informations statistiques utiles cachées dans un grand volume de données. Dans le reporting de l analyse multidimensionnelle, l utilisateur sait ce qu il cherche : il cherche par exemple la décomposition du chiffre d affaires par région. Il ne sait pas encore quelle est cette décomposition, mais il sait du moins en quoi elle consiste, et qu elle est une connaissance pertinente pour son travail. Dans le data mining, l utilisateur est à la recherche d une information statistique cachée qu il n identifie pas encore : tendance, corrélation, similitude, etc. Typiquement, une analyse des tickets de caisse d un hypermarché peut faire apparaître des corrélations entre achats de produits. Certaines auront une explication simple (rasoirs et mousse à raser par exemple), d autres seraient insoupçonnées.

Page 20 Il convient bien sûr de valider de tels résultats, car la corrélation observée peut ne pas traduire une relation de cause à effet, mais être fortuite, ou bien résulter d une cause cachée, ayant l un et l autre des phénomènes comme conséquences conjointes. Les outils de data mining recherchent donc, de manière semi automatisée, des corrélations, des règles statistiques, au travers de grands volumes de données, en s aidant parfois d une restitution graphique de ces règles, qui fera apparaître par exemple des nuages de points sur une représentation axiale des données. LE MASTER DATA MANAGEMENT (MDM) Le maintien d'une cohérence des données provenant de nombreuses sources d'informations différentes en vue de les exploiter dans un système décisionnel ou plus largement dans un système d'information peut s'avérer complexe, notamment dans de grandes organisations utilisant des systèmes hétérogènes. La gestion des données référentielles, le master data management, vise à assurer la cohérence des données de référence émanant de différentes sources de données au sein d'une organisation. Le MDM a pour objectif d'améliorer la qualité et de pérenniser les données référentielles dans l'entreprise à tous les niveaux du système d'information. Concrètement, ceci passe par la réduction du risque d'erreur (contrôle de la qualité, de l'unicité et de la fiabilité de l'information) en mettant en place un référentiel et en centralisant la gestion du cycle de vie de la donnée.

Page 21 Le MDM est particulièrement pertinent pour les entreprises du secteur de l'industrie et de la distribution. En effet, la gestion des référentiels produits et tiers sont deux cas typiques où la mise en place d'une solution MDM est adaptée. Les outils de MDM, qu'ils soient open source ou pas, impliquent des véritables projets de mise en place d'un référentiel d'entreprise, relativement complexe à mettre en place car faisant intervenir différents services de l'entreprise qu'il va falloir faire dialoguer. Les solutions open source existantes sont matures, elles se sont considérablement développées tant la problématique de maintien d'un référentiel est au cœur de l'exploitation et de la pérennisation de l'information, base du décisionnel. L ANALYSE DE DONNEES EN MASSE : BIG DATA Chaque jour, la quantité de données créées et manipulées ne cesse d augmenter, et ce quel que soit le secteur d activité concerné. Ces données sont issues de sources multiples : opérations commerciales ou financières, blogs, RFID, réseaux de capteurs, réseaux sociaux, téléphonie, indexation Internet, parcours de navigation, détails d'appels, e commerce, dossiers médicaux, etc. Les gestionnaires de base de données et les outils BI n ont initialement pas été créés afin de manipuler une telle quantité de données, et il peut donc devenir compliqué et improductif pour les entreprises d accéder aux données BI voulues avec les outils classiques. Ces «données en masse» ont une ou plusieurs des caractéristiques suivantes : Une très grande volumétrie de données (généralement de l ordre du téraoctets ou pétaoctets) Une grande variété du niveau de structure des données Des données très rapides et changeantes. Cette nouvelle problématique a donné naissance aux systèmes de gestion de base de données appelés «NoSQL», qui ont fait le choix d abandonner certaines fonctionnalités des SGBD classiques au profit de la simplicité, la performance et de la scalabilité. Des frameworks comme Hadoop et MapReduce ont également été créés et permettent, déployés en complément des BDD relationnelles ou multidimensionnelles, le requêtage et la manipulation de ces données en masse. Il est donc devenu primordial pour les outils BI de développer des composants permettant de communiquer avec ces nouveaux logiciels.

Page 22 Si vous êtes intéressés par le sujet du NoSQL, n hésitez à découvrir notre livre blanc sur le sujet et à découvrir les meilleures bases NoSQL : http://www.smile.fr/livresblancs/culture du web/nosql TENDANCES Le décisionnel open source était jusqu en 2006 constitué de composants écrits en Java dédiés à des fonctions spécifiques : édition de rapports, analyse OLAP, ETL Ces composants open source étaient écrits et maintenus par des communautés qui se sont progressivement professionnalisées. La tendance à la professionnalisation de l open source décisionnel qui s'est dessinée ces dernières années se poursuit aujourd hui. L approche open source est devenue un «business model» à la fois déjà en place et très prometteur, sur lequel les investisseurs misent, avec la possibilité grâce à l open source de créer rapidement des acteurs d envergure mondiale. Il est quand même remarquable de voir qu en 2008 et 2009, années économiquement perturbées où les financements sont devenus très rares et très exigeants, à la fois Pentaho et JasperSoft ont pu lever des fonds significatifs. Ces éditeurs ont vocation à proposer des suites décisionnelles complètes sur lesquels ils ont la maîtrise de la technologie : le paysage décisionnel open source s est recomposé autour des grandes suites que nous analysons ci après.

Page 23 LES COMPOSANTS DECISIONNELS Avant de s orienter vers la création de solutions décisionnelles complètes, les projets open source se concentraient chacun sur un point bien précis du décisionnel. Ainsi, les projets BIRT ou JasperReports permettent de composer et générer des rapports, et les projets Mondrian et JPivot permettent de présenter des données sous forme multidimensionnelle. Ces projets étaient et sont encore destinés à être intégrés en tant que «composants» dans des développements spécifiques. Certaines plateformes décisionnelles open source se basent sur ces composants déjà bien rodés et les intègrent de façon à constituer une solution homogène, dans laquelle toutes les fonctionnalités sont disponibles dans un cadre unique et rendues interopérables. Dans cette partie, nous allons présenter les principaux composants décisionnels disponibles en open source, que l on peut regrouper dans les catégories suivantes : ETL : Pentaho Data Integration (ex Kettle), Talend Open Studio. Designer de rapport : BIRT, JasperReport (ireport) et Pentaho Report Designer. Analyse : Mondrian, JPivot, Palo/Jedox BI. Data mining : Weka. MDM : Talend MDM. PENTAHO DATA INTEGRATION Présentation Pentaho Data Integration (PDI) est un ETL open source qui permet de concevoir et exécuter des opérations de manipulation et de transformation de données. Grâce à un modèle graphique à base d étapes, il est possible de créer sans programmation des processus composés d imports et d exports de données, et de différentes opérations de transformation, telles que des conversions, des jointures, l application de filtres, ou même l exécution de fonctions Javascript.

Page 24 PDI, initialement connu sous le nom de Kettle, est devenu open source à partir de la version 2.2 et a rapidement intégré le projet de plateforme décisionnelle Pentaho 1 (voir plus loin dans ce livre blanc) qui l a renommé depuis en Pentaho Data Integration. Au moment où nous écrivons ces lignes, Pentaho Data Integration est disponible dans sa version 4.2.1. De nouvelles fonctionnalités sont apparues facilitant notamment le partage d un référentiel entre plusieurs développeurs, l utilisation de métadonnées dans les transformations (afin de personnaliser une transformation rapidement) et permettant de se connecter à toujours plus de systèmes de bases de données ou types de fichiers. Dans sa version Entreprise Edition, Pentaho, l'éditeur de PDI, propose de suivre l exécution des transformations ETL via la console d'administration, en mode Web. Cette version propose en outre un référentiel Entreprise, qui permet le versionnement des développements. PDI propose un module appelé Agile BI permettant au développeur ETL de valider directement les données en affichant des restitutions dans PDI, sous forme de rapports ou d analyses OLAP. Ce module n'est pas libre mais est mis à disposition gratuitement par Pentaho. Les analyses OLAP sont basées sur Pentaho Analyzer (le client OLAP disponible en version Enterprise) et les rapports s appuient sur l assistant de création de rapport du Pentaho Report Designer (le Report Wizard). Module AgileBI de Pentaho Data Integration 1 www.pentaho.com

Page 25 Afin de répondre à la problématique du Big Data, PDI propose des composants dédiés à la solution Apache Hadoop 2, qui permettent le traitement de très gros volumes de données de façon parallèle, via notamment l accès à des bases de données de type Amazon S3 et HIVE. Pentaho prend également en charge nativement les sources de données NoSQL émergentes les plus utilisées, dont mongodb, HPCC et les données issues de très grandes sources XML. Fonctionnalités PDI permet de créer deux types de processus : Les transformations : traitements effectués au niveau d'une ou plusieurs bases de données comprenant des opérations de lecture, de manipulation et d'écriture. C est à ce niveau que sont manipulées les données. Les tâches : traitements de plus haut niveau, combinant des actions telles que l'exécution d'une transformation PDI, l'envoi d'un mail, le téléchargement d'un fichier ou le lancement d'une application. Il est possible d'exécuter des actions différentes en fonction de la réussite ou de l'échec de chaque étape. Le rôle d une tâche est donc d orchestrer les différents traitements. PDI est notamment utilisable avec un référentiel partagé. Ainsi, plusieurs développeurs peuvent utiliser des objets communs. Ce référentiel est stocké au sein d une base de données relationnelle. Le développeur peut donc facilement s'y connecter et changer de référentiel à sa guise. PDI peut se connecter sur un grand nombre de bases de données, dont Oracle, Sybase, MySQL, PostgreSQL, Informix, SQLServer et bien d autres, et peut également utiliser des données provenant de fichiers texte, XML et Excel. PDI dispose de : détecteur de présence de fichier et lecture de répertoire connecteurs en lecture et écriture avec des dimensions/cubes MOLAP Palo connecteur LDAP et lecture fichier LDIF connecteur SalesForce (lecture) liste des plug ins disponibles sur : http://wiki.pentaho.com/display/eai/list+of+available+pentaho+data+integration+p lug Ins 2 http://hadoop.apache.org/

Page 26 Les transformations et les tâches sont créées par glisser déposer des différentes étapes du processus. Des assistants sont disponibles à chaque étape et permettent par exemple de générer automatiquement les requêtes de lecture et de création de tables. Exemple de transformation Les applications PDI se compose de 3 applications : Spoon : environnement graphique de création et d'exécution de transformations et de tâches. Pan : application en ligne de commande permettant de lancer l'exécution d'une transformation donnée. Kitchen : application en ligne de commande permettant de lancer l'exécution d'une tâche donnée. Pan et Kitchen sont essentiellement utilisés afin de planifier l exécution des transformations et des tâches. En installant seulement le très léger outil Pan sur plusieurs serveurs, les traitements lancés par PDI vont pouvoir être exécutés sur plusieurs serveurs simultanément. On parle dans ce cas d exécution en mode grappe. Vous avez ainsi le moyen de maitriser le temps de fonctionnements de vos traitements lorsque vos «fenêtres» de nuit sont réduites.

Page 27 Planification Il est généralement souhaitable que des transformations ou tâches créées avec PDI s'exécutent périodiquement. C'est notamment le cas pour les tâches de synchronisation ou de création d'entrepôts de données. PDI, en version entreprise, intègre un planificateur de tâche. Avec la version communautaire, l'exécution repose alors sur un système externe, tel que les planificateurs de tâches de Windows ou d'unix. Utilisation Dans le contexte du décisionnel, PDI va servir à constituer un datawarehouse, en réalisant l'import des données depuis différentes sources, leur consolidation et leur mise en forme. L'utilisation de PDI présente plusieurs avantages par rapport à des solutions à base de scripts : La création de flux de données complexes est extrêmement simple, La maintenance est beaucoup plus aisée car tous les flux de données sont visibles d'un simple coup d'œil dans une interface unique et centralisée. PDI pourra également trouver sa place dans tout projet non décisionnel qui a besoin d'exécuter périodiquement des traitements sur certaines données ou des synchronisations entre différentes bases. Exemple Détaillons les étapes nécessaires pour la création et le lancement d'une synchronisation entre 2 tables contenues dans des bases différentes : 1. Déposer un objet «Extraction depuis table» dans l'espace de travail. 2. Éditer l'objet «Extraction depuis table», choisir la source de données et la table concernée. Une requête SQL est générée automatiquement mais elle peut être modifiée librement. 3. Déposer un objet «Insertion dans table» dans l'espace de travail. 4. Lier ces 2 objets. 5. Éditer l'objet «Insertion dans table», choisir la source de données et le nom de la table. Kettle prend en charge la création d'une nouvelle table ou la modification d'une table existante, à la demande, en utilisant les informations transmises par les étapes précédentes.

Page 28 6. Lancer l exécution de la synchronisation. Exécution d'une Transformation dans Spoon Conclusion PDI est un outil efficace pour réaliser rapidement tout type de traitements sur des bases de données. Nécessaire dans la plupart des projets décisionnels, il sera également très utile dans tout projet utilisant des bases de données et demandant des opérations de synchronisation ou d'export. PDI a l avantage d être performant, simple d utilisation, entièrement open source et d être intégré à la suite décisionnelle Pentaho présentée plus loin.

Page 29 TALEND Présentation Talend Open Studio 3 est un ETL open source, développé par la société Talend, basée en France. Talend est un ETL de type «générateur de code», c est à dire qu il permet de créer graphiquement des processus de manipulation et de transformation de données puis de générer l exécutable correspondant sous forme de programme Java ou Perl. Ce programme Java ou Perl doit ensuite être déployé sur le serveur d exécution. Talend est l ETL utilisé par les solutions SpagoBI et JasperSoft (où il est renommé en Jasper ETL). Au moment où nous écrivons ces lignes, Talend Open Studio est disponible dans sa version 5.0.2. Définition de processus Les processus de manipulation de données sont créés en utilisant un modèle graphique à base de glisser déposer. Des connecteurs sont disponibles pour se connecter aux principales bases de données, annuaires, ainsi que pour traiter différents types de fichiers (CSV, Excel, XML). Talend dispose de fonctionnalités inédites pour un ETL open source : les étapes ELT (Extract Load Transform), qui tirent parti de la base de données cible pour les différentes opérations, ce qui améliore grandement les performances au prix de possibilités plus limitées. des connecteurs pour des applications de CRM (SugarCRM, SalesForce, Vtiger et CentricCRM ) et des ERP (Sage X3, SAP, Microsoft Dynamics, OpenBravo), ce qui évite de manipuler les modèles relationnels de ces outils. des composants d'interactions avec des systèmes de gestion de workflow et de BPM (Bonita). des composants dédiés à la problématique Big Data, qui permettent de s interfacer avec ce type de données (système de fichier Hadoop, base de données Hive et Pig, etc.) possibilité d ajouter simplement de nouvelles fonctions et composants afin de réaliser des processus plus complexes, de développer des connecteurs supplémentaires. 3 http://www.talend.com/

Page 30 On notera que Talend facilite la construction des requêtes sur les bases de données en détectant les relations entre tables grâce aux clés étrangères et en proposant une interface «à la Access». Processus Affectation et modification de valeurs

Page 31 Modèles métier Talend permet également de créer un modèle métier (Business Model) afin de modéliser les interactions entre les différents systèmes et bases de données. Les informations de connexion, les métadonnées, ainsi que des documents, peuvent être associés à chaque élément. Le modèle constitue alors une véritable documentation du système d information. Modèle Métier Ce mode est désormais complété avec un générateur de documentation technique permettant aux développeurs de gagner du temps dans l étape souvent négligée des spécifications techniques. Gestion des contextes Talend permet de gérer les contextes et de les appliquer aux transformations. Le même processus peut donc s exécuter en environnement de développement, de test ou de production, avec à chaque fois l utilisation des bonnes connexions aux bases de données et des bonnes métadonnées. Déploiement des processus Une fois le programme généré, celui ci est installé par un administrateur sur la machine cible et son exécution est planifiée en utilisant le service cron d Unix ou les tâches planifiées de Windows selon le cas.

Page 32 Avec la version TIS (Talend Integration Suite), est proposée une fonction «Distant Run» et «CPU Balancer» permettant à Talend de parfaitement s intégrer dans des environnements professionnels industrialisés. A travers la console de supervision en mode client Java ou en mode Web, les personnes chargées de l exploitation des interfaces disposent de tableaux de bord synthétisant la bonne ou mauvaise exécution des traitements. Conclusion Talend Open Studio est un produit complet. Talend a noué des partenariats avec de nombreuses sociétés éditrices de solutions décisionnelles ou de bases de données, ce qui renforce sa position sur le marché. En 2010, Talend a complété son offre avec un nouvel outil «Talend MDM». Ce nouvel outil vient parfaire l'offre de l'éditeur avec un module permettant de construire et maintenir des référentiels. Son offre s'articule donc aujourd'hui autour de trois domaines : L'intégration de données, Data Integration La qualité de données, Data Quality La gestion de données référentielles, Master Data Management Notons que Talend propose une suite «Talend Integration Suite (TIS)», soumise à souscription annuelle, qui comprend des fonctionnalités très avancées comme la gestion des déploiements complexes, la supervision des exécutions et la gestion de référentiels partagés. Comme PDI, Talend sera avantageusement utilisé dans des projets décisionnels mais trouvera encore plus sa place dans des projets d urbanisation de systèmes d information permettant d uniformiser les modes d échanges entre les différentes applications de l entreprise.

Page 33 BIRT Présentation BIRT 4 (The Business Intelligence and Reporting Tool) est un projet de la communauté Eclipse comprenant un générateur de graphiques, un générateur de rapport et un environnement de conception. Au moment où nous écrivons ces lignes, BIRT est disponible dans sa version 3.7.1. Le projet a été initié par la société Actuate 5, qui commercialise une offre de business intelligence intégrant BIRT et qui a adopté la licence open source pour BIRT. Générateur de rapports Le moteur de BIRT est une bibliothèque qui permet de générer des rapports (paramétrés ou non) au format HTML, PDF, XLS, DOC ou PPT. Ces rapports peuvent être complexes et contenir plusieurs tableaux, graphiques avancés et images. BIRT propose également la réalisation de tableaux croisés. Les données affichées peuvent provenir de bases et de requêtes différentes. Exemple de rapport BIRT 4 5 http://www.eclipse.org/birt http://www.actuate.com

Page 34 Le moteur de BIRT peut être intégré dans toute application développée avec le langage Java, que ce soit dans une application Web ou dans une application de type «client lourd». Il est notamment possible d'intégrer les rapports BIRT à la solution Pentaho via BIRT Viewer. Execution d'un rapport BIRT dans Pentaho Conception des rapports BIRT dispose d'un outil de conception de rapports, qui permet de créer et modifier les rapports de façon graphique, en déposant des éléments (tableaux, tableaux croisés, graphiques) dans un rapport vierge. Cet outil s'intègre sous forme de plug in dans l'outil de développement Eclipse 6 mais peut être également utilisé comme une application autonome. La définition d'un rapport étant au final simplement un fichier XML, il est également possible, mais beaucoup plus long et peu conseillé, de créer des rapports sans passer par cet outil. Seuls les bilingues XML/français s'y risqueront. 6 http://www.eclipse.org

Page 35 Création de rapport BIRT La création d'un rapport passe par plusieurs étapes : La définition des sources de données : une ou plusieurs sources de données (bases de données compatibles JDBC ou fichiers texte) peuvent être ajoutées au rapport. La définition des jeux de données : un jeu de données est un ensemble d'informations destinées à être mises en forme par un tableau ou un graphique. C'est concrètement le résultat d'une requête SQL plus ou moins complexe sur une source de données. L'utilisateur dispose d'un assistant afin de faciliter la création de cette requête, et il peut de plus combiner différentes sources de données hétérogènes en les liant sur une clé commune. Le placement des éléments : les éléments de base (tableaux, listes, graphiques, images,...) sont insérés dans le rapport par «glisser déposer». La configuration : un jeu de données est associé à chaque élément et les paramètres de rendu sont modifiés. La prévisualisation : une option de prévisualisation permet de lancer la génération du rapport.

Page 36 Public visé L'outil de conception de rapports de BIRT s'adresse en premier lieu à des développeurs, car il est nécessaire de créer des jeux de données en utilisant des requêtes SQL. Il est cependant possible de rendre BIRT accessible à des utilisateurs finaux ayant un profil moins «technique», en utilisant certaines fonctionnalités qui permettent de contourner les étapes les plus complexes. Dans un premier temps, il est possible de créer des bibliothèques de ressources contenant les éléments de base permettant de créer un nouveau rapport : les sources de données, la feuille de style de l'entreprise et un ensemble de jeux de données. Ces éléments peuvent être incorporés dans un nouveau rapport par un simple glisser déposer. L'utilisateur pourra par la suite créer ses propres jeux de données en réalisant des jointures de jeux de données existants. Par exemple, si la bibliothèque contient les jeux de données clients (liste détaillée des clients) et ventes (liste des ventes incluant une référence vers le client, le produit ), l'utilisateur pourra facilement créer un jeu de données 'ventes par client' (liste détaillée des ventes pour chaque client). Il pourra ensuite ajouter des colonnes calculées et filtrer les résultats via un assistant. Conclusion BIRT est un outil de reporting très complet, qui permet de créer rapidement des rapports complexes et de maîtriser sa mise en page. Il bénéficie du support de la très active communauté Eclipse.

Page 37 JASPERREPORTS / IREPORT Présentation JasperReports 7 est un moteur de rapport développé par la société JasperSoft 8 et distribué sous une licence open source. ireport est l'éditeur de rapport de JasperSoft. Au moment où nous écrivons ces lignes, JasperSoft et ireport sont disponibles dans leur version 4.5. Les rapports générés sont des fichiers XML et peuvent également être créés et modifiés manuellement. Ces outils existent depuis 2001 et sont déjà largement utilisés dans de nombreuses applications métiers pour leur partie reporting. Générateur de rapport Le moteur JasperReports permet la génération de rapports au format PDF, HTML, XML, CSV, RTF, XLS et TXT. Il utilise JFreeChart afin de générer les graphiques et peut être intégré dans toute application développée avec le langage Java. Il supporte, en tant que source de données, les bases de données classiques ainsi que les serveurs d analyse multidimensionnelle, ce qui permet d exploiter les possibilités du serveur Mondrian directement dans un rapport JasperReports. Rapport réalisé avec JasperReports 7 8 http://jasperreports.sourceforge.net http://www.jaspersoft.com

Page 38 Conception des rapports La conception des états se fait soit par description XML soit par outil graphique (ireport). Bien évidemment, nous vous recommandons d utiliser l interface graphique Les rapports sont décomposés en bandes dans lesquelles les éléments graphiques sont déposés. Chaque bande a un comportement spécifique et apparaît une ou plusieurs fois. Un rapport exécute une itération sur un jeu de données principal. Certaines bandes sont affichées avant ou après l ensemble des données de l état, d autres le sont une fois pour chaque élément du jeu de données. Les différentes bandes disponibles sont : titre du rapport, affiché au début de la première page en tête de la page, affiché au début de chaque page en tête des colonnes, affiché avant les données détails, répété pour chaque élément des données fin des colonnes, affichée après l ensemble des données pied de page, affichée en bas de chaque page

Page 39 dernière page, affichée dans la dernière page page de résumé, conclut le rapport Afin de créer des rapports plus riches, il est possible d utiliser des jeux de données secondaires dans certains éléments, comme les graphiques et les tableaux, ou d insérer des états secondaires, les sous rapports. Interface graphique : ireport Il existait plusieurs outils de conception graphique pour les états JasperReports mais, depuis que l éditeur JasperSoft a développé la suite décisionnelle, ireport, l outil de l éditeur, a supplanté les autres outils qu étaient Jasper Assistant et JasperPal. ireport 9 est donc l'outil de conception d états officiel de JasperReports et se présente sous la forme d'une application Java dédiée. Il supporte la quasi totalité des fonctionnalités de JasperReports (tableaux, tableaux croisés, graphiques) et dispose également d'une extension dédiée à l'administration de la plate forme décisionnelle de JasperSoft. L'interface et le mode de fonctionnement des rapports JasperReports destinent principalement ireport à des spécialistes. ireport 4.0 9 http://ireport.sourceforge.net

Page 40 Conclusion JasperReports est le moteur de génération d états le plus répandu dans le monde open source. On constatera que toutes les plateformes décisionnelles permettent son utilisation. Son principal défaut reste un relatif manque d intuitivité des différents éditeurs graphiques, ce qui limite leur utilisation aux développeurs.

Page 41 PENTAHO REPORT DESIGNER Présentation JFreeReport a rejoint le projet Pentaho début 2006. Au fur et à mesure, le nom JFreeReport a été abandonné au profit de Pentaho Report Designer (PRD). PRD permet de développer des rapports complexes et, en association avec la plateforme Pentaho, de les publier directement sur le serveur décisionnel. Au moment où nous écrivons ces lignes, PRD est disponible dans sa version 3.8.3. Exécution de rapports PRD supporte les formats PDF, HTML, CSV, Excel, RTF et Texte. Notons que les rapports ne sont diffusés et exécutés qu en mode Web, affichant obligatoirement des données à jour. Les rapports ne sont jamais diffusés et exécutés par les utilisateurs finaux avec le client lourd ; il ne peut donc pas y avoir de problème de rafraîchissement des données, comme on peut l observer dans d autres solutions propriétaires. Depuis la version 3.8 de Pentaho Report Designer, un cache d exécution de rapport existe. Ceci évite de ré exécuter la requête qui alimente le rapport à chaque fois que l'utilisateur choisit de «pré visualiser» le rapport, ce qui augmente grandement la productivité du développeur. Rapport réalisé avec Pentaho Report Designer

Page 42 Pentaho Report Designer est un outil de conception graphique similaire, dans l esprit, à ireport ou même à Crystal Report, avec la notion de «bandes» pour les zones répétées de la page (entête, en tête de groupe, ligne, bas de page, ) Depuis la version 1.7, PRD, maintenant en version 3.8.3, s est considérablement enrichi et s intègre nativement dans la suite avec la publication simplifiée sur le Web des rapports conçus. Les rapports sont définis en XML, lisibles et pouvant même être manipulés par programmation simple. Ils sont empaquetés, avec les requêtes et les éventuels sous rapports, dans une archive d extension.prpt, interprétée par le serveur Web de la suite Pentaho. Il est par ailleurs possible de générer des rapports en masse en utilisant l ETL Pentaho Data Integration, dans lequel on retrouve une étape de génération de rapports faisant appel au fichier prpt conçu avec PRD. Dès l ouverture de l outil Pentaho Report Designer, une page d accueil guide l utilisateur vers les étapes indispensables de création du rapport : Un assistant, le Report Wizard, permet d établir une nouvelle connexion mais également de se connecter à un métamodèle (dictionnaire de données) de Pentaho :

Page 43 Il s agit ici d une avancée importante dans les outils de reporting open source et PRD a été le premier, fin 2007, à permettre à un utilisateur de créer un rapport sans aucune connaissance SQL. Plusieurs fonctions sont également disponibles afin de réaliser des opérations courantes comme le comptage d occurrences dans un regroupement ou des fonctions de conversions de format. Ces fonctions sont présentées, regroupées par thème, dans une bibliothèque. Rapport dans Pentaho Report Designer

Page 44 A chaque attribut de chaque élément peut être associé une formule, permettant ainsi d avoir un contenu totalement dynamique et dépendant de critères que vous avez définis : selon tel paramètre j affiche ou non tel élément, selon telle valeur je colore le fond de mon élément en vert ou en rouge, etc. Conclusion Pentaho Report Designer est un outil simple à manipuler, bien intégré à la suite décisionnelle Pentaho pour la gestion des paramètres ou la publication sur la plateforme Web. On regrettera cependant que la fonction de tableaux croisés soit absente de PRD. Cette fonctionnalité présente dans d'autres solutions de reporting est prévue pour la version 4.0 de PRD. Cette future version complétera les fonctionnalités de Pentaho Report Designer pour en faire un outil de reporting abouti.

Page 45 PENTAHO ANALYSIS / MONDRIAN Mondrian 10 est un serveur OLAP (On Line Analytical Processing) ou «moteur OLAP» disponible sous licence open source EPL (Eclipse Public Licence). Au moment où nous écrivons ces lignes, Pentaho Analysis est disponible dans sa version 3.3. Il fait partie de la catégorie des serveurs «R OLAP», c'est à dire qu'il accède à des données contenues dans une base relationnelle. Mondrian exécute des requêtes utilisant le langage MDX, également utilisé par d autres moteurs OLAP, tel que celui de Microsoft SQL Server. Ce langage permet de créer des requêtes dont l équivalent en langue SQL nécessiterait un grand nombre de requêtes et des temps d exécution beaucoup plus longs. Mondrian est particulièrement puissant et permet d optimiser les temps de réponse en utilisant des tables d'agrégats, créées au préalable, mais permet également de réaliser des calculs complexes, en comparant des éléments sur la dimension temps ou en gérant des hiérarchies récursives dissymétriques. Mondrian est utilisé avec les clients JPivot, JPalo, Pentaho Analysis Tool (PAT) ou Pentaho Analyzer (présentés ci après), outils qui proposent une interface graphique Web de consultation et manipulation des données. Le projet Mondrian ainsi que son fondateur Julian Hyde ont rejoint le projet Pentaho sous le nom de Pentaho Analysis. Mondrian est utilisé par Pentaho et JasperSoft, et est maintenu principalement par Pentaho, avec la participation de JasperSoft. Notons que Pentaho a depuis maintenant plus d un an acquis une nouvelle interface de navigation OLAP sur Mondrian, nommée Analyzer, se démarquant clairement au niveau de l ergonomie de l ancienne interface JPivot, encore utilisée cependant par JasperSoft et SpagoBI. 10 http://mondrian.sourceforge.net/

Page 46 JPIVOT JPivot 11 est un client OLAP disposant d'une interface Web. Il permet de représenter un cube OLAP sous forme de tableau croisé multidimensionnel et d'effectuer les opérations classiques d'analyse (drill down, drill up, rotations, filtres...) de façon interactive. JPivot permet également d'afficher un graphique correspondant aux données présentées en tableau, qui est mis à jour au fur et à mesure de l'exploration. Il est possible d exporter tableau et graphique sous forme de fichier PDF imprimable ou de document Excel afin de réutiliser les données obtenues. L'interface utilisateur peut être facilement modifiée via l'utilisation de feuilles de styles (CSS et XSL). Tableau JPivot (Web) JPivot va permettre aux utilisateurs d explorer les cubes, mais également de réaliser un drillthough, c est à dire d afficher les lignes de données à l origine d un chiffre consolidé (par exemple les N lignes de factures de janvier du produit A sur la région R ). 11 http://jpivot.sourceforge.net/

Page 47 Drill through dans JPivot JPivot est une interface efficace, relativement simple d utilisation, ne nécessitant aucun paramétrage particulier. Le couple Mondrian/JPivot est disponible dans les suites Pentaho Community Edition, JasperSoft et SpagoBI.

Page 48 PALO Palo 12 est une base de données multidimensionnelle, en mémoire, développée en C et distribuée sous licence GPL par la société Jedox. Palo fait partie de la catégorie M OLAP (Multidimensional OLAP) : toutes les données sont chargées en mémoire et non dans une base de données relationnelle. Les données sont calculées à la volée, ce qui lui permet d'obtenir de très bons temps de réponse. Au moment où nous écrivons ces lignes, Palo est disponible dans sa version 3.2 (Community) et 3.3 SR1 en version Premium. La base Palo est accessible depuis le tableur Microsoft Excel ou OpenOffice Calc avec un plugin, ce qui permet de naviguer dans les données multidimensionnelles directement dans les feuilles de calcul tant appréciées des utilisateurs. Navigation dans un cube Palo dans Excel Cette intégration permet de tirer parti des fonctionnalités natives de tableur et graphiques d'excel pour la couche de présentation, les données affichées étant toujours stockées dans la base Palo et non pas dans Excel. 12 http://www.palo.net

Page 49 Tableau de bord dans MsExcel, constitué avec Palo Palo n'est cependant pas limité à Excel et dispose d'api vers les langages Java et PHP. Palo peut ainsi être interrogé depuis d'autres applications, telles que Palo Eclipse Client (JPalo) ou bien évidement les autres composants de la suite Jedox Palo, tels que Palo Web, un tableur en mode Web. Dans le cadre d'un projet décisionnel, Palo va devoir utiliser les données de l'entreprise : contrairement à Mondrian qui travaille directement sur une base relationnelle, les données doivent être importées dans la base de données Palo. Des API sont fournies et permettent d'écrire dans les cubes M OLAP depuis les langages C, Java, PHP et.net. De plus, un ETL est fourni par Jedox afin d alimenter cette base, et les ETL open source Pentaho Data Integration et Talend Open Studio disposent de connecteurs vers Palo. On notera qu'il est également possible, depuis Excel, d'importer les données à partir d'un fichier texte ou d'une connexion ODBC mais cette solution n'est évidemment pas adaptée à l'import automatisé d'un grand nombre de données. Palo propose de plus une fonctionnalité différentiante et très intéressante : la possibilité de modifier les valeurs d un cube. Par exemple, les valeurs peuvent être gérées selon différents scénarios : valeur budgétée, valeur réelle, valeur révisée, ce qui permet de construire une application de saisie décentralisée et de consolider le tout in fine, ou à l inverse de saisir des données globales et de les ventiler selon la méthode choisie.

Page 50 Conclusion Palo n est pas, «à proprement parler», un outil métier d élaboration budgétaire, mais toutes les fonctions sont présentes pour le faire et nous avons eu l occasion de le vérifier pour avoir réalisé plusieurs applications de ce type, pour nos clients comme pour Smile, avec les notions de planification budgétaire, de ventilation par service ou par mois, de saisonnalité intégrée, de suivi des écarts par rapport au réel et de replanification en cours d'année. Le coté multi dimensionnel de Palo s'adapte également à une analyse de type ABC (Activity Based Costing). En version Premium, Palo propose également une brique appelée Supervision Server qui permet notamment de capter les événements/changements sur les cellules d'un cube et de déclencher des actions. Cette brique permet par exemple de garder une trace de tous les changements effectués dans une base de données séparée.

Page 51 WEKA Weka 13 est un outil permettant d'exécuter des algorithmes de data mining sur un ensemble de données. Il est ainsi possible d isoler des populations ou d extraire des règles à partir des données contenues dans le datawarehouse. Il se présente sous la forme d une application indépendante, disposant d une interface utilisateur graphique ou en ligne de commande. Au moment où nous écrivons ces lignes, Weka est disponible dans sa version 3.7. L utilisateur peut appliquer un à un les différents algorithmes, ou bien créer, d une façon similaire à PDI, un workflow de traitements qui pourra par exemple être utilisé dans une plateforme décisionnelle afin d analyser périodiquement les données. L utilisation de Weka demande de bonnes connaissances du data mining et des différents algorithmes statistiques utilisés. WEKA Prétraitement 13 http://www.cs.waikato.ac.nz/~ml/index.html

Page 52 WEKA Visualisation des données

Page 53 TALEND MDM Présentation Talend Master Data Management est une composante de la suite d'intégration de données open source Talend. Elle fournit une plateforme permettant d'intégrer, nettoyer, surveiller et publier les données référentielles d'une entreprise. En s'intégrant dans la suite ETL de Talend, Talend MDM permet de faire de l'échange en temps réel entre un référentiel de données et des bases d'application hétérogène. D'un point de vue technique, les données référentielles sont stockées dans une base de données XML exist db. Le serveur MDM Talend est une application JEE déployée dans un serveur JBoss donnant accès à de nombreux services Web. Du point de vue utilisateur, on dispose d'une application Web permettant d'interagir avec la base de données référentielle. Le studio de développement MDM s'intègre au sein du studio Talend. Il permet de modéliser ses données référentielles et d'y affecter des règles métiers.

Page 54 Studio MDM L'application est composée du studio MDM qui permet de modéliser les données référentielles. Talend MDM est un système de gestion de la donnée généraliste. Il n'est pas spécifiquement orienté produit ou tiers. A ce titre, il nécessite un travail de modélisation des données référentielles en amont. Dans le studio, une vue nous permet de définir le model. Un modèle est composé de plusieurs entities pouvant avoir des relations entre elles. Les possibilités de typages de champs sont nombreuses (entiers, décimaux, chaînes de caractère, URL, énumération, clé étrangère, etc.) et permettent de modéliser la donnée référentielle de façon très précise. Le studio permet également de créer un Data Contener qui contiendra une instance du modèle MDM dans laquelle on pourra charger des lignes de données référentielles en rapport avec notre model. Le studio permet enfin de définir différents triggers et process permettant d'appeler des jobs d'intégration de données Talend. Ceci permettra par exemple de contrôler la qualité des données avant sauvegarde (contrôle des doublons, validation de règles métiers, etc.) ou d'enrichir les données référentielles de façon automatique.

Page 55 MDM Web GUI L'application Talend MDM est ensuite composée d'une application Web permettant de mettre à disposition d'utilisateurs non techniques toutes les fonctionnalités de gestion de la donnée référentielle. Ces écrans permettront à l'utilisateur de visualiser et modifier les données référentielles. Des outils de reporting sont également à disposition afin de visualiser ces données, les filtrer, les regrouper par hiérarchies et les importer/exporter directement depuis l interface Web. La version 5 de Talend a permis l amélioration de l'interface de saisie de données référentielles ainsi que l amélioration des performances de la fonction de recherche : une recherche parmi toutes les données référentielles s'effectue désormais en moins d'une seconde.

Page 56 MDM Talend Components Enfin, le studio classique de Data Integration de Talend s'enrichit de composants orientés MDM permettant d effectuer l'intégration de données en entrée et en sortie de la base référentielle. Ces composants permettront de remplir et de faire vivre la base de données référentielle et de propager les données valides à l'ensemble du SI de l'entreprise. Les nouveaux composants MDM de la palette permettront d'insérer, de récupérer, de supprimer des données dans la base référentielle ou encore d'intercepter des modifications dans les données référentielles. MDM Entreprise La version Entreprise de Talend MDM est une version soumise à souscription et amenant de nombreuses fonctionnalités complémentaires par rapport à la version Community. La gestion des droits est notamment beaucoup plus poussée que dans la version Community. On peut définir des opérateurs qui auront le droit de manipuler les données référentielles. Les droits s'exerçant sur la donnée peuvent se définir tant au niveau des colonnes (quel utilisateur a le droit de visualiser/modifier quelles colonnes?) que des lignes (quelles valeurs d'une colonne a le droit de voir un utilisateur?).

Page 57 La console de DataStewardship permet un contrôle manuel des données avant leur entrée dans le référentiel. Elle permet d'affecter des lignes, candidates à une entrée dans le référentiel mais présentant une anomalie liée à la qualité de donnée, aux utilisateurs. Ceux ci pourront alors corriger la donnée manuellement et la valider afin qu elle puisse entrer dans le référentiel. Talend MDM Entreprise permet une intégration avec Bonita, moteur open source de workflow. Il est possible de soumettre des processus de modification de données référentielles à des utilisateurs avec différents niveaux d'approbation.

Page 58 LES SUITES DECISIONNELLES Depuis maintenant 6 ans, nous avons étudié puis mis en œuvre les principales plateformes décisionnelles open source. Chaque solution est une suite logicielle à part entière, composée des modules présentés ciavant, avec une logique d ensemble. Si les suites partageaient au début certains des composants open source que nous venons de présenter, et qu elles en partagent encore certains, les solutions décisionnelles open source ont maintenant tendance à se différentier afin d apporter chacune une réponse adaptée aux besoins des projets. PENTAHO BI SUITE Présentation Pentaho 14 est une suite logicielle qui permet la distribution de fonctionnalités et documents décisionnels à un grand nombre de personnes par l'intermédiaire d'une interface Web. Pentaho est proposé en version communautaire et en version entreprise soumise à souscription annuelle, avec des modules supplémentaires ainsi qu un support produit et projet, et des garanties de licences. Pentaho est un acteur clairement identifié et impliqué de l open source, qui a rallié dès le début des produits open source comme Kettle ou Mondrian et qui sait encore animer sa communauté, la diriger et au final se baser sur les développements communautaires pour les compléter et les intégrer dans sa version entreprise. Le dashboard designer est un bon exemple de cet ancrage dans la communauté open source. Ce module se base sur le «CDF» (Community Dashboard Framework), développé par la communauté et à destination de profils techniques. Sur la base de ce framework, l équipe Pentaho a développé une interface wysiwyg de configuration en mode Web, à destination cette fois ci des utilisateurs métiers. Le module end user est maintenant intégré dans la version entreprise. En parallèle, un projet communautaire, le Community Dashboard Editor 15, a vu le jour en 2009. 14 http://www.pentaho.com

Page 59 Fonctionnalités Pentaho permet, via une interface unique, l'accès aux différents composants décisionnels de la suite. Il est ainsi possible de consulter des rapports (conçus avec Pentaho Report Designer, BIRT ou ireport), d'utiliser les fonctions d'exploration multidimensionnelle de Mondrian, et de constituer des tableaux de bord. Lors de l ouverture d un document, l'utilisateur a la possibilité de modifier les paramètres d'exécution, par exemple en choisissant la période concernée ou les produits représentés. La plateforme permet également d'envoyer automatiquement par email un ensemble de rapports à leurs destinataires respectifs. Cet envoi se produisant soit périodiquement, soit à la demande. Interface utilisateur Il est possible d'utiliser les fonctionnalités de la plateforme Pentaho dans une application Web, un portail ou par l'appel de Web services. Pentaho inclut deux interfaces pour la présentation et l'exécution des différentes actions disponibles. Application Web L interface par défaut de Pentaho, donne accès de façon très simple à l ensemble des actions disponibles ainsi qu aux fonctions d administration. La sécurité y est largement implémentée, à tous les niveaux attendus : accès aux documents, droits d action sur les documents et également sécurité à la donnée selon la personne connectée, permettant qu un responsable d un pays ne verra par exemple que les données de son pays et non celles des autres. 15 http://code.google.com/p/cdf de/

Page 60 Application Web Pentaho BI Server 4.1 Cette interface constitue la façon la plus simple de mettre en place la plateforme Pentaho et elle sera donc bien souvent utilisée en priorité. Portail Depuis la version 2.0 et la disponibilité d une console utilisateur très ergonomique et multionglets, l intégration de Pentaho à un portail est beaucoup moins pertinente. Elle n ent reste pas moins possible, d une part par la large utilisation d iframes dans Pentaho, fonctionnement que l on peut dupliquer pour l intégration dans un portail, et d autre part par la disponibilité de portlets standards permettant d afficher des listes de rapports puis de les exécuter. L intégration de Pentaho à un portail implique également la mise en œuvre d un système de Single Sign On, avec la gestion des utilisateurs dans un référentiel externe, en général un annuaire LDAP, et le partage de jetons, via par exemple la solution open source CAS.

Page 61 Rapport Pentaho exécuté dans un portail Liferay Dans ce mode, la sécurité et la personnalisation de l interface sont gérés par le portail. Il est par exemple possible de choisir quels portlets seront affichés pour tel ou tel utilisateur. Comme avec l interface «classique», les informations utilisateur sont propagées jusqu aux actions Pentaho, ce qui permet de retourner des documents adaptés, profilés. Les portlets fournis par Pentaho sont à utiliser lorsqu on souhaite intégrer la plateforme dans des portails ou intranets d entreprise existants. Moteur de workflow Chaque fonctionnalité (génération de rapport, analyse) peut être appelée par l'exécution d'une séquence d actions, ou «xaction» dans le langage Pentaho. Un xaction est une succession d'étapes simples, telles que l'exécution d'une requête sur une base de données, la génération d'un état, l'envoi d'un mail ou l exécution d un job de PDI. Les traitements effectués dans ces actions peuvent être assez poussés, car il est possible de traiter séparément chaque élément d'un ensemble de résultats ou bien de réaliser des calculs spécifiques via l'exécution d'un programme javascript. Le moteur de workflow gère l'enchaînement des différentes étapes. Envoi d un état par email

Page 62 Chaque xaction est décrit par un simple fichier XML. Pentaho dispose d'un outil, Pentaho Design Studio, qui s'intègre dans l'environnement de développement Eclipse et permet d'assister à la création des fichiers xaction. Pentaho Design Studio Il faut noter que tous les composants décisionnels supportés par Pentaho peuvent constituer une étape du workflow, ce qui permet de combiner leurs fonctionnalités, et d'étendre très facilement les possibilités de la plateforme en développant de nouvelles étapes, jusqu à en faire si souhaité une véritable application métier. Planificateur Le planificateur utilisé est «Quartz» 16. Il permet de planifier n'importe quelle action Pentaho. Il est ainsi possible de créer une séquence d actions qui génère et envoie par mail un état, et de la planifier pour une exécution périodique. Le contrôle du planificateur (ajout, suspension et suppression des actions) peut s'effectuer soit directement en Web, soit en utilisant les étapes correspondantes dans une séquence d actions. Pentaho permet donc non seulement d'utiliser des outils décisionnels avec une interface unique, mais également de combiner leurs fonctionnalités et de les enrichir grâce à des traitements réalisés en amont et en aval de leur exécution. 16 http://www.opensymphony.com/quartz/

Page 63 Metadata Une des fonctionnalités importantes de la suite Pentaho réside dans le Pentaho Metadata Editor, qui permet de créer des «vues métier» de bases de données, les métamodèles, compréhensibles par les utilisateurs finaux. L utilisateur ne voit plus directement les tables de la base mais des regroupements d informations, retranscrites en français (ou en anglais ou en plusieurs langues selon les utilisateurs), potentiellement issus de plusieurs tables et affichés ensemble. Une fois ces vues métier définies, une interface Web leur permet de créer des requêtes sans passer par du langage SQL, en sélectionnant à l écran les champs à afficher, et les regroupements à effectuer. En version communautaire, c est le «Web Ad hoc Query Reporter» qui sera utilisé, avec une conception en quatre étapes successives, du choix du template au paramétrage des colonnes en passant par la sélection des champs à afficher. En version entreprise, vous pourrez utiliser l interface Interactive Reporting, dans laquelle vous pouvez positionner et configurer vos éléments directement sur le rapport, en glisser déposer et en mode wysiwyg. Le Metadata Editor enregistre le modèle sous le format «Common Warehouse Model», standard ouvert mais malheureusement peu partagé de description d entrepôt. Il est à noter que, au niveau de la conception du métamodèle, cette brique de la suite Pentaho n'a malheureusement pas énormément évoluée depuis la version 3. Il est difficile d'envisager de réaliser des modèles de très grande envergure comme ceux que l'on peut réaliser avec des outils propriétaires comme Business Object. Pentaho Metadata Editor

Page 64 Analyzer Analyzer est une interface Web de navigation multidimensionnelle pour le serveur Mondrian, disponible uniquement dans la version Enterprise de Pentaho. Les équipes de Pentaho ne l ont pas développée, mais Pentaho l a acquise à l éditeur LucidEra qui proposait son logiciel en SaaS mais qui a fait faillite. L opération financière est assez exceptionnelle dans la mesure où l outil de LucidEra fonctionnait déjà avec le serveur Mondrian de Pentaho, ce qui a permis une intégration à la version stable en moins d un mois, et que Pentaho a au passage récupéré les développeurs du produit. Analyzer permet de construire sa vue multidimensionnelle à la souris, par glisser déposer des dimensions et indicateurs, puis de filtrer/exclure des valeurs. Il permet aux utilisateurs métiers de créer des champs calculés, en saisissant la formule, donc sans limite de complexité. Bien que tous deux basés sur le moteur Mondrian, les fonctionnalités proposées par l Analyzer sont beaucoup plus nombreuses que celles proposées sur l outil JPivot. Pentaho Analyzer Avec cet Analyzer, Pentaho se tourne résolument vers les utilisateurs finaux et leur donne un outil d analyse à la fois simple d accès et très puissant.

Page 65 Dashboard designer Pentaho propose depuis la version 3 un «dashboard designer», permettant de créer des pages composites en mode Web. Pentaho a fait le choix d une mise en page avec des modèles prédéfinis, dans lesquelles les zones peuvent contenir des rapports existants ou de nouvelles requêtes ad hoc. Dans chaque zone, l utilisateur peut choisir d afficher une table, un graphique, un cube, un rapport, etc. Les tables et les graphiques peuvent être créés à partir du requêteur ad hoc, et on appréciera la qualité des graphiques proposés, réalisés en Flash. Tableau de bord en mode édition L utilisateur peut également définir des filtres qui s appliqueront à toutes les zones et obtenir des tableaux de bord comme suit :

Page 66 Tableau de bord en mode visualisation Pentaho Schema WorkBench Pentaho fournit une application de conception de cubes Mondrian. L application est une simple surcouche par rapport à l édition manuelle des fichiers XML : chaque balise est modifiable à l aide d un formulaire basique. Cette application n a pas de très forte valeur ajoutée, mais fera gagner un peu de temps aux développeurs, en leur évitant les erreurs de balises XML et en leur proposant au bon endroit les noms des tables de la base de données et leurs colonnes associées. Depuis la version 4 de Pentaho, en version entreprise uniquement, il est possible de développer ces schémas directement en Web. Un assistant nous aide à construire les différents éléments qui composent ce schéma. Toutefois, les options sont limitées et ne permettent pas de bénéficier pleinement de la puissance de l Analyzer. Il est donc souvent nécessaire de revenir au Schema Workbench ou d enrichir directement le fichier XML généré. Schema Workbench

Page 67 Pentaho Mobile L offre mobile de Pentaho, lancée en 2011, permet aux utilisateurs de consulter ou de créer leurs propres rapports, et intègre également la solution ad hoc et l Analyzer. Cette offre n est disponible que pour ipad et la création de tableaux de bord à la volée, basée sur Flash, n est du coup pas disponible. Communauté Le projet Pentaho est actuellement très actif et démontre l activité d un grand éditeur de logiciel. Plusieurs projets décisionnels open source tels que Kettle, Mondrian, Weka et JFreeReport ont rejoint le projet Pentaho, ce qui garantit une parfaite intégration et une évolution cohérente de l'ensemble. La communauté autour du projet est également dynamique comme en témoigne l'activité sur le forum Pentaho ainsi que les diverses contributions faites au projet par les utilisateurs. Conclusion Pentaho dans sa version 4.1 est une plateforme décisionnelle extrêmement complète et auto suffisante. Elle permet non seulement d utiliser les différents outils décisionnels open source depuis une interface unique et simple d utilisation, mais elle permet d étendre et de combiner leurs fonctionnalités grâce à l utilisation d un moteur de workflow. Elle est par ailleurs aujourd hui la seule suite à proposer l intégralité de la chaine de traitement décisionnel en version communautaire.

Page 68 SPAGOBI Présentation SpagoBI 17 est une plateforme décisionnelle développée par la société italienne Engineering Ingegneria Informatica 18. Cette plateforme est uniquement distribuée sous licence open source LGPL. C'est la seule suite entièrement open source. Au moment où nous écrivons ces lignes, SpagoBI Server est disponible dans sa version 3.3. Fonctionnalités SpagoBI permet d exécuter les rapports JasperReports (réalisés avec ireport) et BIRT. SpagoBI permet également l'analyse de données avec Mondrian/JPivot. SpagoBI comporte un composant d aide à la création de requêtes (Query By Example, QbE) qui permet à l utilisateur de sélectionner graphiquement les données à afficher de la base de production (pas obligatoirement d un entrepôt de données) puis d effectuer des tris, regroupements et sélections et d exporter le résultat. L'interface graphique de SpagoBI utilisait dans sa version 1.x le portail exo portal 19, ce qui apportait une charge supplémentaire dans l administration de la plateforme. La version 2.x permet de s en affranchir, même si l intégration à un portail reste possible. 17 18 19 http://spagobi.eng.it http://www.eng.it/ http://www.exoplatform.com/

Page 69 Interface utilisateur JPivot dans SpagoBI La solution prend en charge la sécurité, avec une gestion des rôles utilisateurs pour les pages et groupes de documents décisionnels. Des profils différents sont disponibles pour les utilisateurs, les développeurs et les administrateurs. Rapport BIRT dans SpagoBI

Page 70 Navigation dans l arborescence des documents Workflow de publication SpagoBI intègre la gestion du cycle de création, tests et validation des documents décisionnels (rapports, cubes multi dimensionnels ). Toutes ces opérations sont réalisées directement depuis l'interface d'administration. Il est possible de créer des états «brouillons» que seuls les développeurs pourront voir et tester, sans qu ils apparaissent dans l environnement des utilisateurs. Les différentes versions de chaque état et des fichiers attachés (gabarits, images,...) sont enregistrées et il est possible de revenir à une ancienne version à tout moment. Cette fonctionnalité permet de mettre à jour les documents décisionnels, sans avoir accès au serveur lui même, et de les tester dans des conditions réelles avant leur mise en production. Composants utilisés SpagoBI utilise plusieurs composants décisionnels open source : Rapports : JasperReports/iReport, BIRT Analyse : Mondrian, JPivot, JPalo Data mining : Weka

Page 71 ETL : Talend Open Studio La fonctionnalité de création de requêtes SQL (Query By Example) est développée spécifiquement par SpagoBI, de même que le moteur d affichage de KPI. Moteur KPI Intégration des données SpagoBI a sélectionné Talend comme l ETL de référence pour cette plateforme. Il est possible de déclencher et planifier des traitements de données directement depuis le portail. SpagoBI Studio Créé en 2009, SpagoBI Studio est un environnement de développement de rapports et de paramétrage des différents moteurs disponibles dans SpagoBI. Intégré à Eclipse, le Studio permet de créer un rapport avec BIRT ou JasperReports, puis de le déployer sur la plateforme Web SpagoBI d un simple clic, quand auparavant il fallait uploader le fichier généré sur la plateforme Web puis créer les listes de valeurs des paramètres.

Page 72 Le Studio permet également de créer plus simplement des tableaux de bord composites, des cartes géographiques, des cubes Cette nouvelle brique de SpagoBI a considérablement allégé le travail de création/paramétrage des documents décisionnels dans SpagoBI. SpagoBI Meta Meta est la couche sémantique sur laquelle s appuie SpagoBI pour ses moteurs de reporting. Meta permet de créer des «business models» au travers d un environnement Eclipse, sur lesquels s appuiera l interface QbE qui permettra ensuite aux utilisateurs de créer des requêtes et des rapports. Créé fin 2009, c est un composant en pleine évolution et qui palie un manque fonctionnel de SpagoBI tout en permettant aux utilisateurs de réaliser leur propre reporting, en toute autonomie. Communauté La communauté autour du projet SpagoBI reste moins importante que celle de Pentaho, mais son appartenance au consortium OW2 20 permet de créer une dynamique et un partage avec d autres modules et éditeurs open source. 20 http://www.ow2.org

Page 73 Conclusion SpagoBI est une plateforme décisionnelle complète, agrégatrice de composants décisionnels, qu ils soient développés en propre : KPI, Maps, QbE, ou issus d outils tiers : Mondrian/JPivot, BIRT, JasperReports, Weka, Microsoft SSRS Il existe même un connecteur pour des rapports Business Objects. SpagoBI a su dès le début proposer des fonctionnalités de gestion du système décisionnel, avec le versionnement, les workflows, les commentaires, la contextualisation, la gestion des utilisateurs et des droits ce qui en fait un outil très intéressant et très pratique en production.

Page 74 JASPERSOFT BI SUITE Présentation JasperServer 21 est la plateforme décisionnelle de JasperSoft, société qui développe également le générateur d états JasperReports, disponible depuis 2001. Cette plateforme propose des fonctionnalités de reporting et d analyse et est disponible sous deux licences : GPL et commerciale. Fonctionnalités On retrouve dans JasperServer toutes les fonctionnalités de JasperReports et JPivot/Mondrian, déjà présentées dans ce document. Les utilisateurs ont la possibilité de planifier eux même la génération des rapports, puis de recevoir le document par mail ou de le stocker dans un répertoire du référentiel. L interface n utilise pas de portail tiers contrairement aux autres plateformes. On dispose ici d une application Web développée spécifiquement qui permet de créer de nouvelles analyses, de publier de nouveaux documents, de gérer les comptes utilisateurs, leurs rôles, ainsi que les droits d accès aux différents répertoires et fichiers du référentiel. Visualisation d un rapport dans JasperServer 4.0 21 http://www.jaspersoft.com/

Page 75 Il est à noter que, pour les administrateurs, la publication et la modification des différents rapports est possible directement depuis ireport, l application de conception de rapports de JasperReports. Visualisation du référentiel décisionnel dans JasperSoft Composants utilisés Rapports : JasperReports Analyse : Mondrian et JPivot, sous le nom de JasperAnalysis Planificateur : Quartz ETL : Talend Open Studio, sous le nom de Jasper ETL. Il est peu probable que cette plateforme supporte d autres générateurs d états dans le futur. En effet, JasperSoft a tout intérêt à mettre en avant son propre outil de reporting. Domaines JasperSoft, dans ses versions payantes (Professionnal ou Enterprise), propose la création de domaines métiers, couches sémantiques et techniques au dessus des bases SQL relationnelles, permettant à la fois de définir un lexique métier et de s abstraire de la technique et du SQL.

Page 76 Une des particularités de JasperSoft est de proposer un outil de création de domaines en mode Web, donc très simplement accessible. Si cet outil n est pas graphique, il reste très pratique et permet plusieurs fonctions très avancées, comme la création de tables dérivées ou de champs calculés complexes. Création d un domaine Analyse ad hoc pour les utilisateurs finaux JasperServer, en versions professionnelle et entreprise, comporte des fonctionnalités supplémentaires par rapport à la version open source. Une différence majeure est l outil de création de rapports ad hoc en ligne (listes, graphiques ou tableaux croisés), accessible à tout utilisateur et s'appuyant sur les domaines.

Page 77 Les utilisateurs finaux ont ainsi la possibilité de créer en mode Web de nouveaux documents en quelques minutes grâce à une interface visuelle à base d assistants et de glisser déposer. L éditeur de tableaux croisés est particulièrement intéressant. Tout d abord, il permet de créer des cubes en mémoire sur n importe quelle base relationnelle, sans passer par un serveur OLAP. Ensuite, il permet aux utilisateurs de créer leurs filtres, valeurs calculées et autres manipulations classiques. Enfin, il est possible de programmer l exécution périodique de ce cube avec, par exemple, un envoi par email. Sans oublier que, pour simplifier la manipulation, Jasper propose de travailler uniquement sur un extrait des valeurs, c est à dire 100 lignes au lieu de toute la table. Tableaux croisés avec JasperServer ad hoc Depuis la version 4.2, Jasper a déployé un module d analyse OLAP, Jasper Analysis, qui permet la création des cubes en ligne de manière très intuitive. Création de cube avec JasperServer OLAP