Décisionnel : le meilleur des solutions. open source

Transcription

1 Page 1 Préambule

2 Page 2 PREAMBULE SMILE Smile est une société d ingénieurs experts dans la mise en œuvre de solutions open source et l intégration de systèmes appuyés sur l open source. Smile est membre de l APRIL, l association pour la promotion et la défense du logiciel libre, du PLOSS le réseau des entreprises du Logiciel Libre en Ile-de-France et du CNLL le conseil national du logiciel libre. Smile compte plus de 700 collaborateurs dans le monde, dont plus de 550 en France (avril 2013), ce qui en fait le premier intégrateur français et européen de solutions open source. Depuis 2000, environ, Smile mène une action active de veille technologique qui lui permet de découvrir les produits les plus prometteurs de l open source, de les qualifier et de les évaluer, de manière à proposer à ses clients les produits les plus aboutis, les plus robustes et les plus pérennes. Cette démarche a donné lieu à toute une gamme de livres blancs couvrant différents domaines d application. La gestion de contenus (2004), les portails (2005), la business intelligence (2006), la virtualisation (2007), la gestion électronique de documents (2008), les PGIs/ERPs (2008), les VPN open source (2009), les Firewall et Contrôle de flux (2009), les Middleware orientés messages (2009), l ecommerce et les Réseaux Sociaux d'entreprise (2010), le Guide de l open source et NoSQL (2011), et plus récemment Mobile et Recensement et audit (2012). Chacun de ces ouvrages présente une sélection des meilleures solutions open source dans le domaine considéré, leurs qualités respectives, ainsi que des retours d expérience opérationnels. Au fur et à mesure que des solutions open source solides gagnent de nouveaux domaines, Smile sera présent pour proposer à ses clients d en bénéficier sans risque. Smile apparaît dans le paysage informatique français comme le prestataire intégrateur de choix pour accompagner les plus grandes entreprises dans l adoption des meilleures solutions open source. Ces dernières années, Smile a également étendu la gamme des services proposés. Depuis 2005, un département consulting accompagne nos clients, tant dans les phases d avantprojet, en recherche de solutions, qu en accompagnement de projet. Depuis 2000, Smile dispose d un studio graphique, devenu en 2007 Smile Digital agence interactive, proposant outre la création graphique, une expertise e-marketing, éditoriale, et interfaces riches. Smile dispose aussi d une agence spécialisée dans la TMA (support et l exploitation des applications) et d un centre de formation complet, Smile Training. Enfin, Smile est implanté à Paris, Lille, Lyon, Grenoble, Nantes, Bordeaux, Marseille et Montpellier. Et présent également en Espagne, en Suisse, au Benelux, en Ukraine, au Maroc et en Côte d Ivoire.

3 Page 3 QUELQUES REFERENCES DE SMILE ERP et Décisionnel Veolia, LaPoste, ChristianLouboutin, Eveha, SunR, HomeCineSolutions, PubAudit, Effia, France24, Publicis, icasque, Nomadvantage, Gets, NouvellesFrontières, Anevia, Jus de Fruits de Mooréa, EspaceLoggia, Bureau Veritas, Skyrock, Lafarge, Cadremploi, Meilleurmobile.com, Groupe Vinci, IEDOM (Banque de France), Carrefour, Jardiland, Trésorerie Générale du Maroc, Ville de Genève, ESCP, Sofia, Faiveley Transport, INRA, Deloitte, Yves Rocher, ETS, DGAC, Generalitat de Catalunya, Gilbert Joseph, Perouse Médical, Société Générale, Solucom, Corsairfly, Virgin, Nexway, Sagem Gestion documentaire Generali, HEC, JCDecaux, Serimax, Pierre Audoin Consultant, Alstom Power services, NetasQ, CS informatique, SNCF - Direction du matériel, Mazars, EDF R&D, EDF Nucléaire, Conseil Régional du Centre, Leroy Merlin, Primagaz, Renault F1, INRIA, Ministère belge de la Communauté Française, APAVE, CNIL, Services du Premier Ministre... Sites Internet EMI Music, Salon de l Agriculture, Mazars, Areva, Société Générale, Gîtes de France, Patrice Pichet, Groupama, Eco-Emballage, CFnews, CEA, Prisma Pub, Véolia, NRJ, JCDecaux, 01 Informatique, Spie, PSA, Boiron, Larousse, Dassault Systèmes, Action Contre la Faim, BNP Paribas, Air Pays de Loire, Forum des Images, IFP, BHV, ZeMedical, Gallimard, Cheval Mag, Afssaps, Bénéteau, Carrefour, AG2R La Mondiale, Groupe Bayard, Association de la Prévention Routière, Secours Catholique, Canson, Veolia, Bouygues Telecom, CNIL Portails, Intranets et Systèmes d Information HEC, Bouygues Telecom, Prisma, Veolia, Arjowiggins, INA, Primagaz, Croix Rouge, Eurosport, Invivo, Faceo, Château de Versailles, Eurosport, Ipsos, VSC Technologies, Sanef, Explorimmo, Bureau Veritas, Région Centre, Dassault Systèmes, Fondation d Auteuil, INRA, Gaz Electricité de Grenoble, Ville de Niort, Ministère de la Culture, PagesJaunes Annonces E-Commerce Krys, La Halle, Gibert Joseph, De Dietrich, Adenclassifieds, Macif, Furet du Nord, Gîtes de France, Camif Collectivité, GPdis, Projectif, ETS, Bain & Spa, Yves Rocher, Bouygues

4 Page 4 Immobilier, Nestlé, Stanhome, AVF Périmédical, CCI, Pompiers de France, Commissariat à l Energie Atomique, Snowleader, Darjeeling Infrastructure et Hébergement Agence Nationale pour les Chèques Vacances, Pierre Audoin Consultants, Rexel, Motor Presse, OSEO, Sport24, Eco-Emballage, Institut Mutualiste Montsouris, ETS, Ionis, Osmoz, SIDEL, Atel Hotels, Cadremploi, SETRAG, Institut Français du Pétrole, Mutualité Française Consulter nos références, en ligne, à l adresse :

5 Page 5 CE LIVRE BLANC Après avoir pris l ascendant sur des marchés entiers, tels que la gestion de contenus, les portails, ou les frameworks de développement, l open source gagne des parts de marché dans les solutions d aide à la décision, avec des solutions aujourd hui très compétitives. Comme les autres livres blancs publiés par Smile, cet ouvrage s efforce de réunir : Une approche générale de l informatique décisionnelle, ses concepts, ses champs d application, ses besoins spécifiques. Un recensement des meilleurs outils open source dans le domaine du décisionnel. Une présentation assez complète de ces outils, de leurs forces, de leurs limites, de leur maturité et de leur aptitude à satisfaire des besoins opérationnels. Une présentation des offres de supports professionnels existantes en accompagnement de ces outils. Cette étude, réalisée par notre équipe de consultants décisionnels, a été fondée sur plusieurs années de travail de recherche, de déploiements effectifs, et est optimisée en permanence par le biais des mises en œuvre opérationnelles pour nos clients.

6 Page 6 VERSION 2013 Depuis la première publication de ce livre blanc en Juin 2006, chaque année a vu une nouvelle version, fruit du travail sur les projets et de veille sur les outils. Cette version 2013 permet de prendre en compte les apports des nouvelles versions de solutions open source : SpagoBI 3.6, Pentaho 4.8, JasperSoft BI 5.0, Jedox 4.0, Talend 5.2, BIRT 4.2. De nouvelles solutions font également leur apparition dans ce livre blanc : Saiku et CTools, deux projets open source portés par des communautés de plus en plus fortes. Le sujet du Big Data, pour le stockage et l analyse de grandes masses de données, a également été mis à jour.

7 Page 7 SOMMAIRE PREAMBULE... 2 SMILE... 2 QUELQUES REFERENCES DE SMILE... 3 CE LIVRE BLANC... 5 VERSION SOMMAIRE... 7 PRINCIPES... 9 L AIDE A LA DECISION... 9 GENERATEUR DE RAPPORTS OU REPORTING ANALYSE A LA DEMANDE OU AD HOC L ANALYSE MULTIDIMENSIONNELLE OU OLAP LA CONSOLIDATION DES DONNEES LES PRINCIPES DE L ETL LE TABLEAU DE BORD LE DATA MINING LE MASTER DATA MANAGEMENT (MDM) L ANALYSE DE DONNEES EN MASSE : BIG DATA TENDANCES LES COMPOSANTS DECISIONNELS PENTAHO DATA INTEGRATION TALEND ETL BIRT JASPERREPORTS / IREPORT PENTAHO REPORT DESIGNER PENTAHO ANALYSIS / MONDRIAN JPIVOT PALO WEKA LANGAGE R SAIKU C*TOOLS TALEND MDM LES SUITES DECISIONNELLES PENTAHO BI SUITE SPAGOBI JASPERSOFT BI SUITE PALO BI SUITE... 90

8 Page 8 SERVICES PROPOSES PAR LES EDITEURS CONCLUSION REMERCIEMENTS... 96

9 Page 9 PRINCIPES L AIDE A LA DECISION Vous sortez de la réunion trimestrielle de présentation des résultats commerciaux. Le chiffre d affaires a baissé en octobre. Pour y remédier, des décisions sont à prendre. Mais pour prendre la bonne décision, il faut savoir pourquoi le chiffre d affaires a baissé, et d abord comment il a baissé. Dans quelle gamme de produits? Dans quels pays, quelles régions? Dans le portefeuille de clientèle de quels commerciaux? Dans quel segment de distribution? N avait-on pas une baisse semblable en octobre chaque année? Les questions sont nombreuses, auxquelles il faut savoir répondre avant de prendre la bonne décision. On appelle «aide à la décision», ou bien «le décisionnel», ou encore «business intelligence», un ensemble de solutions informatiques permettant l analyse et le requêtage des données de l entreprise, afin d en dégager les informations qualitatives nouvelles qui vont fonder des décisions, qu elles soient tactiques ou stratégiques. Une entreprise moderne brasse dans son système d information d immenses volumes de données répartis dans plusieurs silos applicatifs. Mais bien souvent, du fait même de ces volumes trop importants et de l hétérogénéité des sources de données, il est très difficile de donner un sens à ces données, de comprendre ce qu elles expriment : des tendances sous-jacentes, des faiblesses ou des forces cachées, toutes choses que l on doit connaître afin de prendre de bonnes décisions. La BI, après réconciliation et consolidation des données sources, permet de restituer une vision large et unifiée de l'information d'entreprise.

10 Page 10 Ainsi, les outils d aide à la décision, avant d aider à la prise de décision, aident d abord à analyser les données afin d identifier les informations macroscopiques pertinentes cachées dans de grands volumes de données. GENERATEUR DE RAPPORTS OU REPORTING Un rapport est une présentation synthétique et lisible de données, généralement à des fins d impression ou d utilisation interactive. Le rapport fait apparaître des tableaux de chiffres avec en-têtes, pieds de pages, (soustotaux) et des graphiques illustrant une composition ou une tendance. Un générateur de rapports est un programme qui permet de définir un rapport selon ses besoins, avec un minimum de programmation, uniquement au moyen d une interface interactive. Une fois défini, le rapport peut être généré à échéance régulière. Un rapport peut être paramétrable : l année, le mois, la région, la branche d activité, etc. Ainsi, un même rapport qui aura été défini une fois, pourra être généré avec différentes variantes, selon le contexte d exécution et les valeurs de paramètres. Les paramètres du rapport pourront être renseignés par l utilisateur selon ses souhaits, et il pourra également faire varier ces paramètres afin d affiner sa recherche. Dans d autres cas, les paramètres sont définis automatiquement par des règles de gestion, par exemple pour adresser à chaque commercial le rapport de ses propres ventes du mois. On parle ici de rapports en rafale ou de «bursting». On peut distinguer deux phases dans la génération d un rapport : Une phase de conception initiale, qui requiert le plus souvent une expertise spécifique, et qui n est pas entre les mains de l utilisateur final ; Une phase de paramétrage et de production, qui ne requiert plus d expertise et qui peut être mise entre les mains de l utilisateur final. Bien sûr, on aimerait limiter la première phase, qui est la plus coûteuse, et mettre directement des outils de conception entre les mains des utilisateurs finaux. L expérience montre que c est possible avec l apport des outils de requêtage Ad hoc, dans la limite de restitutions peu complexes. ANALYSE A LA DEMANDE OU AD HOC Depuis 2007, des outils de reporting destinés aux utilisateurs finaux et dits «Ad hoc» sont apparus au sein des solutions BI open source. Ils permettent aux utilisateurs finaux de réaliser rapidement et simplement des rapports simples, sans connaissance technique, sans requérir de connaissance du langage SQL notamment.

11 Page 11 Ces outils sont très pratiques pour réaliser des rapports simples ou pour répondre à un besoin ponctuel d information. Les outils de restitution ad hoc permettent d'obtenir rapidement l'information présente dans un dictionnaire de données en langage naturel, et avec autonomie, apportant ainsi une abstraction au langage SQL de requêtage des bases de données que les utilisateurs ne sont pas censés connaître. Enfin, l analyse interactive ou ad hoc requiert d excellents temps de réponse, afin de permettre à l utilisateur d affiner petit à petit sa requête à partir des résultats obtenus. L ANALYSE MULTIDIMENSIONNELLE OU OLAP L analyse multidimensionnelle permet l analyse en masse de mesures suivant différents aspects métiers appelés dimensions ou axes d analyse. Considérons l entité élémentaire qu est la ligne de facture de vente. C est souvent une entité clé dans une entreprise, l information la plus fine dont on dispose par rapport aux processus de vente. La ligne de facture porte sur la vente d un produit à un client à une date (axes d analyse ; contexte d analyse), dans une quantité, des prix unitaires et totaux donnés (mesures). Sur le client lui-même, on possède d autres informations : pays, région, type de client, secteur de métier, etc. Par ailleurs, le client est peut-être affecté à un commercial. L information des axes peut être hiérarchisée : jour mois trimestre année produit catégorie de produit client secteur de métier. Nous nous arrêterons ici pour cet exemple, mais l on voit bien que l on peut pousser très loin cette collecte d information gravitant autour de l entité la plus élémentaire qu est la ligne de facture. Client Pays, région, secteur de métier, commercial affecté, Produit SKU, libellé, catégorie, Lignes de factures Quantité, prix unitaire, prix total Date de facturation Jour, mois, trimestre, année,

12 Page 12 La première étape est donc l identification des informations nécessaires à nos analyses. Ici, elles sont par exemple : Date (année, mois, jour, ), Produit (SKU, catégorie, ), Client (secteur de métier, pays, commercial attitré...), Lignes de commandes : Quantité, PU, CA. Les premières informations constituent les axes d analyse potentiels, la dernière, les grandeurs ou mesures à analyser. Dans l analyse multidimensionnelle, la modélisation relationnelle applicative des sources opérationnelles n est pas la plus pertinente, ni la plus efficace. On préfère généralement une modélisation en étoile et dénormaliser les axes, c est à dire travailler sur des tables dans lesquelles ont été rassemblées toutes les informations utiles. Dans notre cas, on obtient : Client Pays Commercial Castorama France Lepaul LeroyMerlin France Legrand On remarque bien sûr qu il y a de la redondance dans ce tableau, mais finalement il est plus utile ici de gérer de l information redondante mais simple et performante à sélectionner, et l on ne s occupe pas ici des problèmes de cohérence et d intégrité qui sont du domaine des systèmes d information opérationnels ou des systèmes d intégration de données (ETL). L étape suivante consiste à réaliser un premier niveau d agrégation, c est à dire à réunir certaines lignes. Dans notre cas, on peut faire par exemple l hypothèse que les données ne seront pas utilisées au niveau de la référence produit, mais uniquement par segment. Dans ce cas, on réunira toutes les lignes identiques pour la clé (date, segment, famille, client, pays, commercial), et l on pourra cumuler les grandeurs quantité et CA. La dernière étape est celle de l analyse multidimensionnelle proprement dite, qui consiste à sélectionner des axes d analyse. Parmi ces axes, on peut distinguer : Des axes à valeurs discrètes, ou discontinues, c est à dire qui portent un nombre fini de valeurs, par exemple un code postal, un segment CSP. Des axes à valeurs continues, typiquement une date, un prix. On peut les ramener à un nombre discret de valeurs en définissant des tranches : tranches de prix, tranches d âges.

13 Page 13 On distingue également : Des grandeurs cumulables, par exemple un montant, un nombre d items. Des grandeurs non cumulables, par exemple l âge ou la date. Les grandeurs cumulables sont celles qu il est pertinent d agréger, c est à dire dont on peut calculer la somme, (ou la moyenne ou d autres fonctions mathématiques), pour un sous-ensemble de lignes, par exemple pour chaque thématique. L analyse multidimensionnelle consiste donc à : Définir les axes d analyse que l on utilisera, et l ordre dans lesquels on les utilise. Par exemple : par région, puis par année, puis par vendeur, puis par gamme de produits. On n utilisera pas toujours tous les axes possibles. Définir la ou les mesures qui sont étudiées, et éventuellement la fonction d agrégation qu on applique à ces grandeurs (somme, moyenne, comptage ). Chaque hiérarchisation des axes d analyse correspond à une question que l on se pose.

14 Page 14 Par exemple une analyse par année, par vendeur vise à représenter l évolution du chiffre d affaires, puis à comparer les vendeurs chaque année écoulée. Une analyse par vendeur, par année vise avant tout à comparer les vendeurs ( ). LA CONSOLIDATION DES DONNEES Principes Les informations, les données, qui seront à la base du système décisionnel, proviennent souvent de multiples systèmes d information de l entreprise. Une application décisionnelle s appuie le plus souvent sur un entrepôt de données, un «datawarehouse», en puisant les données de plusieurs sources dans l entreprise. Il y a de nombreuses raisons à cette étape de consolidation : La centralisation : il serait très difficile, et parfois impossible, d accéder en temps réel aux données dans les différents systèmes où elles se trouvent : problèmes d interconnexions réseaux, de débits, mais également de disparités de protocoles et d interfaces. L unification : le datawarehouse réunit les données dans un système unique, avec un référentiel et une terminologie communs, une modélisation unifiée, et des interfaces d accès identiques. Il permet de créer des liens entre des données à l origine hétérogènes. Les ressources informatiques : les applications décisionnelles peuvent être gourmandes en CPU, disque, mémoire, et les systèmes en place ne sont pas dimensionnés pour supporter ces nouveaux traitements. La spécialisation : les applications décisionnelles ont des besoins spécifiques qui ne pourront être satisfaits par les systèmes en place dans l entreprise. Le datawarehouse est une base de données de consolidation, souvent une base relationnelle relativement standard, mais qui doit accueillir et manipuler de gros volumes d information. Cela peut être une base de données open source (MySQL, PostgreSQL, ) ou une base propriétaire (Oracle, SQL-Server).

15 Page 15 Le datawarehouse concentre de l information décisionnelle issue de différents systèmes d information de l entreprise. Organisation Comme évoqué précédemment, cette nouvelle base de données au sein de l entreprise n est pas créée pour les bienfaits d une application opérationnelle directement liée à l activité de l entreprise (ex : système comptable, base de données RH, base de données des commerciaux ). Le datawarehouse ne va stocker que les informations clefs de l entreprise et ne sera dédié qu aux requêtes d analyse et de reporting. L entreprise pourra ainsi analyser ces données sans diminuer les performances de ses outils de production courants. La base décisionnelle va être modélisée dans le but de faciliter les «requêtes». On parle de modélisation décisionnelle en flocon ou en étoile. Les tables ne vont être reliées que par un seul champ clef afin d aider aux performances de requêtes et certaines informations de type «liste de valeurs» vont être répétées de multiples fois dans les tables de dimension. Comme toute modélisation de base de données, cette étape est cruciale dans la réussite d un projet décisionnel. La modélisation doit être évolutive afin de facilement recevoir de nouveaux domaines fonctionnels («datamarts») à l avenir et assurer une réelle pérennité à l entreprise en historisant un grand nombre d informations.

16 Page 16 Le datawarehouse se doit d avoir une durée de vie plus longue que les outils de production. En effet, eux peuvent évoluer, voire être remplacés. Dans ce cas, le datawarehouse assure la mémoire de l entreprise, et seules les interfaces de chargement de ce datawarehouse seront mises à jour. LES PRINCIPES DE L ETL Afin d alimenter le datawarehouse à partir des différentes applications de l entreprise, on utilise une gamme d outils appelés ETL, pour «Extract, Transform, Load». Comme le nom l indique, ces outils permettent d extraire des données à partir de différentes sources, de les transformer (format, dénomination), et de les charger dans la base de données cible, ici le datawarehouse. Les transformations confiées à un ETL sont souvent simples, mais elles peuvent, dans certains cas, inclure des traitements procéduraux, de véritables programmes spécifiques. Un ETL permet d éviter la réalisation de programmes batch répétitifs, souvent semblables, dont il faudra également assurer la maintenance. Le principe est que l intégration d un nouveau flux de données ne requiert aucun développement, et s opère par une simple configuration interactive : on choisit les éléments de données dans le référentiel source, on indique les transformations simples qu ils doivent subir, et on précise la destination de la donnée dans le datawarehouse. L ETL peut prendre en charge différentes natures de sources de données, tant en entrée qu en sortie, les principales étant bien sûr les SGBD relationnels, les flux XML, les fichiers à formats fixes ou avec séparateurs (CSV), mais il peut s agir également de Web Services, de fichiers Excel, d annuaires,... Une fois qu un flux d extraction-transformation-chargement a été défini, il est généralement déclenché de manière régulière, ceci sous le contrôle d un outil de planification de tâches, ou bien d ordonnancement. Un ETL traite généralement des flux de point à point, c est à dire entre une source unique et une destination unique. L ETL a vocation à travailler en différé, souvent la nuit. Un datawarehouse enregistrant par nature une succession de «photos» de l activité de l entreprise, l ETL va permettre d alimenter le datawarehouse d une «photo» supplémentaire. Une fois l alimentation terminée, les données ainsi chargées deviennent statiques et sont alors mises à la disposition des utilisateurs.

17 Page 17 LE TABLEAU DE BORD Un tableau de bord est une forme particulière de rapport : particulièrement synthétique : tout doit tenir sur une feuille A4, ou sur un écran d ordinateur ; le plus souvent composite, c est à dire présentant plusieurs indicateurs, qui ensemble offrent une représentation complète de l activité de l entreprise ; souvent personnalisé, c est à dire que chaque acteur consulte un tableau de bord qui concerne son activité. On parle de Key Performance Indicators (KPI), des indicateurs clés. Ce sont les indicateurs qui sont présentés dès la page d accueil d un portail décisionnel. Selon les cas, le tableau de bord peut se suffire à lui-même, ou bien être le point d entrée vers des analyses affinées, des tableaux de bord secondaires, ou bien des accès en drilldown. On utilise parfois également le terme de Executive Information System, ou EIS, pour faire référence à un système décisionnel spécifiquement destiné à la Direction Générale, et donc présentant des informations stratégiques très consolidées. LE DATA MINING Le data mining consiste à rechercher des informations statistiques utiles cachées dans un grand volume de données. Dans le reporting et l analyse multidimensionnelle, l utilisateur sait ce qu il cherche : il cherche par exemple la décomposition du chiffre d affaires par région. Il ne sait pas encore quelle est cette décomposition, mais il sait du moins en quoi elle consiste, et qu elle est une connaissance pertinente pour son travail. Dans le data mining, l utilisateur est à la recherche d une information statistique cachée qu il n identifie pas encore : tendance, corrélation, similitude, etc. Typiquement, une analyse des tickets de caisse d un hypermarché peut faire apparaître des corrélations

18 Page 18 entre achats de produits. Certaines auront une explication simple (rasoirs et mousse à raser par exemple), d autres seraient insoupçonnées. Il convient bien sûr de valider de tels résultats, car la corrélation observée peut ne pas traduire une relation de cause à effet, mais être fortuite, ou bien résulter d une cause cachée, ayant l un et l autre des phénomènes comme conséquences conjointes. Les outils de data mining recherchent donc, de manière semi-automatisée, des corrélations, des règles statistiques, au travers de grands volumes de données, en s aidant parfois d une restitution graphique de ces règles, qui fera apparaître par exemple des nuages de points sur une représentation axiale des données. LE MASTER DATA MANAGEMENT (MDM) Les systèmes d informations sont généralement composés de plusieurs applications, de conception hétérogènes. Le maintien d'une cohérence des données référentielles dans plusieurs sources d'informations différentes peut s'avérer complexe, notamment dans de grandes organisations. La gestion des données référentielles, le master data management, vise à assurer la cohérence des données de référence émanant de différentes sources de données au sein d'une organisation. Le MDM a pour objectif d'améliorer la qualité et de pérenniser les données référentielles dans l'entreprise à tous les niveaux du système d'information. Concrètement, ceci passe par la réduction du risque d'erreur (contrôle de la qualité, de l'unicité et de la fiabilité de l'information) en mettant en place un référentiel et en centralisant la gestion du cycle de vie de la donnée. Le MDM est particulièrement pertinent pour les entreprises du secteur de l'industrie et de la distribution. En effet, la gestion des référentiels produits et tiers sont deux cas typiques où la mise en place d'une solution MDM est adaptée. Les outils de MDM, qu'ils soient open source ou pas, impliquent des véritables projets de mise en place d'un référentiel d'entreprise, relativement complexe à mettre en place car faisant intervenir différents services de l'entreprise qu'il va falloir faire dialoguer.

19 Page 19 Même si les solutions open source existantes sont encore relativement jeunes, il est fort à parier que celles-ci vont se développer dans les prochaines années tant la problématique de maintien d'un référentiel est au cœur de l'exploitation et de la pérennisation de l'information, base du décisionnel.

20 Page 20 L ANALYSE DE DONNEES EN MASSE : BIG DATA Chaque jour, la quantité de données créées et manipulées ne cesse d augmenter, et ce quel que soit le secteur d activité concerné. Ces données sont issues de sources multiples : opérations commerciales ou financières, blogs, RFID, réseaux de capteurs, réseaux sociaux, téléphonie, indexation Internet, parcours de navigation, détails d'appels, e-commerce, dossiers médicaux, etc. Les gestionnaires de base de données et les outils BI n ont initialement pas été créés afin de manipuler une telle quantité de données, et il peut donc devenir compliqué et improductif pour les entreprises d accéder à ces masses de données avec les outils classiques. Ces «données en masse» ont une ou plusieurs des caractéristiques suivantes : une très grande volumétrie de données, généralement de l ordre du téraoctet ou pétaoctet, une grande variété du niveau de structure des données, des données très rapides et changeantes. Cette nouvelle problématique a donné naissance aux systèmes de gestion de base de données appelés «NoSQL», qui ont fait le choix d abandonner certaines fonctionnalités des SGBD classiques au profit de la simplicité, la performance et de la scalabilité. Des frameworks comme Hadoop ont également été créés et permettent, déployés en complément des BDD relationnelles ou multidimensionnelles, le requêtage et la manipulation de ces données en masse. Il est donc devenu primordial pour les outils BI de développer des composants permettant de communiquer avec ces nouveaux logiciels. C est notamment les cas des ETL Pentaho Data Integration et Talend qui disposent de connecteurs spécifiques pour les bases suivantes : Traitement : Hadoop MapReduce, Hive, Stockage : Cassandra, HBase, MongoDB. C est également le cas des outils de reporting ou d analyse avec des connecteurs spécifiques. Vous trouverez notamment nos articles sur notre blog : BIRT et Cassandra 1, Pentaho Report Designer / ireport et Hive 2, Pentaho Report Designer / ireport et Hbase 3, 1 JDBC

21 Page 21 Pentaho Report Designer / ireport et Cassandra 4. TENDANCES Le décisionnel open source était jusqu en 2006 constitué de composants écrits en Java dédiés à des fonctions spécifiques : édition de rapports, analyse OLAP, ETL Ces composants open source étaient écrits et maintenus par des communautés qui se sont progressivement professionnalisées. La tendance à la professionnalisation de l open source décisionnel qui s'est dessinée ces dernières années se poursuit aujourd hui. L approche open source est devenue un «business model» à la fois déjà en place et très prometteur, sur lequel les investisseurs misent, avec la possibilité grâce à l open source de créer rapidement des acteurs d envergure mondiale. Il est quand même remarquable de voir qu en 2008 et 2012, années économiquement perturbées où les financements sont devenus très rares et très exigeants, à la fois Pentaho et JasperSoft ont pu lever des fonds significatifs. Ces éditeurs ont vocation à proposer des suites décisionnelles complètes sur lesquels ils ont la maîtrise de la technologie : le paysage décisionnel open source s est recomposé autour des grandes suites que nous analysons ci-après. 4

22 Page 22 LES COMPOSANTS DECISIONNELS Avant de s orienter vers la création de solutions décisionnelles complètes, les projets open source se concentraient chacun sur un point bien précis du décisionnel. Ainsi, les projets BIRT ou JasperReports permettent de composer et générer des rapports, et les projets Mondrian et Saiku permettent de présenter des données sous forme multidimensionnelle. Certaines plateformes décisionnelles open source se basent sur ces composants déjà bien rodés et les intègrent de façon à constituer une solution homogène, dans laquelle toutes les fonctionnalités sont disponibles dans un cadre unique et rendues interopérables. Dans cette partie, nous allons présenter les principaux composants décisionnels disponibles en open source, que l on peut regrouper dans les catégories suivantes : ETL : Pentaho Data Integration (ex Kettle), Talend Open Studio. Designer de rapport : BIRT, JasperReport (ireport) et Pentaho Report Designer. Analyse : Mondrian, JPivot, Palo, Saiku. Data mining : Weka. MDM : Talend MDM.

23 Page 23 PENTAHO DATA INTEGRATION Présentation Pentaho Data Integration (PDI) est un ETL open source qui permet de concevoir et exécuter des opérations de manipulation et de transformation de données. Grâce à un modèle graphique à base d étapes, il est possible de créer sans programmation des processus composés d imports et d exports de données, et de différentes opérations de transformation, telles que des conversions, des jointures, l application de filtres, ou même l exécution de fonctions Javascript. PDI, initialement connu sous le nom de Kettle, est devenu open source à partir de la version 2.2 et a rapidement intégré le projet de plateforme décisionnelle Pentaho 5 (voir plus loin dans ce livre blanc) qui l a renommé depuis en Pentaho Data Integration. Au moment où nous écrivons ces lignes, Pentaho Data Integration est disponible dans sa version De nouvelles fonctionnalités sont apparues facilitant notamment le partage d un référentiel entre plusieurs développeurs, l utilisation de métadonnées dans les transformations (afin de personnaliser une transformation rapidement) et permettant de se connecter à toujours plus de systèmes de bases de données ou types de fichiers. Dans sa version Entreprise Edition, Pentaho, l'éditeur de PDI, propose de suivre l exécution des transformations ETL via la console d'administration, en mode Web. Cette version propose en outre un référentiel Entreprise, qui permet le versionnement des développements. PDI propose un module appelé Agile BI permettant au développeur ETL de valider directement les données en affichant des restitutions dans PDI, sous forme de rapports ou d analyses OLAP. Ce module n'est pas libre mais est mis à disposition gratuitement par Pentaho. Les analyses OLAP sont basées sur Pentaho Analyzer (le client OLAP disponible en version Enterprise) et les rapports s appuient sur l assistant de création de rapport du Pentaho Report Designer (le Report Wizard). 5

24 Page 24 Module AgileBI de Pentaho Data Integration Afin de répondre à la problématique du Big Data, PDI propose des composants dédiés à la solution Apache Hadoop 6, qui permettent le traitement de très gros volumes de données de façon parallèle, via notamment l accès à des bases de données de type Amazon S3 et HIVE. Pentaho prend également en charge nativement les sources de données NoSQL émergentes les plus utilisées, dont mongodb, HPCC et les données issues de très grandes sources XML. 6

25 Page 25 Fonctionnalités PDI permet de créer deux types de processus : Les transformations : traitements effectués au niveau d'une ou plusieurs bases de données comprenant des opérations de lecture, de manipulation et d'écriture. C est à ce niveau que sont manipulées les données. Les tâches : traitements de plus haut niveau, combinant des actions telles que l'exécution d'une transformation PDI, l'envoi d'un mail, le téléchargement d'un fichier ou le lancement d'une application. Il est possible d'exécuter des actions différentes en fonction de la réussite ou de l'échec de chaque étape. Le rôle d une tâche est donc d orchestrer les différents traitements. PDI est notamment utilisable avec un référentiel partagé. Ainsi, plusieurs développeurs peuvent utiliser des objets communs. Ce référentiel est stocké au sein d une base de données relationnelle. Le développeur peut donc facilement s'y connecter et changer de référentiel à sa guise. PDI peut se connecter sur un grand nombre de bases de données, dont Oracle, Sybase, MySQL, PostgreSQL, Informix, SQLServer et bien d autres, et peut également utiliser des données provenant de fichiers texte, XML et Excel. PDI dispose de : détecteur de présence de fichier et lecture de répertoire, connecteurs en lecture et écriture avec des dimensions/cubes MOLAP Palo, connecteur LDAP et lecture fichier LDIF, connecteur SalesForce (lecture), liste des plug-ins disponibles sur : on+plug-ins. Les transformations et les tâches sont créées par glisser-déposer des différentes étapes du processus. Des assistants sont disponibles à chaque étape et permettent par exemple de générer automatiquement les requêtes de lecture et de création de tables.

26 Page 26 Les applications PDI se compose de 3 applications : Exemple de transformation Spoon : environnement graphique de création et d'exécution de transformations et de tâches. Pan : application en ligne de commande permettant de lancer l'exécution d'une transformation donnée. Kitchen : application en ligne de commande permettant de lancer l'exécution d'une tâche donnée. Pan et Kitchen sont essentiellement utilisés afin de planifier l exécution des transformations et des tâches. En installant seulement le très léger outil Pan sur plusieurs serveurs, les traitements lancés par PDI vont pouvoir être exécutés sur plusieurs serveurs simultanément. On parle dans ce cas d exécution en mode grappe. Vous avez ainsi le moyen de maitriser le temps de fonctionnement de vos traitements lorsque vos «fenêtres» de nuit sont réduites. Planification Il est généralement souhaitable que des transformations ou tâches créées avec PDI s'exécutent périodiquement. C'est notamment le cas pour les tâches de synchronisation ou de création d'entrepôts de données. PDI, en version entreprise, intègre un planificateur de tâche. Avec la version communautaire, l'exécution repose alors sur un système externe, tel que les planificateurs de tâches de Windows ou d'unix.

27 Page 27 Utilisation Dans le contexte du décisionnel, PDI va servir à constituer un datawarehouse, en réalisant l'import des données depuis différentes sources, leur consolidation et leur mise en forme. L'utilisation de PDI présente plusieurs avantages par rapport à des solutions à base de scripts : la création de flux de données complexes est extrêmement simple, la maintenance est beaucoup plus aisée car tous les flux de données sont visibles d'un simple coup d'œil dans une interface unique et centralisée. PDI pourra également trouver sa place dans tout projet non décisionnel qui a besoin d'exécuter périodiquement des traitements sur certaines données ou des synchronisations entre différentes bases. Exemple Détaillons les étapes nécessaires pour la création et le lancement d'une synchronisation entre 2 tables contenues dans des bases différentes : 1. Déposer un objet «Extraction depuis table» dans l'espace de travail. 2. Éditer l'objet «Extraction depuis table», choisir la source de données et la table concernée. Une requête SQL est générée automatiquement mais elle peut être modifiée librement. 3. Déposer un objet «Insertion dans table» dans l'espace de travail. 4. Lier ces 2 objets. 5. Éditer l'objet «Insertion dans table», choisir la source de données et le nom de la table. Kettle prend en charge la création d'une nouvelle table ou la modification d'une table existante, à la demande, en utilisant les informations transmises par les étapes précédentes. 6. Lancer l exécution de la synchronisation.

28 Page 28 Exécution d'une Transformation dans Spoon Conclusion PDI est un outil efficace pour réaliser rapidement tout type de traitements sur des bases de données. Nécessaire dans la plupart des projets décisionnels, il sera également très utile dans tout projet utilisant des bases de données et demandant des opérations de synchronisation ou d'export. PDI a l avantage d être performant, simple d utilisation, entièrement open source et d être intégré à la suite décisionnelle Pentaho présentée plus loin.

29 Page 29 TALEND ETL Présentation Talend Open Studio 7 est un ETL open source, développé par la société Talend, basée en France. Talend est un ETL de type «générateur de code», c est-à-dire qu il permet de créer graphiquement des processus de manipulation et de transformation de données puis de générer l exécutable correspondant sous forme de programme Java. Ce programme doit ensuite être déployé sur le serveur d exécution. Talend est l ETL utilisé par les solutions SpagoBI et JasperSoft (où il est renommé en Jasper ETL). Au moment où nous écrivons ces lignes, Talend Open Studio est disponible dans sa version Définition de processus Les processus de manipulation de données sont créés en utilisant un modèle graphique à base de glisser-déposer. Des connecteurs sont disponibles pour se connecter aux principales bases de données, annuaires, Web Services, ainsi que pour traiter différents types de fichiers (CSV, Excel, XML). Talend dispose de fonctionnalités inédites pour un ETL open source : les étapes ELT (Extract Load Transform), qui tirent parti de la base de données cible pour les différentes opérations, ce qui améliore grandement les performances au prix de possibilités plus limitées. des connecteurs pour des applications de CRM (SugarCRM, SalesForce, Vtiger et CentricCRM ) et des ERP (Sage X3, SAP, Microsoft Dynamics, OpenBravo), ce qui évite de manipuler les modèles relationnels de ces outils. des composants d'interactions avec des systèmes de gestion de workflow et de BPM (Bonita). des composants dédiés à la problématique Big Data, qui permettent de s interfacer avec ce type de données (système de fichier Hadoop, base de données Hbase, Cassandra, accès Hive et Pig, etc). possibilité d ajouter simplement de nouvelles fonctions et composants afin de réaliser des processus plus complexes, de développer des connecteurs supplémentaires. On notera que Talend facilite la construction des requêtes sur les bases de données en détectant les relations entre tables grâce aux clés étrangères et en proposant une interface «à la Access». 7

30 Page 30 Exemple de processus d intégration de données Modèles métier Affectation et modification de valeurs Talend permet également de créer un modèle métier (Business Model) afin de modéliser les interactions entre les différents systèmes et bases de données.

31 Page 31 Les informations de connexion, les métadonnées, ainsi que des documents, peuvent être associés à chaque élément. Le modèle constitue alors une véritable documentation du système d information. Modèle métier Ce mode est désormais complété avec un générateur de documentation technique permettant aux développeurs de gagner du temps dans l étape souvent négligée des spécifications techniques. Gestion des contextes Talend permet de gérer différents contextes d exécutions et de les appliquer aux connexions et transformations. Le même processus peut donc s exécuter en environnement de développement, de test ou de production, avec à chaque fois l utilisation des bonnes connexions aux bases de données et des bonnes métadonnées. Déploiement des processus Une fois le programme généré, celui-ci est installé par un administrateur sur la machine cible et son exécution est planifiée en utilisant le service cron d Unix ou les tâches planifiées de Windows selon le cas. Avec la version TIS/TEDI (Talend Integration Suite / Talend Enterprise Data Integration), sont proposés un gestionnaire d ordonnancement des traitements et une exécution distante «Distant Run», permettant à Talend de parfaitement s intégrer dans des environnements professionnels industrialisés. A travers la console de supervision en mode client Java ou en mode Web, les personnes chargées de l exploitation des interfaces disposent de tableaux de bord synthétisant la bonne ou mauvaise exécution des traitements.

32 Page 32 Conclusion Talend Open Studio est un produit complet. Talend a noué des partenariats avec de nombreuses sociétés éditrices de solutions décisionnelles ou de bases de données, ce qui renforce sa position de leader sur le marché. Depuis 2012, Talend a complété son offre avec un nouvel outil «Talend ESB». Ce nouvel outil vient compléter l'offre de l'éditeur avec un bus d entreprise basé sur des technologies Open Source. Son offre s'articule donc aujourd'hui autour de cinq domaines : L'intégration de données, Data Integration et Big Data, La qualité de données, Data Quality, L Enterprise Service Bus, Talend ESB, Moteur de workflow, Talend BPM. La gestion de données référentielles, Master Data Management. Notons que Talend propose une suite «Talend Plateform for Enterprise Integration», soumise à souscription annuelle, qui comprend des fonctionnalités très avancées comme la gestion des déploiements complexes, la supervision des exécutions et la gestion de référentiels partagés. Comme PDI, Talend sera avantageusement utilisé dans des projets décisionnels mais trouvera également sa place dans des projets d urbanisation de systèmes d information, permettant d uniformiser les modes d échanges entre les différentes applications de l entreprise.

33 Page 33 BIRT Présentation BIRT 8 (The Business Intelligence and Reporting Tool) est un projet de la communauté Eclipse comprenant un générateur de graphiques, un générateur de rapport et un environnement de conception. Au moment où nous écrivons ces lignes, BIRT est disponible dans sa version Le projet a été initié par la société Actuate 9, qui commercialise une offre de business intelligence intégrant BIRT et qui a adopté la licence open source pour BIRT. Générateur de rapports Le moteur de BIRT est une bibliothèque qui permet de générer des rapports (paramétrés ou non) au format HTML, PDF, XLS, DOC ou PPT. Ces rapports peuvent être complexes et contenir plusieurs tableaux, graphiques avancés et images. BIRT propose également la réalisation de tableaux croisés. Les données affichées peuvent provenir de bases et de requêtes différentes. Exemple de rapport BIRT Le moteur de BIRT peut être intégré dans toute application développée avec le langage Java, que ce soit dans une application Web ou dans une application de type «client lourd». Il est notamment possible d'intégrer nativement les rapports BIRT aux plateformes BI Pentaho et SpagoBI

34 Page 34 Exécution d'un rapport BIRT dans Pentaho Exécution d'un rapport BIRT dans SpagoBI

35 Page 35 Conception des rapports Création de rapport BIRT BIRT dispose d'un outil de conception de rapports, qui permet de créer et modifier les rapports de façon graphique, en déposant des éléments (tableaux, tableaux croisés, graphiques) dans un rapport vierge. Cet outil s'intègre sous forme de plug-in dans l'outil de développement Eclipse 10 mais peut être également utilisé comme une application autonome. La définition d'un rapport étant au final simplement un fichier XML, il est également possible, mais beaucoup plus long et peu conseillé, de créer des rapports sans passer par cet outil. Seuls les bilingues XML/français s'y risqueront. La création d'un rapport passe par plusieurs étapes : La définition des sources de données : une ou plusieurs sources de données (bases de données compatibles JDBC, fichiers texte, fichier xls) peuvent être ajoutées au rapport. La définition des jeux de données : un jeu de données est un ensemble d'informations destinées à être mises en forme par un tableau ou un graphique. C'est concrètement le résultat d'une requête SQL plus ou moins complexe sur une source de données. L'utilisateur dispose d'un assistant afin de faciliter la création de cette requête, et il peut de plus combiner différentes sources de données hétérogènes en les liant sur une clé commune. Le placement des éléments : les éléments de base (tableaux, listes, graphiques, images,...) sont insérés dans le rapport par «glisser-déposer». 10

36 Page 36 La configuration : un jeu de données est associé à chaque élément et les paramètres de rendu sont modifiés. La prévisualisation : une option de prévisualisation permet de lancer la génération du rapport. Public visé L'outil de conception de rapports de BIRT s'adresse en premier lieu à des développeurs, car il est nécessaire de créer des jeux de données en utilisant des requêtes SQL. Il est cependant possible de rendre BIRT accessible à des utilisateurs finaux ayant un profil moins «technique», en utilisant certaines fonctionnalités qui permettent de contourner les étapes les plus complexes. Dans un premier temps, il est possible de créer des bibliothèques de ressources contenant les éléments de base permettant de créer un nouveau rapport : les sources de données, la feuille de style de l'entreprise et un ensemble de jeux de données. Ces éléments peuvent être incorporés dans un nouveau rapport par un simple glisserdéposer. L'utilisateur pourra par la suite créer ses propres jeux de données en réalisant des jointures de jeux de données existants. Par exemple, si la bibliothèque contient les jeux de données clients (liste détaillée des clients) et ventes (liste des ventes incluant une référence vers le client, le produit ), l'utilisateur pourra facilement créer un jeu de données 'ventes par client' (liste détaillée des ventes pour chaque client). Il pourra ensuite ajouter des colonnes calculées et filtrer les résultats via un assistant. Conclusion BIRT est un outil de reporting très complet, qui permet de créer rapidement des rapports complexes et de maîtriser sa mise en page. Il bénéficie du support de la très active communauté Eclipse.

37 Page 37 JASPERREPORTS / IREPORT Présentation JasperReports 11 est un moteur de rapport développé par la société JasperSoft 12 et distribué sous une licence open source. ireport est l'éditeur de rapport de JasperSoft. Au moment où nous écrivons ces lignes, JasperSoft et ireport sont disponibles dans leur version 5.0. Les rapports générés sont des fichiers XML et peuvent également être créés et modifiés manuellement. Ces outils existent depuis 2001 et sont déjà largement utilisés dans de nombreuses applications métiers pour leur partie reporting. Générateur de rapport Le moteur JasperReports permet la génération de rapports au format PDF, HTML, XML, CSV, RTF, XLS et TXT. Il utilise JFreeChart afin de générer les graphiques et peut être intégré dans toute application développée avec le langage Java. Il supporte, en tant que source de données, les bases de données classiques ainsi que les serveurs d analyse multidimensionnelle, ce qui permet d exploiter les possibilités du serveur Mondrian directement dans un rapport JasperReports. Conception des rapports Rapport réalisé avec JasperReports La conception des états se fait soit par description XML soit par outil graphique (ireport). Bien évidemment, nous vous recommandons d utiliser l interface graphique

38 Page 38 Les rapports sont décomposés en bandes dans lesquelles les éléments graphiques sont déposés. Chaque bande a un comportement spécifique et apparaît une ou plusieurs fois. Un rapport exécute une itération sur un jeu de données principal. Certaines bandes sont affichées avant ou après l ensemble des données de l état, d autres le sont une fois pour chaque élément du jeu de données. Les différentes bandes disponibles sont : titre du rapport, affiché au début de la première page, en-tête de la page, affiché au début de chaque page, en-tête des colonnes, affiché avant les données, détails, répétés pour chaque élément des données, fin des colonnes, affichée après l ensemble des données, pied de page, affichée en bas de chaque page, dernière page, affiché dans la dernière page, page de résumé, conclut le rapport. Afin de créer des rapports plus riches, il est possible d utiliser des jeux de données secondaires dans certains éléments, comme les graphiques et les tableaux, ou d insérer des états secondaires, les sous-rapports. Interface graphique : ireport Il existait plusieurs outils de conception graphique pour les états JasperReports mais, depuis que l éditeur JasperSoft a développé la suite décisionnelle, ireport, l outil de l éditeur, a supplanté les autres outils qu étaient Jasper Assistant et JasperPal.

39 Page 39 ireport 13 est donc l'outil de conception d états officiel de JasperReports et se présente sous la forme d'une application Java dédiée. Il supporte la quasi-totalité des fonctionnalités de JasperReports (tableaux, tableaux croisés, graphiques) et dispose également d'une extension dédiée à l'administration de la plate-forme décisionnelle de JasperSoft. L'interface et le mode de fonctionnement des rapports JasperReports destinent principalement ireport à des spécialistes. Conclusion ireport 5.0 JasperReports est le moteur de génération d états le plus répandu dans le monde open source. On constatera que toutes les plateformes décisionnelles permettent son utilisation. Son principal défaut reste un relatif manque d intuitivité des différents éditeurs graphiques, ce qui limite leur utilisation aux développeurs. 13

40 Page 40 PENTAHO REPORT DESIGNER Présentation JFreeReport a rejoint le projet Pentaho début Au fur et à mesure, le nom JFreeReport a été abandonné au profit de Pentaho Report Designer (PRD). PRD permet de développer des rapports complexes et, en association avec la plateforme Pentaho, de les publier directement sur le serveur décisionnel. Au moment où nous écrivons ces lignes, PRD est disponible dans sa version Exécution de rapports PRD supporte les formats PDF, HTML, CSV, Excel, RTF et Texte. Notons que les rapports ne sont diffusés et exécutés qu en mode Web, affichant obligatoirement des données à jour. Les rapports ne sont jamais diffusés et exécutés par les utilisateurs finaux avec le client lourd ; il ne peut donc pas y avoir de problème de rafraîchissement des données, comme on peut l observer dans d autres solutions propriétaires. Depuis la version 3.8 de Pentaho Report Designer, un cache d exécution de rapport existe. Ceci évite de ré-exécuter la requête qui alimente le rapport à chaque fois que l'utilisateur choisit de «pré-visualiser» le rapport, ce qui augmente grandement la productivité du développeur. Rapport réalisé avec Pentaho Report Designer Pentaho Report Designer est un outil de conception graphique similaire, dans l esprit, à ireport ou même à Crystal Report, avec la notion de «bandes» pour les zones répétées de la page (en-tête, en-tête de groupe, ligne, bas de page, )

41 Page 41 Depuis la version 1.7, PRD, maintenant en version 3.8.3, s est considérablement enrichi et s intègre nativement dans la suite avec la publication simplifiée sur le Web des rapports conçus. Les rapports sont définis en XML, lisibles et pouvant même être manipulés par programmation simple. Ils sont empaquetés, avec les requêtes et les éventuels sousrapports, dans une archive d extension.prpt, interprétée par le serveur Web de la suite Pentaho. Il est par ailleurs possible de générer des rapports en masse en utilisant l ETL Pentaho Data Integration, dans lequel on retrouve une étape de génération de rapports faisant appel au fichier prpt conçu avec PRD. Dès l ouverture de l outil Pentaho Report Designer, une page d accueil guide l utilisateur vers les étapes indispensables de création du rapport : Un assistant, le Report Wizard, permet d établir une nouvelle connexion mais également de se connecter à un métamodèle (dictionnaire de données) de Pentaho :

42 Page 42 Il s agit ici d une avancée importante dans les outils de reporting open source et PRD a été le premier, fin 2007, à permettre à un utilisateur de créer un rapport sans aucune connaissance SQL. Plusieurs fonctions sont également disponibles afin de réaliser des opérations courantes comme le comptage d occurrences dans un regroupement ou des fonctions de conversions de format. Ces fonctions sont présentées, regroupées par thème, dans une bibliothèque. Chaque attribut de chaque élément peut être associé une formule, permettant ainsi d avoir un contenu totalement dynamique et dépendant de critères que vous avez définis : selon tel paramètre j affiche ou non tel élément, selon telle valeur je colore le fond de mon élément en vert ou en rouge, etc.

43 Page 43 Conclusion Rapport dans Pentaho Report Designer Pentaho Report Designer est un outil simple à manipuler, bien intégré à la suite décisionnelle Pentaho pour la gestion des paramètres ou la publication sur la plateforme Web. On regrettera cependant que la fonction de tableaux croisés soit absente de PRD. Cette fonctionnalité présente dans d'autres solutions de reporting est prévue pour la version 4.0 de PRD. Cette future version complétera les fonctionnalités de Pentaho Report Designer pour en faire un outil de reporting abouti.

44 Page 44 PENTAHO ANALYSIS / MONDRIAN Mondrian 14 est un serveur OLAP (On Line Analytical Processing) ou «moteur OLAP» disponible sous licence open source EPL (Eclipse Public Licence). Au moment où nous écrivons ces lignes, Pentaho Analysis est disponible dans sa version 3.5. Il fait partie de la catégorie des serveurs «R-OLAP», c'est-à-dire qu'il accède à des données contenues dans une base relationnelle. Mondrian exécute des requêtes utilisant le langage MDX, également utilisé par d autres moteurs OLAP, tel que celui de Microsoft SQL Server. Ce langage permet de créer des requêtes dont l équivalent en langue SQL nécessiterait un grand nombre de requêtes et des temps d exécution beaucoup plus longs. Mondrian est particulièrement puissant et permet d optimiser les temps de réponse en utilisant des tables d'agrégats, créées au préalable, mais permet également de réaliser des calculs complexes, en comparant des éléments sur la dimension temps ou en gérant des hiérarchies récursives dissymétriques. Mondrian est utilisé avec les clients Saiku, JPivot, JPalo, ou Pentaho Analyzer (présentés ci-après), outils qui proposent une interface graphique Web de consultation et manipulation des données. Pentaho a, il y a plusieurs années, acquis et intégré une nouvelle interface de navigation OLAP sur Mondrian, nommée Analyzer, se démarquant clairement au niveau de l ergonomie de l ancienne interface JPivot. Le projet Mondrian ainsi que son fondateur Julian Hyde ont rejoint le projet Pentaho sous le nom de Pentaho Analysis. Mondrian est utilisé par Pentaho, JasperSoft et SpagoBI. 14

45 Page 45 JPIVOT JPivot 15 est un client OLAP disposant d'une interface Web. Il permet de représenter un cube OLAP sous forme de tableau croisé multidimensionnel et d'effectuer les opérations classiques d'analyse (drill down, drill up, rotations, filtres...) de façon interactive. JPivot permet également d'afficher un graphique correspondant aux données présentées en tableau, qui est mis à jour au fur et à mesure de l'exploration. Il est possible d exporter tableau et graphique sous forme de fichier PDF imprimable ou de document Excel afin de réutiliser les données obtenues. L'interface utilisateur peut être facilement modifiée via l'utilisation de feuilles de styles (CSS et XSL). Tableau JPivot (Web) JPivot va permettre aux utilisateurs d explorer les cubes, mais également de réaliser un drill-though, c est-à-dire d afficher les lignes de données à l origine d un chiffre consolidé (par exemple les N lignes de factures de janvier du produit A sur la région R ). 15

46 Page 46 Drill through dans JPivot JPivot est une interface assez ancienne, souvent remplacée par Saiku ou des composants fournis dans les versions «Enterprise». Le couple Mondrian/JPivot est disponible dans les suites Pentaho Community Edition, JasperSoft et SpagoBI.

47 Page 47 PALO Palo 16 est une base de données multidimensionnelle et en mémoire développée en C et distribuée sous licence GPL par la société Jedox 17. Palo fait partie de la catégorie M-OLAP (Multidimensional OLAP) : toutes les données sont chargées en mémoire et non dans une base de données relationnelle. Les données sont calculées à la volée, ce qui lui permet d'obtenir de très bons temps de réponse. Au moment où nous écrivons ces lignes, Palo est disponible dans sa version 3.2 (Community) et 4.0 SR1 en version Premium. La version 5 est prévue pour le milieu de l année La base Palo est accessible depuis le tableur Microsoft Excel ou OpenOffice Calc avec un plugin, ce qui permet de naviguer dans les données multidimensionnelles directement dans les feuilles de calcul tant appréciées des utilisateurs. Navigation dans un cube Palo dans Excel Cette intégration permet de tirer parti des fonctionnalités natives de tableurs et graphiques d'excel pour la couche de présentation, les données affichées étant toujours stockées dans la base Palo et non pas dans Excel

48 Page 48 Tableau de bord dans MsExcel, constitué avec Palo Palo n'est cependant pas limité à Excel et dispose d'api vers les langages Java et PHP. Palo peut ainsi être interrogé depuis d'autres applications, telles que Palo Eclipse Client (JPalo) ou bien évidement les autres composants de la suite Jedox Palo, tels que Palo Web, un tableur en mode Web. Dans le cadre d'un projet décisionnel, Palo va devoir utiliser les données de l'entreprise : contrairement à Mondrian qui travaille directement sur une base relationnelle, les données doivent être importées dans la base de données Palo. Des API sont fournies et permettent d'écrire dans les cubes M-OLAP depuis les langages C, Java, PHP et.net. De plus, un ETL est fourni par Jedox afin d alimenter cette base, et les ETL open source Pentaho Data Integration et Talend Open Studio disposent de connecteurs vers Palo. On notera qu'il est également possible, depuis Excel, d'importer les données à partir d'un fichier texte ou d'une connexion ODBC mais cette solution n'est évidemment pas adaptée à l'import automatisé d'un grand nombre de données. Palo propose de plus une fonctionnalité différenciante et très intéressante : la possibilité de modifier les valeurs d un cube. Par exemple, les valeurs peuvent être gérées selon différents scénarios : valeur budgétée, valeur réelle, valeur révisée, ce qui permet de construire une application de saisie décentralisée et de consolider le tout in fine, ou à l inverse de saisir des données globales et de les ventiler selon la méthode choisie. Conclusion Palo n est pas, «à proprement parler», un outil métier d élaboration budgétaire, mais toutes les fonctions sont présentes pour le faire et nous avons eu l occasion de le vérifier pour avoir réalisé plusieurs applications de ce type, pour nos clients comme pour Smile, avec les notions de planification budgétaire, de ventilation par service ou par mois, de saisonnalité intégrée, de suivi des écarts par rapport au réel et de replanification en cours d'année.

49 Page 49 Le coté multi-dimensionnel de Palo s'adapte également à une analyse de type ABC (Activity Based Costing). En version Premium, Palo propose également une brique appelée Supervision Server qui permet notamment de capter les événements/changements sur les cellules d'un cube et de déclencher des actions. Cette brique permet par exemple de garder une trace de tous les changements effectués dans une base de données séparée.

50 Page 50 WEKA Weka 18 est un outil permettant d'exécuter des algorithmes de data-mining sur un ensemble de données. Il est ainsi possible d isoler des populations ou d extraire des règles à partir des données contenues dans le datawarehouse. Il se présente sous la forme d une application indépendante, disposant d une interface utilisateur graphique ou en ligne de commande. Au moment où nous écrivons ces lignes, Weka est disponible dans sa version 3.7. L utilisateur peut appliquer un à un les différents algorithmes, ou bien créer, d une façon similaire à PDI, un workflow de traitements qui pourra par exemple être utilisé dans une plateforme décisionnelle afin d analyser périodiquement les données. L utilisation de Weka demande de bonnes connaissances du data-mining et des différents algorithmes statistiques utilisés. WEKA - Prétraitement 18

51 Page 51 WEKA - Visualisation des données

52 Page 52 LANGAGE R R est un langage de programmation mathématique, largement répandu chez les statisticiens mais également utilisé pour réaliser du data mining. Sous licence GNU GPL, c'est aujourd'hui un projet majeur au sein de la communauté GNU. La richesse de R vient des nombreux paquets mis à disposition librement par la communauté, qui permettent ainsi d'accéder à toute sorte d'analyses, modèles, et algorithmes statistiques. Ces extensions permettent aussi de se connecter à différents types de bases de données, comme PostgeSQL ou MySQL. De nombreuses librairies graphiques sont également disponibles pour exploiter le résultat des analyses effectuées. Enfin, des interfaces graphiques sont disponibles pour exploiter le langage R, notamment RStudio ou Rattle, tous deux open source.

53 Page 53 Site web de R :

54 Page 54 SAIKU Présentation Saiku est une solution de navigation multidimensionnelle, de création et de partage de rapports, intégrable au serveur Pentaho BI dès la version communautaire. Elle est composée de deux outils : Saiku Analytics pour l'analyse OLAP, Saiku Reporting pour la création de rapports en ligne (les rapports Ad-Hoc). Développé par Analytical-Labs, Saiku est utilisé par une vaste communauté mondiale en pleine croissance. Son interface, simple et intuitive, est basée sur le glisser-déposer de métadonnées à partir d un dictionnaire en langage naturel. Les résultats de requêtes ou d analyse peuvent être exportés dans les formats PDF, Excel,... Les analyses et rapports conçus peuvent également être enregistrés pour être ré exécutés au besoin. Saiku-Analytics Saiku Analytics propose des fonctionnalités plus riches que celles proposées par l'outil JPivot et constitue un outil d'analyse moderne et flexible sur la plateforme Pentaho. L outil permet de visualiser et analyser les données d un cube OLAP dans un tableau croisé ou un graphique en glisser-déposer à partir du modèle OLAP défini. Intégration de Saiku Analytics dans Pentaho BI Server Il est même possible d intégrer des micrographiques au sein du tableau croisé afin d illustrer des tendances.

55 Page 55 La version de base peut d'ailleurs être enrichie avec un plugin complémentaire, Saiku Chart Plus 19, qui ajoute de nouveaux types d'illustration graphiques à Saiku Analytics ainsi que de la cartographie. Techniquement, Saiku Analytics utilise le moteur Mondrian et le pilote OLAP4J pour récupérer les informations à partir d'une source de données et les restituer dans le navigateur ou les exporter. 19

56 Page 56 Exemples de visualisations graphiques de données avec Saiku Analytics

57 Page 57 Saiku-Reporting Saiku Reporting 20, quant à lui, est une interface de création de rapports en mode Wysiwyg ; l utilisateur visualise directement le résultat du rapport au fur et à mesure de sa construction. La composition se fait en glisser-déposer des métadonnées en langage naturel comme colonnes, regroupements et filtres. L outil permet également d ajouter facilement des totaux et sous-totaux aux mesures. Saiku-Reporting utilise le même moteur de génération de rapport que la version entreprise de Pentaho. Ces différentes options permettent aux utilisateurs métiers de créer leurs rapports Ad- Hoc avec une totale autonomie et de visionner ainsi rapidement leurs données. Il remplace avantageusement le module WAQR (Web Ad Hoc Query and Reporting) non maintenu par Pentaho. Intégration de Saiku Reporting dans Pentaho BI Server 20

58 Page 58 C*TOOLS Présentation Les C*Tools regroupent un ensemble d'outils permettant la mise en place de tableaux de bord sur le serveur Pentaho BI en version communautaire. Ces outils sont développés par Pedro Alves (de WebDetails) et Ingo Klose (TimoCom Soft) afin de permettre la création de tableaux de bord très riches. Avec l'outil d'édition CDE (Community Dashboard Editor), les C*Tools permettent la publication de tableaux de bord très riches sur le serveur Pentaho BI via un assistant de création graphique web. Il est à noter que ces outils d élaboration de tableaux de bord s'adressent essentiellement à des utilisateurs techniques, contrairement au Dashboard Designer de la version entreprise. Pentaho BI OS enrichi des modules CTools et BIRT permet l élaboration et la publication de tableaux de bords modernes et intuitifs.

59 Page 59 Exemple de tableau de bord élaboré avec un module CTools pour Pentaho BI OS

60 Page 60 TALEND MDM Présentation Talend Master Data Management est une composante de la suite d'intégration de données open source Talend. Elle fournit une plateforme permettant d'intégrer, nettoyer, surveiller et publier les données référentielles d'une entreprise. En s'intégrant dans la suite ETL de Talend, Talend MDM permet de faire de l'échange en temps réel entre un référentiel de données et des bases d'application hétérogène. D'un point de vue technique, les données référentielles sont stockées dans une base de données XML exist-db. Le serveur MDM Talend est une application J2EE déployée dans un serveur JBoss donnant accès à de nombreux services Web. Du point de vue utilisateur, on dispose d'une application Web permettant d'interagir avec la base de données référentielle. Le studio de développement MDM s'intègre au sein du studio Talend. Il permet de modéliser ses données référentielles et d'y affecter des règles métiers. Studio MDM L'application est composée du studio MDM qui permet de modéliser les données référentielles. Talend MDM est un système de gestion de la donnée généraliste. Il n'est pas spécifiquement orienté produit ou tiers. A ce titre, il nécessite un travail de modélisation des données référentielles en amont. Dans le studio, une vue nous permet de définir le model. Un modèle est composé de plusieurs entities pouvant avoir des relations entre elles.

61 Page 61 Les possibilités de typages de champs sont nombreuses (entiers, décimaux, chaînes de caractère, URL, énumération, clé étrangère, etc.) et permettent de modéliser la donnée référentielle de façon très précise. Le studio permet également de créer un Data Contener qui contiendra une instance du modèle MDM dans laquelle on pourra charger des lignes de données référentielles en rapport avec notre model. Le studio permet enfin de définir différents triggers et process permettant d'appeler des jobs d'intégration de données Talend. Ceci permettra par exemple de contrôler la qualité des données avant sauvegarde (contrôle des doublons, validation de règles métiers, etc.) ou d'enrichir les données référentielles de façon automatique. MDM Web GUI L'application Talend MDM est ensuite composée d'une application Web permettant de mettre à disposition d'utilisateurs non techniques toutes les fonctionnalités de gestion de la donnée référentielle. Ces écrans permettront à l'utilisateur de visualiser et modifier les données référentielles.

62 Page 62 Des outils de reporting sont également à disposition afin de visualiser ces données, les filtrer, les regrouper par hiérarchies et les importer/exporter directement depuis l interface Web. La version 5 de Talend a permis l amélioration de l'interface de saisie de données référentielles ainsi que l amélioration des performances de la fonction de recherche : une recherche parmi toutes les données référentielles s'effectue désormais en moins d'une seconde. MDM Talend Components Enfin, le studio classique de Data Integration de Talend s'enrichit de composants orientés MDM permettant d effectuer de l'intégration de données en entrée et en sortie de la base référentielle. Ces composants permettront de remplir et de faire vivre la base de données référentielle et de propager les données valides à l'ensemble du SI de l'entreprise.

63 Page 63 Les nouveaux composants MDM de la palette permettront d'insérer, de récupérer, de supprimer des données dans la base référentielle ou encore d'intercepter des modifications dans les données référentielles. MDM Entreprise La version Entreprise de Talend MDM est une version soumise à souscription et amenant de nombreuses fonctionnalités complémentaires par rapport à la version Community. La gestion des droits est beaucoup plus poussée que dans la version Community. On peut définir des opérateurs qui auront le droit de manipuler les données référentielles. Les droits s'exerçant sur la donnée peuvent se définir tant au niveau des colonnes (quel utilisateur a le droit de visualiser/modifier quelles colonnes?) que des lignes (quelles valeurs d'une colonne a le droit de voir un utilisateur?). La console de DataStewardship permet un contrôle manuel des données avant leur entrée dans le référentiel. Elle permet d'affecter des lignes, candidates à une entrée dans le référentiel mais présentant une anomalie liée à la qualité de donnée, aux utilisateurs.

64 Page 64 Ceux-ci pourront alors corriger la donnée manuellement et la valider afin qu elle puisse entrer dans le référentiel. Talend MDM Entreprise permet une intégration avec Bonita, moteur open source de workflow. Il est possible de soumettre des processus de modification de données référentielles à des utilisateurs avec différents niveaux d'approbation.

65 Page 65 LES SUITES DECISIONNELLES Depuis maintenant 6 ans, nous avons étudié puis mis en œuvre les principales plateformes décisionnelles open source. Chaque solution est une suite logicielle à part entière, composée des modules présentés ci-avant, avec une logique d ensemble. Si les suites partageaient au début certains des composants open source que nous venons de présenter, et qu elles en partagent encore certains, les solutions décisionnelles open source ont maintenant tendance à se différentier afin d apporter chacune une réponse adaptée aux besoins des projets. PENTAHO BI SUITE Présentation Pentaho 21 est une suite logicielle qui permet la distribution de fonctionnalités et documents décisionnels à un grand nombre de personnes par l'intermédiaire d'une interface Web. Pentaho est proposé en version communautaire et en version entreprise soumise à souscription annuelle, avec des modules supplémentaires ainsi qu un support produit et projet et des garanties de licences. Pentaho est un acteur clair et impliqué de l open source, qui a rallié dès le début des produits open source comme Kettle ou Mondrian et qui sait encore animer sa communauté, la diriger et au final se baser sur les développements communautaires pour les compléter et les intégrer dans sa version entreprise. Le dashboard designer est un bon exemple de cet ancrage dans la communauté open source. Ce module se base sur le «CDF» (Community Dashboard Framework), développé par la communauté et à destination de profils techniques. Sur la base de ce framework, l équipe Pentaho a développé une interface Wysiwyg de configuration en mode Web, à destination cette fois-ci des utilisateurs métiers. Le module end-user est maintenant intégré dans la version entreprise. En parallèle, un projet communautaire, le Community Dashboard Editor 22, a vu le jour en Aujourd hui ce sont les projets Ctools qui ont le vent en poupe. Fonctionnalités Pentaho permet, via une interface unique, l'accès aux différents composants décisionnels de la suite

66 Page 66 Il est ainsi possible de consulter des rapports (conçus avec Pentaho Report Designer, BIRT ou ireport), d'utiliser les fonctions d'exploration multidimensionnelle de Mondrian, et de constituer des tableaux de bord. Lors de l ouverture d un document, l'utilisateur a la possibilité de modifier les paramètres d'exécution, par exemple en choisissant la période concernée ou les produits représentés. La plateforme permet également d'envoyer automatiquement par un ensemble de rapports à leurs destinataires respectifs. Cet envoi se produisant soit périodiquement, soit à la demande. Interface utilisateur Il est possible d'utiliser les fonctionnalités de la plateforme Pentaho dans une application Web, un portail ou par l'appel de Web-services. Pentaho inclut deux interfaces pour la présentation et l'exécution des différentes actions disponibles. Application Web L interface par défaut de Pentaho, donne accès de façon très simple à l ensemble des actions disponibles ainsi qu aux fonctions d administration. La sécurité y est largement implémentée, à tous les niveaux attendus : accès aux documents, droits d action sur les documents et également sécurité à la donnée selon la personne connectée, permettant qu un responsable d un pays ne verra par exemple que les données de son pays et non celles des autres. Cette interface constitue la façon la plus simple de mettre en place la plateforme Pentaho et elle sera donc bien souvent utilisée en priorité.

67 Page 67 Portail Application Web Pentaho BI Server 4.8 Depuis la version 2.0 et la disponibilité d une console utilisateur très ergonomique et multi-onglets, l intégration de Pentaho à un portail est beaucoup moins pertinente, voire même inutile. Elle n est reste pas moins possible, d une part par la large utilisation d iframes dans Pentaho, fonctionnement que l on peut dupliquer pour l intégration dans un portail, et d autre part par la disponibilité de portlets standards permettant d afficher des listes de rapports puis de les exécuter. L intégration de Pentaho à un portail implique également la mise en œuvre d un système de Single Sign On, avec la gestion des utilisateurs dans un référentiel externe, en général un annuaire LDAP, et le partage de jetons, via par exemple la solution open source CAS. Rapport Pentaho exécuté dans un portail Liferay

68 Page 68 Dans ce mode, la sécurité et la personnalisation de l interface sont gérés par le portail. Il est par exemple possible de choisir quels portlets seront affichés pour tel ou tel utilisateur. Comme avec l interface «classique», les informations utilisateur sont propagées jusqu aux actions Pentaho, ce qui permet de retourner des documents adaptés, profilés. Les portlets fournis par Pentaho sont à utiliser lorsqu on souhaite intégrer la plateforme dans des portails ou intranets d entreprise existants. Moteur de workflow Chaque fonctionnalité (génération de rapport, analyse) peut être appelée par l'exécution d'une séquence d actions, ou «xaction» dans le langage Pentaho. Un xaction est une succession d'étapes simples, telles que l'exécution d'une requête sur une base de données, la génération d'un état, l'envoi d'un mail ou l exécution d un job de PDI. Les traitements effectués dans ces actions peuvent être assez poussés, car il est possible de traiter séparément chaque élément d'un ensemble de résultats ou bien de réaliser des calculs spécifiques via l'exécution d'un programme javascript. Le moteur de workflow gère l'enchaînement des différentes étapes. Chaque «xaction» est décrit par un simple fichier XML. Pentaho dispose d'un outil, Pentaho Design Studio, qui s'intègre dans l'environnement de développement Eclipse et permet d'assister à la création des fichiers xaction. Il faut noter que tous les composants décisionnels supportés par Pentaho peuvent constituer une étape du workflow, ce qui permet de combiner leurs fonctionnalités, et d'étendre très ENVOI D'UN ETAT PAR MAIL facilement les possibilités de la plateforme en développant de nouvelles étapes, jusquà en faire si souhaité une véritable application métier.

69 Page 69 Planificateur Pentaho Design Studio Le planificateur utilisé est «Quartz» 23. Il permet de planifier n'importe quelle action Pentaho. Il est ainsi possible de créer une séquence d actions qui génère et envoie par mail un état, et de la planifier pour une exécution périodique. Le contrôle du planificateur (ajout, suspension et suppression des actions) peut s'effectuer soit directement en Web, soit en utilisant les étapes correspondantes dans une séquence d actions. Pentaho permet donc non seulement d'utiliser des outils décisionnels avec une interface unique, mais également de combiner leurs fonctionnalités et de les enrichir grâce à des traitements réalisés en amont et en aval de leur exécution. Metadata Une des fonctionnalités importantes de la suite Pentaho réside dans le Pentaho Metadata Editor, qui permet de créer des «vues métier» de bases de données, les métamodèles, compréhensibles par les utilisateurs finaux. L utilisateur ne voit plus directement les tables de la base mais des regroupements d informations, retranscrites en français (ou en anglais ou en plusieurs langues selon les utilisateurs), potentiellement issus de plusieurs tables et affichés ensemble. 23

70 Page 70 Une fois ces vues métier définies, une interface Web leur permet de créer des requêtes sans passer par du langage SQL, en sélectionnant à l écran les champs à afficher, et les regroupements à effectuer. En version communautaire, c est le «Web Ad hoc Query Reporter» qui sera utilisé, avec une conception en quatre étapes successives, du choix du template au paramétrage des colonnes en passant par la sélection des champs à afficher. En version entreprise, vous pourrez utiliser l interface Interactive Reporting, dans laquelle vous pouvez positionner et configurer vos éléments directement sur le rapport, en glisser-déposer et en mode Wysiwyg. Le Metadata Editor enregistre le modèle sous le format «Common Warehouse Model», standard ouvert mais malheureusement peu partagé de description d entrepôt. Pentaho Metadata Editor Il est à noter que, au niveau de la conception du métamodèle, cette brique de la suite Pentaho n'a malheureusement pas énormément évoluée depuis la version 3. Il est difficile d'envisager de réaliser des modèles de très grande envergure comme ceux que l'on peut réaliser avec des outils propriétaires comme Business Object. Analyzer Analyzer est une interface Web de navigation multidimensionnelle pour le serveur Mondrian, disponible uniquement dans la version Enterprise de Pentaho. Les équipes de Pentaho ne l ont pas développée, mais Pentaho l a acquise à l éditeur LucidEra qui proposait son logiciel en SaaS mais qui a fait faillite. L opération financière est assez exceptionnelle dans la mesure où l outil de LucidEra fonctionnait déjà avec le serveur Mondrian de Pentaho, ce qui a permis une intégration à la version stable en moins d un mois, et que Pentaho a au passage «récupéré» les développeurs du produit. Analyzer permet de construire sa vue multidimensionnelle à la souris, par glisser-déposer des dimensions et indicateurs, puis de filtrer/exclure des valeurs. Il permet aux utilisateurs métiers de créer des champs calculés, en saisissant la formule, donc sans limite de complexité. Bien que tous deux basés sur le moteur Mondrian, les fonctionnalités proposées par l Analyzer sont beaucoup plus nombreuses que celles proposées sur l outil JPivot.

71 Page 71 Pentaho Analyzer Avec cet Analyzer, Pentaho se tourne résolument vers les utilisateurs finaux et leur donne un outil d analyse à la fois simple d accès et très puissant. Dashboard designer Pentaho propose depuis la version 3 un «dashboard designer», permettant de créer des pages composites en mode Web. Pentaho a fait le choix d une mise en page avec des modèles prédéfinis, dans lesquelles les zones peuvent contenir des rapports existants ou de nouvelles requêtes ad hoc. Dans chaque zone, l utilisateur peut choisir d afficher une table, un graphique, un cube, un rapport, etc. Les tables et les graphiques peuvent être créés à partir du requêteur ad hoc, et on appréciera la qualité des graphiques proposés, réalisés en Flash.

72 Page 72 Tableau de bord en mode édition

73 Page 73 L utilisateur peut également définir des filtres qui s appliqueront à toutes les zones et obtenir des tableaux de bord comme suit : Pentaho Schema WorkBench Tableau de bord en mode visualisation Pentaho fournit une application de conception de cubes Mondrian. L application est une simple surcouche par rapport à l édition manuelle des fichiers XML : chaque balise est modifiable à l aide d un formulaire basique. Schéma Workbench Cette application n a pas de très forte valeur ajoutée, mais fera gagner un peu de temps aux développeurs, en leur évitant les erreurs de balises XML et en leur proposant au bon endroit les noms des tables de la base de données et leurs colonnes associées.

74 Page 74 Depuis la version 4 de Pentaho, en version entreprise uniquement, il est possible de développer ces schémas directement en Web. Un assistant aide à construire les différents éléments qui composent ce schéma. Toutefois, les options sont limitées et ne permettent pas de bénéficier pleinement de la puissance de l Analyzer. Il est donc souvent nécessaire de revenir au Schema Workbench ou d enrichir directement le fichier XML généré. Pentaho Mobile L offre mobile de Pentaho, lancée en 2011, permet aux utilisateurs de consulter ou de créer leurs propres rapports, et intègre également la solution ad hoc et l Analyzer. Cette offre n est disponible que pour ipad et la création de tableaux de bord à la volée, basée sur Flash, n est du coup pas disponible. Instaview Instaview est une évolution majeure du module Agile BI sortie il y a maintenant quelques temps et permettant de raccourcir les temps d implémentation d un projet de BI. Il s agit de donner aux utilisateurs métiers ou aux experts décisionnels un outil pour couvrir rapidement l intégralité de la chaine de traitement BI et donc pour visualiser un résultat sans longue phase de spécifications, modélisation, alimentation, construction des méta-modèles et autres cubes.

75 Page 75 Instaview est donc un client riche basé sur PDI d accès à des sources de type Big Data telles que : Hadoop : HDFS, Hive, NoSQL : HBase, Cassandra, MongoDB, Web : Twitter, Facebook, Log Files, Web Logs. Communauté Le projet Pentaho est actuellement très actif et démontre l activité d un grand éditeur de logiciel. Plusieurs projets décisionnels open source tels que Kettle, Mondrian, Weka et JFreeReport ont rejoint le projet Pentaho, ce qui garantit une parfaite intégration et une évolution cohérente de l'ensemble. La communauté autour du projet est également dynamique comme en témoigne l'activité sur le forum Pentaho ainsi que les diverses contributions faites au projet par les utilisateurs.

76 Page 76 Pentaho Marketplace Le Pentaho Marketplace est un nouveau module disponible sur la plateforme de Pentaho en version communautaire. Il permet l'intégration des plugins stables directement sur le serveur. Cet outil est développé par WebDetails et Pentaho avec des objectifs simples : permettre aux utilisateurs de la version communautaire de Pentaho de connaître les plugins disponibles et compatibles avec la version actuelle de leur plateforme, permettre d'installer un plugin directement à partir du serveur BI, voir les plugins qui sont installés, pouvoir effectuer leurs mises à jour ou les désinstaller. L'utilisateur a également accès aux liens en rapport avec chaque plugin ainsi qu'à la page des projets correspondants. Ce concept de plugins essentiellement géré via l'interface utilisateur est une nouveauté majeure et répond efficacement aux besoins des utilisateurs de la plateforme communautaire de Pentaho. Conclusion Pentaho dans sa version 4.8 est une plateforme décisionnelle extrêmement complète et auto-suffisante. Elle permet non seulement d utiliser les différents outils décisionnels open source depuis une interface unique et simple d utilisation, mais elle permet également d étendre et de combiner leurs fonctionnalités grâce à l utilisation d un moteur de workflow. Elle est par ailleurs aujourd hui la seule suite à proposer l intégralité de la chaine de traitement décisionnel en version communautaire.

77 Page 77 SPAGOBI Présentation SpagoBI 24 est une suite décisionnelle développée par la société italienne Engineering Ingegneria Informatica. Cette suite, la seule entièrement Open Source, est uniquement distribuée sous licence MPL v2.0. Il s agit d une licence dite «commercial friendly faible copyleft» qui permet la distribution d applications basées sur SpagoBI intégrant du code d autres produits, open source ou propriétaires. Afin de couvrir les différents besoins fonctionnels propre au décisionnel, SpagoBI s appuie sur un ensemble de projet open source connexes (BIRT, WEKA, Talend ). Plus qu une simple solution agrégative, la suite permet de puissantes synergies notamment via son modèle comportemental poussé. Au moment où nous écrivons ces lignes, SpagoBI Server est disponible dans sa version Fonctionnalités et composants Pour répondre aux besoins de ses utilisateurs SpagoBI propose une vingtaine de composant (ou «moteurs») complémentaires. Reporting Fonctionnement de SpagoBI 4 moteurs : JasperReport, BIRT, Accessible report, BO 24

78 Page 78 Exemple de rapport structuré Les moteurs de reporting réalisent des rapports statiques qui utilisent des vues d'informations structurées et permettent leur export en plusieurs formats (XLS, JPEG, PDF, ). Ils incluent généralement des composants de type listes, tableaux croisés dynamiques, graphiques ou images. Les charts permettent de développer des objets graphiques "ready-to-use" interactifs à utiliser séparément, en choisissant les propriétés à inclure dans les rapports pour une vision plus riche des données. SpagoBi embarque 3 moteurs graphiques : JFreeChart, HChart, ExtChart. Analyses dynamiques Analyse Multi-dimensionelle 3 moteurs : Jpivot/Mondrian, JPalo/Mondrian, JPXMLA. Grâce aux moteurs OLAP, plus flexibles que des rapports structurés, les utilisateurs peuvent explorer les données sur différents niveaux de détail. La navigation se fait par actions de drill-down, drill-across, slice-and-dice, drill-through Reporting Ad-Hoc Le moteur Worksheet de SpagoBI permet aux utilisateurs finaux de créer librement leurs propres rapports multi feuilles, en définissant tableaux simples, tableaux croisés et différents types de graphiques dans la présentation du document.

79 Page 79 SpagoBI comporte aussi des composants d aide à la création de requêtes qui permettent à l utilisateur de sélectionner graphiquement les données à afficher de la base de production (pas obligatoirement d un entrepôt de données) puis d effectuer des tris, regroupements et sélections puis d exporter le résultat. En outre, l utilisateur peut exporter les résultats, les enregistrer pour une utilisation ultérieure ou générer des modèles de rapports. Data Mining SpagoBI permet l'analyse avancée de données, grâce à des processus d'exploration visant à trouver des informations cachées dans de grands volumes. Pour cela elle s appuie sur Weka. Analyse Géographique SpagoBI offre deux moteurs géographiques permettant de mettre en relation des données géographiques et métiers : Un moteur GEO, qui utilise un catalogue statique permettant aux utilisateurs de regrouper les informations selon des hiérarchies géographiques. Ce moteur peut également être utilisé en dehors de son contexte initial. L analyse de la répartition de processus industriels ou de systèmes topologiques sont des exemples possibles.

80 Page 80 Exemple d utilisation de GEO un moteur GIS, qui interagit avec de vrais systèmes spatiaux, selon le standard WFS / WMS. Tableaux de bord SpagoBI propose un moteur spécifique pour la réalisation de cockpits complexes qui permettent d'agréger plusieurs documents en une seule vue. En les reliant les uns aux autres, il favorise l exploration interactive et intuitive des données.

81 Page 81 SpagoBI offre au travers des outils COCKPIT et KPI tous les outils nécessaires pour créer, gérer, afficher et parcourir les modèles KPI hiérarchiques, par différentes méthodes, règles de calcul, seuils et règles d'alarme. Administration SpagoBI propose un moteur spécifique permettant de produire des consoles de contrôle en temps réel. Elles peuvent être utilisées à plusieurs niveaux : entreprises, applications ou processus de BAM. Gestion des données SpagoBI met à disposition des utilisateurs des fonctionnalités de write-back sur une base de données de référence via une interface utilisateur très intuitive. Le comportement de cette dernière est entièrement paramétrable. Des modèles prédéfinis sont disponibles dans la plate-forme. SpagoBI a sélectionné Talend comme l ETL de référence pour sa plateforme. Il est possible de planifier et de lancer des traitements de données directement depuis le portail. Architecture L architecture de SpagoBI repose sur cinq modules : SpagoBI Server, le serveur de Business Intelligence qui accueille les fonctionnalités centrales et analytiques, SpagoBI Studio, l environnement de développement intégré, SpagoBI Meta, l environnement dédié aux métadonnées, SpagoBI SDK, la couche d intégration pour utiliser SpagoBI avec des outils externes, SpagoBI Applications, qui regroupe les modèles analytiques verticaux développés à travers SpagoBI.

82 Page 82 SpagoBI Server Architecture SpagoBI Le SpagoBI Server met à disposition un portail web à destination des utilisateurs et administrateurs. Les premiers y accèdent aux rapports et documents analytiques tandis que les seconds y retrouvent l ensemble des interfaces de gestion et paramétrage de la solution. Il s agit d une application web déployée sur un serveur d application J2EE (Tomcat, JBoss ) supportant la JVM 1.6. Elle s appuie sur une base de données dédiée modélisable via l ensemble des SGBD classiques (MySQL, PostgreSQL, Oracle ). L application peut être utilisée en stand alone ou être embarquée au sein d un portail de type Lyferay, exo ou WebSphere. SpagoBI Studio SpagoBI Studio est un environnement de développement basé sur Eclipse. Destiné au développeur, il permet la conception, le test et le déploiement direct des documents analytiques. Il embarque notamment les plug-ins de création de rapports de BIRT et JReport. En proposant une interface unique, cette brique contribue à alléger la maintenance et le déploiement des documents décisionnels dans SpagoBI. SpagoBI Meta SpagoBI Meta est le module spécifiquement axé sur la gestion et l exploitation des métadonnées. Il propose de créer des «business models» au travers d un environnement Eclipse.

83 Page 83 Ces business model sont une couche sémantique sur laquelle SpagoBI peut s appuyer aux travers de ses moteurs de reporting. Le module QbE permet aux utilisateurs de créer des requêtes et des rapports basés sur ces modèles qui leurs sont intelligibles. Communauté La communauté autour du projet SpagoBI reste moins importante que celle de Pentaho ou JasperSoft, mais son appartenance au consortium OW2 permet de créer une dynamique et un partage avec d autres modules et éditeurs open source. Conclusion SpagoBI est une suite complète couvrant l'ensemble des besoins de Business Intelligence. Sa force est d'offrir à ses utilisateurs un important panel de solutions analytiques et aux développeurs, testeurs et administrateurs un large éventail d'outils dans leur travail quotidien. SpagoBI est une suite flexible. Elle offre de nombreux moteurs pour un même domaine d'analyse, permettant aux développeurs de choisir librement leur propre solution. Basé sur des standards ouverts, SpagoBI s'appuie sur des solutions pérennes et open source.

84 Page 84 JASPERSOFT BI SUITE Présentation JasperServer 25 est la plateforme décisionnelle de JasperSoft, société qui développe également le générateur d états JasperReports, disponible depuis Cette plateforme propose des fonctionnalités de reporting et d analyse et est disponible sous deux licences : GPL et commerciale. Fonctionnalités On retrouve dans JasperServer toutes les fonctionnalités de JasperReports et JPivot/Mondrian, déjà présentées dans ce document. Les utilisateurs ont la possibilité de planifier eux même la génération des rapports, puis de recevoir le document par mail ou de le stocker dans un répertoire du référentiel. L interface n utilise pas de portail tiers contrairement aux autres plateformes. On dispose ici d une application Web développée spécifiquement qui permet de créer de nouvelles analyses, de publier de nouveaux documents, de gérer les comptes utilisateurs, leurs rôles, ainsi que les droits d accès aux différents répertoires et fichiers du référentiel. Visualisation d un rapport dans JasperServer 5.0 Il est à noter que, pour les administrateurs, la publication et la modification des différents rapports est possible directement depuis ireport, l application de conception de rapports de JasperReports. 25

85 Page 85 Composants utilisés Rapports : JasperReports, Visualisation du référentiel décisionnel dans JasperSoft Analyse : Mondrian et JPivot, sous le nom de JasperAnalysis, Planificateur : Quartz, ETL : Talend Open Studio, sous le nom de Jasper ETL. Il est peu probable que cette plateforme supporte d autres générateurs d états dans le futur. En effet, JasperSoft a tout intérêt à mettre en avant son propre outil de reporting. Domaines JasperSoft, dans ses versions payantes (Professionnal ou Enterprise), propose la création de domaines métier, couches sémantiques et techniques au dessus des bases SQL relationnelles, permettant à la fois de définir un lexique métier et de s abstraire de la technique et du SQL. Une des particularités de JasperSoft est de proposer un outil de création de domaines en mode Web, donc très simplement accessible. Si cet outil n est pas graphique, il reste très pratique et permet plusieurs fonctions très avancées, comme la création de tables dérivées ou de champs calculés complexes.

86 Page 86 Analyse ad hoc pour les utilisateurs finaux Création d un domaine JasperServer, en versions professionnelle et entreprise, comporte des fonctionnalités supplémentaires par rapport à la version open source. Une différence majeure est l outil de création de rapports ad hoc en ligne (listes, graphiques ou tableaux croisés), accessible à tout utilisateur et s'appuyant sur les domaines. Les utilisateurs finaux ont ainsi la possibilité de créer en mode Web de nouveaux documents en quelques minutes grâce à une interface visuelle à base d assistants et de glisser-déposer.

87 Page 87 L éditeur de tableaux croisés est particulièrement intéressant. Tout d abord, il permet de créer des cubes en mémoire sur n importe quelle base relationnelle, sans passer par un serveur OLAP. Ensuite, il permet aux utilisateurs de créer leurs filtres, valeurs calculées et autres manipulations classiques. Enfin, il est possible de programmer l exécution périodique de ce cube avec, par exemple, un envoi par . Sans oublier que, pour simplifier la manipulation, Jasper propose de travailler uniquement sur des données échantillon, c est-à-dire 100 lignes au lieu de toute la table. Tableaux croisés avec JasperServer ad hoc Depuis la version 4.2, Jasper a déployé un module d analyse OLAP, Jasper Analysis, qui permet la création des cubes en ligne de manière très intuitive.

88 Page 88 Création d un graphe avec JasperServer OLAP L interface Web de création de cubes est ici un vrai plus, avec la possibilité, pour les utilisateurs finaux, de construire leur analyse à partir des données mises à disposition, en toute autonomie, sans aucune connaissance informatique. Création de tableaux de bord JasperSoft dispose également d un outil de création de tableaux de bord, accessible à tout profil d utilisateur. La mise en page est libre et se fait par glisser-déposer des rapports ou analyses déjà réalisées. L ajout de filtres est facilité, l outil proposant les filtres possibles pour les éléments sélectionnés. Jasper WorkBench JasperSoft fournit également un utilitaire pour la conception des cubes Mondrian. Celuici est très proche de celui proposé par Pentaho et présenté précédemment. Jasper Mobile L offre mobile de JasperSoft, lancée en 2011, est sensiblement identique à celle de Pentaho décrite plus haut. Elle intègre les solutions de reporting, d analyse ad hoc et de tableaux de bord de la suite Jasper. Cette offre est développée pour les mobiles et tablettes fonctionnant sous ios et Android. Le code source et les ressources sont également accessibles aux développeurs afin de garantir une meilleure flexibilité.

89 Page 89 Conclusion JasperSoft n a pas développé d ETL, distribuant celui de Talend, ni de solution de datamining. En revanche, JasperSoft s est concentré sur l utilisabilité de sa solution pour les utilisateurs finaux. Le résultat est excellent, avec une ergonomie 2.0 et, pour des utilisateurs non techniques, une très grande autonomie à la création de nouveaux rapports et de nouveaux tableaux de bord. Les principaux changements apportés par la version 5 de la suite JasperSoft se situent au niveau du visionneur de rapports, qui permet maintenant d effectuer des filtres et des tris sur les colonnes des rapports, ce qui permet de rendre plus interactifs les rapports créés dans ireport. Ceci répond à une demande forte des utilisateurs, qui étaient souvent contraints d exporter au format Excel les rapports avant de pouvoir les exploiter. Le planificateur de tâche a également été amélioré ; l audit perfectionné (identifier las anomalies) ; la flexibilité des emplacements de sortie des rapports (système de fichier, FTP, ) ; l amélioration des alertes ; la gestion du calendrier de l'entreprise (exclure les jours non pertinents) ; les interfaces API. L année 2012 a également permis l intégration du Big Data dans la suite JasperSoft, la création de connecteurs permettant l accès depuis la plateforme Jasper aux principales solutions Big Data (Hadoop Hive, Hadoop HBase, MongoDB, Cassandra). Ces connecteurs peuvent être utilisés dans ireport et dans JasperReportsServer. Il est à noter sur la version 5 un changement technologique important avec l'utilisation de Html5 en remplacement de la technologie Adobe Flash (graphiques, widgets,...). L'utilisation de cette technologie standard du WEB permet à l'interface web Jasper BI Suite d accroître sa compatibilité avec de nouveaux systèmes d exploitation (ios, Android...).

90 Page 90 PALO BI SUITE Jedox, société allemande, édite la base multidimensionnelle Palo ainsi que différents composants connexes permettant d en faire une suite décisionnelle complète. Au moment d écrire ces lignes, il existe une version communautaire composée des briques suivantes Palo pour Excel, Palo Web et Palo ETL. La version Premium également appelée Jedox Suite propose des modules équivalents : Jedox pour Excel, Jedox Web, Jedox ETL, Jedox Mobile et le Supervision Server. Jedox/Palo pour Excel Palo pour Excel est un plugin pour Microsoft Excel et pour OpenOffice.org Calc qui permet la restitution de données contenues dans la base OLAP de Palo, mais également la saisie de données directement via l interface Excel. La plupart des utilisateurs ayant une bonne connaissance des fonctionnalités Excel, Palo pour Excel, grâce à sa simplicité, s avère être un bon moyen de se familiariser à Palo BI Suite. Jedox/Palo Web Palo Web combine tous les composants Palo dans une interface Web : ETL Manager : gestion de l ETL Palo (cf. ci-après), Task Manager : planification de jobs, User Manager : gestion des droits utilisateurs, File Manager : création de rapports via une interface Excel en ligne,

91 Page 91 Report Manager : publication de rapports, Modeleur : création et administration des modèles OLAP. Généralement, on entend par Palo Web uniquement le composant File Manager, qui permet à la fois la création de rapports Web mais également l import de fichiers Excel existants. Jedox-Web : rapport en ligne Le tableur en ligne comporte la plupart des fonctionnalités utiles d'excel. Il est même possible de développer des «macros», mélange de PHP et Javascript. Il permet en outre de gérer nativement le mode Read-Only sur certains indicateurs et le mode Read-Write sur d autres. Contrairement à la version Excel de Palo, Palo Web est capable d'afficher «proprement» des listes de longueurs variables. Les graphiques disponibles dans la version Web, bien que très riches, ne sont pas aussi évolués que dans Excel.

92 Page 92 Jedox-Web : saisie en ligne Cette fonctionnalité permet donc d administrer, en mode Web, un workflow de saisie contrôlé. Palo ETL Palo ETL est un utilitaire qui permet de charger des cubes/dimensions Palo à partir de différentes sources de données : Base de données relationnelles, Fichier, ERP (SAP, ) dans la version Premium payante. Il permet également de charger des tables relationnelles, par exemple des tables de drillthrough, qui stockent les données au niveau fin et peuvent être accédées directement depuis Palo pour Excel. Ceci permet d avoir le détail des données consolidées dans les cubes. Palo ETL

93 Page 93 Supervision Server Le Supervision Server est un module disponible dans la version Premium de Jedox Suite. Il s'agit d'un serveur Web/PHP qui permet d'intercepter des évènements dans les cubes et d'effectuer des actions. Une bibliothèque PHP est mise à disposition. Celle-ci permet par exemple de déléguer la partie authentification à un annuaire LDAP ou encore de suivre les modifications survenues dans une base de données relationnelle. Depuis la version 3.3, il permet également de surveiller les modifications effectuées en base et d en garder un historique (modification d un cube, d une dimension, d une valeur ). Jedox Mobile Jedox Mobile est composé de plusieurs applications pour ipad, iphone et Android. Elles permettent la visualisation, la création et la sauvegarde de rapports, ainsi que l export vers des mails et des PDFs. Les données peuvent également être saisies directement depuis le mobile. Cette application ne fonctionne cependant qu en mode connecté, car Jedox ne souhaite pas permettre le stockage de données sur les mobiles par soucis de sécurité. Conclusion La couverture fonctionnelle de Palo/Jedox, et les choix technologiques associés, sont très différentiants et ne répondent pas aux mêmes besoins que les autres suites open source. Si Palo peut souvent être l outil unique de projets décisonnels d une entreprise, il peut également être complémentaire de solutions comme Pentaho ou Jasper avec leurs fonctionnalités de reporting ad hoc. Il y a fort à parier que le développement de Jedox Web permettra de déployer cette solution dans des projets de grande envergure ou dans des entreprises pour lesquelles le déploiement à grande échelle du plugin Excel pose problème.