Antidot v7 - Product Note. Antidot Information Factory versus ETL. Référence : CORP/PNv7/AIF/vs-ETL

Transcription

1 Antidot v7 - Product Note Antidot Information Factory versus ETL Référence : CORP/PNv7/AIF/vs-ETL Révision du

2 1. Antidot Information Factory Antidot Information Factory (AIF) est une solution logicielle conçue spécialement pour répondre à des enjeux d intégration, d analyse et d enrichissement des données structurées ou non structurées. Information Factory permet de : capter les données contenues dans les différents silos internes ou externes à votre organisation ; transformer ces données : nettoyage, normalisation, conversion vers un format cible ; les enrichir en les catégorisant selon des plans de classement, en les annotant automatiquement et en les alignant avec des référentiels métier ; analyser et relier ces données afin de les mettre en synergie et de faire émerger l information pertinente pour votre métier ; publier cette information enrichie selon des protocoles standardisés afin de les exposer aux applications de votre système d information, à vos utilisateurs ou à vos partenaires. AIF s utilise comme un jeu de construction : pour créer des chaînes de traitement, il suffit d assembler et de paramétrer des modules prêts à l emploi. Avec son back-office visuel full-web, Information Factory permet de construire rapidement des chaînes de traitement faciles à maintenir. AIF propose en standard plus de 60 modules de traitement disponibles sur étagère : Les connecteurs, ou modules de captation, récupèrent les données ciblées dans les silos : bases de données, serveurs de fichier, GED, CMS, entrepôts, crawl Web Les modules de normalisation et de nettoyage : transformation des documents bureautiques, manipulation des données structurées (validation, transformation, fusion, découpage, dédoublonnage), normalisation de champs (dates, noms, codes, etc.), anonymisation, conversion speech-to-text Les modules d enrichissement pour la classification, l annotation et la mise en relation : extraction d entités nommées et text-mining. mise en relation des documents similaires par analyse sémantique, classification, catégorisation Avec son framework ouvert qui fournit l ensemble des fonctions de base avec des APIs en C++, Java et Python, AIF permet de développer rapidement de nouveaux modules pour répondre aux besoins les plus variés. CORP/PNv7/AIF/vs-ETL Page 2 sur 8

3 2. Différence avec les ETL Issus du monde de la BI (Business Intelligence), les ETL (Extract- Transform-Load) sont des outils dont la fonction est de lire des contenus dans des bases de données relationnelles (Extract) afin de les transformer (Transform) et de les injecter dans des bases de données cibles de type data warehouse (Load). Quelle différence y a-t-il entre AIF et les outils de type ETL? Pourquoi faut-il deux ou trois fois moins de temps avec AIF qu avec d autres outils pour réaliser des projets de traitement et d intégration des données? 2.1. Gérer la diversité Les ETL ont été conçus pour lire des bases relationnelles afin de réintégrer les données dans d autres bases cible. À cet égard, ils sont dédiés au chargement et au traitement des enregistrements et des champs de bases de données. Les ETL ne sont donc pas adaptés par nature pour traiter et analyser les données non structurées (fichiers bureautiques) ou semi-structurées, pourtant si nombreuses, importantes et sous-exploitées dans les entreprises. AIF est conçu pour intégrer toutes les données de l entreprise. AIF traite aussi bien les données structurées issues des bases relationnelles, que les données non structurées telles que les documents PDF ou Word, les données XML provenant des applications métier, ou les contenus du Web (pages HTML, flux). Pour cela, AIF propose toutes les fonctions nécessaires à l analyse et à la réutilisation des contenus textuels et à leur intégration avec d autres contenus : connecteurs pour la captation de tout type de données, conversion, catégorisation, extraction de connaissances et d entités, annotation sur des référentiels Toutes ces fonctions ne sont pas natives pour un ETL et nécessitent souvent, à supposer même que ce soit possible, de nombreux jours de développement et d'intégration afin de contourner les limites inhérentes à leur conception En finir avec la modélisation Le "L" de ETL signifie Load. Cela implique qu en fin de traitement les données doivent être chargées dans une base de données, ce qui nécessite de définir un modèle relationnel cible. CORP/PNv7/AIF/vs-ETL Page 3 sur 8

4 Cette modélisation induit une phase d'analyse importante, donc de la complexité et des coûts. Car chaque modification ou ajout des données traitées nécessitera de modifier voire de redéfinir le modèle de stockage et de reprogrammer les traitements. Les ETL pêchent par leur manque d agilité car leur adhérence au paradigme relationnel rend les évolutions délicates. AIF est conçu pour manipuler des données variées sans modélisation a priori, avec des formats pivots totalement dynamiques et évolutifs. AIF fournit un niveau élevé d abstraction et de représentation des données pour leur manipulation. Aucune modélisation a priori n est nécessaire. En cela, AIF se situe dans la mouvance de l approche NoSQL en vogue dans le Big Data. Cela est rendu possible par l utilisation sous-jacente de technologies telles que celles du Web Sémantique conçues par le W3C pour permettre l interopérabilité et la consolidation de données à l échelle du Web Relier les données pour créer des connaissances Les ETL sont conçus pour nettoyer et agréger des données venant de bases différentes : fusionner des tables et les injecter dans une base cible. Mais l enjeu de la réutilisation des données va bien au-delà du simple transfert de base à base. Pour gagner en intelligence et en capacité d action, les entreprises sont confrontées à la nécessité de mieux exploiter les données existantes enfermées dans les différents silos. C est par l analyse, la mise en relation, la corrélation et la réutilisation de ces données internes et externes qu il devient possible de créer une information plus riche et plus opérationnelle. Les ETL sont incapables de créer des informations nouvelles à partir de données existantes. AIF offre la possibilité de créer de nouveaux objets informationnels et d inférer des connaissances à partir de données venant de sources multiples par maillage et application de règles métier. AIF dispose de l ensemble des technologies et modules fonctionnels qui permettent de modéliser des connaissances, de les manipuler et d appliquer des règles afin d inférer de nouvelles informations. AIF exploite pour cela la pile technologique du Web Sémantique : OWL, RDFS, RDF et SPARQL. Que ce soit à partir de données structurées issues de bases ou d applications, comme de données non structurées par des technologies de text-mining et d extraction, toutes les données, internes comme externes, sont prises en compte Créer des applications à la demande Les ETL n'offrent pas de fonction pour exploiter les données : les enregistrements traités sont injectés dans une base cible. Pour exploiter cette dernière, il convient de développer des applications ad hoc. Chaque évolution de la base cible nécessitera une modification des applications qui s appuient sur ces bases. Les ETL n offrent aucune fonction pour visualiser et exploiter facilement les données. Toute l information collectée, valorisée ou crée avec AIF est exploitable très rapidement grâce au principe de SBA (Search Based Application). CORP/PNv7/AIF/vs-ETL Page 4 sur 8

5 Le moteur de recherche AFS (Antidot Finder Suite) est le compagnon idéal d AIF. AFS indexe nativement les données disponibles en sortie d AIF et il fournit un accès immédiat, sécurisé et performant à travers des Web Services standardisés (REST, XML, JSON). Créer des applications est un jeu d enfant en utilisant les widgets fournis par la solution : tableaux de bord, applications métier, etc. Les modifications ou évolutions des données traitées ou générées ne nécessitent pas de refonte et sont répercutées immédiatement dans les interfaces Tout cela sans programmer Les ETL sont pour la plupart très «programmatiques». Ils nécessitent des compétences de développement (Java, C#). Cela se ressent ensuite sur l'évolutivité (souplesse et coût de la maintenance), mais surtout durant le projet sur les profils à mobiliser : il faut des intervenants techniques qui sont habituellement peu sensibles aux usages et à la donnée. Les ETL mobilisent des compétences techniques en programmation. AIF ne demande pas de connaissance en programmation et offre une approche de plus haut niveau, ce qui permet de se concentrer sur les données et les usages. Tous les avantages fonctionnels proposés par AIF sont accessibles sans programmation. Un back-office complet permet de configurer aisément les chaînes de traitement et de superviser l'intégralité de ces actions de captation / redressement / transformation / enrichissement des données Conclusion Toutes ces raisons font d AIF un outil parfaitement adapté aux projets d intégration de données, avec des temps de mise en place particulièrement courts et une évolutivité inégalée. Les quelques projets décrits ciaprès illustrent ces capacités. In fine, les deux solutions portent bien leur nom : les ETL remplissent une fonction technique de transfert de bases de données ; alors qu AIF Antidot Information Factory est une usine à fabriquer de l information riche, avec des fonctions sémantiques variées pour analyser et mailler autant l information structurée que non structurée. 3. Cas clients 3.1. Agence Régionale du Développement et de l'innovation en Rhône-Alpes L ARDI est un organisme public dépendant de la Région qui collecte une masse importante d information décrivant les savoir-faire des entreprises et des acteurs de la recherche de la région Rhône-Alpes afin d organiser la mise en relation des acteurs, la structuration et la dynamisation du tissu économique. Plus d informations : CORP/PNv7/AIF/vs-ETL Page 5 sur 8

6 À la recherche d une solution permettant de faciliter l accès à cette information peu structurée, l ARDI a sélectionné la suite logicielle d Antidot pour capter, analyser et rechercher l information utile aux collaborateurs et partenaires de l ARDI. Les enjeux du projet sont les suivants : Consolider les informations issues de nombreuses sources internes (CRM, GED) mais aussi externes (crawl de sites Web d entreprise et d organismes européens). Faciliter une recherche et des navigations transversales variées selon les besoins informationnels des différents types d utilisateurs (veilleurs, conseillers, responsable de programme, etc). Donner une visibilité analytique et synthétique de la répartition d information. Lors de ce projet, la solution AIF a permis de simplifier grandement la réalisation de chaines de traitement de contenus partant de la captation interne et externe, en passant par le maillage et l inférence de relations entre les objets informationnels manipulés (établissements, actions, projets, visites), l alignement des vocabulaires sur des référentiels cross lingues et l exposition des contenus enrichis. Profitant de l agilité induite par la modélisation sous forme de graphe portée par AIF, l ARDI a pu mettre en production une 1 ère version du portail informationnel après quelques semaines seulement de projet. Étoffée peu à peu par l extension de nouvelles sources de contenus, de nouvelles règles de maillage, la version actuelle du portail représente environ 50 jours.hommes de charge projet. Le portail est plébiscité par l ensemble des utilisateurs pour sa simplicité d accès à l information et le gain de productivité qu il apporte à l ensemble des collaborateurs de l ARDI Electre La société Electre est un acteur essentiel de la chaîne du livre en France de par sa base de données bibliographiques qui fournit les libraires et bibliothèques francophones, ainsi que son magazine hebdomadaire "Livres Hebdo" et sa déclinaison en ligne (livreshebdo.fr) qui offrent un panorama régulier et complet de l'actualité de ce domaine. Avec l'irruption massive du numérique dans ce secteur, Electre est appelé à jouer un rôle primordial dans les changements qui s'annoncent tant l'expérience des industries de la musique et de la vidéo a montré l'importance de disposer de métadonnées pertinentes et complètes. Or, pour accompagner au mieux cette transformation et faire face à la remise en cause de son business model par la montée en puissance de l'open Data, Electre devait répondre à un enjeu clair : proposer une information riche, de qualité et complète qui dépasse le strict cadre des informations bibliographiques traditionnelles. Or, si elle disposait de toute la richesse informationnelle pour répondre à cet enjeu, il était nécessaire de consolider les données dispersées en différentes bases et systèmes au gré des évolutions de son SI au cours des 15 dernières années. Le projet mené pour Electre a donc pour objectif de mettre en relation et d'intégrer une dizaine de silos de données hétérogènes sur le monde du livre : base de données bibliographiques qui comprend titres ; base de données des meilleures ventes de livres établis de manière hebdomadaire depuis 2008 ; base de données des prix littéraires, annonces professionnelles du livre, base des manifestations sur le livre, des passages médias sur les livres ; bases de données des acteurs de la chaîne du livre (éditeurs, diffuseurs, distributeurs, associations professionnelles, dirigeants de société...) ; articles du magazine et du site Livres Hebdo ; base de données d'images. CORP/PNv7/AIF/vs-ETL Page 6 sur 8

7 Les difficultés de ce projet sont de plusieurs ordres : données structurées et non structurées dans des formats et de nature hétérogènes : XML, tableur, PDF, CSV, bases relationnelles ; mise en relation automatique (mais pertinente) des différentes données ; traitement et fouille des données non structurées ; prise en compte de manière incrémentale et le plus rapidement possible des modifications et des nouvelles données. Les avantages combinés d AIF permettent d'accélérer le développement de ce projet d'intégration de données complexes qui a été réalisé en 65 jours.hommes. De plus, le modèle de graphe au centre de la chaîne de traitement n'impose pas de connaître a priori l'ensemble de la structure des données et permet ainsi d'agréger de nouvelles sources de données tout au long du projet (il faut entre 2 et 7 jours/hommes pour intégrer une nouvelle source de données en fonction de sa nature sur le projet Electre) ce qui permet d'envisager non seulement un développement sur des modèles itératifs et, surtout, l'évolutivité de la solution, d'autant que l'ensemble des technologies d'antidot reposent sur l'utilisation de standards (HTTP, Json, XML, RDF, SPARQL, OWL). Ce projet donne pour la première fois les moyens à la société Electre de disposer d'une base unique et évolutive intégrant l'ensemble de ses données et de les mettre à disposition via différents moyens (Web services, dump de données). En termes d'usages, la consolidation de ces différentes bases permet à Electre de mettre en place de nouveaux services à destination des professionnels du livre (bibliothèques, éditeurs, libraires), par exemple : informations complètes sur chaque livre dépassant les strictes informations bibliographiques ; tableaux de bord de suivi de l'activité dans le monde du livre. Pierre Boudigues, directeur du système d information d Electre témoigne : «Notre démarche nécessitait de mettre en place un entrepôt de données riches et flexible en terme de structure de données, de type de sources et de formats de restitution. Nous avons cherché des solutions parmi les outils traditionnels, mais rien ne nous a semblé vraiment adapté. Ce qui nous a séduits dans AIF c'est la capacité d'évolution de cette solution. Le potentiel d enrichissement par agrégation de données internes ou en open data est réel, et la mise à disposition des contenus est rapide et simple. Nous en avons été convaincus au terme d'un POC de quelques jours seulement. Et aujourd'hui l objectif de construction d'un entrepôt de données significativement enrichies est presque atteint, pour une bonne partie de nos contenus peu ou pas structurés.» 3.3. LexisNexis Editeur mondial de référence de contenu juridique (JurisClasseur, DO, Litec), LexisNexis est confronté à une mutation de son métier. Habitué à fournir ses contenus sous forme «papier» (revues, brochures, classeurs), LexisNexis doit mettre à disposition l ensemble de ses contenus à travers des applications Internet. Opposé aux plus grands éditeurs logiciels américains, à l issue d une phase d évaluation et de prototypage, la direction informatique US de LexisNexis a choisi Antidot. AIF-AFS s est avérée la solution la plus avancée et la plus industrielle pour le traitement, l enrichissement et l indexation des documents complexes. CORP/PNv7/AIF/vs-ETL Page 7 sur 8

8 La difficulté de ce projet réside dans : la complexité extrême des structures des documents à analyser et indexer ; la vélocité de l information ; la création de liens inter documents par une analyse globale du corpus ; les modalités de mise à disposition des données enrichies. Complexité des documents Les contenus juridiques sont d une grande complexité. C est avant tout du texte brut qu il convient d analyser pour en extraire des connaissances clés (citations de lois, de jugements, de tribunaux, etc.), avec un grand nombre de méta données. Il est donc nécessaire d appliquer une somme importante de techniques de fouille. Un flux permanent L information juridique est en effet un flot de nouvelles informations puisque chaque jour sont publiés des milliers de décrets, lois, jugements, arrêtés... Il est nécessaire de garantir un traitement rapide pour analyser, consolider et publier ces informations en quasi temps réel. La capacité d AIF à traiter des flux différentiels est déterminante car les volumes impliqués interdisent un traitement de l intégralité des contenus à chaque mise à jour. Analyse et maillage des corpus Les textes juridiques se citent énormément et il n est pas rare qu un texte contienne plus de 100 références à d autres textes. Tout l enjeu est d extraire ces citations, de les analyser, les valider et les exploiter. La solution déployée par LexisNexis repose fortement sur les modules de transformation et de traitement sémantiques d AIF. Ainsi l ensemble des données sont transformées dans un format documentaire cible et les métadonnées significatives et les liens sont générées en RDF afin d être exploitées dans des mécanismes d inférence à base de règles SPARQL. Les technologies du web sémantique intégrées dans AIF ont permis de gérer de façon très fluide les liens inter-contenus. Cela offre un gain de navigation pour l utilisateur particulièrement appréciable tout en gardant une architecture de traitement facile à maintenir pour les équipes de LexisNexis. Délivrer les contenus enrichis Le module Content Repository d AIF est mis à contribution pour servir les contenus à l utilisateur. Il a été choisi pour sa capacité à tenir des charges importantes, sa richesse fonctionnelle et la garantie de mise à jour synchrone avec le moteur de recherche. AIF intègre en particulier la capacité à annuler les traitements effectués si une publication doit être retirée. La puissance et la richesse des traitements réalisés par LexisNexis avec AIF sont très au delà de ce qui est envisageable avec un ETL. info@antidot.net CORP/PNv7/AIF/vs-ETL Page 8 sur 8 58 avenue Debourg Lyon +33(0)