Le livre blanc de l EAI Intégration des Applications d E n t r e p r i s e octobre 99
1999 OCTO Technology. Tous droits réservés Les informations contenues dans ce document représentent le point de vue actuel d OCTO Technology sur les sujets exposés, à la date de publication. Dans la mesure où les éditeurs cités doivent s adapter aux conditions changeantes du marché, OCTO ne peut pas garantir l exactitude des informations présentées après la date de publication. Les noms de produits ou de sociétés dans ce document peuvent être les marques déposées de leurs propriétaires respectifs. Auteurs : Les auteurs de ce document sont des consultants d OCTO Technology, par ordre alphabétique L. Avignon, T. Brethes, C. Devaux, P. Pezziardi. Pour tous renseignements complémentaires, veuillez contacter P. Pezziardi (ppezziardi@octo.fr).
Constat d évolution Un système d information d entreprise est constitué de nombreuses applications bâties sur des technologies différentes avec des spécificités propres aux contraintes du moment, et qui de surcroît ont évoluées dans le temps. A présent, lors du développement d une nouvelle application, une grande partie du travail consiste à développer les interfaces des applications avec lesquelles elle doit échanger des informations. Dans un contexte où la mondialisation est de mise, ces problèmes prennent une dimension encore plus importante, et deviennent la pierre angulaire des échanges intra-entreprises et inter-entreprises. Les nouveaux concepts et produits de l Enterprise Application Integration (EAI) se proposent de répondre de manière élégante à cette problématique de gestion des flux d information dans le SI de l entreprise. Les enjeux de l EAI L EAI, traduit en français par Intégration des Applications d Entreprise, permet de faire communiquer tout type d applications, que ce soit des développements maison ou des progiciels intégrés. Il ne s agit plus dès lors de développer une nouvelle solution d interfaçage mais de fournir un cadre d intégration souple et robuste. Le fait que l entreprise puisse faire évoluer en douceur son SI en s appuyant au maximum sur l existant est une qualité intrinsèque de l EAI. Le système d information a ainsi la capacité d absorber les changements technologiques toujours plus fréquents. L entreprise peut alors plus facilement réagir aux nouvelles donnes économiques (fusion, acquisition, mondialisation des marchés et élargissement de la concurrence). De ce point de vue, la valeur de l EAI réside bien dans sa capacité à faire perpétuer le système d information, tout en minimisant le coût total du changement (TCC). Cependant, la mise à disposition d information et l échange de données entre systèmes nécessitent une normalisation de leurs formats. Dans ce domaine, les technologies de l EDI ont adressé le problème secteur par secteur (automobile, santé, etc.) en définissant les formats et la cinématique des échanges. Trop complexes et coûteuses à mettre en œuvre, particulièrement pour les PME, elles n ont pas réussi à s imposer à grande échelle. En outre, les échanges de données informatiques s effectuaient jusqu à présent sur un mode point à point. Ce modèle éclate aujourd hui avec l arrivée
d une multitude de partenaires et d organisations de toute taille. En effet, l avènement des technologies de l Internet a considérablement allégé les coûts d investissement et ont permis l apparition de nouveaux acteurs. De plus, l apparition de tiers, assurant des fonctions de place de marché (annuaires, catalogues, paiements, commandes, tiers de confiance,...), modifie radicalement la cinématique des échanges. Le format XML, issu du monde du WEB, et les expériences de l EDI apportent un début de normalisation mais un grand travail reste encore à faire, notamment en corrélation avec les éditeurs de progiciels intégrés, sur lesquels de plus en plus d entreprises gèrent leur personnel, leur stock ou leur système de facturation. Au delà de ces raisons économiques, deux facteurs technologiques tirent le marché de l EAI : le développement massif des technologies Internet et la possibilité d utiliser ce réseau et ses protocoles pour y créer de la valeur ajoutée, une adoption généralisée des solutions packagées : Enterprise Ressource Planning (ERP), Customer Relationship Management (CRM), Supply Chain Management (SCM), permettant l émergence de standards métier. Acteurs du marché de l EAI Une solution EAI contient un ensemble d outils que l on peut classer dans les catégories suivantes : Les outils de gestion de processus métier, qui gèrent l ensemble des données métier et assurent le suivi des étapes et des décisions prises, Des moteurs de règles pour le routage et la transformation des flux, plus connus sous le nom de Message Broker, Des connecteurs et adaptateurs de progiciels intégrés permettant une intégration aisée de ces applications dans le système, Des connecteurs vers des formats d échange déjà en usage (EDI, réseaux de clearing, etc), Des passerelles bas-niveau vers les multiples formats de transport (fichier, message, base de données, e-mail, etc.), Des middlewares de communications (mode message, transfert de fichiers, Web, messageries).
Aujourd hui, aucun éditeur du monde de l EAI ne peut se flatter d offrir l ensemble de ces outils. Certains ont une approche bottom up : ils viennent du monde des middlewares et proposent des solutions de plus haut niveau audessus de leurs technologies existantes. D autres ont abordé ce marché en partant de leur expertise métier ou de leur connaissance en matière de progiciels spécialisés, et ont une approche top down : ils proposent des outils de gestion de processus ou des connecteurs, et peuvent s appuyer sur des middlewares existants. Le spectre des offres actuelles est en pleine ébullition, mais le marché commence à se structurer. La bataille se joue à coup d annonces, d alliances et acquisitions, afin de pouvoir proposer le plus rapidement possible une offre intégrée globale. A ce jeu, le NASDAQ devient rapidement le baromètre des stratégies. Ce livre blanc se propose donc d éclaircir le lecteur sur le pourquoi et le comment des technologies EAI. Une première partie est consacrée à la description de la problématique, la seconde expose les différentes briques d architecture proposées par les éditeurs, et la dernière présente notre vision du marché en date de rédaction! Nous vous souhaitons une excellente lecture, en espérant que vous prendrez autant de plaisir à le lire que nous en avons eu à le rédiger.
S o m m a i r e I N T R O D U C T I O N 8 1.VERS L INTEGRATION DES APPLICATIONS D ENTREPRISE 1 3 2.ARCHITECTURE EAI 16 2.1.MÉCANISMES D ÉCHANGE 16 2.2.ECHANGE EN MODE MESSAGE 19 2.3.LES SERVICES FONDAMENTAUX DE L EAI 23 2.3.1.Transformations et connecteurs 23 2.3.2.Passerelles techniques 27 2.3.3.La gestion de processus ou Workflow 30 2.4.L INTÉGRATION DES APPLICATIONS 31 2.4.1.Les applications client/serveur 31 2.4.2.Les applications 3-tiers 32 2.4.3.Les ERP et autres progiciels métier 33 2.5.ADMINISTRATION ET EXPLOITATION 34 2.6.GESTION DE LA SÉCURITÉ 36 2. 7. C O N C L U S I O N 37 3.ACTEURS DU MARCHÉ 39 3.1.ACTIVE SOFTWARE 40 3.2.BEA SYST EMS 42 3. 3. C R O S S W O R L D S 44 3. 4. F O R T É 46 3. 5. I B M 48 3. 6. M I C R O S O F T 50 3. 7. N E O N 52 3.8.SOFTWARE TECHNOLOGIES CORPORATION 54 3. 9. S O P R A 56 3. 10. T E M P L A T E 58 3. 11. T I B C O 60 3.12.TSI SOFTWARE 62 3.13.VIEWLOCITY (EX FRONTEC) 64 3. 14. V I T R I A 66
Table des figures Figure 1 : Flux entrants et sortants d une application 8 Figure 2 : Evolution du SI d une entreprise à travers le temps 8 Figure 3 : Cycle d acquisition des technologies 1 4 Figure 4 : Principe du Hub central 1 5 Figure 5 : Echange basé sur le transfert de fichier 1 6 Figure 6 : Echange de type Extraction 1 6 Figure 7 : Mécanisme de réplication entre SGBDR 1 7 Figure 8 : Echanges via un MOM 2 0 Figure 9 : La couche transport comme première brique de l EAI 2 1 Figure 10 : Le Message Broker comme deuxième brique de l EAI 2 2 Figure 11 : Exemple de reformatage d un flux d information 2 4 Figure 12 : Les connecteurs comme troisième brique de l EAI 2 5 Figure 13 : Passerelle avec les SGBDR 2 7 Figure 14 : Exemple de déclenchement d une transaction à réception d un message 2 9 Figure 15 : Exemples de passerelles vers et en provenance de fichiers 2 9 Figure 16 : Les passerelles comme quatrième brique de l EAI 3 0 Figure 17 : Exemple de processus métier automatisable par un WorkFlow 3 0 Figure 18 : Le Workflow comme cinquième brique de l EAI 3 1 Figure 19 : Exemple de programmation visuelle avec Visual Basic 3 3 Figure 20 : Les outils d exploitation comme sixième brique de l EAI 3 5 Figure 21 : La sécurité : septième brique de l EAI 3 7...mais généralement pas la septième merveille! Figure 22 : L ensemble des briques d une offre d EAI 3 7 Figure 23 : Positionnement des principaux acteurs du marché de l EAI 3 9 Figure 24 : ActiveWorks Integration System (source ActiveSoftware) 4 1 Figure 25 : BEA elink Solution (source BEA Systems) 4 3 Figure 26 : Architecture CrossWorlds (source CrossWorlds) 4 5 Figure 27 : Forté Fusion Enterprise Application Integration (source Forté) 4 7 Figure 28 : MQSeries au cœur du Business integration (source IBM) 4 9 Figure 29 : Microsoft BizTalk (source Microsoft) 5 1 Figure 30 : NEON Formater et NEON Ruler (source NEON) 5 3 Figure 31 : e*gate (ex DataGate), la solution d EAI de STC (source STC) 5 5 Figure 32 : Bus Applicatif (source Sopra) 5 7 Figure 33 : EIT (sourcetemplate) 5 9 Figure 34: Tib/ Active Enterprise (sourcetibco) 6 1 Figure 35: Architecture Mercator (source TSI) 6 3 Figure 36: Composants de l offre AMTrix (source Viewlocity) 6 5 Figure 37: Composants de l offre BusinessWare (source Vitria) 6 7
Constat : les applications d une entreprise sont excessivement liées entre elles. I n t r o d u c t i o n La problématique d Intégration des Applications d Entreprise n est pas nouvelle. En effet, faire communiquer entre elles les différentes applications qui composent le Système d Information n a rien d exceptionnel. Pourquoi une communication entre applications? Tout simplement parce que un Système d Information n est pas constitué d une seule application. Chaque application spécifique ou progiciel répond à un besoin fonctionnel, mais nécessite, d une part, des informations gérées par d autres applications (liste des clients, des produits, etc.) et, d autre part, produit de l information qui intéresse également d autres applications (comptabilité, gestion de stock, etc.). Ce principe est simplement figuré par le schéma suivant, où apparaissent les flux en entrée et en sortie d une application : Au cours du temps, le SI de toute entreprise tend vers l état spaghetti Figure 1: Flux entrants et sortants d une application Cette schématisation, un peu banale certes, présente néanmoins l avantage d introduire l exemple d une entreprise fictive A et son évolution dans le temps : Figure 2: Evolution du SI d une entreprise à travers le temps
La détail de la chronologie de notre exemple est le suivant : A c t i o n Mise en œuvre Difficultés rencontrées 1980 Mise en œuvre d une Utilisation d un Mainframe. Monopole du fournisseur, application centrale coût de maintenance de gestion client/produits. élevé. 1982 Déploiement d une Ecriture de programmes nouvelle application de synchronisation de comptabilité. des bases des deux applications. 1990 Mise en œuvre de quatre Mise en place d un Difficultés en cas de nouvelles applications système de réplication changement de SGBDR. en régions visant entre les SGBDR des la gestion de nouveaux nouvelles applications. produits. Ecriture des programmes de synchronisation vers les applications centrales. 1992 Acquisition d un Ecriture d un mécanisme Difficultés rencontrées concurrent. de synchronisation des pour fusionner les bases clients, avec applications de gestion gestion d un identifiant de produits qui resteront unique. Portage de isolées. l ensemble des programmes extrayant des données. 1995 Migration des Ecriture de divers La mise en place de applications centrales programmes de l ERP est entravée par sous un ERP. synchronisation les nombreuses interfaces permettant la coexistence existantes à reproduire. des trois systèmes. Développements lourds Développements réalisés autour de l ERP. à l aide des outils fournis par l éditeur de l ERP et de compétences externes. 1996 Création d un Ecriture d un programme Difficultés rencontrées DataWarehouse de suivi d extraction de données pour homogénéiser les de clientèle. depuis le central et les données venant de régions vers la base sources hétérogènes. Infocentre. 1998 Ouverture d un Web. Mise en œuvre de Délais de mise en œuvre nouvelles interfaces vers énormes en regard de la les systèmes hétérogènes. simplicité du service Développement des Ajout de nouveaux flux interfaces vers l ERP. Duplication des données. Les six questions fondamentales pour évaluer l agilité d un SI. A partir de ces éléments, mettons nous par exemple à la place d un consultant externe et évaluons par une note de 1 à 10 les six points suivants : Flexibilité du système Dans quelle mesure peut-on faire évoluer un projet (une application) indépendamment des autres? Quelle réactivité peut-on espérer pour la mise en œuvre de projets futurs (Time to Market)? Capacité d administration et d exploitation
Capacité de suivi des flux, maîtrise de l intégrité transactionnelle de son système: est-on capable de s assurer que tel achat de produit par le client a bien été comptabilisé, envoyé au datawarehouse, etc.? Capacité du système à diminuer les délais d échange Le système est-il capable simplement d évoluer vers du Straight Through Processing (STP) 1, c est à dire de propager instantanément les événements se produisant dans l une des applications vers les cibles? Sécurité Quel est le niveau de sécurité de ces échanges : authentification, contrôle d accès, intégrité, confidentialité? Coût de développement et de maintenance Dans le coût global de ces applications (conception, développement, intégration, exploitation), quelle est la part liée aux échanges inter-applicatifs? Qualité de service vu du client Est-on capable simplement de fournir au client une vision synthétique de ces avoirs dans l entreprise fusionnée A+B, quelle est la fraîcheur de ces informations? Chaque nouvelle application engendre de nouveaux flux d i n f o rmation vers ou en provenance de l existant. Procédons maintenant comme dans certains magazines féminins : faites la somme des notes et reportez vous à la rubrique correspondante. Vous obtenez un total de plus de 30 (la moyenne) : Vous êtes un grand optimiste, la nature vous a doté de ce regard positif et parfois naïf sur tout ce qui vous entoure... en revanche, nous vous proposons de repasser le test avec les éléments supplémentaires suivants : Modifier une application nécessite-t-il de retoucher l ensemble de ses interfaces? L exploitation des flux est-elle globale ou dispersée dans les différents ordonnanceurs et logs? Les flux étant ordonnancés la plupart du temps en mode batch avec extraction, transfert de fichier et import, porter un flux en mode fil de l eau nécessite-t-il une intervention dans les applications? Certains flux ne sont-ils pas issus de programmes batch sous Unix ou MVS, contenant les mots de passe d accès aux bases cibles? En fait, la part de la mise en œuvre des flux dans le coût global des applications dépasse largement les 25% (Source Gartner), (extractions, transformations, routages, imports). Cette part augmente exponentiellement dès que les spécifications des flux dépassent la simple synchronisation de référentiels pour aller vers des processus métier complexes. Vous obtenez un total de moins de 30 : Doué d un sens aigu de l observation, vous savez déceler les problèmes et y apporter des solutions concrètes. Votre brillant intellect vous pousse ainsi à lire avidement la suite de cet ouvrage. Effectivement, ce qui était acceptable à l échelle de quelques applications ne l est plus du tout au niveau des grands Systèmes d Information : on se trouve confronté au syndrome Spaghetti. Chaque nouvelle application nécessite la mise en œuvre de flux d information depuis et vers elle, l augmentation de ces flux est exponentielle par rapport au nombre d applications. 1 La notion de STP vient historiquement du monde de la finance et des réseaux de compensation (comme Swift par exemple). Par exemple, l achat de titres dans une application bancaire de back-office générait une impression qui était ressaisie dans l application de clearing, puis envoyé sur le réseau Swift. Aujourd hui, le processus peut s automatiser, l application envoie directement un message formaté au point d entrée Swift qui le propage.
L u r b a n i s m e De la même manière qu un architecte conçoit un bâtiment en fonction des besoins exprimés par ses futurs occupants à un instant donné, un urbaniste prend en compte les exigences d une communauté à faire évoluer dans le temps. A l origine du concept d urbanisme, Jacques SASSOON fait l analogie avec une ville comme Paris et assimile les quartiers aux groupes d applications qui ont été conçues à peu près au même moment avec une architecture similaire. On trouve alors des groupes pour les applications Mainframe en mode Batch ou interactif, les mini-ordinateurs, le client/serveur, et maintenant les nouvelles applications Web. Les urbanistes n aspirent pas à démolir les anciens quartiers à l émergence de chaque nouveau style architectural. Mais, ils s efforcent de maintenir certains standards d infrastucture dans tous les quartiers. L approvisionnement en eau et en électricité est nécessaire quelque soit le quartier. Les nouveaux besoins de la communauté provoquent parfois certains travaux d aménagements des quartiers existants afin d y apposer une canalisation plus grosse par exemple. Alors que les modèles d architecture sont statiques, l urbanisme doit savoir évoluer à travers le temps et prendre en compte les besoins non seulement du présent, mais également du passé et du futur. De cette analogie avec la gestion de la ville, ressort un ensemble de règles et de principes : Le processus métier global d une entreprise est découpé en domaines, contenant chacun des districts, comprenant à leur tour des blocs. Chaque bloc est autonome et capable d assurer seul l accomplissement des fonctions qui lui sont attribuées. Il ne doit pas y avoir de dépendance temporelle entre les blocs, chacun opérant de manière asynchrone par rapport aux autres. Chaque bloc encapsule les données dont il a la charge et qui ne peut être directement accédé par un autre bloc (principe de la technologie objet) Chaque bloc produit des résultats et des rapports avec un format standard sans présumer des destinataires Chaque bloc doit avoir un gestionnaire d évènements d entrée et un générateur d événements en sortie Toutes les communications entre les blocs doivent s effectuer indirectement au travers d un gestionnaire de flux. Les contraintes d interactions asynchrones entre les blocs n interdisent cependant pas d utiliser des technologies synchrones temps réel pour l invocation de méthodes distribuées à l intérieur d un même bloc. Si l adjonction d une application Web à un système existant nécessite un couplage synchrone étroit entre les deux blocs, on assiste alors à une fusion des deux. C est un peu comme la nouvelle façade d un bâtiment. On a alors intérêt à ce que les deux blocs s assemblent parfaitement et que les fenêtres soient bien alignées. Si à l intérieur d un même bloc, il existe des fortes contraintes de standardisation d architecture, une certaine flexibilité entre les blocs est de mise, tant qu un certain formalisme dans les d échanges d information est respecté, par l utilisation par exemple d un format fédérateur comme XML.
L EAI répond à la problématique d intégration de hétérogènes au sein du SI mais aussi vers l extérieur : clients et fournisseurs. L entreprise, pour pallier aux problèmes évoqués plus haut, doit s équiper d un système performant pour faire communiquer ces applications. En effet, le SI n est malheureusement pas quelque chose de monolithique. Il évolue dans le temps, et, comme tout autre objet sur ce bas monde, obéit aux principales lois de la physique. En particulier son entropie ne cesse de croître, i.e. le désordre en son sein augmente : évolution des technologies et coexistence de différents paliers technologiques, choix différents selon les branches de l entreprise, fusions/acquisitions, ouverture de canaux de distribution vers les partenaires, les clients, etc. Le décideur est donc confronté à une problématique complexe d intégration de ces systèmes hétérogènes, cette intégration devant répondre aux cinq critères évoqués plus haut : flexibilité, exploitabilité, capacité de gérer certains flux au fil de l eau, sécurité et maîtrise des coûts bien entendu. L objectif principal est de se donner la capacité de fournir au client final un service de meilleure qualité. Le chapitre suivant se proposant de dresser un historique des offres en matière d EAI, nous commencerons donc par plonger dans le passé de ce marché, pour émerger ensuite dans l actualité des offres, et tenter d entrevoir leurs futures évolutions.
L éditeur Français SOPRA a été l un des précurseurs dans la gestion des flux de l entreprise. D autres acteurs se sont positionnés à différents niveaux : IBM, Tibco, Microsoft... Certains utilisateurs ont développé leurs propres systèmes de communication interapplicatives. Le modèle de communication de type «Publish & Subscribe» est plus attrayant que le modèle «Point à point». 1. Vers l Integration des Applications d Entreprise Pour résumer le paragraphe précédent, le objectif de l EAI est d échanger de manière performante des informations entre applications ou progiciels, sur plates-formes hétérogènes, dans des Systèmes d Information en constante évolution. Historiquement, l EAI 2 a été le cheval de bataille d éditeurs comme Sopra ou IBM depuis les années 80. Sopra avait développé une technologie de gestion de flux (Règle du Jeux) capable de gérer des transferts de fichiers de façon globale : inventaire, contrôle de flux et transformations. Cette initiative innovante, unique sur le marché de l époque, se positionnait au-dessus du transport des fichiers, pour fournir des services de transformation, de routage et d exploitation grâce à un dictionnaire des flux. IBM proposa aussi assez tôt (à partir de 1993) un middleware asynchrone en mode message (MQSeries), c est à dire de la tuyauterie 3 permettant de développer des applications s échangeant des informations au fil de l eau. Cette technologie se positionnait précisément sur l interopérabilité des applications, centrales dans un premier temps, puis sur l ensemble des platesformes disponibles sur le marché. D autres éditeurs ont par la suite proposé des offres comparables à celle d IBM (DEC, Pipes et plus récemment Microsoft) voire plus évoluées, comme Tibco par exemple. Enfin, beaucoup de clients ont réalisé eux-mêmes leur propre système de messagerie inter-applicative et de gestion de flux. Ces initiatives, justifiables dans le cadre de projets limités, apparaissent finalement peu rentables à terme par rapport à l acquisition de produits, notamment sur les aspects support multi-plate-forme, capacité d administration et d exploitation, gestion transactionnelle, outils de développement... Probablement mal expliqué et mal compris, limité technologiquement et complexe à mettre en œuvre, ces solutions ne se sont pas généralisées et sont restées pour beaucoup des solutions techniques, locales à des besoins particuliers. L exemple de Tibco est assez révélateur : sa technologie de Publish and Subscribe, déployée à Wall Street en 1980, puis dans les salles de marché du monde entier, n a pas réussi à s imposer réellement ailleurs que dans ces niches. Pourtant techniquement, l offre était très attractive, le principe en est le suivant : le publisher poste des messages sans en connaître les destinataires, il publie sur un thème, par exemple trading.achat le s u s b s c r i b e rs abonne aux messages de t r a d i n g et.* reçoit ainsi au fil de l eau ce qui est publié sur les thèmes t r a d i n g. a, c t h r a td i n g. v. e.. n t e Ce principe permet un réel découplage entre les applications, beaucoup plus qu un moniteur de message classique qui effectue ses envois en point à point (directement de l émetteur vers les N récepteurs finaux, via N files d attente). Dans ce dernier mode en effet, les applications émettrices doivent connaître parfaitement l adresse des applications destinatrices. Quel est donc l événement qui bouleverse aujourd hui l état du marché? Pourquoi donc la presse se fait-elle l écho de cette problématique aussi ancienne que les Systèmes d Information? La réponse tient en deux points : d un côté l offre des éditeurs s est enrichie de nouvelles fonctionnalités 2 Qui ne portait pas encore à l époque ce doux acronyme marketing et Gartnerien 3 On parlera dans la suite de Message Oriented Middleware (MOM) pour désigner ces technologies
Les utilisateurs réalisent l énorme potentiel des solutions d EAI. simplifiant la mise en œuvre et autorisant une réelle généralisation : passerelles, connecteurs aux formats standards et pour la plupart des progiciels, offre d administration, gestion de la sécurité, intégration dans les outils de développement, etc. de l autre les clients réalisent les coûts et la relative vétusté de leurs infrastructures existantes en la matière 4. Une analogie possible se trouve sur le marché des Systèmes de Gestion de Base de Données Relationnelles (SGBDR). Avant l avènement de la technologie relationnelle, chaque projet réécrivait notamment la gestion transactionnelle, la gestion de lock, la sécurité et l exploitation de ses fichiers de base de données. Puis un jour, certains ont proposé de factoriser ces briques de bases dans des systèmes intégrés de gestion de base de données. La courbe suivante est assez instructive quant aux différentes étapes du cycle d acquisition d une technologie et l évolution du niveau : Figure 3: Cycle d acquisition des technologies EAI : de puissants outils d interconnexion en phase d acceptation Aujourd hui, le marché a bénéficié à ces éditeurs bien sûr, mais surtout aux clients : il serait inimaginable de nos jours de se priver de ces systèmes et des outils de conception, de développement et d administration qui les accompagnent. De la même manière donc, le marché de l EAI se situe en France dans la phase de Début d acceptation (il est un peu plus avancé aux Etats-Unis). Il est enfin perçu comme un puissant outil d interconnexion capable de résoudre des problématiques transactionnelles, sécurisées, à caractère critique et d améliorer la qualité de service des systèmes actuels. Le positionnement est clair : fédérer l ensemble des technologies qui aujourd hui tissent des adhérences fortes entre applications et y apporter une valeur ajoutée. Les échanges sont essentiellement de type : échanges de fichiers, échanges de messages, systèmes de réplication SGBDR, systèmes d extraction de données orientés DataWarehouse. Le syndrome spaghetti évoqué au paragraphe précédent est constitutif de la superposition des technologies mentionnées. Les travers sont nombreux : interdépendance des applications, codage de la logique de transformation et de routage en L3G (C, Perl, Shell, etc.), réplication sauvage des données dans plusieurs référentiels, difficulté de suivi global, mauvaise sécurisation, difficul- 4 Parfois douloureusement puisque certaines entreprises ont réalisé après coup la nécessaire prise en compte des programmes d interconnexion dans les projets An 2000...
La solution EAI : un bus d échange central fonctionnant en mode «Publish & Subscribe «. tés de passage en mode fil de l eau (STP). Le stratégie étant précisée, la tactique d implémentation consiste à fédérer les échanges d information autour d un Bus d Echange. Le Bus (ou Hub) est un élément focal du Système d Information, il centralise les flux en assurant les transformations et les routages nécessaires. Le système fonctionne par essence en mode Publish and Subscribe, c est à dire que dès qu une information présente dans une application est susceptible d intéresser d autres applications, elle est transmise, non pas aux destinataires finaux, mais au bus d échange. Celui-ci a la charge d en assurer ensuite le routage vers les applications intéressées en y appliquant éventuellement les transformations nécessaires à leur bonne interprétation. Nous détaillerons plus loin les services supplémentaires qui peuvent se greffer au niveau de ce Bus, c est-à-dire son niveau d intelligence. Figure 4 : Principe du Hub central Un puissant outil de gestion du changement Le gain apparaît clairement : tous les aspects d extraction, transformation et émission, auparavant gérés programmatiquement, sont désormais déportés dans un outil adapté. Donc, au-delà du simple gain en terme de coûts de développement, c est la totalité du Système d Information qui bénéficie : d un gain de flexibilité Une modification dans une application n impacte que sur le Bus et non les N destinataires, d un gain de robustesse La centralisation des flux permet un réel suivi, des sauvegardes, des reprises, d un gain en fluidité et en sécurité Nous le verrons au paragraphe suivant, les technologies proposées se fondent sur des mécanismes asynchrones fil de l eau et peuvent proposer une gestion poussée de la sécurité. Ainsi la qualité de service globale s améliore bien entendu : les temps d intégration d une nouvelle application sont réduits, la gestion des flux est sécurisée, la fraîcheur et la sécurité des données augmente. Quelle(s) technologie(s) mettre en œuvre pour implémenter cette fonction? C est l objet du prochain chapitre.
Le transfert de fichier est encore aujourd hui le principal mode d échange d information entre applications. 2. Architecture EAI 2.1. Mécanismes d échange Comme nous l avons évoqué précédemment, la majorité des mécanismes d interopérabilité se fondent sur la donnée. On peut en citer trois principaux, par ordre d importance décroissant dans les systèmes actuels : les transferts de fichiers, les systèmes d extraction orientés DataWarehouse, les systèmes de réplication SGBDR. Explicitons rapidement le mode de fonctionnement de ces trois mécanismes. Le transfert de fichier représente l immense majorité des flux d information aujourd hui. Quand deux applications communiquent, le premier mécanisme mis en œuvre consiste à extraire une partie de l information contenue dans l application, puis, pour chaque destinataire, la formater et la transmettre. D une manière générale, les deux premiers points constituent des développements spécifiques (extraction et formatage), le dernier point (transport) étant assuré par des transferts classiques (FTP, partage de fichiers) ou plus évolués à base de progiciels spécialisés (Computer Associates XCOM, Sterling Commerce Connect Direct, Sopra CFT et InterPel, etc.). Figure 5: Echange basé sur le transfert de fichier Les ETL ne se focalisent que sur l extraction de données. Les systèmes d extraction orientés DataWarehouse ( E x t r a c t -Transform-Load : ETL) constituent une avancée dans le domaine puisqu ils prennent en charge la gestion d un dictionnaire mettant en relation les données sources (qui peuvent être sous différentes formes : fichiers, bases relationnelles, etc.) et les données cibles du DataWarehouse. Exemple : pour alimenter la table clients d un D a t a Warehouse, on décrira au niveau d un dictionnaire centralisé où et comment aller chercher cette donnée. En particulier, si celle-ci se trouve dans un fichier, un script automatique sera mis en œuvre grâce au dictionnaire pour transporter le fichier et l importer dans le DataWarehouse (ETI, Informatica, Ardent, Constellar, etc.), de même si elle vient d une base relationnelle, d un annuaire, etc. Figure 6: Echange de type Extraction
Les mécanismes de réplication SGBDR sont trop limités en terme de routage et formatage. Les systèmes de réplication SGBDR sont optimisés pour répliquer en mode fil de l eau ou en mode batch des données issues de SGBDR. Les produits les plus avancés étendent leur capacité à d autres sources de données, comme les fichiers VSAM par exemple. Capables de fonctionner en mode événementiel (dès qu un UPDATE base de données est déclenché par exemple), ces outils s appliquent très bien à une problématique d intégration d applications client/serveur. Comme nous le verrons au paragraphe développement, ils permettent d intégrer ces applications sans intervention dans le code. En revanche, ils ne s appliquent correctement qu à ce type d environnement, leur capacité de routage et de formatage d événements n étant pas suffisamment évoluée. Figure 7: Mécanisme de réplication entre SGBDR Si les inconvénients d un système d échange reposant entièrement sur les transferts de fichiers sont bien connus, les limites d une interopérabilité uniquement fondée sur la donnée sont en revanche moins évidentes à appréhender. La réplication SGBDR est bien entendu une niche dans laquelle ne rentrent pas aisément les applications centrales, les ERP et les communications hétérogènes au sens large. Ces outils pourront cependant être complémentaires d une architecture EAI pour adresser des problématiques spécifiques, dans le cas d applications client/serveur par exemple. Les ETL pourraient en revanche constituer un excellent socle technique d interopérabilité. Malheureusement, leur objectif est de créer une nouvelle base de données, pas de diriger des événements vers différents systèmes hétérogènes. En somme, c est une excellente pompe, mais un mauvais routeur 5 : ils mettent en œuvre un référentiel de méta-données décrivant où l information se trouve et ce qu elle signifie, mais pas le référentiel de règles métier décrivant les flux voire les processus complexes. Exemple : la fermeture d un compte déclenche une facturation, le passage d un ordre boursier déclenche sa comptabilisation, etc. Nous le découvrirons en détail dans la suite, les seuls outils à fournir ces deux fonctionnalités sont les Message Broker. Comme leur nom l indique assez bien, ces outils s appuient sur des communications de messages asynchrones. 5 A noter cependant que des acteurs comme Constellar, issus des premières générations d ETL, ont abordé le problème dans sa globalité et offrent aujourd hui une intégration poussée avec les outils d EAI.
Synchrone ou asynchrone? Les architectures distribuées et l émergence de technologies de communication entre applications imposent des choix de conception architecturale. Une des décisions importantes à prendre reste le mode de communication : synchrone ou asynchrone? Dans un mode synchrone, l émetteur doit localiser le destinataire sur le réseau, se connecter à l une de ses instances et attendre la réponse. Dans un tel mode, la requête n est jamais perdue. En cas d erreur ou de rejet, l application émettrice en est directement avertie. Les technologies RPC, HTT P, Corba, COM, etc entrent dans cette catég o r i e. A l inverse, dans un mode asynchrone, la disponibilité du destinataire au moment de l émission n est plus indispensable. Celui-ci traitera la requête en temps voulu. Charge au middleware utilisé de garantir alors que la requête ne se perde pas. Les technologies de Message Oriented Middleware comme IBM MQSeries, Microsoft MSMQ, Tibco/Rendez-Vous entrent dans cette c a t é g o r i e. Si l émetteur de la requête a besoin de la réponse avant de passer à une autre tâche, les technologies synchrones sont à privilégier, ce qui nécessite alors un haut niveau de disponibilité à la fois du réseau et des applications destinatrices. Si une telle disponibilité n est pas garantie ou si la réponse n est pas immédiatement nécessaire, il sera alors préférable de mettre en œuvre des communications orientées sans connexion. D une manière générale, il est fortement conseillé de réduire les besoins de synchronisation entre les applications afin d améliorer leur disponibilité et leurs performances. Un mécanisme d échange avec fort découplage: le message. L idée de faire communiquer les applications en mode message est relativement ancienne puisque avant d apparaître dans les Message Oriented Middleware (MOM) actuels, elle est le fondement de la communication entre objets, distribués ou non. Un message peut contenir plus que de la donnée simple. Il pourra, comme dans le cas des communications entre objets, inclure la méthode, c est à dire l action qu il représente. Exemple : envoi d un message commander contenant la quantité, le code de l article ; envoi d un message règler contenant la devise, le client et le montant, etc. Pour assurer le transport de ces messages, nous avons deux principales technologies à notre disposition : les Message Oriented Middleware Des produits comme MQSeries (IBM), Tib Rendez-vous (Ti b c o ), MessageQ (BEA), MSMQ (Microsoft) proposent ce style d offre. les Object Request Broker (ORB) Visibroker (Inprise), Orbix (Iona), ou plus récemment les offres d Application Server (IBM WebSphere, BEA WebLogic, Microsoft MTS, Sun, etc.) qui sont parfois bâties au-dessus d un ORB. L interopérabilité soulève cependant une contrainte forte : ne pas lier les systèmes entre eux. En particulier, le fait que, pour échanger, deux applications doivent être simultanément disponibles en permanence n est clairement pas acceptable.
Les services d échanges asynchrones du standard CORBA ne satisfont pas aujourd hui aux besoins complexes de l EAI. Routage et transformation sont assurés par les Message Broker. En ce sens, la vision de l OMG 6 qui propose une communication synchrone d objets à objets est irréaliste dans le cadre de l EAI. Les systèmes doivent demeurer le plus indépendants possibles, et les mécanismes qui les lient le plus asynchrone possible. Le système A doit fonctionner même si le système B n est plus disponible ; à son retour, B récupérera ce qui lui était destiné. Bien entendu, on rétorquera que les ORB disposent de mécanismes asynchrones que sont les Event Services et autre Notification Services. Cependant, on l a vu, le simple transport ne suffit pas. La valeur ajoutée d une architecture EAI se situe au niveau des services de transformation et de contrôle de flux qu elle met en œuvre, voire au niveau d autres services que nous détaillerons plus loin. Dans ce domaine, seules les offres se fondant sur des MOM sont aujourd hui à même de couvrir ce besoin. Que le lecteur ne conclue pas trop vite, les éditeurs d ORB ou de serveurs d applications commencent à intégrer ce type de technologie dans leurs produits. Voir à ce propos Iona et le projet Warhol, Forté Fusion, BEA et son partenariat avec TSI (l éditeur du Message Broker Mercator), Jasmine de Computer Associates, IBM avec WebSphere ou Microsoft COM+. Du reste, même si l asynchrone doit être privilégié dans la mesure du possible, il est des cas où le mode synchrone question/réponse est nécessaire. Par exemple dans le cas d une consultation de référentiel externe, bloquante pour un processus donné. On verra donc dans l avenir des produits s appuyer indifféremment sur du middleware synchrone (HTT P, IIOP, RMI, DCOM, etc.) ou asynchrone (MQSeries, MSMQ, etc.). Bien que le retard de l offre EAI des éditeurs de serveurs d applications soit encore important, il est donc probable que les deux approches fusionnent à moyen terme : les communications en entrée et en sortie du serveur d applications seront pilotées par un moteur d EAI, fournissant des services de bien plus haut niveau que l accès à un protocole technique comme HTTP ou IIOP. Pour les entreprises, il n y a donc pas de choix à proprement parler, pour démarrer un projet d EAI aujourd hui, il faut se tourner vers les offres de MOM et de Message Broker. L important étant de constater qu il s agit d une trajectoire claire du marché, c est-à-dire dans laquelle s inscrivent aussi bien les acteurs historiques du monde de l asynchrone que les ténors du moniteur transactionnel ou du serveur d applications. Nous vous proposons donc au travers des prochains paragraphes de décrire les briques d architecture qui incluent le transport et les services à valeur ajoutée d une architecture EAI : transformations, routages, passerelles, connecteurs, gestion de processus complexes (workflow). Enfin, nous illustrerons les aspects liés au développement d application et la problématique d administration et de sécurité. Message Oriented Middleware : une technologie orienté échange point à point... 2.2. Echange en mode Message Le mode de transport principalement utilisé par les Message Oriented Middleware est du point à point. C est à dire qu une application émettrice poste un message dans une file d attente précise. L application réceptrice R1, quand elle le décide, consomme les messages postés par le programme émetteur. Les deux applications communiquent donc directement, au travers 6 Object Management Group, groupement d éditeurs et d utilisateurs publiant la standard CORBA (Common Object Request Broker Architecture).
d une file d attente commue des deux parties. Si l application émettrice doit fournir l information à un deuxième programme R2, elle doit poster le message une seconde fois. Figure 8: Echanges via un MOM La principale fonction d un MOM est de transmettre des messages de manière sécurisée Au-delà de la simple gestion de files d attente, le MOM assure un certain nombre de services pour sécuriser l architecture : Garantie de délivrance Un message, une fois soumis par l application, sera forcément traité par le système : soit l application réceptrice le consomme (et il y a garantie d unicité) soit sa durée de vie expire et il est envoyé dans une file d attente particulière (dead-letter queue) où une action de l exploitant est requise. Notification Il est possible de simuler du synchrone par l utilisation de reply queue dans laquelle l application émettrice attend une réponse en retour de son message. Priorité, groupage des messages Il est possible de marquer les messages comme ayant une priorité particulière ou comme faisant partie d un groupe de messages. Sécurité Il est intéressant de pouvoir restreindre l accès pour des files d attente particulières. Par exemple tout le monde ne doit pas pouvoir publier des messages dans une file d attente paiement sans contrôle. Un message peut être authentifié, son contenu rendu intègre ou confidentiel. Nous détaillerons ces points au paragraphe Sécurité. Triggering Sur l arrivée d un message dans une file d attente, il est possible de déclencher automatiquement un programme. Par exemple, une transaction, une mise à jour de base de données, etc. Transaction Le MOM peut se comporter comme un Ressource Manager vu d un moniteur transactionnel ou d un OTS. Ainsi, il est possible d écrire des composants s exécutant dans un Application Server et qui réalisent une mise à jour de base de données et un envoi de message, le tout de manière transactionnelle. Inversement, le MOM peut aussi jouer le rôle du Transaction Manager, c est le cas par exemple lorsque le MOM synchronise l envoi d un message avec des mises à jour de plusieurs SGBDR