Intégration & gestion des flux de données Présentation générale Oriade «Plateforme d'intégration & de gestion de flux de données» - 1 -
Evolution de l'offre progiciels Offre système propriétaire Bull/Gcos8 Offre systèmes ouverts J2EE Sysout Système R S M 8 Applications (Batch,TP,TS) FDFRSM F D F 8... Sysout Utilisateur FDFCNV Oriade Plateforme de gestion de flux de données Automatisation de la collecte, transformation, diffusion de flux de données en environnement hétérogène Multi-canal, multi-protocoles, Intègre l'utilisateur dans la circulation de l'information, Adaptabilité, Intégration «non-intrusive» et progressive ISO/DSA FTP8 - PeSIT - UFT8 Gestion du spool système - RSM8 : automate d'extraction, de transformation et de distribution de données du sysout & backdoor, éditeur pleine page de fichier sysout sous forme de commande Time Sharing Systèmes Ouverts Mainframes HTTP POP/S MTP FTP Filiales Agences Gestion des transferts de fichiers - FDF8 : automate de transferts de fichiers multi-protocoles, avec interface RSM8 Solution complétée avec le produit OpenLDF (client/serveur Windows) de mise à disposition de listes informatiques (états de gestion et compte-rendus d'exploitation) Serveurs Dédiés Serveurs Dédiés J M S SQL / JDBC PeSIT Clients Fournisseurs Banques Organismes Oriade «Plateforme d'intégration & de gestion de flux de données» - 2 -
Oriade Architecture fonctionnelle Système d'information (Applications METIER Entreprise ) Processus Métiers Objets Métiers Orchestration BPM Orchestration BPEL (WebServices) Adaptation aux contraintes réseau : Store&Forward Transport et livraison avec garantie d'unicité C o l l e c t e Transformations Routage Transport D i f f u s i o n Maintien de la cohérence globale : état du dialogue, des fichiers, des messages Sécurité Traçabilité Montée en charge Tableau de bord Evolutivité (ESB, SOA,...) Oriade «Plateforme d'intégration & de gestion de flux de données» - 3 -
Oriade Architecture technique INTERFACES WebServices Applications, progiciels... METIER Logiciels Tiers API EJB Container Web Container Servlet Servlet EJB EJB API Oriade Planification, Transport Transformations, Routage Administration -Suivi Serveur d'applications JEE DONNEES Filiales Agences Clients Fournisseurs Oriade «Plateforme d'intégration & de gestion de flux de données» - 4 -
Oriade Les Objets du référentiel Objets physiques Transport (Protocoles) Objets logiques Domaine Collecteur1 Sources Collecteur2 CollecteurN Groupe de collecteurs Sélection Analyse Traitements DestinationZ Destination5 Groupe de destinations Destination4 Destinations Objets Méthodes (Quoi?, Comment?) sélection, analyse, traitement Objets Correspondants (Qui?) sources, destinations, domaine Objets Descripteurs (Où?, Quand?) transport, planification Oriade «Plateforme d'intégration & de gestion de flux de données» - 5 - Toutes les marques citées sont déposées par leurs sociétés respectives Le présent document ne constitue pas un document contractuel Version 02/2007
Fonctionnalités Centralisation Serveur d'applications J2EE dédié ou mutualisé Concentration du métier dans des modules EJB (Enterprise Java Bean) : administration, suivi, traitements, routage, notifications,... Composants logiciel répartis sur le réseau communiquant par URL : serveur d'ejb, de Servlets/JSP, de bases de données, annuaire LDAP,... Flexibilité pour respecter et s'adapter aux normes de l'existant Pool de connexions et d'accès à l'environnement Gestion de l'interface Web dynamique (Apache/Struts) Ouverture et capacités d'intégration accrues en utilisant les services offerts : WebServices, J.C.A.,... Solution extensible avec la possibilité de déployer des agents Oriade distants échangeant en JMS (Java Messaging Service) des ordres d'exécution au format XML : sélection, analyse, traitements, interface spécifique,... Oriade «Plateforme d'intégration & de gestion de flux de données» - 6 -
Fonctionnalités Automatisation Gestion des processus Sélection et Analyse de fichiers selon des critères paramétrés Collecte / Distribution de fichiers via les protocoles ouverts (FTP, HTTP, POP3, SMTP,...), spécifiques (SQL, externe via EJB,...) ou propriétaires (PeSIT,...) Connecteurs spécifiques spool mainframe : Bull/Gcos8, IBM/Mvs(Jes) Support futur de protocoles ouverts via WebServices (PRESTO,...) Transferts en mode client/serveur & serveur/serveur Enchaînement des processus, avec contrôle et suivi de bout en bout Traitements associés : contrôle et affectation de flux, compression, décompression, chiffrement, déchiffrement, signature électronique, traduction et transformation de format, lancement de ligne de commande, métier spécifique (insertion d en-tête,...),... Fonctionnement mixte : autonome (planification interne) et/ou piloté par ordres via API Interface (commande, message JMS,...) avec ordonnanceur d'exploitation, superviseur... Oriade «Plateforme d'intégration & de gestion de flux de données» - 7 -
Fonctionnalités Automatisation (cinématique générale) SOURCE COLLECTE (Scrutation, Sélection, Analyse) Agent Oriade ou Serveur Oriade TRAITEMENTS Pré-Store Agent Oriade ou agent spécifique site STORE TRAITEMENTS Post-Store ORIADE ROUTAGE TRAITEMENTS Pré-Forward DIRECT TRAITEMENTS Post-Forward FORWARD TRAITEMENTS Post-Forward CIBLE Agent Oriade ou agent spécifique site Oriade «Plateforme d'intégration & de gestion de flux de données» - 8 - Toutes les marques citées sont déposées par leurs sociétés respectives Le présent document ne constitue pas un document contractuel Version 02/2007
Fonctionnalités Sécurité Standards de connexion Authentification et autorisation conforme au standard J.A.A.S (Java Authentication Authorization Service) avec possibilité d'interface d'un système type SSO ou biométrique Standard de cryptage TLS1.0 (IETF) et SSL/v3, couplage avec FTP, HTTP, LDAP,... X509/v3 et CRL - implémentation BC de J.C.E. (Java Cryptography Extension) Chiffrement/déchiffrement asymétrique et symétrique avec : algorithmes d'échange de clés : RSA algorithmes de hachage : MD5, SHA1 algorithmes de chiffrement de données : AES, 3-DES avec les modes opératoires sur les blocs de données CBC, CFB et CTR (CounTeR). Fiabilité du transport de données Reprises à l'octet près selon le protocole Bascule automatique sur un protocole de secours Redémarrage de l'encours suite à une coupure système ou réseau Oriade «Plateforme d'intégration & de gestion de flux de données» - 9 -
Fonctionnalités Exploitabilité Interface graphique utilisateur Section de téléchargements sécurisés en HTTPS : download, upload Plusieurs niveaux de suivi selon profil utilisateur (rôle) Suivi des processus étape par étape avec barre de progression Affichage détaillé : source, destination, protocoles utilisés Moteur de recherche par filtres : état, date, source, destination, domaine Actions manuelles de suivi des processus (unitaires ou groupées) : suspendre, relancer, continuer, supprimer Interventions manuelles via un panneau de commandes d'exploitation : pause, démarrage, scrutation,... Notifications d'évènements Notifications par des messages XML via JMS (début, réussite, anomalie, problème système...) permettant l'interface avec tout système d'alerte Oriade «Plateforme d'intégration & de gestion de flux de données» - 10 -
Oriade Les Interfaces WebServices HTTPS SOAP WDSL, UDDI Web Container Serveur d'applications Servlet JSP J2EE Applications Java classiques ou EJB Notifications JMS EJBs site (traitements) EJBs site (protocoles) EJB Container EJBs Oriade EJBs Oriade EJBs Oriade JMS RMI EJB OriadeAPI Java Mail JDBC JCA SMTP POP SQL HooX,... FTP, HTTP, PeSIT... Bases de données ResourceAdapter (Legacy EIS, ERP, CRM,...) Oriade «Plateforme d'intégration & de gestion de flux de données» - 11 -
Oriade Interface Homme-Machine (web-gui) Connexion http://<adresse>:<port>/oriade/ Lien dynamique de l'emplacement actuel Utilisateur connecté Aide générale Témoin d'utilisation des variables Aide contextuelle Accès aux menus Zone de travail Boutons ou liens d'action Oriade «Plateforme d'intégration & de gestion de flux de données» - 12 - Toutes les marques citées sont déposées par leurs sociétés respectives Le présent document ne constitue pas un document contractuel Version 02/2007
Oriade Interface Homme-Machine (web-gui) Téléchargements (download) - Mise à disposition (upload) En se basant sur le protocole HTTPS, un utilisateur peut : - récupérer par téléchargement des fichiers traités et mis à sa disposition. - mettre à disposition des fichiers dans des collecteurs Oriade selon ses habilitations La mise à disposition délocalisée et personnalisée de fichiers stockés sur le serveur Oriade est réalisée dès la fin d'un processus ayant pour destinataire le contenant prévu à cet effet. L'utilisateur peut être notifié par courriel de cette mise à disposition (ce-message lui fournira un lien URL vers le fichier en question). Oriade «Plateforme d'intégration & de gestion de flux de données» - 13 -
Oriade Interface de programmation (API) API Java : utilisable en local ou à distance, via une application client Java ou un WebService (WSDL fourni). Les méthodes exposées sont accessibles : - en local, dans le même conteneur EJB - à distance, via les protocoles RMI, JMS, SOAP (WebServices) Ces méthodes permettent de : Créer, modifier des objets du référentiel Démarrer / Arrêter le serveur Oriade Interroger le suivi (état d'avancement des processus) Déclencher des actions (lancer un processus, activer/désactiver un objet du référentiel, relancer un processus en incident) Générer un fichier statistique Obtenir des informations (version,...) Oriade «Plateforme d'intégration & de gestion de flux de données» - 14 -
Oriade Les Outils (commande) Application oriade-command Exemple d'application Java utilisant l'api Oriade, intégré à l'installation standard (kit d'installation oriade_install-apps.jar). Permet d'interagir avec le serveur Oriade selon différents paramètres passés en ligne de commande. oriade-command peut être utilisée sur le serveur Oriade ou à distance (via JMS ou RMI). Exemples d'utilisation : effectuer le suivi d'exploitation par batch sans interface graphique piloter Oriade à distance par un ordonnanceur d'exploitation Les commandes disponibles sont de trois types : Démarrage / Arrêt Déclenchement d'actions Obtention d'informations Oriade «Plateforme d'intégration & de gestion de flux de données» - 15 -
Oriade Les Outils (notifications) Toute l'activité des processus est notifiée via Java Messages Service (JMS) au travers du Provider JMS présent dans le serveur d'applications J2EE. Les notifications sont envoyées sur le topic oriade_notificationtopic. Les clients d'écoute JMS désireux de recevoir ces messages doivent s'y abonner. Ils pourront ensuite récupérer ces messages au fil de l'eau sans se soucier du moyen de transport. Evénements notifiés : Démarrage d'un processus Fin normale d'un processus Interruption d'un processus (erreur survenue ou suspension par utilisateur) Fin anormale d'un processus (passage volontaire en échec par utilisateur) Des classes Java ainsi qu'un programme de test "NotificationsTester" servant à récupérer, extraire et afficher les notifications envoyées par le serveur Oriade sont disponibles sur le cédérom (kit d'installation oriade-apps) Afin d'utiliser et de tirer pleinement partie du schéma XSD livré, nous recommandons l'utilisation de JAXB pour effectuer obtenir un objet java à partir du XML (Marshalling). Oriade «Plateforme d'intégration & de gestion de flux de données» - 16 -
Oriade Les Outils (Agent autonome) OriadeAgent : module exécutable livré en standard pour être installé et déployé sur tout serveur muni d'une JVM (kit d'installation oriade-apps). Agent de relais destiné à exécuter certaines tâches sur les serveurs : Sélection de fichiers dans les répertoires locaux (scrutation, analyse) Traitements délocalisés : compression/décompression, chiffrement/déchiffrement, signature électronique, exécution de lignes de commande, traitement métier spécifique, appel à des WebServices,... Interfaces API spécifiques avec des progiciels (protocoles propriétaires, ERP,...) Communication entre Oriade et ses agents déployés via JMS Messages au format XML Mode asynchrone Agent entièrement asservi aux ordres provenant d'oriade Fonctionnement de l'agent : Lancement de l'exécutable avec un fichier de configuration Phase d'initialisation (échanges de données d'initialisation avec Oriade) Exécution de tâches demandées par Oriade Ecriture dans un fichier log d'événement Synchronisation des données d'administration Oriade «Plateforme d'intégration & de gestion de flux de données» - 17 -
Oriade Une solution globale Echanges Inter-entreprises & Intra-entreprise Adaptabilité (modularité des composants) Interopérabilité (utilisation des standards du marché, notamment WebServices) Souplesse (déploiement progressif, interface web intuitive) Evolutivité (choix de technologies novatrices et pérennes) Avantages : Réactivité accrue de l'entreprise face aux contraintes organisationnelles Gain en productivité des équipes de production (suppression des opérations manuelles, des risques d'erreurs et de litige) Suivi de bout en bout des processus liés aux échanges assurant à la fois maîtrise et contrôle des incidents Facilité de déploiement de nouveaux flux générés par l'intégration d'applications hétérogènes dans le système d'information Fonctionnement au fil de l'eau en mode asynchrone garantissant une parfaite exécution des processus Oriade «Plateforme d'intégration & de gestion de flux de données» - 18 -
Exemple de solution : INSEE (Nantes, Orléans, Paris) SI -Entreprise Secours. Arrivée Départ P.R.A. Serveur J2EE Gestion des flux de données FTP/S FTP/S, Copie Utilisateurs SMTP HTTPS Station Tedeco EAA EAD FTP/S A D Serveur CFT/XFB Partenaires X400 Partenaires Extranet Partenaires Oriade «Plateforme d'intégration & de gestion de flux de données» - 19 -
Solutions et Réseau d'expertise Intégration : Cohabitation avec les applications J2EE Interopérabilité avec l'existant et reprise des données Prise en compte des choix de migration et du degré d'intégration Management du changement des process métier Partenariats technologiques : Composant d'une gestion industrielle de centre de production informatique Output Management : mise à disposition d'éditions informatiques Editique : revamping de flux mainframe, homogéinisation des solutions existantes, mise en cohérence de centres de production GED : coffre fort avec acheminement automatique des données E.A.I. Tactique (approche bottom-up) Oriade «Plateforme d'intégration & de gestion de flux de données» - 20 -