Visual TOM chez CA Cheuvreux

Transcription

1 Visual TOM chez CA Cheuvreux Implémentation de Visual TOM pour Infocentre Thierry SILSKI Jeudi 17 juin

2 Plan de la présentation Présentation de CA Cheuvreux Qui sommes nous Notre métier L informatique de CA CHEUVREUX L équipe en charge de Visual TOM Equipe Missions Environnement Technique L existant avant Visual TOM Outils et commandes Objectifs et bénéfices Besoins et contraintes Page 2 Presentation Title

3 Plan de la présentation Visual TOM Périmètre initial Démarche de choix de l ordonnanceur Architecture Visual TOM choisie Principes majeurs retenus L avenir Fin de la présentation : Questions

4 Page 4 CA Cheuvreux Courtier leader sur actions européennes

5 Qui sommes nous? Filiale à 100 % de Crédit Agricole CIB, CA Cheuvreux est le courtier européen du groupe Crédit Agricole, au service des institutionnels, des corporates et des réseaux de particuliers. Crédit Agricole est le 3ème groupe bancaire européen et le 9ème mondial en terme de Tiers-1 Capital (the Banker, July 2009) San Francisco New York Stockholm Londres Amsterdam Francfort Zurich Paris Vienne Madrid Milan Athènes Istanbul Dubaï Shanghai Mumbai Hong Kong Bangkok Beijing Taipei Manille Tokyo Kuala Lumpur Singapou Jakartar (GED) Sydney Page 5 Presentation Title

6 Notre métier CA Cheuvreux, CLSA et CSI offrent une gamme complète de services de courtage sur les valeurs européennes, asiatiques et américaines GED est le département «produits dérivés actions» de Crédit Agricole CIB, actif dans les produits Delta One, les convertibles, les trackers, les dérivés de fonds et les produits exotiques. La ligne d activité EBD (Equity, Brokerage & Derivatives) comprend professionnels présents dans 26 bureaux CA Cheuvreux, courtier européen sur actions, propose des services de recherche (analyse financière, économie et stratégie), de vente et d exécution à une clientèle française et internationale d investisseurs institutionnels, de corporates et de réseaux de particuliers. Avec 15 bureaux et des équipes actives sur 60 marchés en Europe, aux États-Unis, au Moyen-Orient et en Asie, CA Cheuvreux renforce le développement de ses services et de sa couverture géographique, afin d offrir à ses clients de nouvelles solutions performantes et adaptées aux évolutions du marché.

7 L informatique de CA CHEUVREUX Directeur Informatique Responsable production Responsable DSI Etc... Reseau DBA Middle Backoffice EBS Etc.. Un service développement couvrant l ensemble des métiers internes de l entreprise (Infocentre, FrontOffice, middle office, backoffice, etc). Une exploitation regroupant 50 personnes ventilées dans les domaines NT-NOVEL (Client et serveur), Notes, DBA, Réseaux, Opérations (NT / LINUX / SOLARIS)

8 L équipe en charge de Visual TOM

9 L équipe en charge de Visual TOM Equipe Equipe DBA attachée à l exploitation, seule compétente pour tous les serveurs de bases de données, quel que soit le fournisseur. Equipe constituée de 4 Personnes (1 Architecte + 3 DBA Sénior), avec des profils SYBASE à 80% et MS-SQL Serveurs à 20% + connaissances sur ORACLE. Missions Assistance aux équipes développement, de monitoring des instances des serveurs de bases de données et de la réplication entre eux. Mise en production des nouvelles applications (partie BDD) ou modification des applications déjà en place. Installation des nouveaux serveurs de bases de données et de leurs suivi (volumétrie, temps d accès, audit, ) Particularité des missions : Mises en production quotidiennes (créneaux spécifiquement réservés, : 7h/20H Procédures stockées, 18/20H Mise en production de tables avec un temps d indisponibilité de 45 mn maximum, au delà MEP de WE.), suivi particulier et relance des traitements infocentre liés aux serveurs de bases de données (gestion des batch par Visual TOM) ; cette mission impose l utilisation d un ordonnanceur

10 L équipe en charge de Visual TOM Environnement technique Environ 30 To de bases de données. Celles-ci regroupent toute les traces d activité du trading (FrontOffice) ainsi que middle et backoffice, Bases de données : 60 serveurs SYBASE, 20 serveurs MS SQL Serveur, 5 Serveurs ORACLE, 1 Serveur SYBASE IQ, répartis sur un site primaire et un site de backup. Réplication hétérogène temps réel entre les serveurs (par Réplication Server de SYBASE).

11 L existant avant Visual TOM

12 Outils et commandes Avant le choix d un ordonnanceur, tous les travaux étaient lancés par crontab ; avec la venue de LANCE_BATCH (programme créé en interne), seuls les traitements nécessitant la prise en compte de contraintes autres qu horaires ont été migrés sous celui-ci. Le Script LANCE_BATCH s appuie sur un SGBDR et la lecture des crontab où se trouvent les traitements. Le programme atteignait ses limites et ne pouvait satisfaire tous les besoins qui allaient grandissants (planification complexe de type : 1 er jour ouvré du mois, synchronisations sur la terminaison correcte de plusieurs travaux ) Un outil professionnel spécialisé devenait nécessaire..

13 Objectifs et bénéfices Transition douce vers le nouvel outil Interface graphique indispensable pour la lisibilité Faible charge induite par le produit Rapidité de réaction en cas de problème sur la production Mise à disposition d IHM pour nos clients pour le suivi de leur exploitation Souplesse d utilisation IHM facilement compréhensible.

14 Besoins et contraintes Nos utilisateurs souhaitaient conserver le système actuel et donc ne pas changer leurs habitudes de travail. Contrainte fonctionnelle : l infocentre travaille sur les données du jour ouvré qui précède le jour courant. Le calendrier Cheuvreux, basé sur les jours d ouverture des bourses (à quelques exceptions près, proche du 7/7) doit être pris en compte nativement. Certains jobs doivent s exécuter à des jours précis qui ne seront connus qu au début de l année en cours (Traitement PNB). En cas de dérive d exécution d un traitement et/ou de retard, une alerte doit être émise. L infocentre est constitué de deux serveurs de bases de données avec des fonctions distinctes ; une saturation potentielle peut aboutir à leur «arrêt/redémarrage». La notion de charge de travail doit être prise en compte dans les contraintes d exécution (ressources Visual TOM) Les mises en exploitation des travaux ne doivent pas être effectuées par les équipes de développement (dont l infocentre fait partie), mais par l exploitation uniquement. Un batch doit pouvoir se lancer indifféremment de la machine (quelle que soit la version d Unix).

15 Visual TOM

16 Visual TOM Périmètre initial Démarche de choix de l ordonnanceur Architecture Visual TOM choisie Principes majeurs retenus

17 Périmètre initial Périmètre initial : Périmètre de fonctionnement : Rapport et document infocentre Système actuel : crontab + programme interne LANCE_BATCH Nombre de serveurs : 5 Type de serveurs : Linux, Solaris et Windows Type de batch : scripts shell Outils à intégrer : aucun Très peu de contraintes Nombre de batchs estimé : 400 Type de production : non critique, régulière avec activité ciblée

18 Démarche de choix de l ordonnanceur Solutions étudiées $Universe Visual TOM BMC Control-M Principaux critères de choix Adéquation aux besoins et contraintes fonctionnelles. Budget limité. Adéquation technique multiplateforme NT-Novell/Solaris/Linux. Interface utilisateur entièrement graphique. Facilité d utilisation et de mise en œuvre.. Choix de l outil sur «Proof of Concept». Résultat De ces 3 produits, seul Visual TOM répondait à tous nos critères. Nous disposions d une version de test pour monter un prototype opérationnel, Nous pouvions réellement qualifier l ergonomie du produit.

19 Architecture Visual TOM choisie La solution en place s appuie sur une version Visual TOM (version installée initialement) Le serveur Visual TOM est installé sur une machine linux ReadHat 4, le répertoire est mirroré en temps réel vers le site de backup, ce qui permet une bascule rapide en cas de défaillance. 5 clients sont installés 1 NT 2 Linux et 2 Solaris (les 2 Solaris sont en cours de migration vers Linux) 12 Utilisateurs de la DSI disposent de la console Visual TOM en mode visualisation (aucune mise à jour ou action de pilotage) Grâce à la version 5.2.2, nous avons pu mettre en place un profil lecture seule, ce qui plait beaucoup à nos utilisateurs. Très utile dans le cas d un nouveau batch mis en place, car cela leur permet de voir en temps réel ce qui se passe et d accéder aux logs et statistiques des traitements.

20 Principes majeurs retenus Règles et contrôles Plusieurs échanges avec le support ainsi que l IT venu pour l installation et la formation sur Visual TOM nous ont permis de mieux appréhender nos besoins. il en est ressorti ce qui suit : Compatibilité avec existant : les jobs appelleront une version édulcorée de LANCE_BATCH (LANCE_LB) qui permet de garder la mise à jours des pages PHP. Pour garantir que les traitements s effectueront bien par rapport à un jour ouvré, il s exécuteront en décalage de 24 heures par rapport au jour J (date d exploitation). Ainsi, si lundi est un jour ouvré les traitements commenceront à partir de 0h30 le mardi (en raison de la fermeture de NY), et ainsi de suite Mise en place de règle sur la gestion des dates d exploitation pour éviter les blocages programmés de production En cas d attente inter-environnement, utilisation d un job d attente d événement basé sur l ancien système (table d événements).

21 Principes majeurs retenus Règles et contrôles Les statistiques des environnements sont extraites et mises en bases chaque jour, ceci afin de calculer les dérives éventuelles. Ces dérives sont intégrées aux mails de suivi d exploitation dans une rubrique à part. Ceci nous permet de donner accès à des graphiques de suivi à partir des extractions des statistiques au jour le jour. En cas de retard d un job (temps de début dépassé depuis N heures), un mail de suivi est envoyé. ceci est très utile en cas de problème sur un traitement précédent, temps d exécution trop long par exemple. Une crontab sous le user Visual TOM contient tous les scripts de surveillance et de remontées des statistiques. La partie surveillance et monitoring de Visual TOM ne peut être confiée à lui-même, c est pourquoi des scripts de surveillance des bdeamon, d extraction des statistiques et autres sont mises sous la crontab de l utilisateur Visual Tom. Pour la partie surveillance des processus, nous utilisons le programme ITRS. A la notion de calendrier global (cheuvreux7_7) dont les jours fériés ne sont pas connus à l avance (diffusion par Euronext et Nyse en début d année) est venu s ajouter un calendrier spécifique à une chaîne de traitements PNB. Celui-ci sera mis à jour au début de chaque année avec les informations données par la DSI infocentre.

22 Principes majeurs retenus Surveillance ITRS surveille que les processus Bdaemon/vtserver etc.. sont opérationnels.

23 Principes majeurs retenus Monitoring Page PHP de suivi des temps des jobs

24 Principes majeurs retenus Suivi et remontée d informations Exemple de mail de remontées à destination de la DSI infocentre

25 Principes majeurs retenus Référentiel Visual TOM 4 environnements existent : Divers (regroupe les jobs de différente DSI) Exploitation (Job exploitation DBA) Infocentre (Job exploitation SC Infocentre) SIRIUS ( Job exploitation SC transverse) Ceci correspond à 361 jobs, dont 330 journaliers et 31 mensuels. Les 47 ressources existantes sont le premier pas vers une gestion de la charge des serveurs de bases de données. Chaque intervenant a un compte propre administrateur sur l ensemble des environnements. Les utilisateurs ont chacun un compte nommé lié à un profil qui contient son ou ses environnements.

26 Espace de travail Principes majeurs retenus

27 Principes majeurs retenus Applications et Xliens Pour des raisons de lisibilité de l exploitation, nous avons préféré utiliser les applications comme des conteneurs rassembleurs autour d un élément fonctionnel. Ceci nous a amené a utiliser des xliens pour lier un job à un autre.

28 Principes majeurs retenus Bilan Actuellement, nos utilisateurs et nous-mêmes sommes amplement satisfaits de la solution mise en place, celle-ci nous prend peu de temps par jour. L ensemble des objectifs initiaux est atteint. Aujourd hui de nouveaux besoins apparaissent. Ceux-ci sont à l étude (notamment : statistiques et prévisionnel).

29 L avenir

30 L avenir Meilleure gestion de la charge des serveurs base de données infocentre. Nouvelle configuration de site : Deux sites distants Bascule de primaire tous les trois mois Pas de perte d informations Bascule à effectuer le WE Plan d urgence Demande de conseil en architecture pour le PRA (Absyss)

31 Fin de la présentation Séance Questions/Réponses