Les Matinales d EI. Industrialisation des Tests et Recettes. En partenariat avec HP et Euraxiel Témoignage ESP. A l attention de : Auteur(s) :

Transcription

1 Les Matinales d EI A l attention de : Auteur(s) : Réf : EI-Technologies Industrialisation des Tests et Recettes En partenariat avec HP et Euraxiel Témoignage ESP Date : Janvier 2014

2 Et maintenant focus sur L industrialisation des tests 2

3 Le marché et ses enjeux Un environnement fortement concurrentiel avec des menaces de nouveaux entrants» Forte Pression sur les prix» Recherche de différenciation par l adaptation des offres et l innovation» Abaisser les coûts tout en augmentant le nombre de releases» Besoin de transformer le SI plus ouvert, plus social, connecté et mobile» Le SI devient visible du client le zéro défaut est recherché Conséquence: Tests plus poussés, plus fréquents avec des TNR plus nombreux Or, ces TNR sont lourds, coûteux, complexes à effectuer et souvent hasardeux Besoin d industrialiser, d outiller, d automatiser 3

4 L industrialisation.. Oui mais c est quoi? «L'industrialisation est l'ensemble du processusde fabrication de produits manufacturés, allant du prototypeà la,sérieen recherchant une forteproductivitédutravail. Elle permet de remplacer le système artisanal ou manuel deproductiondans des lieux dispersés, par une production : - centralisée - en grandes séries - utilisant des machines - appliquant des normes ou standards pour obtenir des produits de qualité homogène» Appliqué à notre métier Mettre en place des activitésvisant à réduire les coûtset les délais tout en augmentant ou en maintenant la qualité applicative 4

5 Et alors Quelles activités? 1 - Mettre en place une organisation de projet préventive 2 - Maitriser le cycle de vie T & R 3- Evaluer et piloter par l effort de test 5 - Maitriser la NR et l automatisation 6 - Optimiser la gestion des environnements 22 janvier Créer et animer un Patrimoine de tests 5

6 Et pour que cela fonctionne.. Mesurer Mesurer des indicateurs de performance Mettre en œuvre des bilans réguliers Mettre en œuvre de plans d amélioration 6

7 Témoignage Mise en place à Euro Securities Partners Témoignage de JP THOREAU 7

8 Présentation de la société Société par Actions Simplifiée Euro Securities Partners Plate forme unique de gestion de l activité de conservation titres de la banque de détail et de la banque privée pour les Middle et Back Office Nombre de comptes ~ Activité Nombre de portefeuilles ~ Contexte 55 % du marché France Fréquentes évolutions réglementaires Grand projet d internationalisation Charges et délai importants pour les tests S.A.S créé en 2002 par le Crédit Agricole et BNP Paribas à parité 8

9 Problématique et objectif Problématique rencontrée : Volonté de moderniser l application OST/Coupon avec une montée en charge progressive du périmètre traité par la nouvelle application Coût des tests de non régression jugé trop élevé sans trouver un moyen de les industrialiser Objectif de l Industrialisation de la recette de non régression : Améliorer la qualité, par notre capacité à exécuter des non régressions plus systématiquement Améliorer la productivité des développements, par la simplification des phases de recette Constituer un patrimoine de tests réutilisable dans la durée 9

10 Expression du besoin Installer dans l environnement ESP un outil disposant des fonctions suivantes : Organiser en campagne de recette un patrimoine de jeux d essais représentatifs de la diversité d une application Exécuter cette campagne, capturer l environnement fonctionnel nécessaire, et sauvegarder les résultats obtenus, faisant office de référence Rejouer de façon industrielle ces campagnes, indépendamment du contexte d origine, et comparer industriellement les résultats de ces rejeuxavec le résultat de référence, garant du bon fonctionnement du logiciel 10

11 Choix de l outil pour industrialiser les recettes Objectif Zéro défaut tout en optimisant les recettes (charges et délai) Industrialiser l exécution des recettes dont les TNR Disposer de jeux d essais de référence avec les résultats attendus Exigence Rejouer tant que de besoin Comparer automatiquement les résultats avant et après Recherche Infructueuse pour le contexte et le besoin d ESP Solution Proposition d Euraxiel de packager ses outils de test utilisés pour ses contrats de développement forfaitaire 11

12 Projet Pilote TNR Application choisie Refonte application OST-Coupons avec besoin de recettes complexes et montée en charge sur plusieurs années Complexité Plus de 1000 cas de tests Plus de 900 programmes et 100 tables DB2 Traitement quotidien enchaînant 1000 jobs Investissement Paramétrage de l application Constitution des campagnes de référence pour chaque client Une seule fois à l origine et acquis pour les versions ultérieures Constat après 2 ans Recette d une nouvelle version «OST-Coupons» SANS RECITAL AVEC RECITAL Délai Trois mois Une semaine Charge MOA 100 jh ε Charge MOE 20 jh 10 jh Nombrede versions par an Qualité 2 Plus de 2 si besoin Aucune anomalie de régression en production depuis 2 ans 12

13 Enseignements du projet pilote - Opérations de TNR Rejeu Autant de fois que nécessaire Pour le compte des deux clients finaux Indépendance Vis-à-vis des acteurs et des applications externes Pas de perturbations dues aux défauts des autres applications Périmètre campagne Pour un composant ou Pour un scénario complet ou Pour un point de contrôle intermédiaire Enrichissement des JE de référence Par incrémentation Au fil des versions Autre bénéfice Mise en évidence des accès non optimisés 13

14 Enseignements du projet pilote - Environnements Chaque entité a son propre paramétrage du logiciel commun Chaque entité a un environnement de qualification dans lequel sont capturés ses JE de référence (ses campagnes) ESP utilise l environnement unique de recette commune pour effectuer les Tests de Non Régression pour le compte des deux entités Au total, pour les tests et recettes, y compris la pré-production : 2 environnements BNP Paribas 1 environnement Crédit Agricole 2 environnements ESP 14

15 Enseignements du projet pilote - Changements Délégation de l activité de réalisation des TNR de la MOA à la MOE A l initialisation : MOA Enchaînements (Scénarios) de référence Définition des campagnes Participation à la capture des JE de référence Qualification des JE capturés De manière récurrente : Validation des écarts justifiés focalisation sur les activités à forte valeur ajoutée et abandon des charges récurrentes à moindre valeur ajoutée A l initialisation : MOE Paramétrage Préparation de l environnement Participation à la capture des JE de référence Rejeu pour validation des JE de référence De manière récurrente : TNR et Gestion du patrimoine de JE charges réduites sur de nouvelles activités (conduite du changement) 15

16 Bilan - Perspectives Addition de gains Trajectoire Délais raccourcis, meilleur time to market Baisse des coûts Baisse des risques opérationnel et financier Qualité accrue Projet pilote effectué Déploiement de RECITAL en cours RECITAL utilisé en régime de croisière Critère d éligibilité Applications ou fonctions complexes en priorité 16

17 Euraxiel Automatisation et partage des tests des applications informatiques 17

18 Ingénierie et Progiciels ALM Ingénierie de systèmes d information sur mesure et essentiellement au forfait Progiciels de productivité pour le développement et les tests : Site web : DICTIONNAIRE DE DONNEES Référentiel actif des rubriques et structures de données FRAME WORK DE DEVELOPPEMENT COBOL Développement des applications de gestion RECITAL Automatisation et partage des tests des applications PROGRAM TRANSFORMATION FACTORY Migration de Pacbase vers du COBOL STRUCTURE 18

19 Le positionnement et les apports de RECITAL AUTOMATISATION DE L EXECUTION DES TESTS FONCTIONNELS SANS SCRIPTS A CODER/MAINTENIR + CAPITALISATIONSUR LES JEUX D ESSAIS GERES EN TANT QUE VERITABLE PATRIMOINE + OPTIMISATION DES CHARGES ET DES ROLESENTRE LES ACTEURS 19

20 Automatisation de l exécution des tests fonctionnels 1/2 Une idée centrale : le rejeu sans contraintes UTLISATEURS FONCTION A TESTER APPLICATIONS SOLLICITEES DE LA FONCTION AVEC SON CONTEXTE PAR LA FONCTION Isolation (ycenvironnement ) Contexte initial Une conception globale Une solution technique obtenue grâce à l automatisation de fonctions clés 20

21 Automatisation de l exécution des tests fonctionnels 2/2 Quatre fonctions clés CAPTURE Préparation d environnement pour le rejeusans contraintes Création automatique des jeux d essais à partir des applications existantes ISOLATION Simulation dynamique des applications sollicitées ou utilisatrices par la fonction à tester Simplification des environnements de test REJEU Enchaînement automatique de toutes les phases du rejeu, sans conditions d environnement ou de temps Comparaison automatique des résultats obtenus versus attendus ADAPTATION Montée de version automatique des jeux d essais avec les nouvelles versions d application Les mêmes jeux d essais fonctionnent pour différentes versions CAPTURE ISOLATION REJEU ADAPTATION 21

22 Capitalisation sur les jeux d essais (patrimoine) Un actif pérennisé TRANSFERT DES JEUX D ESSAIS REFERENCES EN PATRIMOINE Une fois validés par les métiers, pour une gestion par une fonction indépendante MISE A DISPOSITION DE JEUX D ESSAIS REFERENCES Sur le périmètre de «campagnes» demandé, en bonne synchronisation avec la version de l application à tester EVOLUTION DES JEUX D ESSAIS AVEC L APPLICATION Adaptation automatique aux évolutions des données et des traitements de l application V n V n+1 ARCHIVAGE DESARCHIVAGE Pour optimiser la consommation de ressources physiques ARCHIVES 22

23 RECITAL dans le cycle de vie des applications Utilisation dans les différents types de test Tests de non régression / Tests de nouvelles applications Selon le choix de granularité des campagnes, tests unitaires ou tests de scénarios complets Selon le périmètre des fonctions à tester, tests d assemblage ou d intégration En contexte Batch ou Transactionnel ou Trois Tiers En environnement Z ou Unix Cobol 23

24 Quelques contextes d utilisation intéressants Un éditeur et n entités utilisatrices Capture des jeux d essais de chaque entité dans une première phase pour constituer les jeux d essais de référence Mise au point de la nouvelle version applicative ensuite par l éditeur, en rejouant l ensemble des jeux d essais de référence dans le même environnement multi-entités. Test d une couche de présentation de façon indépendante Chaque question envoyée au serveur distant fait l objet d une réponse, soit celle enregistrée lors de la capture, soit un message d erreur indiquant que la question n est pas connue La chaîne de liaison est testée 24

25 Quelques contextes d utilisation intéressants Facturation Client dans une grande banque Caractéristiques du site Site Z-OS IMS / DB2 Caractéristiques de l application Cycle de traitement mensuel Collecte quotidienne des opérations sans RECITAL Un mois de délai Dans un environnement de recette avec planification Pointage de quelques factures TNR sur une nouvelle Version avec RECITAL Paramétrage et capture des campagnes sur un cycle mensuel Trois heures de délai Dans l environnement de rejeurecital Enchainement automatique des campagnes quotidiennes (capturées initialement sur un mois) opérations (richesse fonctionnelle) Environ 20 j/h de charge MOE sur 1 mois < 1 j/h de charge MOE 1 fois par mois Plusieurs fois par jour 25

26 RECITAL : Un grand pas vers l industrialisation ECONOMIES SUR LES RESSOURCES + RÉDUCTIONS DE DÉLAI + SÉPARATION DE FONCTIONS + VERS LE ZERO DEFAUT + ACCOMPAGNE LA MODERNISATION APPLICATIVE 26

27 HP Automatisation et Tests de non régression Améliorez la performance et la qualité de votre SI 27

28 Use Case: Program Transformation Factory/ Integration in HP Modernization Framework PTF is a secured first step to get rid of the Pacbase dependence while increasing productivity (structured Cobol + Framework/Dictionary) / achieved through a robust transformation process / mitigating risk through a step-by-step approach Productivity Tests Tests TNR & PTF Framework ++ Tests ROI Pacbase TM COBOL PTF Java HP Converged Cloud Mainframe Open/Cloud Integration platform/ testing industrialization Traditional Open Virtual private Cloud Technology drivers Business drivers Private Cloud Public Cloud 28

29 HP Modernization Framework Application Tranformation To the Cloud Testing could become a drama if not considered at the right level and with a appropriate process Test cases must be the invariant in the conversion path and test results must be incontestable Assess & Advise Transform ROI Manage DISCOVER ANALYZE ADVISE PLAN DESIGN DEVELOP IMPLEMENT OPERATE & OPTIMIZE Assess appplications for Cloud suitability Create target integration architecture Define transformation plan Migrate applications to the Cloud Integrate applications in the Cloud HP Converged Cloud AMod Re-host AMod Re-factor AMod Re-interface Traditional Open Virtual private Cloud AMod Apps Rationalization SOA & Integration Services Application Suitability for Cloud Data Migration Private Cloud Public Cloud Security Assessement Security AT2C Re-architect SHAPE REZONE PLAN CONVERT TESTING 29

30 It s all about balancing technical debt with costs and risk *SQIare indexes expressed in units of work, duration (eg hours) or cost (eg ); SQID density are indicators giving the ability to compare project of different size The debt is a metaphor Referring to the amount of effort (man*days) that needs to be done before a change can be considered complete The debt is usually initiated through project building phase: non-compliance with the design (intentional or not), poor application architecture, bad implementation choice, poor source code quality, etc. If the debt is not refunded, then it will keep on accumulating interest, keeping change effort growing over the time The interest is the additional effort preceding any change request implementation and therefore feeding future interests Bug fixing, functional evolution, performance improvement will cost more and more Build 1 Build 5 Build 8 Release Management DEV release gate QA release gate STAGE Often perceived as an outcome of poor application architecture or development within a codebase Tools exist to measure the technical debt: Software Quality Assessment based on Lifecycle Expectations (SQALE, a SONAR plug-in*) Also due to obsolescence; poor documentation and lack of test suite Requirements not been documented or at least not up to date Test cases pre-requisites, scenario and expected results not described neither based on maintained datasets, and test campaign are not recorded All in all it is about ease of maintenance ; ultimately measured with cost, quality and time to deliver Reducing any source of overhead costs at every stage of the ALM, including deployment and operations Reducing the Go-To-Market of any type of change request or evolution release gate PROD What if the technical debt is not tackled timely? Development time is becoming longer, bugs more frequent and tests more costly Application Middleware Database Public Cloud Private Cloud 30

31 and mitigating risk with appropriate ALM/test process Benefits Remove dependencies: developers and testers manage their own environments Constant testing, earlier in the pipeline, ensures a higher quality release Error-proof, automated deployment Ability to reproduce a series of actions Combines capitalization on lessons learned and marginal cost improvement with re-runs Automation is a mean to achieve repeatability and predictability No preparation or setup phase No post-production action No manual operations Traceability & Determinism De-provision infrastructure Provision infrastructure Continuity Continuous Integration Application Lifecycle Management Developments & Tests Configuration Management Quality Code Measurements Non-regression Testing Continuous Delivery Delivery & Deployment Provide results Run tests Deploy application Leverage of EI Technologies consulting capabilities Recital& HP Quality Center complementarity HP delivery capabilities in Centers of Excellence Build Verification Test cases One-time set-up activities Define UAT topology Define test sets Schedule nightly test set Recurring activities Developer checks-in code Run nightly dev build 31

32 HP Testing approach What is at stake? Augment Business Value & Accelerate Time-to-Market Test industrialization factualize UAT as criteria vary Objective, specific and reproducible Produces indexes, reports with metrics agreed and shared / accelerates decision making processfor developers, testers or operations Governance & release management enforces functional & nonfunctional quality Implementation & deployment costs Business value Rapid deployment of application (& infrastructure) for developers, testers or operations Technical debt Business impact Features Non-conformities Remediation costs versus non-remediation costs Non-regression testing industrialization versus business critical outage Testing debt versus business benefits (T2M and costs) Technical perspective Business perspective 32

33 EN CONCLUSION. En abaissant les coûts des TNRs:» Des projets de modernisation technologiques deviennent faisables» La dette technique est remboursée» La modernisation du SI est activable De plus, ces tests vont jouer un rôle supplémentaire de «valideur» d étapes pour passer d une étape de transformation du SI à une autre La qualité reste le focus numéro 1 avec des exigences voisinant le zéro défaut avec optimisation des coûts et les délais. Pour que l automatisation soit la clef gagnante sur plusieurs dimensions; la solution doit» Être sans langage de requétage gain en charge et en à la création et lors des maintenances» Conserver le contexte d exécution Rejeu autant que nécessaire, bouchonnage intégré, Jeux d essais à jour (réutilisables) 33