Automatisation des Tests avec Squash TA en environnement bancaire : retour d expérience de la BGPI Club Qualité Logicielle

Transcription

1 Automatisation des Tests avec Squash TA en environnement bancaire : retour d expérience de la BGPI Club Qualité Logicielle 12 juin 2012

2 Sommaire Contexte Plate-forme technique Méthodologie Points de vigilance Questions & Réponses /13 juin 2012/P2

3 Présentation BGPI/SIDEV/HDF HDF : Help Desk Fonctionnel Support fonctionnel Modélisation Pivot Rédaction des Spécifications fonctionnelles détaillées Recette Assurance Qualité et Tests de Non Régression SIDEV : Études Informatiques BGPI BGPI : Banque de Gestion Privée du groupe Crédit Agricole /13 juin 2012/P3

4 Contexte Gains attendus des TNR Régressions Incidents Mises en production Recette plus complète : Risque d anomalie Couverture Objectifs Vérifier l'absence de régression dans une nouvelle version Recette effectuée dans un environnement dédié et maîtrisé Sélection de scénarios métier pertinents et automatisables Recette complémentaire de celle de la MOA (évolutions) /13 juin 2012/P4

5 Périmètre applicatif testé Alpha (28 scénarios juin mois) - application de téléconseil avec recommandations d'arbitrage - nombre important de régressions - technologie : JSF + QuipuKit, navigateur Firefox local - outil de test utilisé : Squash TA/Selenium/CubicTest Agora CRM (5 scénarios janvier mois) - création de contacts clients (CRM) - forte sensibilité - technologie : GWT/GXT, navigateur IE8 sous Citrix - outil de test utilisé : Squash TA/Selenium/CubicTest Agora NRT (21 scénarios janvier mois) - application d'administration du nouveau référentiel tiers - structurant car référentiel - technologie : idem qu Agora CRM - outil de test utilisé : Squash TA/Sahi /13 juin 2012/P5

6 Les différents contributeurs Mise en place de la plate-forme de tests automatisés : Equipe Production Equipe Base de données Equipe Intégration Equipe Squash Henix Réalisation des tests : Développeurs Web Maîtrises d Ouvrage Automaticien /13 juin 2012/P6

7 Architecture technique Applicatif BGPI Automatisation Usine TNR Serveur applicatif Webspheres - Alpha - Agora Rapports d exécution Squash TM Apache MySQL PHP Squash TM - Services communs WebApp Mantis Squash TA Eclipse Poste HDF Cubic Test Eclipse Selenium IE Firefox Serveur ORACLE TNR XFER Serveur ORACLE TNR NR2 Subversion Subversive Sahi Sahi MAVEN JAILER /13 juin 2012/P7

8 Méthodologie générale Etapes générales du processus d automatisation Analyse des spécifications fonctionnelles Choix des scénarios à automatiser Alimentation du référentiel de tests (exigences, cas de test) Détermination de l'échantillon de données ad'hoc Codage des scénarios Exécution des scripts Génération de rapports d exécution Squash TA / Sahi Analyse des résultats et restitution du PV de recette TNR /13 juin 2012/P8

9 Méthodologie générale Etapes générales du processus d automatisation Analyse des spécifications fonctionnelles Choix des scénarios à automatiser Alimentation du référentiel de tests (exigences, cas de test) Détermination de l'échantillon de données ad'hoc Codage des scénarios Exécution des scripts Génération de rapports d exécution Analyse des résultats et restitution du PV de recette TNR /13 juin 2012/P9

10 /13 juin 2012/P10 AGORA NRT Aperçu d un écran

11 Vue 3D de l application Agora NRT Vue créée par l extension Firefox Web Developer /13 juin 2012/P11

12 Sahi Présentation générale Outil open source d automatisation de tests pour applications Web Lance et ferme le navigateur Web Interprète et exécute les commandes transmises par le programme de test Agit comme un proxy HTTP, en interceptant et vérifiant les messages HTTP échangés entre le navigateur et l application testée Librairies client fournissant une interface (API) entre le langage de programmation et le serveur proxy Enregistreur de commandes fourni /13 juin 2012/P12

13 Sahi : Les points forts /13 juin 2012/P13 + API très riche (+ d une centaine de méthodes d accès / action / assertion) + support de nombreux langages de programmation + prise en main rapide + enregistreur intégré + indépendance vis à vis des différents interpréteurs Javascript + enregistreur fonctionnant sous tous les navigateurs + accès facilité aux objets d'une page Web + adapté aux applications Web riches avec contenu dynamique + «waits» implicites

14 Sahi : Les points faibles - pas de couche graphique, écriture entièrement manuelle des scripts - technologie encore récente, qui doit faire ses preuves - impossible d'interagir avec l environnement win32 /13 juin 2012/P14

15 Méthodologie générale Etapes générales du processus d automatisation Analyse des spécifications fonctionnelles Choix des scénarios à automatiser Alimentation du référentiel de tests (exigences, cas de test) Détermination de l'échantillon de données ad'hoc Codage des scénarios Exécution des scripts Génération de rapports d exécution Analyse des résultats et restitution du PV de recette TNR /13 juin 2012/P15

16 /13 juin 2012/P16 Etapes d une campagne de tests automatisés

17 Intégration et Recette de scripts (Java) Intégration des scripts dans des classes Java Mise en place de l environnement Exécution du script Vérifications éventuelles (base, fichiers, ) Réinitialisation de l environnement /13 juin 2012/P17

18 Framework Squash TA La plupart des outils d automatisation de test existants se focalisent sur l exécution du test et les vérifications dynamiques (c est-à-dire les vérifications effectuées au cours de l exécution). Mais ces fonctions seules ne permettent pas de mettre en place des tests réutilisables et maintenables. Les cas de tests doivent être entièrement automatisés, c est-à-dire qu ils doivent inclure toutes les étapes suivantes : préparation de l environnement exécution du test et vérifications dynamiques vérifications post-exécution nettoyage de l environnement Le framework doit prendre en charge la préparation de l environnement avant le cas de test, les vérifications complémentaires après l exécution, et le nettoyage de l environnement. En outre, il doit permettre de constituer des campagnes facilement et de les exécuter automatiquement. /13 juin 2012/P18

19 Points de vigilance Sensibilité des tests aux modifications de : spécifications fonctionnelles framework de développement l interface utilisateur structure de la base de données données (ex: anonymisation) Chacun de ces points impacte plus ou moins fortement l effort de maintenance des tests /13 juin 2012/P19

20 Conclusions Squash TA assure un pilotage complet des tests, de la préparation au reporting Gain de productivité et donc de couverture fonctionnelle : sur Agora NRT, 100% des scénarios de consultation ont été automatisés Fiabilisation de la recette : 2 anomalies détectées par campagne en moyenne /13 juin 2012/P20

21 /13 juin 2012/P21 Annexes

22 Contribution du service Production Installation et configuration du poste de travail selon le besoin exprimé Droits d installation sur certains répertoires du poste de travail Montage des serveurs applicatifs Montage des bases de données /13 juin 2012/P22

23 Contribution de l équipe Base de données Mise à disposition de données iso-prod contenant un repository de données multiples, dans lesquelles peut «piocher» l'automaticien Mise à disposition d'un ensemble de scripts shell permettant le déploiement des packages à mettre en production Création de comptes Jailer /13 juin 2012/P23

24 Contribution de l équipe Intégration Déploiement et maintenance de l environnement Squash TM et Mantis /13 juin 2012/P24

25 Contribution de l équipe Squash Henix Déploiement, configuration et maintenance de Squash TA sur le poste de travail Adaptation du template projet aux applications du client Développement d extensions du framework spécifiques à l environnement applicatif du client /13 juin 2012/P25

26 Contribution des Développeurs Web Déploiement des versions à tester (deployit) Développement d un lanceur de batchs Mise en place d'un serveur de mails Développement d'une page Web pour afficher le contenu d'un ou d'un document pdf avant son formatage final, au format HTML, exploitable par l'outil de test Renseignement de la matrice multi-critères (choix des scénarios à automatiser) /13 juin 2012/P26

27 Contribution des Maîtrises d Ouvrage Mise à disposition des spécifications fonctionnelles générales Saisie des règles de gestion et des cas de test dans le référentiel de tests Renseignement de la matrice multi-critères et choix final des scénarios à automatiser /13 juin 2012/P27

28 Contribution de l automaticien Renseignement de la matrice multi-critères Maintenance de l environnement de test et de la toolbox Constitution des jeux de données de test Ecriture et maintenance des scripts Exécution des TNR automatisés /13 juin 2012/P28

29 /13 juin 2012/P29 Choix des scenarios à automatiser : utilisation d une matrice multicritères

30 /13 juin 2012/P30 Matrice : Grille de sélection instanciée

31 Méthodologie générale Etapes générales du processus d automatisation Analyse des spécifications fonctionnelles Choix des scénarios à automatiser Alimentation du référentiel de tests (exigences, cas de test) Détermination de l'échantillon de données ad'hoc Codage des scénarios Exécution des scripts Génération de rapports d exécution Analyse des résultats et restitution du PV de recette TNR /13 juin 2012/P31

32 /13 juin 2012/P32 Référentiel de tests Squash TM

33 Méthodologie générale Etapes générales du processus d automatisation Analyse des spécifications fonctionnelles Choix des scénarios à automatiser Alimentation du référentiel de tests (exigences, cas de test) Détermination de l'échantillon de données ad'hoc Codage des scénarios Exécution des scripts Génération de rapports d exécution Analyse des résultats et restitution du PV de recette TNR /13 juin 2012/P33

34 Jailer : Description Outil open-source codé en Java Support de multiples bases (via JDBC) Analyse de base de données relationnelles Création d un modèle d extraction respectueux des contraintes de base de données Génération d échantillons de données Exports de datasets au format DbUnit /13 juin 2012/P34

35 Jailer : Extraction de données BGPI3TMP Données fonctionnelles BGPI3NR2 Données fonctionnelles REF REF /13 juin 2012/P35

36 /13 juin 2012/P36 Jailer : Modèle d extraction

37 /13 juin 2012/P37 Jailer : Processus d extraction

38 /13 juin 2012/P38 Jailer : Exemple de dataset

39 /13 juin 2012/P39 Contrôleur Sahi Record & Playback

40 /13 juin 2012/P40 Processus Subversion / Maven d exécution d une campagne de tests

41 /13 juin 2012/P41 Sahi Diagramme d architecture