Model-Based Testing aujourd hui

Transcription

1 Model-Based Testing aujourd hui Fabrice Bouquet Club Qualité Logiciel Paris, 24 Janvier 2012

2 Plan Test Attendu Organisation Model-Based Testing (MBT) Où Quoi Organisation Agilité et MBT F. Bouquet - Club QL 2

3 Où en sont les organisations?

4 Tester dans les organisations IT Maturité fonction QA/Test : passer d une approche ad hoc vers une approche réfléchie et cohérente Top 4 des points d intérêt (Europe de l Ouest) 1. Choisir une méthodologie de test s intégrant dans la démarche agile utilisée dans le développement 2. Permettre une couverture automatisée des tests pour construire les tests de façon agile 3. Plus se concentrer sur les aspects non-fonctionnels comme la performance, la disponibilité, sécurité 4. Avoir une stratégie de test qui optimise l usage des services de tests (traditionnel ou cloud). Source IDC - European Services, Enterprise Application Testing Survey, March 2011 F. Bouquet - Club QL 4

5 Séparation entre développement et test logiciel Source IDC - European Services, Enterprise Application Testing Survey, March 2011 F. Bouquet - Club QL 5

6 Le Model-Based Testing (MBT)?

7 Processus du test à partir de modèles Modèle formel StateCharts,B,UML, # Génération de Test# Modélisation# Spécifications Techniques de Besoins Développement# Génération de scripts# Cas de test # générés# Scripts de tests# exécutables# Validation# Implémentation# F. Bouquet - Club QL 7

8 Niveaux de test Besoins client T. Acceptation Exigences Conception T. Système Intégration T. Intégration Model-Based Testing Code Tests Unitaires F. Bouquet - Club QL 8

9 Applicatif Niveau Système d Informations Test de Bout-enbout au cœur du processus métier Nombre de tests petit, valeur métier grande Nombre de tests moyen, Test orienté utilisateur final Niveau Système Niveau Applicatif Test d acceptation de multi applications Test Fonctionnel d une seule application Beaucoup de tests, Validation presque exhaustive 9

10 Comment l utiliser?

11 Méthodologie de tests RRBT Risk & Requirements Based Testing Lien entre risques et exigences : - Quoi modéliser / Priorité Effort de tests piloté par analyse de risque : - Quel Test => Modèle - Couverture Plusieurs méthodologies ou pratiques : - Sogeti Tmap - Logica RRBT - ISTQB F. Bouquet - Club QL 11

12 Système Aris, Tibco, de gestion Mega des HP processus et IBM métier Modèle de processus métier Tableur, Doors, HP ALM, Outils IBM de Rat. Requier. gestion Composer d exigences Exigences Outil de génération de test MBT Autour du test HP, IBM, salomeftm Outil Squash de gestion TM, Testlink de tests Référentiel de tests RSA, TopCased,! Papyrus, Ad hoc! Modèle de domaine et comportemental Outil de modélisation Intégration entre outils Import des artéfacts Conformiq, Smartesting, Test optimal, BenderRBT Outils d exécution des IBM RFT, Selenium, tests HP QuickTestPro, Sahi F. Bouquet - Club QL 12

13 Processus de tests itérations Courtes Analyste de Test Conception de tests Modèles Tests générés Agilité Analyste Métier Exigences Processus métiers Gestionnaire d exigences Traçabilité: Ex. Tests Tests Manuels Scripts Exécutable Couche d adaptation Gestionnaire de tests Testeurs Manuel Automaticien de Test 13

14 Modèle pour la génération automatique de tests Modèle'de'processus'mé/er'!! Modèle'de'domaine'ou' données'de'tests' Modèle'comportemental' 14

15 Génération de tests piloté par les modèles et la stratégie de test Qu est-ce que l on veut tester? Comment le tester? Analyst ede test Strétégie'de'test' "'Couverture'de'modèle' "'Configura/on' "'Etat'Ini/al Comportement attendu Point d observation Processus et déroulement Règles métier Documentation Mots d actions Génération de test automatique F. Bouquet - Club QL 15

16 Les personnes dans l organisation

17 Rôles: Séparation des tâches Eléments Test Analyste métier Eléments modèle BPMN Analyste de tests Défini Mots-actions pour les tests automatiques UML stereotype Automaticien Business Models & Flows réalisé Comportement attendu & Données Testeur 17

18 Rôle de l analyste métier et profil Role Actions Skills (existing / new) Analyste Métier (BA)! Ecrire et concevoir les besoins métiers! Piloter les tests par les risques " Capacité de documentation fonctionnelle # Notation processus (BPMN) # Stratégie de Test Profil! Connaître les processus métiers et les règles fonctionnelles! Connaître comment trouver l information (perdu) dans l entreprise! Orienté exigences! Orienté risques! Orienté tests! Capacité d abstraction (e.g. BPMN)! Orienté utilisateurs F. Bouquet - Club QL 18

19 Rôle de l analyste de test et profile Role Actions Skills (existing / new) Analyste de tests (TA) Profil! Appliquer la stratégie de test! Modéliser les comportements de l application et valider le cahier des charges! Générer les plans de tests! Piloter l exécution des tests " Professionnel du Test # Modélisation et génération de tests! Bonne connaissance des méthodes de tests fonctionnels! Connaitre les méthodes Orientés Objets (ou expérience en dev.)! Expérience en modélisation est un plus! Connaitre les outils de tests de l entreprise! Connaitre l organisation du projet, le cycle de vie et les besoins de tests! Connaissance élémentaire en automatisation de tests F. Bouquet - Club QL 19

20 Other roles in the Smartesting project Role Actions Skills (existing / new) Gestionnaire de projet (PM) Testeurs Expert d automatisation! Gérer l équipe de test! Gérer le test par le risque Execute les cas de tests à la main Developper la bibliothèque de mots d actions " Capacité en gestion de projet " Capacité en documentation fonctionnelle # Notation de processus (BPMN) # Stratégie de test " Connaissance légère de l application est un + " Connaissances requises dans les robots # Gestion des éléments téchniques Equipe de développemnet! Développe / customize l application pour les utilisateurs " Développement " Customisation " Écriture de spécification technique " Tests Unitaires F. Bouquet - Club QL 20

21 Experts métier Visualise la base de test et la couverture associée Analyste de test Produit le référentiel de tests Automaticien de test Implémente la couche d'automatisation Personne et Rôle Référentiel de tests Développeur Accède au suivi des anomalies et informations reliées Testeur Met en œuvre les tests manuellement ou automatiquement Chef de projet Suit l'évolution du projet de test et des F. Bouquet - Club QL anomalies 21

22 Un exemple

23 Contexte Application web ServiDirect Souscription de contrat d assurance maladie Développée par CLIO SA pour GMA Validation du contenu fonctionnel, des règles de calcul des contrats et de la navigation. F. Bouquet - Club QL 23

24 Spécifica/ons' Analyste'de'test! Test!Designer!3.4! Ingénieur' 'mé/er' Test!Link!1.8! Modèles' IBM!Ra2onal!SoAware! Architect! Itérations Cibles' Scénarios' Plan'et'' cas'de'test' Test! Designer! Couverture' exigences' ' Référen/el'de' tests' ' ' ' ' Selenium!1.0! implémentés' Plan'et'' cas'de'test' Scripts'de'test'' executable Publica2on! vers!testlink/! Selenium! Ingénieur' F. Bouquet - Club QL 24 d automa/sa/on'

25 Modèle statique En2tés!et!ac2ons!mé2ers! Classes! d équivalence! F. Bouquet - Club QL 25

26 Modèle dynamique Règles!mé2ers! Naviga2on!IHM! F. Bouquet - Club QL 26

27 Génération de tests Métriques 40 exigences fonctionnelles 7 classes UML 9 suites de tests 37 mots-clés gérés dans l automatisation F. Bouquet - Club QL 27

28 Publication TestLink F. Bouquet - Club QL 28

29 Infrastructure d exécutions publication serveur exécution id cas de test cas de test fichiers (bsh) lanceur.php écrit scripts de tests beanshell (bsh) résultats fichiers (bsh) application API XMLRPC PHP Java Métriques 86 cas de tests / 162 tests physiques 19 tests liés à une table de données 1078 pas de tests au total F. Bouquet - Club QL 29

30 Bilan Couverture: (150 cas testés et automatisés) 5 numéros postaux 10 valeurs d âge différentes 1 valeur pour le genre 1 composition de famille différente 1 valeur pour la couverture accident 3 valeurs pour le modèle d assurance 1 valeur pour la franchise 7 bugs fonctionnels détectés et corrigés Intégration forte TestLink/Selenium F. Bouquet - Club QL 30

31 Métriques de production Taches Production du référentiel de tests : Modélisation et génération des tests Automatisation des mots d actions ServiDirect Mise en place et gestion des données externes ServiDirect TOTAL Temps en j.h 11 j.h 18 j.h 2 j.h 35 j.h Ratios 7,8 cas de tests logiques conçus, documentés et tracés/exigences par j.h 8,1 scripts de tests concrets automatisés par j.h F. Bouquet - Club QL 31

32 Conclusion MBT & Analyse du marché Model-driven testing. In agility-driven development, quality automation tends to lag development by roughly one or two cycles. ( ), some vendors have introduced model-driven automated testing into the PQM life cycle. ISVs: Solving the " Innovation Impact" on Product Quality Management IDC, March, 2011 Specialized Tools Fill In The Gaps ( ) Test modeling tools leverage UML modeling to create paths of application behavior. This can save countless hours for team members ( ) automated testing into the PQM life cycle. The Testing Tools Landscape: 2010 Forrester Research, Inc., April, 2010 Points Clés : Organisation Compétences Professionnel du test MBT $ MDT Alignement Spécification et Développement Gartner Although the traditional software testing market has seen consolidation, a growing number of vendors continues to enter the market. This includes new script-free and model-driven testing environments ( ). Magic Quadrant for Integrated Sw Quality Suite Gartner, July,

33 Merci de votre attention??????? DUNOD 2 nd Edition Nov. 2011??? F. Bouquet - Club QL 33