CONCEPTS ET MISE EN PRATIQUE POUR LA VALIDATION DE GRANDS SYSTÈMES

Transcription

1 MODEL-BASED TESTING (MBT) CONCEPTS ET MISE EN PRATIQUE POUR LA VALIDATION DE GRANDS SYSTÈMES Le Model-Based Testing est une pratique de test en plein développement dans l'industrie pour accroitre l'efficacité des tests, tant dans leur couverture des exigences que dans la productivité pour la création et la maintenance du référentiels de test. Cette introduction au Model-Based Testing présente le processus MBT, les techniques de modélisation et d'exécution des tests en s'appuyant sur l'outillage Smartesting CertifyIt.

2 1 MODEL-BASED TESTING (MBT) CONCEPTS ET MISE EN PRATIQUE POUR LA VALIDATION DE GRANDS SYSTÈMES 1- MOTIVATIONS Le Model-Based Testing (MBT) améliore le processus de test en pilotant la création et la maintenance des tests à partir de modélisation pour le test. La figure 1 montre les motivations de l'usage du Model-Based Testing telles que restituées dans l'enquête MBT par les organisations qui ont déployé cette approche. DÉFINITION DU MBT Selon l'istqb International Software Qualification Board -, le Model-Based Testing se définit comme toute pratique de test basée sur des modèles. Les modèles sont utilisés pour la génération automatique des scénarios de tests, à partir de critères de sélection des tests satisfaisants les objectifs du projet. La mise en œuvre de la modélisation est réalisée par un Analyste de test, en lien avec les Analystes fonctionnels pour les aspects métier, FIGURE 1 - LES MOTIVATIONS DU MBT Ce graphique montre que les trois motivations principales sont : De tester mieux, plus efficacement, avec une meilleure couverture et des tests plus systématiques (donc moins d'anomalies dans les livraisons); De maitriser la complexité des systèmes et des tests associés grâce à la modélisation. Par exemple, pour des tests et les testeurs et Ingénieurs d'automatisation pour l'exécution des tests. 1 Les résultats complets de l'enquête MBT 2014 sont disponibles sur le site communautaire à l'adresse suivante :

3 2 de bout-en-bout, la modélisation des processus couvert permet très simplement de visualiser les activités métier testées; De tester moins cher, car la création des tests et leur maintenance constitue un poste de plus en plus coûteux pour les organisations (plus de 20% du coût du projet selon une étude CXP-PAC 2 ). Le déploiement du MBT fait évoluer l'ensemble du processus de test, tant dans la prise en compte des exigences du système pour la production des tests, mais aussi en facilitant le passage à l'automatisation de l'exécution des tests, et en améliorant le suivi du projet de test par des mesures de couverture automatisée. 2- LE PROCESSUS DE TEST AVEC LE MODEL-BASED TESTING La figure 2 présente un processus Model-Based Testing. Il définit les différentes activités et livrables d'un processus MBT tel que proposé par l'etsi European Telecom Standard Institute dans un document de standardisation sur le sujet 3. FIGURE 2 - PROCESSUS DU MODEL-BASED TESTING (SOURCE: ETSI) Les principales activités du processus sont les suivantes : Modélisation de test à partir des spécifications du système : le modèle MBT est adapté aux objectifs de test. Par exemple, un modèle MBT pour des tests de bout-en-bout sera différents d'un modèle destiné au test d'intégration de composants. La modélisation MBT est donc spécifique à la génération de tests. Génération des tests à partir du modèle MBT et de critères de sélection : la génération des tests est automatisée et le pilotage de la génération des tests est assuré par les critères de sélection de test. Ces critères sont définis par l'analyste de test qui maitrise ainsi totalement la production des tests. 2 Etude sur le marché du test en 2015 Présentation lors de la Journée Française des Tests Logiciels 14 avril 2015 CXP-PAC cf 3 Cf

4 3 Adaptation des tests générés pour l'exécution : la phase d'adaptation permet de faire le lien entre les cas de tests abstraits (issus du modèle) et des scripts de tests exécutables manuellement ou automatiquement sur le système cible. Le processus de test MBT est piloté par un Analyste de test qui contrôle chacune de ces phases (modélisation, génération et adaptation/exécution). Leur mise en œuvre est réalisée généralement de façon itérative et incrémentale: c est-à-dire qu'une première modélisation très rapide (quelques heures) permet de produire les premiers tests qui sont ensuite étendus pour couvrir progressivement les objectifs de test. Les livrables de ces processus MBT sont donc constitués: D'une part des artéfacts définis par l'analyste de test : le modèle MBT et le choix des critères de couvertures pour atteindre un ensemble d'objectifs de test; D'autre part des livrables automatiquement générés et maintenu grâce à l'outillage MBT: les cas et scripts de tests générés, la matrice de couverture entre les exigences et les tests et la documentation de tests (par exemple la configuration initiale du système ciblé). La figure suivante montre les différents rôles du processus MBT. FIGURE 3 - RÔLES IMPLIQUÉS DANS LE PROCESSUS MBT Le rôle principal est celui d'analyste de test 4 qui développe le modèle MBT à partir des spécifications du système ciblé, en lien avec les Analystes Métier. L'Analyste de test pilote la génération des tests en lien avec les Testeurs (pour le test manuel) et les Ingénieurs d'automatisation (pour le test automatisé). 4 Le terme "Analyste de test" est standardisé par l'istqb. Ce rôle peut aussi être appelé "Concepteur de tests" ou "Architecte de test" dans certaine organisation.

5 4 3- LANGAGES ET ACTIVITÉS DE MODÉLISATION MBT PAR L'EXEMPLE Il existe une très grande variété de langage de modélisation des systèmes informatique, qui dépendent du type de système modélisé et des objectifs de la modélisation. Dans le contexte du MBT, les modèles sont destinés à la génération des tests, et donc vont représenter les comportements à tester du système. Un point essentiel de la modélisation MBT est de focaliser le modèle sur les objectifs de test, avec un effort de modélisation minimal. Voici deux extraits de modélisation MBT: Un processus métier en BPMN Business Process Modeling Notation pour le test applicatif et de bout-en-bout. Un modèle UML d'un distributeur de billet associé à la définition de comportements applicatifs en langage OCL Modélisation de processus métier pour le MBT FIGURE 4 - EXTRAIT D'UN MODÈLE BPMN UTILISÉ EN MBT Il s'agit dans ce cas de modéliser un workflow métier en BPMN Business Process Modeling Notation -, pour décrire les scénarios métier à tester. L'extrait présenté concerne le test d'une application gérant l'attribution de crédits à la consommation.

6 5 Les règles métier à tester sont décrites sous forme de table de décision (cf Figure 5). Dans l'exemple de l'application "Crédit à la consommation", cette table permet de définir les différents cas passants ou non passants applicables sur le workflow métier pour l'acceptation du crédit. FIGURE 5 - TABLE DE DÉCISION POUR L'ACCEPTATION DU CREDIT Le modèle MBT est donc composé de processus métier et de tables de décision caractérisant les règles métier. L'ensemble permet de générer, en fonction des objectifs de test, une couverture systématique des scénarios passants (le crédit est accordé) et non passant (le crédit est refusé) pour tester ce workflow métier Modélisation UML et OCL pour le Model-Based Testing Ce deuxième exemple montre l'utilisation de modélisation UML Unified Modeling Notation avec le langage OCL Object Constraint Language pour la génération de tests applicatifs sur un distributeur de billets de banque (DAB). La figure suivante montre le diagramme de classe qui caractérise les opérations et donnés de test modélisées pour le test du DAB. FIGURE 6 - DIAGRAMME DE CLASSE UML DU MODÈLE MBT POUR LE DAB La classe DAB permet de définir les opérations qui vont être utilisées dans les tests générés : Actions sur le système telles que "insérercarte" ou "entrercode"; Actions de vérification (pour le verdict de test) telles que "vérifiersolde" ou "affichermessage".

7 6 La classe "Operateur" permet de définir les opérations d'administration du DAB et les classes "Cartes" et 'Transaction" définissent des données logiques utilisées dans les scénarios de test. Ce modèle est un modèle de test : les informations qu'il contient sont nécessaires et suffisantes pour couvrir les objectifs de test du DAB. Le diagramme de classe est complété par la description en langage OCL des opérations modélisées (actions de test et actions de vérification). La figure 7 présente la description en OCL de l'opération d'insertion de la carte dans le distributeur de billets. FIGURE 7 - OPÉRATION D'INSERTION CARTE EN OCL Cette description permet de définir les différents cas liés à l'insertion de la carte dans le distributeur de billets et de lier le modèle avec les exigences du système : le DAB est hors service; la carte est en anomalie; le code saisi est correct; Une table de décision complète cette définition (Figure 8) pour gérer les différents types de cartes en anomalies. FIGURE 8 - TABLE DE DECISION SUR LA VALIDITÉ DE LA CARTE Les tests générés à partir de ce modèle couvrent l'ensemble des scénarios d'usage du DAB et la combinatoire des cas sur les cartes invalides.

8 7 4- OUTILLAGE MBT SMARTESTING CERTIFYIT La solution CertifyIt supporte la modélisation des processus et règles métier, des comportements applicatifs pour piloter la génération et la maintenance des tests. La gestion de la traçabilité est gérée automatiquement et les tests sont publiés et maintenus dans l'outil de gestion des tests (tels que HP Quality Center, IBM RQM, Testlink, Squash TM par exemples). La figure suivante montre l'intégration de CertifyIt avec les outils de gestion des exigences et de test (outils de gestion et d'automatisation des tests). FIGURE 9 - OUTILLAGE MBT La modélisation, la simulation du modèle et la génération de tests à partir du modèle et piloté par des critères de sélection est pris en charge par l'outillage Smartesting CertifyIt, qui permet aussi la publication des tests générés dans le gestionnaire de test et vers le framework d'automatisation. La synchronisation avec la gestion des exigences permet de suivre, lors de la modélisation, la couverture des exigences par les tests. TYPES ET DOMAINES D'APPLICATIONS DU MODEL-BASED TESTING Le MBT est aujourd'hui utilisé pour l'ensemble des niveaux de tests, mais avec une prépondérance pour la validation au niveau du système comme le montre la figure suivante issue de l'enquête MBT 2014 précédemment citée.

9 8 FIGURE 10 - NIVEAUX DE TEST ENQUÊTE MBT 2014 Les domaines d'applications sont très variés, comme l'illustre cet autre résultat de l'enquête MBT 2014 en Figure suivante. Dans 30% des cas, il s'agit de grands systèmes d'information d'entreprise, et dans 38% du logiciel embarqué (temps-réel 27% ou non temps-réel 11%). FIGURE 11 - DOMAINES D'UTILISATION DU MBT CONCLUSION Le Model-Based Testing permet un test plus systématique et une meilleure maîtrise de la complexité de la validation de systèmes de plus en plus difficiles à tester. L'approche s'adapte à l'ensemble des domaines de l'informatique, avec des succès dans des domaines aussi variés que l'informatique embarquée (automobile, aéronautique, ferroviaire, ), les grands systèmes d'information et les télécom (IoT, routage, réseaux).