Réduction et filtrage de suites de tests

Transcription

1 Réduction et filtrage de suites de tests Taha Triki Yves Ledru, Lydie Du Bousquet

2 Plan Contexte Problématique Filtrage de tests basé sur le modèle Réduction de suites de tests en se basant sur les relations d équivalence 10/11/2011 Réduction et filtrage de suites de tests 2

3 Contexte Projet Projet ANR TASCCC Test d applications sur cartes à puce Applications critiques Suites de tests combinatoires CPU et ressources mémoire limitées Suites de tests réduites Modèles complexes Exp : Global Plateform (GP) en UML/OCL 10/11/2011 Réduction et filtrage de suites de tests 3

4 Contexte Génération combinatoire de tests Générer des tests à partir de schémas (SBT) : Un ensemble de scénarios du système Outil Tobias: Déplie un schéma de tests en cas de test abstraits traduisibles en des cas de tests exécutables (JUnit) Langage d entrée supportant plusieurs concepts : groupe de valeurs, groupe d instructions, itérations, etc. 10/11/2011 Réduction et filtrage de suites de tests 4

5 Génération combinatoire de tests Exemple group Transaction { BankCard bc = new BankCard(); bc.[debit,credit]([50,100]){1,2}; } Tobias (2*2 )^1+ (2*2)^2 1: BankCard bc = new BankCard() ; bc.debit(50) 2 : BankCard bc = new BankCard() ; bc.debit(100) 3 : BankCard bc = new BankCard() ; bc.credit (50) 20 : BankCard bc = new BankCard() ; bc.credit(100) ; bc.credit(100) 10/11/2011 Réduction et filtrage de suites de tests 5

6 Problématique Explosion combinatoire Schémas complexes : contenant plusieurs opérations, valeurs et itérations Capacité réduite de carte Impossibilité de lancer une suite de test assez grande GP : 3 billions de méthodes instanciées Filtrer et réduire les suites de tests 10/11/2011 Réduction et filtrage de suites de tests 6

7 Terminologie Cas de test : une séquence d appels d opérations instanciées Filtrage : Elimination des tests au niveau dynamique (à l exécution) Réduction : Elimination des tests au niveau statique 10/11/2011 Réduction et filtrage de suites de tests 7

8 Approche de génération et exécution des tests Schéma de test Tobias Suites de test abstraits Modèle Implémentation Traducteur Résultats de tests Outillage de test Suites de tests exécutables 10/11/2011 Réduction et filtrage de suites de tests 8

9 Filtrage basé sur le modèle (ANR TASCCC) Introduction Sur un modèle UML/OCL annoté Notion de TAGs pour tracer les exigences Animation des tests avec TD de Smartesting Pour écarter les tests non conformes au modèle (échec des pré-conditions) Pour sélectionner des tests par rapport à certains critères 10/11/2011 Réduction et filtrage de suites de tests 9

10 Filtrage basé sur le modèle Schéma de génération et filtrage de tests Schéma de test Tobias Suites de test abstraits Modèle Traducteur Implémentation Test Designer Résultats de tests Pilote de tests Suites de tests réduites Pilote de tests Suites de tests exécutables 10/11/2011 Réduction et filtrage de suites de tests 10

11 Filtrage basé sur le modèle Exemple de Modèle : Porte monnaie électronique Post Condition OCL de l opération CheckPin (syntaxe OCL adaptée par Test Designer) if (self.hptry_ > 0) then /**@AIM: NUMBER_OF_TRIES_IS_POSITIVE */ if (pin = self.hpc_) then /**@AIM: HOLDER_AUTHENTICATED */ self.isholdauth_ = true and self.hptry_ = self.max_try else /**@AIM: HOLDER_IS_NOT_AUTHENTICATED */ self.hptry_ = self.hptry_ - 1 and self.isholdauth_ = false and if (self.hptry_ = 0) then /**@AIM: MAX_NUMBER_OF_TRIES_REACHED */ self.mode_ = Mode::INVALID else /**@AIM: MAX_NUMBER_OF_TRIES_IS_NOT_REACHED */ true endif endif else /**@AIM: NUMBER_OF_TRIES_IS_NEGATIVE */ true endif 10/11/2011 Réduction et filtrage de suites de tests 11

12 Filtrage basé sur le modèle Types de filtrage Pré-condition Prédicats d états Comportements Clés de filtrage 10/11/2011 Réduction et filtrage de suites de tests 12

13 Filtrage basé sur le modèle Exemple de schéma Schéma Tobias Suites de tests abstraits group EPurseSchema1 [us=true, } group IUT [type=instruction] { EPurse ep = new EPurse(); } group Personalize [type=instruction] { ep.beginsession(terminal.admin); ep.setbpc(@bankpinvalue); ep.sethpc(@userdebitvalue); ep.endsession(); } group BankPinValue [type=value] {values = [12,45];} TC1: EPurse ep = new EPurse(); ep.beginsession(terminal.admin); ep.setbpc(12); ep.sethpc(56); ep.endsession(); TC2: EPurse ep = new EPurse(); ep.beginsession(terminal.admin); ep.setbpc(12); ep.sethpc(89); ep.endsession(); TC3: EPurse ep = new EPurse(); ep.beginsession(terminal.admin); ep.setbpc(45); ep.sethpc(56); ep.endsession(); TC4: EPurse ep = new EPurse(); ep.beginsession(terminal.admin); ep.setbpc(45); ep.sethpc(89); ep.endsession(); group UserDebitValue [type=value] {values = [56,89];} 10/11/2011 Réduction et filtrage de suites de tests 13

14 Filtrage basé sur le modèle Filtrage par précondition group EPurseSchema1 [us=true, } group IUT [type=instruction] { EPurse ep = new EPurse(); } group Personalize [type=instruction] { ep.beginsession(terminal.admin); ep.setbpc(@bankpinvalue); ep.sethpc(@userdebitvalue1 ) ep.endsession(); } group BankPinValue [type=value] {values = [12,45];} group UserDebitValue1 [type=value] {values = [56, -1];} En animant les tests, l API Test Designer renvoie une erreur dans la pré-condition 10/11/2011 Réduction et filtrage de suites de tests 14

15 Filtrage basé sur le modèle Filtrage par prédicats d états group EPurseSchema2 [us=true, self.isholdauth_ = } group AuthentifyHolder{ ep.beginsession(terminal.pda); ep.checkpin(@userdebitvalue){1,4}; } group Transaction [type=instruction] { (ep.credit(@amounts) ep.debit(@amounts)){1,3}; } group Amounts [type=value] { values = [-1,0,50]; } Arrêter l animation à un stage invalide (ne satisfait pas la condition) Condition OCL : à vérifier pour une instance sur un modèle 10/11/2011 Réduction et filtrage de suites de tests 15

16 Filtrage basé sur le modèle Filtrage par comportements group EPurseSchema3 [us=true, @Transaction; } group AuthentifyHolder2 { ep.beginsession(terminal.pda); ep.checkpin(@userdebitvalue){0,3}; ep.checkpin(@userdebitvalue)/w{set(@aim:holder_authenticated)}; } Arrêter l exécution à un stage invalide (ne pas activer les TAGs définis) Animation post-condition : renvoie des TAGs activés 10/11/2011 Réduction et filtrage de suites de tests 16

17 Filtrage basé sur le modèle Filtrage par clés group >> 1 Million cas de test Explosion combinatoire Plantage de l exécution {@SS1;} {ETR_SS1@SS2;K2} ETR _S= Ensemble de tests valides résultants de l animation des tests dépliés de S 10/11/2011 Réduction et filtrage de suites de tests 17

18 Filtrage basé sur le modèle Filtrage par clés Objectif : Chercher une séquence de tests qui permet de revenir sur le mode Personalize après une personalisation réussie group EPurseSchema4 [us=true, ~>({ep}, self.mode_ = {5} ~>({ep}, self.mode_ = {5} ~>({ep}, self.mode_ = {4} ~>({ep}, self.mode_ = Mode::USE); } group ALLOps { ep.beginsession(@terminalvalue) ep.endsession() ep.setbpc(@bankpinvalue) ep.sethpc(@userdebitvalue) ep.authbank(@bankpinvalue) ep.checkpin(@userdebitvalue) ep.credit(@amounts) ep.debit(@amounts); } Déplié en cas de test Explosion combinatoire

19 Filtrage basé sur le modèle Filtrage par clés group EPurseSchema4WithFilteringKey [us=true, @ALLOps~> ({ep}, self.mode_ @ALLOps~> ({ep}, self.mode_ @ALLOps~> ({ep}, self.mode_ ({ep}, self.mode_ = Mode::USE); } Clés de filtrage : _ALL, _ONE, _%d, _d 10/11/2011 Réduction et filtrage de suites de tests 19

20 Filtrage basé sur le modèle Processus standard de dépliage et animation de tests Modèle API TD Tobias xalan JUnit Suite de test filtrée Schéma de test Fichier outob Fichier java TDTestGenerator.xsl 10/11/2011 Réduction et filtrage de suites de tests 20

21 Filtrage basé sur le modèle Processus incrémental de dépliage et animation de tests 1 KeyProcessor Modèle Schéma de test coupé Tobias 2 3 xalan API TD JUnit 4 Suite de test filtrée Schéma de test Fichier outob Fichier java TDTestGenerator.xsl 10/11/2011 Réduction et filtrage de suites de tests 21

22 Filtrage basé sur le modèle Résumé Animation des tests sur un modèle UML/OCL avec l outil TD de Smartesting Filtrage des tests: Préconditions Prédicats d états Comportements d opérations Clés de filtrage : dépliage et animation incrémental 10/11/2011 Réduction et filtrage de suites de tests 22

23 Réduction de suites de tests par les relations d équivalence Introduction Choix des tests à exécuter sur la carte Insertion d annotations (TAGs) Code source ou spécification formelle Instruction exécutable ou non exécutable Représenter une exigence de système Critère de couverture d exigences Activés et enregistrés lors de l exécution/ animation des tests Relations d équivalence Information de couverture (TAGs activés et leurs ordre) Famille de relations d équivalence Classification de tests Réduction Choisir un test de chaque classe d équivalence 10/11/2011 Réduction et filtrage de suites de tests 23

24 Réduction de suites de tests par les relations d équivalence TAGs dans une classe Java 10/11/2011 Réduction et filtrage de suites de tests 24

25 Réduction de suites de tests par les relations d équivalence TAGs dans une classe Java (2) 10/11/2011 Réduction et filtrage de suites de tests 25

26 Réduction de suites de tests par les relations d équivalence TAGs dans une classe Java 10/11/2011 Réduction et filtrage de suites de tests 26

27 Réduction de suites de tests par les relations d équivalence Famille de relations d équivalence (1) 10/11/2011 Réduction et filtrage de suites de tests 27

28 Réduction de suites de tests par les relations d équivalence Famille de relations d équivalence (2) 10/11/2011 Réduction et filtrage de suites de tests 28

29 Réduction de suites de tests par les relations d équivalence Famille de relations d équivalence (3) 10/11/2011 Réduction et filtrage de suites de tests 29

30 Réduction de suites de tests par les relations d équivalence Expérimentations 10/11/2011 Réduction et filtrage de suites de tests 30

31 Réduction de suites de tests par les relations d équivalence Résumé Utilisation d annotations de traçabilité Création de famille de relations d équivalence entre les tests en se basant sur les annotations couverts à l animation Comparer les critères Ajuster la taille de la suite en fonction de la relation choisie Perspectives : comparer le pouvoir de détection de fautes dans la suite réduite 10/11/2011 Réduction et filtrage de suites de tests 31

32 Merci de votre attention 10/11/2011 Réduction et filtrage de suites de tests 32