Testing : A Roadmap. Mary Jean Harrold. Présentation de Olivier Tissot

Transcription

1 Testing : A Roadmap Mary Jean Harrold Présentation de Olivier Tissot

2 Testing : A Roadmap I. L auteur II. Introduction sur les test : les enjeux, la problématique III. Les tests : roadmap IV. Conclusion sur l article V. Conclusion

3 Testing : A Roadmap I. L auteur

4 I. L auteur : Mary Jean Harrold NSF ADVANCE Professor of Computing Aristotle Research Group /SPARC Group College of Computing Georgia Institute of Technology

5 I. L auteur : Mary Jean Harrold «The overall goal of my research is to develop efficient techniques and tools that will automate, or partially automate, development, testing, and maintenance tasks» Aristotle Research Group / SPARC Group

6 Testing : A Roadmap I. L auteur II. Introduction sur les test : les enjeux, la problématique

7 II. Introduction sur les test : les enjeux, la problématique A. Une problématique, un besoin B. Procédures de tests C. Avantages D. Limitations

8 II. A. Une problématique, un besoin (1/2) Un support de l assurance qualité Fiabilité et qualité Rassembler des informations Critère de succès dominant

9 II. A. Une problématique, un besoin (2/2) Les tests : 50% du coût du logiciel Les tâches et logiciels critiques nécessitent une qualité supérieure. «Unless we can find efficient ways to perform effective testing, the percentage of development costs devoted to testing will increase significantly.»

10 II. B. Procédures de tests Données en entrée ( test cases ) Exécution Observation de la sortie Spécifications sur le comportement du programme

11 II. C. Avantages Activité relativement simple Vérifier conditions Contrôler sorties, identifier les erreurs Exécution dans un environnement prédictible Beaucoup des processus peuvent être automatisés

12 II. D. Limitations «Testing can not show the absence of faults it can show only their presence» Ne montre pas non plus les qualités que peut avoir le logiciel Ces tests ne sont pas généralisables

13 Testing : A Roadmap I. L auteur II. Introduction sur les test : les enjeux, la problématique III. Les tests : roadmap

14 III. Les tests : roadmap A. Introduction B. Tests des systèmes à composants C. Tests sur l architecture logiciel D. Tests sur des logiciels en évolution E. Démontrer l efficacité des méthodes de tests

15 III. Les tests : roadmap F. Établir des procédés de test efficaces G. Utilisation d artefacts de test H. Autres techniques de tests I. Outils et méthodes

16 III. Les tests : roadmap A. Introduction

17 III. A. Introduction (1/2)

18 III. A. Introduction (2/2) Acquérir de la confiance Émergence nouvelles technologies Objectif : «providing practical testing methods, tools, and processes that will help software engineers develop high-quality software»

19 III. Les tests : roadmap A. Introduction B. Tests des systèmes à composants

20 III. B. Tests composants (1/8) 1. Définition et incidences 2. Le problème de la disponibilité du code source 3. Méthodes de test 4. Aboutissement

21 III. B. Tests composants (2/8) 1. Définition et incidences Composants : «modules that encapsulate both data and functionnality and are configurable through parameters at run-time» Deux perspectives : fournisseur et utilisateur

22 III. B. Tests composants (3/8) 1. Définition et incidences Fournisseur : Indépendant contexte Tester toutes les configurations Utilisateur : Contexte de son application Tester ses configurations

23 III. B. Tests composants (4/8) 2. Disponibilité du code source Commercial off-the the-shell software (COTS) Pas de régulation Utiliser pour réduire les coûts et avoir une sorte de standardisation Source chez le fournisseur

24 III. B. Tests composants (5/8) 3. Méthodes de test Génération intelligente de données aléatoires (fournisseur) Injection d erreurs (utilisateur)

25 III. B. Tests composants (6/8) 3. Méthodes de test Spécifications algébriques Cluster and class testing Object states Cryptographie Use pairs

26 III. B. Tests composants (7/8) 4. Aboutissement «We need to understand and develop effective techniques for testing various aspects of the components, including security, dependability, and safety [ ]» Augmenter confiance développeurs

27 III. B. Tests composants (8/8) 4. Aboutissement COM et JavaBeans : composants standards avec de l information Aboutir à une représentation standard des informations sur les tests

28 III. Les tests : roadmap A. Introduction B. Tests des systèmes à composants C. Tests sur l architecture logiciel

29 III. C. Tests architecture (1/5) 1. Définition et objectif 2. Les techniques 3. Conclusions

30 III. C. Tests architecture (2/5) 1. Définition et objectif «Software architecture involves the description of elements from which systems are built,, interactions among those elements,, patterns that guide their composition, and constraints on these patterns.» Gestion de systèmes importants

31 III. C. Tests architecture (3/5) 1. Définition et objectif Notation formelle base techniques de test Suivre l él évolution Faciliter l intl intégration et les tests unitaires

32 III. C. Tests architecture (4/5) 2. Techniques Regression testing Utilisation des spécifications de l architecture Architecture-based approach

33 III. C. Tests architecture (5/5) 3. Conclusions Faciliter l analyse dynamique Détection des erreurs plus tôt Sauvegarde dans les tests des logiciels (évaluation testabilité)

34 III. Les tests : roadmap A. Introduction B. Tests des systèmes à composants C. Tests sur l architecture logiciel D. Tests sur des logiciels en évolution

35 III. D. Tests : régression (1/5) 1. Définition 2. Travaux 3. Conclusion

36 III. D. Tests : régression (2/5) 1. Définition «Regression testing, which attempts to validate modified software and ensure that no new errors are introduced into previously tested code, is used extensively during software development and maintenance.» Tester nouveau composant ou un composant modifié

37 III. D. Tests : régression (3/5) 1. Définition Activité la plus coûteuse du cycle de vie du logiciel Cela peut monter jusqu à 1/3 du coût du logiciel

38 III. D. Tests : régression (4/5) 2. Travaux Travaux importants Permettre l estimation Techniques de retest

39 III. D. Tests : régression (4/5) 3. Conclusions Évaluation de la testabilité du logiciel et des test suites Permet de choisir la conception la plus efficace (évolution d un logiciel) Mémorisation des test suites

40 III. Les tests : roadmap A. Introduction B. Tests des systèmes à composants C. Tests sur l architecture logiciel D. Tests sur des logiciels en évolution E. Démontrer l efficacité des méthodes de tests

41 III. E. Tests : efficacité (1/2) Techniques concentrées sur la sélection des test cases Comportement attendu Basées sur le code Efficacité de certains critères de test pour la détection des erreurs

42 III. E. Tests : efficacité (2/2) Techniques sur : Le flot de données Les états et expressions booléennes, Déterminer les interactions entre critère de test et les combiner pour avoir des tests efficaces

43 III. Les tests : roadmap F. Établir des procédés de test efficaces

44 III. F. Planification de tests efficaces (1/2) Un plan de tests Perpetual testing project Incrémental Réponse ou anticipation des changements Regression techniques Sélection scénarios pour les tests suivants

45 III. F. Planification de tests efficaces (2/2) Reste à développer des outils et des processus «A process that combines static analysis techniques with testing has the potential to improve quality and reduce costs.»

46 III. Les tests : roadmap F. Établir des procédés de test efficaces G. Utilisation d artefacts de test

47 III. G. Tests : artéfacts (1/2) «Artifacts from the testing include the execution traces of the software's execution with test cases.» Statements Statements,, paths et valeurs Le résultat des test-cases (réussi ou échoué) peut être stocké

48 III. G. Tests : artéfacts (2/2) Slicing Détection invariants Path spectra Techniques visuelles pour tester les artéfacts

49 III. Les tests : roadmap F. Établir des procédés de test efficaces G. Utilisation d artefacts de test H. Autres techniques de tests

50 III. H. Tests : autres techniques Développement automatique de génération de données de test Techniques coûteuses Meilleurs outils Critères plus rigoureux

51 III. Les tests : roadmap F. Établir des procédés de test efficaces G. Utilisation d artefacts de test H. Autres techniques de tests I. Outils et méthodes

52 III. I. Outils et méthodes (1/2) Long pour arriver à la pratique Rapprochement de l industrie «We must develop methods and tools that implement the techniques and that can be used to demonstrate their effectiveness.»

53 III. I. Outils et méthodes (2/2) Prototype robuste Création automatique Feedback pour les études Sujets réels d expérimentation

54 Testing : A Roadmap I. L auteur II. Introduction sur les test : les enjeux, la problématique III. Les tests : roadmap IV. Conclusion sur l article

55 IV. Conclusion article + Bon panorama des tests + Un véritable objectif + Reste connecter à l aspect pratique (industrie) - Organisation d un bloc - Techniques juste citées

56 Testing : A Roadmap I. L auteur II. Introduction sur les test : les enjeux, la problématique III. Les tests : roadmap IV. Conclusion sur l article V. Conclusion

57 V. Conclusion Applications pratiques de techniques avancées tardent L enjeu de la qualité Certaines voies s ouvrent seulement