Test du logiciel, cours 3. Tests fonctionnels. Tests fonctionnels. Rappel : spécification du logiciel. Plan Les tests fonctionnels Les phases de tests

Transcription

1 Test du logiciel, cours 3 Tests fonctionnels Critère d arrêt Plan Les tests fonctionnels Les phases de tests Couvertures de tests fonctionnels : On ne peut connaître a priori le nombre de tests nécessaires qualitatives. Se baser sur le seul élément dont on est sûr : la spécification. DESS DLS Test du logiciel 1/33 DESS DLS Test du logiciel 3/33 Tests fonctionnels Rappel : spécification du logiciel Aussi appelé tests boite noire Son but Une spécification doit décrire au minimum : les fonctions à réaliser par le logiciel, les interfaces de ce logiciel les contraintes fixées au développeur. Vérifier le comportement d un logiciel / spécification (fonctions non conformes ou manquantes, erreurs d initialisation ou de terminaison du logiciel) Vérifier le respect des contraintes (performances, espace mémoire, etc.) et des facteurs qualité associés au logiciel (portabilité, maintenabilité, etc.) Exemples de contraintes : performances temporelles performances spatiales contraintes matérielles critères de sécurité portabilité DESS DLS Test du logiciel 2/33 DESS DLS Test du logiciel 4/33

2 Le test fonctionnel : que teste-t-on et comment le teste-t-on? Tests nominaux, tests aux limites Que teste-t-on? : couvertures des tests Comment le teste-t-on? : analyse partitionnelle pour le test des fonctions de la spécification Tests nominaux : vérifier la conformité par rapport à la spécification pour un comportement normal du logiciel Tests aux limites : vérifier le comportement aux limites fonctionnelles du logiciel DESS DLS Test du logiciel 5/33 DESS DLS Test du logiciel 7/33 Que teste-t-on? : couvertures des tests fonctionnels Tests de robustesse Quatre grandes catégories Tous les tests permettant de valider la robustesse du logiciel vis-à-vis de son environnement. Tests nominaux Tests aux limites fonctionnels Tests de robustesse Tests de conformité test des fonctions du logiciel facteurs qualité de robustesse autres facteurs qualité et contraintes Par exemple les tests hors limites fonctionnelles les tests en charge les pannes des équipements externes DESS DLS Test du logiciel 6/33 DESS DLS Test du logiciel 8/33

3 Tests de conformité Analyse partitionnelle : la recette Vérifier les contraintes associées au logiciel Par exemple les tests de performance les tests d intrusion les tests d ergonomie (Interface Homme-Machine) les tests de portabilité (matériel, OS), d interchangeabilité Pour chaque fonction de la spécification à : déterminer les entrées de la fonction ainsi que leur domaine à partir de la partie contrôle de la spécification, découper le domaine des entrées en classes d équivalence pour chaque classe d équivalence : sélectionner un élément dans la classe à partir de la partie commande de la spécification, déterminer la valeur des sorties pour l élément sélectionné. DESS DLS Test du logiciel 9/33 DESS DLS Test du logiciel 11/33 Comment teste-t-on? : l analyse partitionnelle, une solution pour les jeux d entrées Valeurs de sortie ou à défaut propriétés de ces valeurs Première idée : force brutale (effectuer le produit cartésien des domaines des entrées du programme) Défaut : nombre de tests à réaliser astronomique (exemple : addition de 2 entiers de 32 bits jeux de tests) On se contenterait de valider chacun des comportements du logiciel pour une valeur particulière représentative. Seconde idée : partitionner ce produit cartésien en classes d équivalence des entrées (ensemble des entrées aboutissant au même comportement fonctionnel) Problème de l oracle algorithme trop complexe (régulation en automatisme) toutes les entrées nécessaires au calcul de la sortie ne sont pas accessibles au testeur (positionnées par le développeur, horloge système, etc). Sur notre exemple : 2 tests (1 sans débordement, 1 avec débordement) Méthode couramment utilisée pour écrire les jeux de tests fonctionnels, appelée : analyse partitionnelle. DESS DLS Test du logiciel 10/33 DESS DLS Test du logiciel 12/33

4 Classes d équivalence Détermination des classes d équivalence Soit un domaine. Les ensembles forment une partition de classes d équivalence sur si : Langage formalisé Automate, Réseau de Petri, Détermination des chemins de la spécification Parcours de l automate, Règle 1 (recouvrement) Règle 2 (exclusion mutuelle) Matrice causes/effets Langage naturel Parcours de la matrice Remodélisation de la spécification en langage formalisé ou automate DESS DLS Test du logiciel 13/33 DESS DLS Test du logiciel 15/33 Exemple Détermination des classes d équivalence sur une spécification trop informelle Dans ce cas, la spécification n est pas testable en l état. Il faut donc soit la refuser, soit : Programme calculant : 3 classes d équivalence : sur les entiers réaliser un modèle de cette spécification dans le formalisme le mieux adapté faire valider ce modèle par l équipe de développement et le client (est-ce bien cela que vous vouliez construire?) déterminer les classes d équivalence sur le modèle. Sur les 3 classes d équivalence, une seule est valide. Ce processus de remodélisation permet très souvent de trouver des anomalies dès la spécification : incohérence entre différentes parties de la spécification incomplétude des cas traités DESS DLS Test du logiciel 14/33 DESS DLS Test du logiciel 16/33

5 intelligente intelligent Tests nominaux Choix des valeurs dans les classes d équivalence Classes d équivalence pour toutes les entrées E1 E2 Sélection d une valeur dans la classe d équivalence [Min Int,-1] -734 [Min Int,-1] -525 Varier les valeurs à l intérieur d un même intervalle. [Min Int,-1] [0, Max Int] 3765 [0, Max Int] 7643 [Min Int,-1] -765 [0, Max Int] 9864 [0, Max Int] 3783 DESS DLS Test du logiciel 17/33 DESS DLS Test du logiciel 19/33 Exemple de classes d équivalence Tests aux et hors limites fonctionnelles Fonction : Produit_valeurs_absolues Entrées : E1, E2 Sorties : S Traitement : Cette fonction calcule la valeur absolue du produit des entrées E1 et E2. Classes d équivalence pour chaque entrée E1 E2 Tests aux limites fonctionnelles : sélection de valeurs aux bornes de chaque classe d équivalence fonctionnelles Tests hors limites fonctionnelles : sélection de valeurs hors bornes de chaque classe d équivalence fonctionnelles [Min Int,-1] [Min Int,-1] [0, Max Int] [0, Max Int] DESS DLS Test du logiciel 18/33 DESS DLS Test du logiciel 20/33

6 Tests aux et hors limites fonctionnelles pour l exemple précédent Tests en charge Si les entrées E1 et E2 ont un domaine fonctionnel de : [-100, 100] Tests aux limites fonctionnelles E1 E2 [-100,-1] -100 [-100,-1] -57 [-100,-1] -1 [0, +100] 64 [0, +100] 0 [-100,-1] -5 [0, +100] 100 [0, +100] 98 [-100,-1] -59 [-100,-1] -1 [0, +100] 48 [-100,-1] -100 [-100,-1] -63 [0, +100] 0 [0, +100] 75 [0, +100] 100 Tests hors limites fonctionnelles E1 E2 [-100,-1] -234 [-100,-1] -42 [0, +100] 174 [0, +100] 39 [-100,-1] -84 [Min Int, -1] -115 [0, +100] 48 [0, +100] 120 Vérifier le comportement du logiciel en cas de stress du logiciel tel que : avalanche d alarmes saturation des réseaux saturation des requêtes Exemple : la saturation de Yahoo fin DESS DLS Test du logiciel 21/33 DESS DLS Test du logiciel 23/33 Tests de robustesse Tests de pannes des équipements externes Vérifier le comportement du logiciel face à des événements non spécifiés ou dans des situations dégradées. Tests en charge Tests des pannes des équipements externes etc. Simuler des pannes sur les équipements en interface avec le logiciel afin de vérifier son comportement. Par exemple : arrêt inopiné de l équipement débranchement brutal de l équipement changement brusque de valeurs DESS DLS Test du logiciel 22/33 DESS DLS Test du logiciel 24/33

7 Tests de pannes des équipements externes, connaissances requises Conclusion pour les tests fonctionnels Ces tests nécessitent une bonne connaissance du hardware afin de spécifier les bons modes de défaillance des équipements. Par exemple, connaître les cas de défaillance d un interrupteur : collage à 1 ou à 0 bagottements intempestifs parasitage à différentes fréquences. Ce ne sont que des exemples pour le test de robustesse et le tests de pannes des équipements externes, cela dépend énormément du métier pour lequel le logiciel est développé. DESS DLS Test du logiciel 25/33 DESS DLS Test du logiciel 27/33 Tests des interfaces Les phases de tests DÉVELOPPEMENT Spécification du logiciel Plan de Tests de Validation TEST Tests de validation Rapport de Tests de Validation Le but des tests des interfaces est double : vérifier les interfaces logicielles entre les composants un sous-système logiciel Conception du logiciel Plan de Tests d Intégration Tests d intégration Rapport de Tests d Intégration vérifier les interfaces physiques entre le logiciel et la machine cible (carte sur laquelle tourne le logiciel) Conception détaillée Plan de Tests Unitaires Tests Unitaires Rapport de Tests Unitaires Codage DESS DLS Test du logiciel 26/33 DESS DLS Test du logiciel 28/33

8 Durant les phases de descente du cycle Les Tests Unitaires (TU) Durant les phases de descente du cycle, le testeur élabore les Plans de Tests du Logiciel et fabrique les bancs de tests. Les plans de tests décrivent essentiellement : la stratégie de tests mise en place les moyens mis en oeuvre (matériel, logiciel et humain) l ensemble des fiches de tests. Validation de chaque composant logiciel pris unitairement par rapport à sa spécification détaillée. Quand Dès qu une pièce de code a été codée et compilée correctement Types de tests Les tests structurels DESS DLS Test du logiciel 29/33 DESS DLS Test du logiciel 31/33 Durant les phases de remontée du cycle Les Tests d Intégration (TI) Durant les phases de remontée du cycle, le testeur exécute les fiches de tests décrites dans les plans et produit les rapport de tests associés. Ces rapports contiennent essentiellement : la synthèse des résultats de tests les résultats de tests détaillés la trace d exécution des tests. Validation des sous-systèmes logiciels entre eux Tests d Intégration Logiciel/Logiciel (interface entre composants logiciels) Tests d Intégration Logiciel/Matériel (interface entre le logiciel et le matériel) Quand Dès qu un sous-système fonctionnel (module, objet) est entièrement testé unitairement Types de tests Tests des interfaces DESS DLS Test du logiciel 30/33 DESS DLS Test du logiciel 32/33

9 Les Tests de Validation (TV) Vérifier la conformité du logiciel aux Spécifications du logiciel Quand Dès que l ensemble des sous-systèmes fonctionnels ont été testé et intégré Types de tests Tests fonctionnels Tests de robustesse DESS DLS Test du logiciel 33/33