Comparatif de solution de tests

Transcription

1 Rue Michel Chauvet, 11 - CH Genève Tél Comparatif de solution de tests Document : Auteur (s) : Comparatif de solution de tests M. Rachid Oudia, CLIO SA M. Renaud Saint-Laurent, CLIO SA M. Bertrand Zufferey, Consultant, CLIO SA Destinataire (s) : Type document : Etude comparative Version / Statut : 1.0 / approuvé Date :

2 SOMMAIRE 1 Executive Summary Gestion de campagne de tests RTH Testopia (Mozilla/Bugzilla Project) Quality Center Borland SilkCentral Automatisation de tests fonctionnels Selenium HP QuickTest Pro QFTestJUI Tests de performance Opensta HP Loadrunner HP Performance Center Borland Silkperformer /09/2008 Etude comparative de solution de tests page: 2/12

3 1 Executive Summary Ce document est une synthèse du marché des logiciels de tests à l heure actuelle. Il n a pas la prétention d être exhaustif mais a pour but de mettre en avant les avantages et inconvénients des outils de tests les plus aboutis à l heure actuelle. Ce document doit vivre au gré du temps au fur et à mesure de l évolution du marché. Il couvre 3 aspects du monde du test : La gestion de campagne de tests L automatisation des tests fonctionnels Les tests de performances Ces 3 domaines correspondent au découpage du document. 2 Gestion de campagne de tests 2.1 RTH Il s agit d une solution de gestion de tests opensource. Elle convient aux petites structures de tests logiciels ayant peu d'application à tester, et un nombre limité d'intervenant et de volume de tests, les méthodes de tests doivent être simples, figées et proche de celles implémentées en natif dans l'outil sinon l'effort de maintenance du produit sera élevé par rapport aux couts de tests non outillés. En plus des couts de mise en œuvre d'un tel outil (et de la complexité du paramétrage pour mapper l'outil sur les processus de tests), il faut ajouter les couts d'utilisation qui vont inclure le fait que cet outil ne respecte pas un certain nombre de bonnes pratiques ISTQB Dans le cadre de petites structures de tests, ces coûts mériteraient d'être comparés avec une démarche: - Gestion des anomalies outillées - Gestion des exigences de tests et tests non outillées (ou outillée ponctuellement via des macros ou templates Office) Avantages: Architecture Simple (Application WEB PHP & MySQL) Installation rapide et simple Portail collaboratif full web Facile à utiliser Couvre toutes les activités de tests (Exigences, fiches de tests, testsets et anomalies) Module de gestions des anomalies assez simpliste Impossibilité de paramétrer le processus de test 05/09/2008 Etude comparative de solution de tests page: 3/12

4 Rigidité du processus (un testeur ouvre des anomalies, les développeurs les ferme) Absence de qualification ou de gestion des erreurs intermédiaire Rigidité des métas-data pour organiser les anomalies Reporting de type snapshot : absence d évolution, d historique pour la gestion de projet de tests Très peut de champs paramétrables Gestion des groupes et permissions statiques Paramétrage des rapports absents: KPI non paramétrables, Vue uniquement par release / build Introduction tardive de la gestion des releases Complexité de paramétrage (à effectuer dans le code pour les fonctions non gérées dans l API) Maintenance (faible documentation et support applicatif inexistant) Efficience : un certains nombres de bugs applicatifs dans l interfaces à corriger pour garantir l usage du produit 2.2 Testopia (Mozilla/Bugzilla Project) Il s agit d une solution de gestion de tests opensource basée sur Bugzilla. Les outils et méthodes sont orientés pour le développement et les tests de bas niveau. La solution ne semble pas bien adaptée à des phases de tests de haut niveau (Utilisateur). La solution est assez lourde à mettre en œuvre du fait de la richesse de la gestion de configuration. La solution est livrée avec des méthodologies : Cette solution s adresse essentiellement à des organisations dont les processus de tests sont figés, à des équipes de développement (outils peu adapté pour des tests gérés par des analystes métier, testeurs métier ou utilisateur final) ayant un fort besoin et volume de tests unitaires. Elle s adresse également à des équipes familières de l outil Bugzilla. La solution nécessite une maturité et un investissement au niveau de la gestion des environnements, des composants... Elle nécessite également l'utilisation de méthodes ou d'outils tiers pour la gestion des tests de haut niveau (UAT et fonctionnels) et pour la gestion des exigences. La solution est couplée avec Bugzilla (un gestionnaire de ticket, leader dans le monde opensource) Existence d'un support et d'une communauté (Contrairement à RTH) La solution regroupe les outils suivants: gestion de configuration et version, gestion des environnements, gestion des tests, gestion des anomalies L outil est adapté à des tests de bas niveau (unitaire ou intégration), méthode implémentée fortement adaptée à ces phases de tests 05/09/2008 Etude comparative de solution de tests page: 4/12

5 Nécessite l utilisation de Bugzilla comme gestionnaire de ticket Rigidité de la configuration Le processus est fortement lié aux tests de bas niveau (tests unitaires et tests d intégration) et est donc peu adapté à des tests métiers ou système. Lourdeur et rigueur imposées par la gestion des environnements et gestion des configurations. Pas de gestion exigences KPI et reporting peu paramétrable Pas d'ouverture vers outils ou systèmes tiers L utilisation et l ergonomie de l outil s adressent plus à des développeurs que des analystes métiers, testeurs métiers ou utilisateur finaux Vu le grand nombre de processus gérés par l outil, sa mise en œuvre nécessite un investissement conséquent de temps et de ressources 2.3 Quality Center Il s agit de l outil leader pour la gestion des tests. Il est édité par la société HP (suite au rachat de la société Mercury Interactive). Il convient à tous types de structures de tests (large ou petite). Les coûts de maintenance et de paramétrage initiaux sont très faibles. La solution est basée sur un portail collaboratif avec usage d activex qui augmentent l'ergonomie L outil est intuitif Il couvre toutes les activités de tests Il s agit de la seule solution à proposer: - Génération de plan de test - Gestion des risques - Gestion efficace des releases Grande facilité à implémenter tous types de demandes ou méthodes de tests dans l'outil Grande facilité à implémenter tous types de reporting ou KPI polyvalence de l outil aussi bien pour les phases de tests de bas niveau (unit test) et haut niveau (UAT) Forte ouverture de l'outil avec des référentiels tiers ou outils de tests automatiques Cout d'acquisition jugé parfois élevé (à mitiger par le gain en termes de flexibilité apporté par l'outil) Le client activex pose certain problèmes de déploiement dans certains contextes Le paramétrage natif de l'outil correspond pas toujours aux besoins des clients (et aux bonnes pratiques ISTQB) 05/09/2008 Etude comparative de solution de tests page: 5/12

6 2.4 Borland SilkCentral Il s agit de la solution de gestion de campagne de tests éditée par Borland (Suite au rachat de la société Segue). Il convient à de larges structures de tests. Le paramétrage reste moins flexible que HP Quality Center. Son intuitivité et sa méthodologie native sont intéressantes. La solution est destinée à de larges structures dont les méthodologies de tests sont stabilisées et sont proches de celles implémentées en natif dans l'outil. En effet, il est plus difficile et coûteux d'adapter un tel outil aux méthodes et pratiques d'une organisation. Cependant le paramétrage de base semble plus proches des standards ISTQB que HP Quality Center. Simplicité d'utilisation Simplicité d'installation Pur web (Ajax) => ergonomie et simplicité Paramétrage natif plus pertinent que QC Intégration avec valorisation des données de tests Intégration support tests statiques Gestion des tests "bas niveau" unit test plus intéressante que QC Facilité à produire des rapports ou KPI via interface Coûts proches de ceux de QC pour une flexibilité plus faibles Flexibilité du paramétrage plus faible que QC Administration plus complexe que QC Gestion des tests métiers moins intéressante que QC Gestion des problèmes / anomalie complexes Pas de génération automatique des cas de tests Faible ouverture de l'outil pour du reporting ou de l'intégration à la demande 05/09/2008 Etude comparative de solution de tests page: 6/12

7 3 Automatisation de tests fonctionnels 3.1 Selenium Il s agit d un outil opensource qui convient uniquement aux petites tâches d'automatisation proche des tests unitaires. N'est plus valide pour les tests fonctionnels multiplateformes. A mettre dans les mains des développeurs uniquement. L outil dispose d une API accessible par plusieurs langages (principalement Java, Perl, PHP) donc possibilité de réutilisation/modularité Un plug-in est disponible pour l'enregistrement de scripts La modularité, l'externalisation des données doit être programmée Le plug-in d'enregistrement est disponible uniquement pour Firefox L'enregistrement ne permet pas l'insertion de validations (checkpoints) L'object repository n'est pas séparé du script La reconnaissance des composant graphique se base uniquement sur le DOM de la page html générée (via XPATH) d'où un problème de résistance aux changements lors de changement de display Seul les front-ends web sont automatisables Support insatisfaisant 3.2 HP QuickTest Pro Il s agit d un outil d automatisation des tests fonctionnels éditée par HP (Suite au rachat de Mercury Interactive). Il convient aux applications hétérogènes pour autant que ces applications soient prises en charge par les différents plugins disponibles. Il s'exécute exclusivement sur Windows. Facile de prise en main et d'utilisation Fonctionne en mode Record/Replay, efficace Object Repository séparé du script Données dissociables du script Réutilisation et modularité possible Gestion des exceptions Intégration parfaite avec le repository de test 05/09/2008 Etude comparative de solution de tests page: 7/12

8 Rapports pertinents Simplicité du script (VBScript) Application ouverte (Composants COM accessibles) Paramètres d'exécution accessibles depuis QC Très bon algorithme de reconnaissance des objets Descriptive programming Kit d'extension des objets de test Utilisé intégré avec QC, l'exécution est très lente (download des scripts, upload des résultats) Support insatisfaisant Problèmes récurrents lors des exécutions (erreurs fatales, etc...) Exécution lente si on inclut les captures d écrans dans les rapports Les actions réutilisables et les checkpoints sont référencés en dur dans un sous-script propriétaire, ceci rend la gestion des chemins vers les actions réutilisables pas très souple et engendre des erreurs lors de la manipulation des checkpoints Problèmes lors de la copie de scripts et de test set dans QC (les tests peuvent perdre les relations vers les scripts réutilisables qu'ils appellent QTP n'arrive quelque fois plus à télécharger une action réutilisable malgré la spécification d'un chemin valide) 3.3 QFTestJUI Il s agit d un outil d automatisation des tests fonctionnel bon marché qui convient parfaitement aux clients qui ont tout misé sur les front-ends Java. Il s'exécute via Java sur de multiples plateformes. Facile de prise en main et d'utilisation Record/Replay efficace Extrêmement rapide à l'exécution Scripts légers Object Repository séparé du script Données dissociables du script Réutilisation et modularité possible Gestion des exceptions (meilleur que QTP) Fiable (plus que QTP) Facile exécuter en mode batch (meilleur que QTP dirigé par QC par défaut) Pas cher Références vers les scripts externalisés très efficaces (path relatifs ou absolus) 05/09/2008 Etude comparative de solution de tests page: 8/12

9 L'intégration dans un repository de test peut être fait facilement pour autant que l'environnement puisse lancer le script en mode batch et récupérer en output le résultat (fonctionne très bien via Quality Center) Support très réactif et compétent (en Allemagne accès direct aux développeurs) Le langage de script pour les fonctions user-defined est Jython (pas facile, peu connu) Par défaut, les données externalisées sont des fichiers de propriétés (difficultés à gérer les données dynamiques) Essentiellement pour AWT & Swing (à confirmer pour SWT) 4 Tests de performance 4.1 Opensta Il s agit d un outil opensource de tests de performance qui fonctionne en mode record/replay. Il convient aux structures réalisant de façon ponctuelle des tests de performance exclusivement sur le protocole HTTP. Le monitoring doit être assuré par les équipes systèmes (monitoring limité). Pour de fortes volumétries (>1000 utilisateurs concurrents il est recommandé d utiliser des solutions alternatives). Gestion par contrôleur et injecteurs comme les outils payants Solution fiable jusqu à environ 1000 utilisateurs Pas de support, mais communauté active sur Internet Langage de programmation propre SCL (Script Control Langage), Logique de scripts identique aux autres solutions de tests (timers, thinktimes, commentaires, analyse de fichiers sources ) Fonctionne en mode record-replay. Scripts bien lisibles. Limité au protocole HTTP Monitoring limité aux infrastructures MS Windows et au protocole SNMP Installation sous MS Windows seulement Problème de stabilité pour les hautes volumétries (> 1000 Vus concurrents) La maintenance des scripts restent plus complexes que les solutions Loadrunner ou Silkperformer (pas d aide au développement par la variabilisation) 05/09/2008 Etude comparative de solution de tests page: 9/12

10 4.2 HP Loadrunner Il s agit du leader sur le marché des outils de tests de performance. Il est édité par la société HP (Suite au rachat de la société Mercury Interactive). Il s agit d une solution très performante mais chère qui convient aux structures qui souhaite se doter du must en termes de solution de tests de charge. Le support est décevant. Multitude de protocoles supportés Possibilité de scripter à différents niveaux (GUI et protocole) Relativement rapide à prendre en main Nombre de sondes pour le monitoring très important Résultats fiables Solution robuste et reconnue sur le marché possibilité de mixer des protocoles Possibilités de suivre les résultats de tests en live Fonction d'analyse et de corrélation avancée Fonctionne dans les réseaux sécurisés (encapsulation des flux de communication entre les composants de LR) Fonctionne aussi sous Unix/Linux Fonctionne pour la plupart des protocoles en mode record-replay Solution très chère Support pas toujours très efficace Knowledge base plus très efficace depuis le passage chez HP Solution moins stable qu'avant (version précédente) (fermetures intempestives de tps en tps) 4.3 HP Performance Center Cette solution également éditée (tout comme Loadrunner cf. 4.2) est éditée par la société HP. Performance Center consiste en une version portail de LoadRunner qui permet de gérer de multiples campagnes de tests de performances simultanément. Il s agit d une solution pratique pour des multinationales ou de grandes structures qui disposent de sites éparpillées. L outil convient également à des grosses équipes de tests qui ont des besoins concurrents en tests de performances. 05/09/2008 Etude comparative de solution de tests page: 10/12

11 Solution qui s'appuie sur LoadRunner mais avec une approche collaborative Les scripts sont développées avec le module Vugen de LoadRunner, Particulièrement pratique pour gérer plusieurs campagnes de tests simultanément ou depuis des sites différents à chaque fois Propose une historisation des tests Gestion des groupes et utilisateurs Toutes les fonctionnalités de LoadRunner sont disponibles Solution stable Solution full web Plus de problème d'installation et de déploiement une fois en place Architecture complexe (et hétérogène Chargement des scripts très lent Interface pas toujours pratique Nécessite une infrastructure relativement importante (Serveur DB + 2 autres serveurs (repository + admin) Solution chère 4.4 Borland Silkperformer Il s agit de la solution de gestion des tests de performances éditée par la société Borland (suite au rachat de la société Segue). Il s agit du principal concurrent de LoadRunner au vue de sa fiabilité et du nombre de protocoles supportés. La solution gère un peu moins de protocole que celle d HP mais les plus courants sont disponibles, elle reste cependant meilleure marché que celles proposé par HP. Silkperformer ne gère pas l'approche portail de Performance Center mais permet une approche multi projets via un serveur de licence flottante. Solution robuste et éprouvée (anciennement édité par la société Segue il y a plusieurs années) Prix beaucoup plus attractif que LoadRunner mais reste cependant un produit cher Gère un grand nombre de protocoles (les plus courants sont très bien supportés) Langage de programmation proche de Java Nombre de sondes pour le monitoring très important Résultats fiables Fonction d'analyse et de corrélation avancée Possibilité de générer des licences temporaires à partir d'une licence "normale" pour exécuter des tests sur un autre site 05/09/2008 Etude comparative de solution de tests page: 11/12

12 Nous avons des compétences sur ces solutions Moins connu en Europe Pas de contacts locaux mais Borland France Nombre de protocoles supportés moins importants 05/09/2008 Etude comparative de solution de tests page: 12/12