Des processus métier et exigences aux tests pour les grands systèmes complexes ------ Etude de cas écomouv Séminaire In'Tech INRIA Grenoble Validation formelle de systèmes industriels critiques 18 avril 2013 Author: Bruno LEGEARD Contact: legeard@smartesting.com
Société Historique Créée en 2003 Essaimage du laboratoire informatique de Franche Comté (CNRS / INRIA) Support d investisseurs Prix d innovation reçus en 2006, 2007, 2010 Opérations Editeur indépendant, fournisseur de solutions logicielles Centre R&D et siège social à Besançon Opérations à Paris et Bangalore, Inde
Ecosystem CUSTOMERS Customers System Integrator Partners
Agenda Title 1 Ingéniérie du test pour les systèmes complexes Title 2 Etude de cas Le projet écomouv Title 3 Q&R
L approche Smartesting en résumé Modélisation pour le test : des Assets pour la génération Flux métiers + Règles métier + Stratégie de test INDUSTRIALISER: Production Maintenance Traçabilité Capitalisation Smartesting CertifyIt Exigences Métier Référentiel partagé Tests Tests Fonctionnels Fonctionnels Tests prêts à être exécutés
Pyramide du test des systèmes complexes Niveau Système complexe Bout-en-bout Système de systèmes Faible nbre de tests, Grande Valeur Métier Niveau Intégration Niveau Applicatif Acceptance testing multi-applicatifs/modules Test fonctionnel mono-applicatif/module Grand nbre de test, validation technique exhaustive
Marché du test : Tendances majeures TCAM 15/11 : +5% Source PAC : Etude du marché Testing 2012 Présentation JFTL13 La dépense liée au activités de test en France représente 3,3 Mds. 40% de cette dépense reste internalisée. 50% de volume des dépenses externalisées est réalisé en mode projet/conseil et l autre moitié est allouée au fonctionnement des centres de services.
Le Test répond aux challenges de la DSI Quel est le niveau d importance des challenges IT? Sur une échelle allant de 1 à 5 où 1 = Pas du tout important, 5 = Très important Mise en perspective du test dans le contexte DSI : Une meilleure gestion du risque et de la conformité, Une standardisation des processus Un alignement métier optimisé. Source PAC : Etude DSI 350 2012 - Présentation JFTL13
Agenda Title 1 Ingéniérie du test pour les systèmes complexes Title 2 Etude de cas Le projet écomouv Title 3 Q&R
Ecomouv Présentation Implémentation de l Eco-Taxe sur les Poids-Lourds en France Important projet technique Forte complexité du test de qualification fonctionnelle
Ecomouv Enjeux du test en chiffres 150 Business process sous Magic Draw Plus de 1000 exigences sous Doors Environ 500 Business scénarios sous Smartesting Environ 2000 cas de test sous HP QC Système complexe hétérogène (Logiciel Custom, Hardware, ERP-SAP) Une douzaine de composants en validation fonctionnelle Une équipe de validation de 10 à 15 personnes
Stratégie de test - Méthode Processus métier Spécifications fonctionnelles Exigences Analyste fonctionnel référence Business scenarios Règles métier et comportements à tester Objective De tests Smartesting Smartesting CertifyIt Génération des tests Analyste de test Validation: Processus et scénarios Exigences Spécifications export Testeur Plan de test Traçabilité tests/exigences Scripts pour automatisation Mots-clés Reporting: Estimations Avancement Couverture Chef de projet test
Processus métier : description des principaux workflows métier à tester Processus métier Analyste fonctionnel Business scenario Analyste de test
Pilotage par les exigences Exigences Analyste fonctionnel Objectif de test Analyste de test Définition des objectifs de test Couverture des Exigences (traceabilité bidirectionnelle)
Modélisation des règles métier Process Metier Modélisation des règles métier Objectif de test Business scenarios Analyste de test L analyste de test formalise les contraintes de gestion (exigences) sur un flux métier (process). Pour cela il définit les données logiques de test.
Génération des plans de test et publication dans HP Quality Center Mise en œuvre de la génération en fonction des besoins de couverture (risk-based testing) Analyste de test Smartesting CertifyIt Génération des tests export Plan de test 2- Publication vers QC Traçabilité tests/exigences Testeur 1 - Couverture des objectifs de test (en cours de calcul)
Exécution manuelle des scénarios de test Les scénarios publiés et documentés sont prêts à être exécutés et portent la traçabilité avec les exigences. Testeur Plan de test Traçabilité tests/exigences
Automatisation de l exécution Publication des scripts générés vers un outil d automatisation avec une approche keyword driven et data driven. Smartesting CertifyIt Génération des tests Analyste de test export Scripts pour automatisation Traçabilité tests/exigences Mots-clés Ingénieur d automatisation
Exécution Indicateurs La chaine outillée permet de générer automatiquement des indicateurs Nombre d exigences non couvertes par des cas de test Mesure de l avancement des cas de tests passés Mesure de l avancement par rapport au prévisionnel Nombre d anomalies générées durant la journée Nombre et statut des anomalies sur le projet Ce reporting au quotidien permet L adaptation des plans de test aux aléas L optimisation de l affectation des ressources
Gains identifiés ROI qualitatif ROI identifié sur les items suivants o Validation de la conformité et de la complétude des entrants (réduction des itérations et du rework) o Mise en place de l automatisation de l exécution des tests o Écriture des scénarios de tests 2 à 2 (à partir des scénarios bouchonnés) o Détection d anomalie de spécification au plus tôt o Identification des jeux de données Gain important sur le test d intégration système o Passage des scénarios bouchonnés aux scénarios 2 à 2 sans effort supplémentaire
Résumé & Métriques Augmenter Productivité & Qualité délivrée Augmenter les capacités de Service de Test Garantir Alignement & Réduire les Risques Réduire le Time-to- Market +30% en productivité sur la 1ère création des tests +70% en productivité pour les tests de non régression -35% de réduction sur le temps moyen de test +50% sur la couverture de test pour un même effort KPI Smartesting
Synthèse Une solution d ingéniérie des tests adaptées aux systèmes critiques complexes La modélisation des processus métier permet de mimer les principaux cas d utilisation métier La génération des tests accélère le processus de conception de test et facilite la maintenance du référentiel L automatisation de la couverture améliore la qualité du référentiel de tests La traçabilité bidirectionnelle entre les tests et les exigences est maintenue de façon automatisée.
Merci pour votre attention twitter.com/smartesting
Déployer Smartesting Évolutions fonctionnelles régulières Criticité Complexité fonctionnelle Environnement règlementaire contraignant Contraintes de qualité Type du projet de test Qualification fonctionnelle Test de non-régression Systèmes hétérogène ERP Verticales métiers Domaine applicatif Organisation Centre de services test TRA (interne/multi-shoring) Amélioration communication Métier / R&D Mutualisation
Incremental Integration Testing Source IBM Rational - 2012