JFTL 2014: Rôle et apports de la génération de données dans le Test

Transcription

1 JFTL 2014: Rôle et apports de la génération de données dans le Test J.L. Pacherie & G. Rols

2 Données de test : douleurs et motivations DELAIS COÛTS QUALITE SOLUTION DE SERVICE INDUSTRIALISEE 01/03/2014 2

3 Données de test : retour d expérience Steria Savoir-faire Echantillonner de manière cohérente des bases de différents systèmes d un même SI Extraire des données ciblées sur des besoins fonctionnels Assurer la sécurité et la confidentialité des données. Besoins Une intégration des outils de jeux de données (JdD) dans la chaîne des outils de test Une approche fonctionnelle de la production des jeux de données Un pilotage par le besoin et non par les contraintes Une couverture du besoin de création 01/03/2014 3

4 Préconisation : organisation d une cellule de JdD Intégrer la génération dans une solution de service Les Fonctions Gestion des Demandes (catalogue de service) Dynamique Génération Profilage Modélisation Testeur Testeur Testeur Gestion de la Capitalisation Support & Traçabilité Statique Extraction Ciblage Anonymisation Gérer et consolider les demandes Support à l usage des données en hors prod Gérer le patrimoine de référentiels et d outils Certification Echantillonnage 4 Données statiques Extraction de production 5 Données dynamiques Génération de données Testeur 01/03/2014 4

5 Objectifs de la génération dans la solution COÛTS DELAIS QUALITE Réduire les délais de mise à disposition des données de tests S affranchir de la dépendance aux environnements de production Industrialiser les travaux de création de données Simuler des comportements complexes: dynamique des données Créer les données indisponibles en production Homogénéiser la création des jeux de données des tests manuels Variabiliser les scripts d automatisation Production de données de Test vs Production des données des tests La génération n est en aucun cas liée au hasard 01/03/2014 5

6 Génération de données dynamiques (1/2) Créer des données socles Initialiser les plateformes Provisionner des données qui n existent pas en production Provisionner des états du système ENJEUX SOLUTION Intégrer une ou plusieurs interfaces d injection Modéliser dans les générateurs les contraintes Assurer des points de paramétrage Plus de liberté et d agilité Possibilité de créer des situations inobservées Coût de production minimes GAINS! Maitriser le processus de modélisation de la qualité des données pour la génération Disposer d interfaces d injection opérationnelles sur la plateforme de test S assurer des mécanismes de propagation de la création de données dans un système multi-applicatif 01/03/2014 6

7 Génération de données dynamiques (2/2) Créer des événements sur des profils de comportements Simuler les comportements pour disposer des séquences d événements ENJEUX SOLUTION Modéliser les événements Analyser le réalisme de chaque événement Contrôler la séquence et les corrélations entre les événements d une séquence Une approche métier Tester des cinématiques complexes Le coût est proportionnel à la complexité de modélisation du profil GAINS! L outillage d injection et de génération doivent être coordonnés. La production de séquence doit se faire sur des données en base (clients connus du système, produits au catalogue, etc.) et nécessite la constitution de référentiel de données transverses. 01/03/2014 7

8 Atelier en ligne pour la génération des données Moteur de génération de données : GEDIS Studio Permet de concevoir et exécuter des générateurs à partir de règles prédéfinies que l on peut assembler librement N INSEE 01/03/2014 8

9 Solution collaborative pour la génération de données La cellule JdD publie des générateurs et des données de référence dans un espace partagé qu elle administre Espace Partagé Générateurs Générateurs Espace Projet 1 Espace Projet 2 Espace Projet 3 Générateurs Générateurs Générateurs Générateurs Générateurs Les utilisateurs et les administrateurs n ont pas besoin d être sur le même site. L intervention d experts / support est facilitée Testeur Chaque projet sélectionne les générateurs et données de référence qui conviennent à son objectif de test ET produit ses données FRANCE INDE POLOGNE 01/03/2014 9

10 Génération de données : bonnes pratiques Simuler des modèles de réalisme et non pas la réalité Procéder par étapes Rechercher la donnée pivot (structure et qualité des données) Configurer de manière fonctionnelle les générateurs 01/03/

11 Cas d usage : un opérateur Telecom leader en Europe (1/2) Vérifier les règles de valorisation Enjeux clients Vérifier les règles de valorisation d un usage multi-services (voix, SMS, data) en fonction du contrat et des options souscrites! Défis Variantes des options sur les contrats impactant le calcul Variantes des usages (appels surtaxés, internationaux, gratuits, etc.) Gestion des horodatages, multi-formats, clients brûlés, etc. Solution Etablir des profils de comportement paramétrables par type de contrat Simuler des usages en générant les traces d appel (CDR) Rapidité de mise à disposition des données Simplification des oracles de tests Transparence des formats et valorisation technique des CDR 01/03/

12 Cas d usage : un autre opérateur Telecom leader en Europe (2/2) vers les problématiques de Big Data Enjeux clients Valider des algorithmes analytiques permettant d optimiser le positionnement d antennes en fonction des usages! Défis Evénements «minute par minute» de plus de 2000 usagers sur 6 mois Plus de 10 types de services et 10 profils d usage Déplacements avec des centres d attraction mouvants 15 millions d événements par simulation Solution Faire évoluer les profils d usage pour y inclure la mobilité Retrouver les motifs de comportement utilisés par le générateur via les algorithmes à tester Agilité et coûts : test d un scenario en moins de 15 minutes Tests en taille significative, jusqu à taille réelle Simulation prospective 01/03/

13 Cas d usage : un éditeur du secteur bancaire Qualifier les outils de lutte contre le blanchiment d argent Enjeux clients Valider un algorithme de détection de transactions SWIFT portant sur des personnes blacklistées (OFAC SDN List)! Défis Mise à jour fréquente des listes noires Nombreuses combinaisons de mutations à tester Qualification de chacune des règles du filtre Solution messages SWIFT différents générés Disponibles en seulement quelques minutes 01/03/

14 Génération de données : un élément clé pour l industrialisation de la gestion des données Solution de service La génération de données Création de données absentes en production Simulation des comportements Couverture plus large de cas de tests Réduction des coûts de production 2 besoins : statique et dynamique 2 technologies : extraction et génération Une intégration des processus et outils! Reconnaître le rôle des JdD dans les difficultés des tests Faire face à la résistance au changement vis-à-vis de la génération Responsabiliser l utilisateur sur son rôle de pilote de la qualité des données 01/03/

15 JFTL 2014: Rôle et apports de la génération de données dans le Test Q&R Merci pour votre attention