Concilier Agilité, Exigences et Continuous Delivery : Retour d expérience PagesJaunes

Transcription

1 Fabien Grellier CTO Concilier Agilité, Exigences et Continuous Delivery : Retour d expérience PagesJaunes Paris - 14/04/2015

2 Quelques chiffres ème

3 NewPagesjaunes.fr : enjeux Raccourcir le TTM et le TTR Mise en production technique plusieurs fois par jour Réduire les coûts Automatiser tout ce qui peut l être Améliorer l efficacité et la maintenabilité des tests automatiques Mieux cibler les impacts des évolutions sur le patrimoine de tests Améliorer la qualité globale du service Réduire le nombre d anomalies détectées en production Définir une stratégie de tests maximisant la qualité à cout constant TTM : Time To Market TTR : Time To Repair 3

4 Cycle actuel de mise en production Equipe 1 Développements MMF1 Mise au point Développements MMF2 Mise au point Développement s MMF3 Equipe 2 Développements MMF1 Mise au point Développements MMF2 Mise au point Développement s MMF3 Equipe 3 Développements MMF1 Mise au point Développements MMF2 Mise au point Développement s MMF3 6 semaines Production MEP MEP 4

5 Cycle proposé avec NewPJ Equipe 1 D M D M D M Tests A/B D M D M D M D M Tests A/B Développements M Dév M Equipe 2 Développements MMF1 M Développements MMF1 M Développements MMF1 M Equipe 3 Dev MMF1 M Dev MMF1 M Dev MMF1 M D M D M D M D M Tests A/B Dev MMF1 M MEP MEP MEP MEP MEP MEP MEP MEP Production MEP MEP MEP MEP MEP MEP MEP MEP MEP MEP MEP MEP D Développements M Mise au point 5

6 Leviers identifiés Organisation Stratégie de tests Projet NewPJ.fr Modularité Continuous Delivery Ingéniérie des exigences 6

7 Leviers identifiés Organisation Stratégie de tests Projet NewPJ.fr Modularité Continuous Delivery Ingéniérie des exigences 7

8 Organisation des équipes : Feature Teams Alpha PO Designer Dev HTML Scrum Master Recetteur Recetteur Bravo PO Designer Dev HTML Scrum Master Recetteur Recetteur Charly PO Designer Dev HTML Scrum Master Recetteur Recetteur Delta PO Designer Dev HTML Scrum Master Recetteur Recetteur Sèvres Rennes Tech Lead Tech Lead Tech Lead Tech Lead Développeur Développeur Développeur Développeur Développeur Développeur Développeur Développeur Développeur Développeur Développeur Développeur

9 Organisation Stratégie de tests Projet NewPJ.fr Modularité Continuous Delivery Ingéniérie des exigences 9

10 Modularité : Définition d un module Module complet et autonome, qui communique en REST Contient du code, des exigences, des tests, Code Ecrit par le développeur Testé unitairement par le développeur Exigences (outil Polarion) Ecrites par le TechLeader, le PO, le RA Exprime l ensemble des besoins techniques et fonctionnels de façon pérenne Automatisation des tests pour le Continuous Delivery Tests Vérifient la conformité d un module par rapport aux exigences Techniques : unitaires, intégrations, performances Fonctionnels : sélénium, REST Assured 10

11 Alpha Bravo Charly Delta Front-Office Orchestrateurs API Continuous Delivery Production 11

12 Leviers identifiés Organisation Stratégie de tests Projet NewPJ.fr Modularité Continuous Delivery Ingéniérie des exigences 12

13 Pourquoi la GEX? Formalisation du fonctionnel Une description d un fonctionnel à la cible et en cours d évolution Analyse d impact Une analyse facilité de la complexité du changement, de son impact sur le SI et de la charge induite Tracabilité Besoins / Tests / Anomalies Une gestion facilité de la traçabilité des besoins, des tests et des anomalies Couverture de tests Une vision de la couverture de test du SI Evolution Exigences Tests Anomalies 13

14 Leviers identifiés Organisation Stratégie de tests Projet NewPJ.fr Modularité Continuous Delivery Ingéniérie des exigences 14

15 Modules Vision macro de la chaine de Continuous Delivery Chaine automatisée Build + Tests Unitaires + Qualimét rie Tests d intégr ation + Tests de perfs Tests Foncti onnels C B A FIFO Tests Fonctio nnels + Tests de perform ance Tests Manuel s + Tests Visuels ContiPerf Etape 1 Etape 2A Etape 2B Etape 3 Etape 3bis Tests par module Tests globaux 15

16 Leviers identifiés Organisation Stratégie de tests Projet NewPJ.fr Modularité Continuous Delivery Ingéniérie des exigences 16

17 Stratégie de tests : définir, pour chaque type de tests Stratégie de tests Outils, environnements et types de données nécessaires Seuils d acceptation dans la chaine CD par criticité d exigence Profondeur en fonction de la criticité des exigences 17

18 Profondeur de tests en fonction de la criticité de l exigence Critique Tous les types de tests mis en place Profondeur maximale (exceptions, limites, etc ) Seuil d acceptation des tests à 100 Majeure Mineure Enrichissement des types et de la profondeur des tests Seuil d acceptation des tests à 90 Quelques tests sur les exceptions Plus de types de tests non fonctionnels Seuil d acceptation des tests à 60 Accessoire Quelques tests minimalistes Quelques tests non fonctionnels Seuil d acceptation des tests à 90 18

19 Couverture code Build Tests de performance Supervision Tests fonctionnels Tests de performance Tests des visuels Supervision (pré-prod) Tests des méthodes Tests des dépendances Tests fonctionnels Tests fonctionnels Tests de performance Supervision Tests fonctionnels Tests de performance Tests des visuels Supervision (prod) Lien entre exigences et Continuous Delivery 3bis Valeurs dépendantes de la criticité de l exigence >80 Taux de réussite attendu <1 err Critique Majeur Exigences Mineur Accessoire <1 err # bloquantes <1 err # mineures <1 err 0 # majeures 0 # accessoires 2 9 Anomalies SLA 99 19

20 Tests Automatisés Typologie des tests NEWPJ VINTAGE 13 Manuels Tests Manuels (2379) 51 Tests Parcours Tests parcours Tests Fonctionnels Front Tests Fonctionnels API Tests Intégration Tests Unitaires Tests Intégratio n Tests Unitaire s

21 Activités de tests dans l équipe Agile Préparation Ecriture des cas de tests dans Polarion Est il automatisable? Automatisation Implémentation Personne différente de celui qui a préparé Exécution En environnement de développement Commit Tests exécutés dans la chaine CD Non régression Visuelle Si le module est validé, NR Visuelle pour vérifier la conformité 21

22 Tests et recette : qui fait quoi? Equipe Agile 1 Préparation Equipe Agile 2 Préparation Equipe Agile 3 Préparation Im plém entation Im plém entation Im plém entation Exécution Exécution Exécution Non régression Non régression Non régression Chaine Continuous Delivery Tests Transverses Stratégie de tests globale Audit Contrôle Indicateurs Qualité Delivery Management 1

23 Difficultés rencontrées Ventilation des exigences sur les APIs Formalisation des exigences techniques Concilier référentiel d exigences et maquettes Ergodesign Recette non automatisable Gestion des branches Sur-qualité 23

24 Conclusion Passage de 1 version par mois à 1 version par semaine Amélioration de la qualité à cout constant Meilleur ciblage des tests et une maitrise de la couverture des exigences par les tests Amélioration de la productivité globale Automatisation complète du processus de construction et d exécution Tracabilité du besoin et maitrise des impacts des évolutions fonctionnelles sur les exigences, les tests, le code 24

25 Vers l infini, et au-delà! Coverity Delivery quotidien DevOps Automatisation jusqu à la production Responsive Design 25

26 26