TMMI: un modèle pour rentabiliser une organisation de test et afficher son niveau

TMMI: un modèle pour rentabiliser une organisation de test et afficher son niveau Eric RIOU du COSQUER www.certilogtest.com 31/01/2013 2

Connaître TMMi Pour l utiliser de façon rentable Pourquoi investir sur le test? (Et son amélioration?) Pour quelles raisons choisir TMMi? En quoi consiste TMMi? A quoi correspondent les 5 niveaux de TMMi? Quel est votre niveau TMMi? Quelles sont les différentes façons d utiliser TMMi? Quelle est la valeur ajoutée de TMMi? www.certilogtest.com 31/01/2013 3

Pourquoi investir sur le test? Et son amélioration? www.certilogtest.com 31/01/2013 4

Pour augmenter la qualité des Logiciels ou Systèmes d Information Et rentabiliser leur développement Qualité =? Utilisateurs finaux satisfaits par o o les caractéristiques fonctionnelles et non fonctionnelles l absence de défaillances Coûts maîtrisés pour o o le développement la maintenance évolutive et corrective Garanties et risques limités o de façon démontrable Quel est le coût du test? «30 à 50% du coût de développement» www.certilogtest.com 31/01/2013 5

Pour optimiser son retour sur investissement Et augmenter Component Level son efficacité Integration Level (Installation, by blocks, End2End) UAT Level Specification & Design Development & Defect correction (coding) Unitary Testing 2 by 2 (and more) Testing Support to INT & UAT Planification ( Strategy & Test Plan creation) Creation of the Test Cases 7 18 Planification ( Strategy & Test Plan creation) Creation of the Test Cases 8 22 30 35 10 15 10 Test Environment & Installations 35 Test Environment & Installations 32 100 = total cost for one component, part of a release Execution of the Test Cases 33 Execution of the Test Cases 30 Specification & Design Development & Defect correction (coding) Unitary Testing 2 by 2 Testing Follow-up meetings & Reporting 100 = total cost for integration 7 Follow-up meetings & Reporting 100 = total cost for UAT 8 55 25 20 100 = total cost for one major release including several systems www.certilogtest.com 31/01/2013 6

Pour quelles raisons choisir TMMi? Plutôt qu un autre modèle www.certilogtest.com 31/01/2013 7

Car il fait partie de l «état de l art» Qui se caractérise par Des normes et standards Ex: IEEE 830, IEEE 829, IEEE 1028, ISO 9126, ISO 29119 Des organismes de définition et certification des compétences des métiers du test Ex: ISTQB, CFTL, REQB Des ouvrages ou publications sur le test Des outils de test (Editeur ou Open Source) Des échanges sur ce qui se fait sur le terrain Ex: club ECUME, club Qualimétrie/Qualité Logicielle Des pratiques spécifiques par métier et technologie Des modèles d industrialisation et d évaluation Ex: TPI, CTP, STEP, CMMi et TMMi www.certilogtest.com 31/01/2013 8

Car il se distingue des autres modèles Pour plusieurs raisons Il est indépendant de toute société Il est structuré et facilement reproductible Similarités par rapport à CMMi Il s applique à tous les cycles de développement Il est disponible pour tous, ainsi que ses composants et ses résultats www.certilogtest.com 31/01/2013 9

En quoi consiste TMMi? Les éléments à votre disposition www.certilogtest.com 31/01/2013 10

3 éléments principaux Disponibles sur www.tmmi.org 1. TMMi : «Test Maturity Model integration» = le modèle 2. TAMAR: «TMMi Assessment Method Application Requirements» = les exigences que doit satisfaire une méthode d évaluation 3. DSR: «Data Submission Requirements» = les éléments à fournir à la Fondation TMMi pour Valider et publier une certification officielle Comptabiliser la participations des évaluateurs www.certilogtest.com 31/01/2013 11

des parties prenantes et des résultats La Fondation publie la liste des organismes accrédités, des évaluateurs et des organisations certifiées www.certilogtest.com 31/01/2013 12

A quoi correspondent les 5 niveaux de TMMi? Avec des exemples www.certilogtest.com 31/01/2013 13

Un modèle structuré De façon comparable au modèle CMMI Niveau de maturité Indique Contient Efficacité du Processus de Test Réalise Domaines de processus Contient Un But Illustrent Pratiques Génériques et Spécifiques Mise en oeuvre www.certilogtest.com 31/01/2013 14

Contenant des pratiques détaillées Exemple pour le Domaine «Politique et Stratégie de Test» SP 1.1 Définir les objectifs du test Définir et maintenir les objectifs du test à partir des besoins et objectifs métier. Exemple de livrable 1. Objectifs de test Sous-pratiques 1. Etudier les besoins et objectifs métier Exemples de besoins et objectifs métier à étudier: Définition des objectifs Besoins métier et utilisateurs par rapport aux produits www.certilogtest.com 31/01/2013 15

Les 5 niveaux TMMi Et leurs domaines de processus (5) En Optimisation Prévention des défauts Prevention Optimisation du processus de test Contrôle de la qualité (4) Mesuré Mesure du test Evaluation de la qualité logicielle Revues avancées ( (3) Défini Organisation de test Programme de formation au test Intégration du test dans le cycle de développement Test non-fonctionnel (2) Géré Politique et Stratégie de test Gestion du test et des risques Suivi et Contrôle du test Conception et Exécution des tests Environnement de test (1) Initial www.certilogtest.com 31/01/2013 16

Quel est votre niveau TMMi? Selon vous www.certilogtest.com 31/01/2013 17

Sur un périmètre particulier Dans votre organisation (5) En Optimisation Prévention des défauts Prevention Optimisation du processus de test Contrôle de la qualité (4) Mesuré Mesure du test Evaluation de la qualité logicielle Revues avancées ( (3) Défini Organisation de test Programme de formation au test Intégration du test dans le cycle de développement Test non-fonctionnel (2) Géré Politique et Stratégie de test Gestion du test et des risques Suivi et Contrôle du test Conception et Exécution des tests Environnement de test (1) Initial www.certilogtest.com 31/01/2013 18

Et «les autres»? Enquête annuelle TMMI Source: www.tmmi.org/pdf/tmmisurvey2012.pdf www.certilogtest.com 31/01/2013 19

Quelles sont les différentes façons d utiliser TMMi? Officielles ou informelles www.certilogtest.com 31/01/2013 20

Totalement informelle Sans méthode ni évaluateur agréé www.certilogtest.com 31/01/2013 21

Informelle Avec une méthode et un évaluateur agréés 3.5-Peer Reviews Level 3 Average Achievement 92% 85 % 3.4-Non-functional Testing 3.3-Test Life Cycle and Integration 3.2-Test Training Programme 3.1-Test Organisation 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Fully Achieved Largely Achieved Partially/Not Achieved Not Applicable/Not Rateable www.certilogtest.com 31/01/2013 22

Informelle Des résultats précis et exploitables pour une amélioration Consolidated Average Achievement 94% 96% de réalisation du niveau 2 92% de réalisation du niveau 3 (à l exclustion du domaine de processus Test Non-Fonctionnel) 4.3-Advanced Reviews 4.2-Product Quality Evaluation 4.1-Test Measurement 3.5-Peer Reviews 3.4-Non-functional Testing 3.3-Test Life Cycle and Integration 3.2-Test Training Programme 3.1-Test Organisation 2.5-Test Environments 2.4-Test Design and Execution 2.3-Test Monitoring and Control 2.2-Test Planning 2.1-Test Policy and Strategy 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% www.certilogtest.com 31/01/2013 23

Formelle Avec une méthode, un évaluateur et un évaluateur directeur agréés Les résultats sont vérifiés et le niveau est publié par la fondation TMMI www.certilogtest.com 31/01/2013 24

Quelle est la valeur ajoutée de TMMi? En fonction de votre profil www.certilogtest.com 31/01/2013 25

Selon votre profil Différents intérêts DSI, Responsable Qualité, Directeurs de projets 1. Améliorer ses pratiques avec des objectifs précis 2. Sélectionner un Fournisseur de TRA ou Offre de test 3. Fixer des objectifs lors de la création d une organisation en test SSII proposant TRA /Offres de test 1. Améliorer ses pratiques avec des objectifs précis 2. Gagner des marchés de TRA/Offre de test grâce au niveau de maturité affiché www.certilogtest.com 31/01/2013 26

Et pour en savoir plus? Sur votre organisation en test et son amélioration www.certilogtest.com 31/01/2013 27

Evaluez-vous en ligne Pour estimer votre niveau de maturité https://fr.surveymonkey.com/s/certilog_evaluation_tmmi www.certilogtest.com 31/01/2013 28

Renseignez-vous En anglais et en français! www.tmmi.org Certilog, Eric RIOU du COSQUER www.certilogtest.com +33 (0) 675 134 312 www.certilogtest.com 31/01/2013 29