Compte-rendu de conférence Les nouveaux habits de "l'usine à test logiciel" Solutions innovantes pour transformer votre centre de Test en centre de profit Avec le témoignage de BNP Paribas Mercredi 26 Mars 2008 François Jeanne (Journaliste et éditorialiste - L Atelier) est d abord revenu, en introduction à la conférence, sur l histoire et l ampleur de la problématique des tests dans le développement logiciel. Car si l on parle désormais d usines, d automatisation de la conception et de l exécution des jeux de tests, il ne faut pas oublier que cela fait plus de cinquante ans que les spécialistes de la qualité cherchent ainsi à atténuer les problèmes logistiques et techniques relatifs à l installation des logiciels. Sur le plan théorique et académique en particulier-, tout a été écrit depuis longtemps. Des formations sont dispensées dans de très nombreux cursus initiaux, il existe des normes (IEEE, ISTQB), des outils, des recueils de bonnes pratiques. Pour autant, le constat est sévère. Dans de nombreux cas, «ce qu il faut faire» est remplacé par «ce qu on peut faire». Souvent pour des questions de budget et/ou de temps. Mais aussi parce que les ressources expertes sont rares et assez peu motivées pour ce genre d activité. C est pourquoi de nombreuses organisations se tournent aujourd hui vers des prestataires extérieurs pour leur confier tout ou partie des activités de développement, de test ou encore de recette. Les motivations sont souvent économiques mais il faut veiller à ce que recherche de la maîtrise des coûts n affecte pas, au final, la qualité du logiciel mis à la disposition des utilisateurs. Grâce à de nouvelles approches technologiques, comme l automatisation des jeux de tests, à partir des modèles UML produits dans les phases de conception et de développement, une vraie rupture avec les équilibres actuels devient possible. Mais il faudra en trouver d autres. Parmi les nombreuses questions posées, celle du poids relatif des tests et du développement dans la facture logicielle n est pas la moindre. La formation d experts, en nombre suffisant pour assurer l ensemble de ces activités, constitue un autre défi, même si des pays comme l Inde se positionnent, forts de leur réservoir de compétences. Finalement, avec l émergence des usines à tests, une appellation récente qui doit encore s imposer, c est toute la production de logiciels qui va être impactée, avec pour ses responsables une explosion de la combinatoire des organisations possible. Mais aussi et enfin la possibilité de se différencier véritablement grâce aux tests. Ce qui n est pas la moindre des nouveautés pour cette activité jadis galvaudée. Xavier Flez (Directeur du cabinet - Yphise) a ensuite pris la parole pour positionner clairement les enjeux liés à l émergence de «l usine à test logiciel», une évolution qui va courir sur les dix années à venir, selon la maturité et l organisation des directions logicielles impliquées. Cette estimation repose sur les informations recueillies régulièrement par Yphise auprès de ses clients qu elle accompagne depuis plus de vingt ans, à la fois pour les aider à se comparer et à s améliorer (benchmarking de processus), pour investir sur les bons progiciels techniques et rationaliser la mise 1/6
en œuvre, et pour former l ensemble des décideurs impliqués dans les projets informatiques de l entreprise. Xavier Flez a d abord dressé un panorama de la situation actuelle du test pour mieux montrer qu il y a urgence à explorer de nouvelles pistes. Selon les mesures d Yphise, l industrialisation croissante dans le développement et l utilisation des architectures orientées services ou des progiciels, font augmenter fortement le coût des tests. En effet, la plupart des projets aujourd hui ne partent pas d une «feuille blanche», et s intègrent plutôt à un existant, réutilisent des composants, etc. Le résultat est une montée en flèche des coûts de tests de non-régression, répartis entre la maîtrise d œuvre et la maîtrise d ouvrage. Selon ces calculs, un projet reprenant un fort existant coûte environ 10% de plus qu un projet «feuille blanche» ; et la part des tests s y élève à 43% du total (contre 23 en feuille blanche). En plus de cette inflation déjà préoccupante, d autres phénomènes se renforcent, comme la tendance à déporter la vérification sur la maîtrise d ouvrage. Elle est due à la concurrence qui fait rage entre prestataires pour décrocher, souvent après rabais, les projets de développement. Il ne reste tout simplement plus assez d argent et de temps, en fin de processus, pour effectuer correctement les tests. Autre phénomène inquiétant, non seulement la part des tests de nonregression augmente, mais ils alourdissent aussi le processus, parfois pour des apports métiers nuls aux utilisateurs. Il y a donc un hiatus qui apparaît entre la nécessité de produire des applications de qualité, et l urgence de leur mise en place. Pour toutes ces raisons, Yphise milite aujourd hui pour l industrialisation des tests auprès de ses clients. Il y va de leur maîtrise des coûts, de la réactivité métier et finalement du risque opérationnel. Le concept d usine à tests présente dans ce contexte l intérêt de focaliser les énergies, autour d expertises, d outils et d objectifs communs. Les maîtres mots en seront Automatisation et Référentiels. Mais Xavier Flez a bien insisté sur les différences de maturité des DSI par rapport aux tests, alors que pourtant, les bonnes pratiques sont établies de longue date en la matière et les outils plutôt efficaces. L industrialisation représentera une étape de plus avec un processus prenant naissance dès les phases de spécification et de conception, un phasage optimisé ensuite, et des environnements associés permettant d avancer de façon sécurisée. Le directeur d Yphise a conclu son intervention en brossant les contours de la fameuse usine. Elle s appuie d abord sur un référentiel contenant des cycles et des scénarios de tests structurés et utilise des outils de type RDD (Requirements Driven Developpement) qui permette de coupler fortement la stratégie et les scenarios aux besoins métiers. Elle est ensuite forcément associée à un environnement de développement et, quoiqu ils soient aujourd hui moins matures, à des outils de gestion du changement. Viennent ensuite les automates d exécutions des tests du référentiel, qui gèrent au passage les anomalies détectées. Il ne faut pas oublier, dans cette phase, que certains tests restent manuels. Enfin, et il s agit de la partie actuellement la plus innovante, incarnée notamment par les solutions de LEIRIOS, l usine à tests se complète aujourd hui de solutions capables de générer des jeux de tests automatiquement, à partir des modèles UML eux-mêmes dérivés de l expression des besoins métiers au travers des outils de RDD. 2/6
1. LEIRIOS L intervenant suivant, Bruno Legeard, directeur technique de LEIRIOS, est justement revenu sur l apport de la génération automatique des tests concernant les recettes fonctionnelles. Il a d abord brièvement présenté cet éditeur français, fondé en 2003 à partir d un essaimage du Laboratoire Informatique de France-Comté, qui fait partie du CNRS/INRA. Il emploie aujourd hui 32 personnes, dispose de bureaux à Munich, Amsterdam et Bangalore et a remporté plusieurs récompenses pour sa solution Smart Testing, notamment le prix de l innovation Oséo-Anvar. Ce logiciel s intègre dans les démarches d industrialisation rendues nécessaires par la double pression qui s exerce aujourd hui sur les centres de tests : d une part avec des contraintes nouvelles et/ou croissantes comme la maîtrise de la qualité et l alignement métier du SI (Gouvernance), ou les exigences de conformité réglementaires et de traçabilité ; d autre part avec une montée des risques pesant sur logiciel, dont le développement fait appel à de multiples partenaires et sous-traitants, et dont la testabilité se complique au fur et à mesure de l intégration des web services (SOA) ou de progiciels. Smart Testing se positionne entre l analyse des besoins, qui assoit le pilotage par les exigences métiers et la gestion puis l exécution des tests elles-mêmes. Bruno Legeard a ensuite détaillé le processus supporté par les outils Test Designer et Test Publisher de la suite Smart Testing. A partir des exigences métiers, la première étape d analyse des spécifications et de modélisation UML est manuelle dans un premier cycle mais peut être automatique lors des cycles suivants, lors des évolutions du logiciel testé. Elle s appuie en particulier sur la définition des cas d utilisation. Smart Testing permet à ce moment du processus de représenter les comportements à tester. Test Designer va ensuite générer des cas de tests, une matrice de couverture, l ensemble alimentant le fameux référentiel. Puis, Test Publisher produira des scripts de tests et s interfacera avec les robots d exécution. Les résultats sont ensuite analysés. Un des points forts de la suite Smart Testing est d offrir des intégrations en amont avec les outils de modélisation UML et en aval avec les outils de gestion et d automatisation des tests qui sont actuellement les standards du marché. Cette complémentarité avec les outillages et bonnes pratiques existantes au sein des DSI favorise ainsi l adoption de ce nouveau processus de production des tests. Une telle solution convient aussi bien, selon l expert de LEIRIOS, aux approches d internalisation dans un objectif d assistance aux architectes des tests, qu aux approches d externalisation, avec des forfaits de tests, de la tierce recette applicative ou encore le recours à l offshore. Dans tous les cas, le fait que le modèle de test soit développé en phase avec l analyse des besoins est un gage de réactivité important et de productivité, puisque le ROI serait obtenu dès la deuxième exécution des tests, ce qui survient de plus en plus vite dans des schémas de forte réutilisation de l existant logiciel. Par ailleurs, les changements fonctionnels sont plus facilement intégrés au niveau du référentiel de tests et la couverture des comportements applicatifs attendus rendue beaucoup plus exhaustive. 3/6
2. Optium Natacha Pickaert (Directrice Pôle Qualification Logicielle - Optium) a pris le relais pour dresser une cartographie de la qualité logicielle, actuelle et prospective. Optium est, au sein du réseau Vision IT Group, le spécialiste de la qualification logicielle, avec 150 ingénieurs dédiés, pour cette activité exercée depuis plus de dix ans. Le credo de l entreprise est que la qualité logicielle ne se résume pas à des panoplies de tests et de méthodes, mais s incarne plus dans le résultat obtenu, c'est-à-dire un «système d information durable» qui donne satisfaction. Pour y parvenir, le big bang n est pas souhaitable. Optium privilégie au contraire des approches par paliers. Pour ce qui est de l automatisation, le pôle Qualification Logicielle conseille ses clients sur les méthodes, les choix et le périmètre à automatiser. La transformation des organisations de tests est un axe de progrès important. Aujourd hui, ces opérations sont gérées au niveau d un projet, parfois avec des ressources spécialisées, lesquelles sont aussi susceptibles de se focaliser sur un domaine métier. Mais la majorité des organisations fonctionne en silos, avec des outils, des méthodes, des langages et des objectifs non standardisés. La transversalité la plus large possible et l émergence d unités dédiées aux tests, pour la maîtrise d ouvrage et la maîtrise d œuvre, doivent représenter un objectif fort, indissociable des espoirs de rationalisation et d industrialisation. Cette professionnalisation permettra aussi de tirer le meilleur parti de l offre de services extérieurs (recette en régie ou au forfait, TRA, formation, conseil, etc), à la fois en termes de coûts et de ce qu Optium qualifie de maîtrise du risque logiciel. L objectif est de moduler entre le recours à des généralistes ou à des spécialistes comme Optium, voire de pouvoir intégrer l offshore. La maîtrise des normes, modèles et autres certifications ISO 9000 concourent à la qualité logicielle mais ne suffisent pas, en particulier parce qu ils ne fournissent pas de méthode opérationnelle. L organisation des tests doit donc capitaliser sur des environnements, des jeux de données, làencore en privilégiant les solutions transverses au SI, qui permettent de lutter contre le cloisonnement des équipes et des expertises, et d optimiser la réutilisation des compétences et des outils. Dans ce paysage en pleine mutation, de nombreux rôles émergent. Dont un, récent, d architecte testeur avec les solutions de LEIRIOS, dont Optium est un des premiers partenaires pour la mise en œuvre, le premier à être labellisé «Smart Testing Center». Natacha Pickaert parle, à propos de cet outil, d un accélérateur de tests et d un nouveau concept, le Model Based Testing, qui multiplie les opportunités d automatisation tout au long de la chaîne de la qualité logicielle. Les entreprises disposent donc aujourd hui de nombreuses et de nouvelles cartes pour améliorer leur maîtrise de la qualité logicielle. Il leur reste à choisir l organisation qui leur convient le mieux, en particulier l orchestration des prestataires et de l offshore, en gardant présent à l esprit d éviter de créer des situations de «juge et partie», quand le développeur teste sa propre production, et en oubliant pas de sécuriser le recours à l offshore en imaginant des validations «de proximité». 4/6
3. BNP Paribas Parmi les premières entreprises à avoir évalué les solutions Smart Testing, BNP Paribas ITP a fait part de son retour d expérience par l intermédiaire de Lamia Yataghene, responsable du Packaging nouvelles offres de tests. Celle-ci a d abord redonné les grands chiffres sur l activité du groupe bancaire, en sixième position mondiale selon le classement Forbes 2007. Le projet évoqué concerne un des cinq grands pôles d activités, la Banque de Financement et d Investissement (BFI) qui emploie 14300 salariés et assure les activités de conseil et marché des capitaux et les métiers de financement. Il a été mené par l informatique BNP Paribas, laquelle opère au sein de l organisation transverse ITP (Information Technology & Processes) dans un modèle fédéral qui assure à la fois des missions centrales (stratégie et gouvernance, gestion des infrastructures, productions) et des missions par lignes de métiers sous la responsabilité des DSI métier. Le centre de compétences Tests et Qualification fait partie de cette organisation et répond aux besoins du Groupe (MOA et MOE), en animant la communauté tests dans chaque pôle et en proposant des services mutualisés. C est dans le cadre de cette mission d animation et d offres de services que la solution Smart Testing a été évaluée, sur une application importante de BFI, pour la centralisation du matching de confirmations, baptisée ARC. Les points testés ont été la génération automatique de tests, leur publication dans le référentiel Test Directeur, la production des scripts d automatisation et la traçabilité des exigences fonctionnelles. Le cas était concret puisque ARC était à l occasion migrée vers une technologie Web, que l évaluation a porté sur le module principal de l application, avec une extension à son ensemble, et que les intervenants étaient disséminés : l équipe de développement avec des ingénieurs d automatisation pour la librairie d adaptation et l exécution des tests était située en Inde, un ingénieur de validation à Paris développait le modèle de tests en UML et leur génération, enfin le centre de compétences veillait à l intégration avec les outils BNPP et à la généralisation de la démarche. Lamia Yataghene a communiqué les résultats de cet essai. Ils sont encourageants puisque l équipe est parvenue à produire 8 tests automatisés par jours/homme (soit 206, représentant au total 2134 pas de tests). La charge a été répartie à égalité entre les activités de modélisation et de génération des tests, et celle d automatisation. Sur le plan qualitatif, la responsable de BNP Paribas relève l amélioration de la couverture des tests, la standardisation et l automatisation des tests. En revanche, elle signale notamment la nécessité d un apprentissage spécifique de UML orienté testing et le manque de lisibilité des tests manuels. La prochaine étape va consister, pour BFI, à recruter des applications candidates pour le déploiement de la solution et pour le centre de compétences, à réaliser un pilote sur une application disposant déjà de modèles UML afin de vérifier le ROI -, puis de définir et mettre en place un service autour de cette solution. 4. QUALITREE Le dernier exposé de la conférence devait voir l intervention de Gopinath, CEO de la SSII indienne Qualitree, sur le modèle indien autour des métiers du développement logiciel. Malheureusement mis dans l impossibilité de rallier Paris, Gopinath a tenu à s excuser personnellement, grâce à une liaison téléphonique depuis Bangalore, auprès des participants de la 5/6
conférence et a confié à Michel Guez, Directeur des activités en Inde de LEIRIOS, le soin d effectuer sa présentation. Celui-ci s en est acquitté d autant plus volontiers qu il connaît très bien et Qualitree, partenaire de LEIRIOS depuis plus d un an, et l Inde pour s y rendre régulièrement. Qualitree est une société dont le siège est aux USA et ayant une entité implantée en Inde à Bangalore depuis 2004 dont le métier est de proposer à ses grands clients des ressources expertes pour les activités de test automatisé. La société a développé des partenariats avec HP-Mercury par exemple, ou LEIRIOS plus récemment. Michel Guez a insisté sur la fierté des indiens concernant leur réussite dans le secteur informatique, fierté légitimée par les chiffres fournis par K Gopinath sur les 197 universités, les 8711 lycées, les 887 écoles d ingénieurs et les 4,7 millions d étudiants qu il considère comme des acteurs potentiels sur ce marché indien du test qui représente déjà 9 milliards de dollars de chiffre d affaires. Et qui aura besoin, dans les années à venir de 25 à 30 000 nouveaux professionnels par an. Qualitree s est rapprochée logiquement de LEIRIOS au cours de l année 2007, parce que cette société est confrontée à de nombreux défis : l industrialisation de ses processus, la recherche d une meilleur efficacité économique, et le renforcement de son image high tech auprès des informaticiens du pays. En effet, Michel Guez a expliqué que le statut d informaticien était très envié en Inde, où de nombreuses personnes ont des conditions de vie et de travail épuisantes et peu gratifiantes. Mais il y aussi un turn-over important qui oblige les entreprises du secteur à faire preuve de beaucoup de constance dans la gestion des ressources humaines et à démontrer leur attachement au bien-être de leurs collaborateurs. Cela passe, entre autres, par des formations régulières aux technologies et outils les plus innovants du moment, dont les solutions de LEIRIOS font partie. Qualitree a également mis en place un programme de recrutement et de fidélisation des talents, ainsi que des mécanismes d intéressement. Les premiers projets menés en 2007 avec LEIRIOS (pour Infosys, Intelligroup, Accenture, ) se prolongent en ce début 2008 par des réalisations pour SAP, Tata Consulting Services, Applabs ou encore Yahoo. 6/6