Introduction. Limites

Transcription

1 Introduction Bienvenue! Ce est une introduction à la mise en place de tests web automatisés basés sur deux outils, twill et Selenium. twill est un langage de scripts simple qui peut être employé pour automatiser les tests web, alors que Selenium est un framework à part entière pouvant être exécuté dans n importe quel navigateur et utilisé pour tester des sites web complexes faisant un usage intensif de JavaScript. La meilleure façon d utiliser ce est de s appuyer sur les exemples proposés. Nous estimons qu après une heure de pratique vous serez autonome pour écrire les scripts de vos propres tests fonctionnels avec twill ou Selenium, et, qu au bout d une journée vous aurez assimilé la plupart, sinon toutes, les possibilités et limites de ces outils. Ce est composé de trois parties. Nous allons tout d abord nous intéresser à twill et vous montrer comment naviguer sur le Web et tester de simples applications. Nous allons ensuite vous présenter Selenium et aborder son utilisation pour tester des sites qui exploitent les technologies JavaScript et Ajax. Pour finir, nous allons concevoir quelques tests pour une application Django en utilisant aussi bien twill que Selenium et nous illustrerons comment intégrer ces tests au sein de vos propres développements. Limites Ce n est pas un mémento sur le vaste sujet qu est le test. Ceci dit, il constitue une introduction aux solutions techniques pour l automatisation des tests web. Nous pensons qu il s agit d une part cruciale de la conception, du développement et du déploiement d applications fiables. Notez que nous militons pour l utilisation de méthodes de développement et de test agiles. Cependant, un débat de fond sur ces stratégies n est pas notre objectif. Nous recommandons les ouvrages suivants comme introduction sur les tests : Lessons Learned in Software Testing de Cem Kaner, et al. (Wiley), Testing Computer Software de Cem Kaner, et al. (Wiley), A Practitioner s Guide to Software Test Design de Lee Copeland (Artech House Publishers) et How to Break Software de James A. Whittaker (Addison-Wesley). 2

2 twill et Selenium : concepts et couverture twill est un pilote de protocole HTTP qui simule un navigateur web en ligne de commande. Il «parle» HTTP et permet à un utilisateur de naviguer dans les applications de manière interactive au travers de la ligne de commande. twill permet également aux utilisateurs d écrire des scripts pour les accès web. twill ne comprend pas JavaScript, c est pourquoi il ne peut pas tester toutes les fonctionnalités exposées côté client. Pour sa part, Selenium consiste en un système de programmation de tests embarqués dans le navigateur. Il vous permet de piloter des navigateurs web en utilisant, soit un simple langage de commandes, décrit dans un tableau, soit un protocole de contrôle à distance. Puisque Selenium fonctionne dans le navigateur, il peut tester facilement du code JavaScript côté client. De plus, puisqu il s exécute dans les navigateurs web les plus populaires, il peut être utilisé pour tester vos fonctionnalités JavaScript côté client dans tous ces navigateurs, garantissant l universalité du fonctionnement de votre site. Nous espérons, qu après avoir lu ce, les possibilités et limites de l utilisation de twill et Selenium seront évidentes. Il existe de nombreux outils de tests web. Nous nous limitons ici à twill et Selenium pour les raisons qui suivent. 1. Nous les avons écrit, nous sommes donc tout particulièrement familiers avec eux, en terme de conception, de fonctionnalités et de limites. 2. twill et Selenium répondent de manière complémentaire à nos besoins. twill est une solution légère facile à utiliser, facile à automatiser et à mettre en place, simple à faire évoluer en Python, indépendante de la plate-forme et capable de tester presque toutes les fonctionnalités du protocole HTTP. Selenium constitue une solution de tests plus structurante qui peut tester n importe quel site web, avec la plupart des navigateurs et sur n importe quelle plate-forme. 3. twill et Selenium sont Open Source. En les utilisant, vous «achetez» une communauté plus qu une société. Vous ne serez donc pas bloqué avec ces outils pour les mauvaises raisons et vous ne dépenserez pas un centime pour les essayer. Nous estimons qu il vous faudra moins d une journée pour évaluer ces deux outils et prendre une décision éclairée sur leur mise en place ou non. 4. La plupart des autres outils de tests web sont dépendants soit de la plate-forme soit d un navigateur particulier. twill ou Selenium ne vous cantonne à aucune plate-forme particulière (dans le cas de Selenium) ni navigateur. De plus, les deux outils sont indépendants du langage : twill est écrit en Python, mais il peut être utilisé avec des 3

3 sites web écrits dans n importe quel langage. Le noyau de Selenium implémente son propre langage, basé sur du JavaScript, alors que Selenium Remote Control fonctionne avec n importe quel langage, ce qui assure que Selenium peut tester un site web écrit dans n importe quel langage. Watir et Sahi sont deux autres outils Open Source d automatisation de tests web qui satisfont la plupart de ces critères (sauf le premier : nous n en sommes pas les auteurs!). Watir, basé sur Ruby, est un système pour piloter Internet Explorer ; il fonctionne également avec Firefox. C est un système vraiment mature pour opérer des tests web et nous ne pouvons que vous recommander de l essayer. Cependant, il n est pas aussi souple que Selenium pour les tests inter-navigateurs. Sahi utilise une technique mandataire (proxy) pour piloter les navigateurs qui utilisent JavaScript. C est un concurrent direct de Selenium. Il est plus récent et peut-être aussi puissant. Pour le moment, nous n avons pas les arguments favorisant l utilisation de Sahi plus que celle de Selenium. Nous ne le connaissons pas encore suffisamment puisqu il est apparu lors de la rédaction de ce. Contacter les auteurs Les auteurs peuvent être contactés directement à l adresse suivante : webtesting@idyll.org. Vous pouvez également poser des questions plus générales sur la liste de diffusion testing-in-python, tip@lists.idyll.org. Consultez pour plus d informations. Remerciements Nous voudrions tout particulièrement remercier Jacob Kaplan-Moss pour la relecture des épreuves de ce! Tests web fonctionnels avec twill La genèse de twill (par C. Titus Brown) 4

4 À l origine, j avais en charge deux sites web très volumineux et relativement difficiles à gérer et maintenir. Ces sites étaient utilisés par des centaines d internautes et ma seule stratégie de tests consistait à ajouter une nouvelle fonctionnalité, la mettre à disposition de ces utilisateurs et attendre les remontées d anomalies. Ce fonctionnement n était satisfaisant ni pour moi ni pour les utilisateurs. C est évident! C est pourquoi, en 2003, je me suis mis en quête d une solution d automatisation de tests sur le Web. Tout d abord, je me suis tourné vers PBP de Cory Dodt, un langage de scripts web, défini comme une surcouche du paquetage mechanize de John J. Lee, permettant au langage Python de «communiquer» en HTTP et d interpréter les pages web (le paquetage mechanize de John était un portage en Python du module Perl WWW::Mechanize, alors que PBP était similaire au WWW::Mechanize::Shell de Perl). Malheureusement, PBP en était encore à ses balbutiements et ne fonctionnait pas correctement sur mes sites web. Fin 2004, j ai décidé de réinvestiguer PBP puisque j avais vraiment besoin d écrire des tests web automatisés. PBP avait beaucoup mûri et m a fourni environ 90 pourcent de l outillage des tests web pour mes sites. J ai commencé alors à soumettre quelques patchs à Cory pour en faire une solution à 100 pourcent. C est alors que j ai découvert que Cory destinait PBP à toute autre chose. J ai également été déçu par l architecture de PBP, qui repose sur la bibliothèque Twisted pour certaines fonctions (PBP avait été conçu pour devenir le moyen d écrire des tests fonctionnels pour twisted.web, c est pourquoi cette inter-dépendance ne fut pas une surprise). Je me suis alors décidé à réécrire complètement PBP en partant d une feuille blanche. Ma première réécriture utilisait un environnement basé sur IPython, mais je me suis rapidement rendu compte que IPython, même s il est excellent pour l exécution de Python de manière interactive, ne l était pas pour la gestion de scripts. Plus particulièrement, la gestion d exceptions de cet environnement ne peut pas être surchargée. J ai alors utilisé cmd, une bibliothèque permettant l écriture d applications en ligne de commande, également en provenance de Python. C est ce qu utilise twill aujourd hui. Quelle ne fut pas ma surprise de voir le succès immédiat remporté par twill! De nombreux d utilisateurs l ont récupéré et m ont fait un retour. Rapidement, quelques remontées d anomalies ont vu le jour ainsi que des demandes d évolutions. Depuis la réécriture sur la base de l utilisation de cmd, l architecture de twill n a que peu évolué. twill n est qu un code permettant de «coller» mechanize à cmd, c est une sorte de «glue». 5

5 Parfois, j espère même revenir en arrière sur les tests des deux sites web m ayant conduit à écrire twill en premier lieu... Qu est-ce que twill? twill est un langage simple, destiné aux tests d applications web et à la navigation sur le Web. Le shell twill imite les fonctionnalités d un navigateur web, de la manière la plus similaire soit-elle, à partir d une interface en type ligne de commande plutôt que graphique. Le principe fondamental de twill se base sur l outillage simple d automatisation de la plupart des interactions web côté client ainsi que sur la mise à disposition d extensions contenant des outils pour des besoins plus complexes. Tous les exemples présentés ci-après sont définis pour tester les sites web conçus en Python. twill fonctionne correctement avec les sites en Java, PHP, Perl et Ruby. Il existe cependant quelques astuces particulières pour le test de sites en Python avec twill. Cette section débute par une introduction au langage twill ainsi qu une présentation de quelques techniques de tests web relativement simples. Même si c est tout ce dont vous avez besoin de connaître pour préparer vos propres tests web, nous aborderons également l organisation de tests web pour les exécuter et les maintenir facilement. Par la suite, nous étudierons l enregistreur scotch, un logiciel permettant la glue entre le navigateur et le site web, ainsi que l enregistrement du trafic web, c est-à-dire la mémorisation de vos chemins de navigation à l intérieur d un site web et le rejeu de ces chemins ou encore leur sauvegarde en tant que scripts twill. La deuxième partie de cette section aborde des problématiques plus évoluées avec twill, comme par exemple, la gestion de fonctionnalités des extensions fournies dans twill ou encore l extensibilité de twill en utilisant vos propres développements en Python. A la découverte de twill La manière la plus simple de présenter twill se résume à une démonstration en direct. En premier lieu, installez twill (consultez le mode opératoire sur Lancez alors twill-sh 1 et saisissez : 1. Si vous êtes sous Windows, veuillez lancer : python twill-sh. 6

6 go suivi de : show Vous recevrez en sortie : =>... Hello world! <p> <a href= link1 >top link</a> <p> <a href= link2 >another link</a> <p>... Vous pouvez sauvegarder la sortie de la commande show dans un fichier avec la commande save_html <nom_du_fichier>. Essayez la commande showlinks : vous verrez apparaître une liste de liens sur la page : Links : 0. top link ==> link1 1. another link ==> link2 2. JavaScript alert box ==> JavaScript:%20alert_it() De la même manière, la commande showforms présente la liste des formulaires de la page : Form #1 ## ## Name Type ID Value 1 num1 text (None) 2 num2 text (None) Nous venons d étudier des exemples simples d utilisation du langage twill, vous présentant la manière de charger des pages web spécifiques, d afficher du code HTML, des liens ou encore des formulaires sur une page. A partir de maintenant, nous utiliserons la convention typographique >> pour signaler la saisie d une commande twill dans les exemples, immédiatement suivie par la sortie du résultat. Il est relativement simple de poursuivre la navigation à partir d un lien : >> follow "top link" ==> at Vous pouvez aussi revenir en arrière dans l historique de navigation avec back. Cette commande vous ramène sur la page précédente sans la rechercher depuis le serveur web. Pour une nouvelle requête sur la page, utilisez reload : 7

7 >> back ==> back to >> reload ==> reloaded Si vous souhaitez connaître la destination de la commande back, vous pouvez consulter l historique : >> go ==> at >> showhistory History: (1 pages total) 1. Vous avez également la possibilité de vider l historique par l intermédiaire de la commande reset_browser. Cela vide le jar de cookies ainsi que quelques options de débogage. twill suit automatiquement les redirections, comme par exemple : >> go thispage ==> at >> echo url Cet exemple démontre l accès à thispage alors que la navigation conduit à thatpage. Les URL relatives fonctionnent également : >> go / ==> at >> go subpage ==> at >> go subpage2 ==> at Résultat : la navigation sur le Web avec twill devrait fonctionner de la même manière que la navigation sur le Web avec votre navigateur. 8