Les tests utilisateurs à distance : intérêt et limites dans le cycle de conception centré utilisateur. J. M. Christian Bastien

Transcription

1 Les tests utilisateurs à distance : intérêt et limites dans le cycle de conception centré utilisateur J. M. Christian Bastien

2 Page 2

3 Page 3

4 Pourquoi faire de l évaluation? Processus de conception centrée sur l'opérateur humain pour les systèmes interactifs ISO 13407: 1998 Page 4

5 Les méthodes d évaluation Inspection Modèles Tests utilisateurs Page 5

6 Les tests en laboratoire Page 6

7 Les tests en laboratoire Morae de Techsmith Page 7

8 Les tests en laboratoire Page 8

9 Les tests in situ Noldus Page 9

10 Les tests en laboratoire et in situ Nombre limité de participants lié aux : contraintes contractuelles contraintes budgétaires Temps d analyse... Au fait, combien d utilisateurs faut-il exactement? Nielsen (2000), Nielsen & Landauer (1993) Virzy (1992) vs Perfetti & Landesman ; Spool & Schroeder (2001) Page 10

11 Un test à distance L utilisateur n a pas à se déplacer à votre salle de test L utilisateur fait le test quand il le veut Le test se déroule dans un environnement habituel et connu Plusieurs personnes peuvent faire le test en même temps Page 11

12 Un test à distance Inconvénients : Supervision difficile, Que fait le testeur en cas d absence d action, Données qualitatives limitées, Nécessité des pré-tests. Page 12

13 Types de tests à distance Synchrones vs asynchrone Test utilisateur & évaluation à base de modèle Navigateurs instrumentés Approche site Web Approche proxy Page 13

14 Tests à distance Synchrones : supervisées Page 14

15 Tests à distance Synchrones : supervisés Avantages Recueil en direct des attitudes de l utilisateur-testeur Bonne rigueur dans la passation : contrôle de facteurs «parasites» Inconvénients Peut perturber l utilisateur-testeur Nécessite beaucoup de bande passante et d équipement spécifique Page 15

16 Tests à distance Asynchrones : non supervisés Page 16

17 Tests à distance Asynchrones : non supervisés Avantages Plus proche de la situation d utilisation réelle de l utilisateur-testeur Pas de rdv à prévoir Panel d utilisateurs-testeurs plus grand Inconvénients Pas de contrôle de la situation (se fait a posteriori si possible) Pas d assistance (technique par exemple) auprès de l utilisateur-testeur Page 17

18 Qu est-ce qu on récupère? 3 types de données : Écran de l utilisateur (avec éventuellement le son) Taux d échec/réussite déclarés avec des données qualitatives (questionnaires ) Données comportementales (Parcours, temps de réalisation de la tâche ) Page 18

19 Page 19

20 Quels outils? Un navigateur instrumenté Page 20

21 Quels outils? Un navigateur instrumenté Inconvénients Problèmes liés à la validité écologique Installation obligatoire pour l utilisateur Page 21

22 Quels outils? Insertion de scripts dans le site Web à tester Inconvénients Pas de test de la concurrence Nécessite de modifier le code du site Web Page 22

23 Quels outils? Un serveur proxy Baravalle, A., & Lanfranchi, V. (2003). Remote Web usability testing. Behavior Research Methods, Instruments, & Computers, 35(3), Page 23

24 Quels outils? L approche proxy OpenWebSurvey Pas d analyses Ni de visualisations Page 24

25 Quels outils? Modèles de tâches correspondant à la structure du site Éditeur de tâches (CCT) L outil compare les enregistrements aux modèles de tâches JavaScript et applet Java L évaluateur analyse les résultats à la recherche de problèmes d utilisabilité WebRemUsine : application Java Page 25

26 Quels outils? Un serveur proxy Inconvénients Ralentissements de la connexion de l utilisateur Problèmes avec les technologies Javascript/AJAX Page 26

27 Quels outils? EVALYZER : Pas de script à installer pour le client Pas de logiciel à installer sur le poste du testeur-utilisateur à Technologie transparente Page 27

28 EVALYZER : processus de test Création de tests Création de tâches Ajout de testeurs-utilisateurs Invitation par mail des testeurs-utilisateurs Page 28

29 EVALYZER : processus de test Zone de consigne Site Web en test Page 29

30 EVALYZER : capture des comportements Capture des comportements des utilisateurs : Ecran de l utilisateur Comportements sur la page Web (clics, scrolls, pages visitées, texte tapé ) Comportements sur le navigateur (boutons back et forward, onglets, ) à Le tout envoyé sur un serveur distant Page 30

31 EVALYZER : analyse des comportements Outils d analyse : Repérage automatique de la réussite ou de l échec à une tâche Comparaison objectif/subjectif Interface de rejeu Modules d analyse quantitative Objectif : simplifier l analyse de la vidéo de test à Démo en ligne Page 31

32 Page 32

33 Page 33

34 Page 34

35 Page 35

36 Page 36

37 Page 37

38 Avantages des tests à distance ü Grand nombre d utilisateurs ü Probabilité accrue d identifier des difficultés ü Possibilités internationales ü Économie en temps de passation ü... Page 38

39 Inconvénients des tests à distance? ü Perte d information en raison de l absence d interaction avec le modérateur ü Pas d observation directe des interactions Page 39

40 Comment articuler les tests à distance à une démarche CCU? Page 40

41 Différences avec les Web analytics Comportements utilisateurs et non serveur Définition précise des tâches Page 41

42 Validité des tests à distance Inspection Modèles Tests utilisateurs Page 42

43 Merci de votre attention... Page 43