Evaluation des IHM. Equipe PRIMA, INRIA Montbonnot

Transcription

1 Evaluation des IHM Equipe PRIMA, INRIA Montbonnot 1

2 Evaluation sans utilisateurs Idéalement, on préfère évaluer avec des utilisateurs Mais ça n'est pas toujours possible les utilisateurs n'ont que très peu de temps à consacrer aux tests. Le système qui leur est proposé à ce moment doit déjà comporter le moins d'erreurs possibles. pour que les tests soient efficaces, il faut qu'ils soient réalisés par le plus grand nombre d'utilisateurs possible, chaque utilisateur trouvant un sous-ensemble de problèmes. la méthode coûte cher en terme de temps nécessaire à l'analyse de chaque test d'utilisateur. 2

3 Evaluation sans utilisateurs Evaluation par critères ergonomiques => Scapin Bastien Méthodes d évaluations centrées sur la tâche GOMS : Goals, Operators, Methods, and Selection Rules KLM : Keystroke-Level Mode Cognitive Walkthrough 3

4 Evaluation sans utilisateurs : GOMS GOMS : Goals, Operators, Methods, and Selection Rules Goals : Le modèle de tâches Operators : Ensemble des opérations atomique avec lesquelles l'utilisateur compose une solution pour atteindre un but Methods : Des séquences d'"operators", regroupés afin d'accomplir un but élémentaire Selection Rules : Pour décider quelle méthode est à utiliser pour atteindre un but lorsque plusieurs méthodes sont applicables 4

5 Evaluation sans utilisateurs : GOMS Dans un éditeur de texte, le but de l'utilisateur est d ajouter du texte à la fin du document Méthode M1 { Presser la touche de direction bas jusqu à ce que le curseur soit placé sur la dernière ligne ; Saisir le texte} Méthode M2 { Déplacer la souris sur l ascenseur Déplacer l ascenseur tout en bas Déplacer la souris à la fin du document Saisir le texte} Règle de sélection : Si le but à atteindre est d ajouter du texte à la fin du document et Si la position actuelle du curseur est loin du bas de la page alors utiliser M2, sinon utiliser M1 5

6 Evaluation sans utilisateurs : GOMS Des limites Pas de prise en compte des erreurs Modéliser les coûts des operations Modéliser les coûts des sélections, de la réflection Pensez aussi à Fitts T est le temps moyen pris pour effectuer le mouvement ; a et b sont des constantes empiriques et peuvent être déterminées en faisant correspondre une ligne sur les données mesurées ; D est la distance séparant le point de départ du centre de la cible ; L est la largeur de la cible mesurée selon l'axe de mouvement ; L peut également être considérée comme la tolérance de la position finale, étant donné que le point final du mouvement peut tomber dans la fourchette de plus ou moins L/2 du centre. Appliquez 6

7 Evaluation coopérative Auteurs : Monk, Wright, Haber et Davenport (1993) Alexandre.Demeure@inrialpes.fr Equipe PRIMA, INRIA Montbonnot

8 Evaluation coopérative But de la méthode? Obtenir des données sur les problèmes que peut rencontrer un utilisateur du logiciel à évaluer o On ne veut pas une liste exhaustive des problème o On veut identifier, avec un minimum d effort, les problèmes les plus importants Ceci afin d améliorer le logiciel! A qui s adresse cette méthode? Concepteurs ne possédants pas de connaissances spécialisées en ergonomie => VOUS! Quand utiliser cette méthode? Le plus rapidement possible lors de la phase de conception Evaluation basée sur des maquettes de l'ihm

9 Evaluation coopérative Que peut-on évaluer? Un prototype!

10 Evaluation coopérative Que peut-on évaluer? Un prototype!

11 Evaluation coopérative Technique du Magicien d'oz

12 Evaluation coopérative Méthode en plusieurs étapes 1. Préparer l'évaluation 2. Réaliser l'évaluation 3. Analyser les résultats de l'évaluation 4. Tirer les conséquences de l'évaluation 5. Rédiger le compte rendu de l'évaluation

13 Etape 1 : Préparer l'évaluation A) Dans chaque groupe, désigner : les évaluateurs o Un directeur : Supervise la scéance d'évaluation. Guide le sujet (pas trop) dans la réalisation de sa tâche. Peut répondre aux questions que se posent le sujet (pas trop vite). o Des observateurs : Observent l'utilisateur au cours de la scéance. Notent les questions, le contexte, etc. un utilisateur Les évaluateurs travaillent sur le prototype du groupe Les utilisateurs travaillent sur le prototype d'un autre groupe

14 Etape 1 : Préparer l'évaluation B) Définir les scénarios Scénarios nominaux : utilisation "normale" Scénarios d'exceptions : utilisation "exceptionnelle" Les tâches du scénario doivent pouvoir être réalisées à l'aide de la maquette Exemples : o Rechercher les vaisseaux du joueur J. o Définir les paramètres de tir (angle, puissance) o Ajouter une planète o...

15 Etape 1 : Préparer l'évaluation B) Définir les scénarios (~ succession de tâches) Scénarios nominaux : utilisation "normale" Scénarios d'exceptions : utilisation "exceptionnelle" Questions à se poser sur les tâches : o Sont-elles réalisables à l'aide de la maquette? o Touchent elles les parties de l'ihm auxquelles vous vous intéressez? o Quel temps pensez vous nécessaire pour la mener à bien? o L'évaluation est elle bien programmé pour durer 50% plus longtemps que la somme des temps prévus pour chaque tâche? o L'énoncé des tâches est-il suffisamment clair pour un novice? Exemples : o Rechercher les vaisseaux du joueur J. o Définir les paramètres de tir (angle, puissance) o Ajouter une planète o...

16 Etape 1 : Préparer l'évaluation B) Définir les scénarios (~ succession de tâches) Préparer une liste des tâches définies (=> scénario) La remettre à l'utilisateur lors de la scéance. Préparer une consigne. La lire à l'utilisateur (de manière informelle) lors de la scéance C) Préparer des questions à poser pendant la réalisation des tâches Comment fait-on ça...? Que voulez vous faire? Qu'arrivera-t-il si...? Que vient de faire le système? Que veut vous dire le système avec ce message? Pourquoi le système fait il cela? A quoi vous attendiez vous? Qu'êtes vous en train de faire maintenant?

17 Etape 1 : Préparer l'évaluation Les questions peuvent être élaborés par rapport à la théorie de Norman Que voulez-vous faire? Avez vous obtenu ce que vous vouliez?

18 Etape 1 : Préparer l'évaluation Préparer des questions à poser lors du debriefing A propos du prototype o Quelle est la plus grande qualité du prototype? o Quel est son plus grand défaut? o Que doit-on changer en priorité? o Quelles étaient les tâches faciles à réaliser? o...questions spécifiques au proto... A propos de l'évaluation elle même o L'enregistrement vous a-t-il géné? o Les tâches étaient-elles semblables à celles que vous avez l'habitude de faire? o Avez vous trouvé le prototype réaliste?

19 Etape 1 : Préparer l'évaluation D) Préparer des feuilles de notation dont le but est de : Noter les observations au cours de l'évaluation Recueuillir des informations sur la pertinence... o du modèle conceptuel Tâches Enchainements o de l'interface structuration présentation interaction

20 Etape 2 : Réaliser l'évaluation Vérifier que tout est opérationnel Le prototype est il pret à être utilisé, l'environnement est il bon? Les feuilles de tâches sont-elles prètes? Les moyens d'enregistrement (micro, video...) sont ils prets? Carnet de notes? Liste de questions à poser sous la main? La consigne est elle prète? Avez vous bien répété en interne?

21 Etape 2 : Réaliser l'évaluation Principes à respecter lors de la scéance Conduite de la scéance : discussion libre sur le système Statut de l'utilisateur : co-évaluateur et non sujet de l'expérience Bien indiquer à l'utilisateur ce qu'on attend de la scéance : o Observer en quoi le système peut les induire en erreur ou leur rendre difficiles certaines tâches... o...et non pas relever les erreurs qu'il commet en vue de le noter On évalue le système et pas l'utilisateur. Si l'utilisateur fait des erreurs, c'est que le système est mal conçut.

22 Etape 2 : Réaliser l'évaluation A) Familiarisation de l'utilisateur avec la maquette La lui présenter Le laisser l'explorer avant de lui présenter les tâches B) Réalisation des tâches Faire réaliser les tâches successivement (lire la consigne) o Encourager l'utilisateur à parler à voix haute o Demander à l'utilisateur de commenter ce qu'il fait ce qu'il va faire L'aider quand il pose une question Lui poser des questions (préparées) afin qu'il explicite ce qu'il fait Noter les réactions, comportement et commentaires de l'utilisateur o Comportements inattendu : non prévu à la conception o Commentaires subjectifs : "c'est marrant", "c'est pénible",...

23 Etape 2 : Réaliser l'évaluation C) Discussion post-tâches Discuter avec l'utilisateur de ce qu'il pense de la maquette o Quels sont les problèmes d'utilisabilité majeurs? o La scéance s'est elle bien passé? Poser les questions préparées à l'avance ainsi que celle qui ont pu surgir au cours de l'évaluation

24 Etape 3 : Analyser les résultats de l'évaluation Classer les résultats en termes D'objet de l'interface De dialogue... Faire ressortir les points positifs et négatifs (difficultés,...)

25 Etape 4 : Tirer les conséquences de l'évaluation A partir des résultats, déterminer les modification à apporter à l'interface (la maquette) Mettre au point le module d'aide à l'utilisation du système

26 Etape 5 : Rédiger le compte rendu de l'évaluation Objectifs : Rendre compte de l'évaluation dans le rapport d évaluation Présenter l'état de la maquette avant l'évaluation Présenter les résultats de l'évaluation Présenter les modifications à apporter à la maquette à l'issue de l'évaluation Présenter le nouvel état de la maquette Il est important de garder une trace de l'évolution de la conception, des raisons qui ont amenées à changer, etc.