Mesurer l'acceptabilité des collecticiels : de l'observation et/ou de la théorisation des activités collectives à l'élaboration de critères de mesure de l'acceptabilité Alain Giboin (Psychologie/Ergonomie, INRIA/I3S) axe 2 Journée d études Acceptabilité des dispositifs numériques : une approche interdisciplinaire Nice, 7 avril 2015
Single-user usability (acceptability) Subjectively pleasing From Nielsen, J. (1993). Usability Engineering Figure designed by Keates & Clarkson (2004) Groupware usability (acceptability) Mesurer l'acceptabilité des collecticiels 2
Groupware usability (acceptability) The degree to which a groupware system supports the activities of collaboration (Gutwin and Greenberg 1998) Collecticiels : technologies numériques pour collectifs d utilisateurs (équipes, groupes, communautés) éditeurs collaboratifs agendas partagés forums, réseaux sociaux, etc. Mesurer l'acceptabilité des collecticiels 3
Motivation (1) Impliquer davantage les chercheurs en SHS dans la conception des technologies numériques De manière interdisciplinaire Entre SHS Entre STIC et SHS Mesurer l'acceptabilité des collecticiels 4
Motivation (2) En particulier : amener les chercheurs SHS à contribuer à l élaboration de méthodes d évaluation (et de conception) de l acceptabilité des collecticiels des méthodes économiques (discount methods), type évaluation heuristique d heuristiques (critères) Aborder la question de l opérationnalisation du concept d acceptabilité Mesurer l'acceptabilité des collecticiels 5
Objectif Rendre compte de démarches d élaboration d heuristiques collectives Montrer le passage des théories/observations aux heuristiques Mettre en évidence le caractère interdisciplinaire de ces démarches Indiquer les difficultés rencontrées dans ces démarches Proposer quelques pistes de contributions interdisciplinaires pouvant être réalisées dans le cadre de l axe 2 de la MSHS du Sud-Est Mesurer l'acceptabilité des collecticiels 6
Plan Démarches d élaboration d heuristiques collectives 1. Groupware heuristics 2. Sociability heuristics Pistes de contributions possibles à l élaboration d heuristiques collectives En particulier la piste de l opérationnalisation du concept de l acceptabilité/utilisabilité/sociabilité Mesurer l'acceptabilité des collecticiels 7
GROUPWARE HEURISTICS Mesurer l'acceptabilité des collecticiels 8
Groupware Heuristics Greenberg, Fitzpatrick, Gutwin, Kaplan (1999, 2000) Adapting the Locales Framework for Heuristic Evaluation of Groupware Shared workspaces Baker, Greenberg, Gutwin (2001) Heuristic Evaluation of Groupware Based on the Mechanics of Collaboration Shared workspaces Locales Framework (Model of teamwork) Mechanics of Collaboration Framework (Model of teamwork) Heuristics Heuristics Mesurer l'acceptabilité des collecticiels 9
Groupware Heuristics «Locales» Framework restated as Heuristics for Groupware A principled approach to help people understand the nature of social activity and work, and how a locale (or place) can support these activities (Fitzpatrick 1998; Fitzpatrick, Mansfield, and Kaplan 1996) For discovering problems specific to groupware usability (Greenberg, Fitzpatrick, Gutwin, Kaplan, 1999, 2000) Mesurer l'acceptabilité des collecticiels 10
Groupware Heuristics Collecticiel étudié : TeamWave (shared workspace) Designed on a spatial metaphor Creating virtual rooms for working collaboratively Mesurer l'acceptabilité des collecticiels 11
Groupware Heuristics Locales Framework Locale: the actual site in which a group collaborates the actual means by which people communicate, and the actual means by which the work is achieved. from Late Latin localis "pertaining to a place" from Latin locus "place" Mesurer l'acceptabilité des collecticiels 12
Groupware Heuristics Locales Aspects Locale foundations Mutuality Individual view over multiple locales Interaction trajectories Civic structures define a collection of people, resources and artifacts (tools, objects, information) in relation to the central purpose of the social world considers those interactions within locales that maintain a sense of shared place acknowledges that individuals can be participating in many locales concern how courses of action evolve over time concern how interactions fit within a broader communal level Mesurer l'acceptabilité des collecticiels 13
Groupware Heuristics Locales Aspects Corresponding Heuristics Locale foundations 1) Mutuality 2) Individual view over multiple locales Interaction trajectories 4) Civic structures 5) Provide locales Provide awareness within locales 3) Allow individual views Allow people to manage and stay aware of their evolving interactions Provide a way to organize and relate locales to one another Mesurer l'acceptabilité des collecticiels 14
Groupware Heuristics Evaluation of the method: Use of the heuristics to inspect the interface of Teamwave Mesurer l'acceptabilité des collecticiels 15
Groupware Heuristics Conclusion of the evaluation Need : to create databases of groupware usability problems and use this database to see how well these particular heuristics, as well as others, serve to identify major problems to examine how well people can use these heuristics in practice while conventional heuristics are easy to learn and apply, the subtle nuances of teamwork implied by these groupware heuristics may require a greater level of evaluator training and experience to understand whether these heuristics are applicable to taskbased groupware, which comprise the majority of existing groupware systems today (e.g., shared whiteboards, shared editors, brainstorming tools, etc.) Mesurer l'acceptabilité des collecticiels 16
Groupware Heuristics «Mechanics of Collaboration» Framework Developed with low-cost evaluation methods in mind restated as Heuristics for Groupware For discovering problems in shared visual work surfaces (Gutwin & Greenberg, 2000) (Baker, Greenberg, Gutwin, 2001) Mesurer l'acceptabilité des collecticiels 17
Collecticiel étudié : éditeur graphique collaboratif Groupware Heuristics (Baker, Gutwin & Greenberg, 2001) Mesurer l'acceptabilité des collecticiels 18
Groupware Heuristics EXTENSIVE ANALYSIS OF SHARED WORKSPACE USAGE AND THEORY Herbert H. Clark Psychology Psycholinguistics Using Language Carl Gutwin & S. Greenberg Computer Science CSCW/HCI The Effects of Workspace Awareness Support on the Usability of Real-Time Distributed Groupware John C. Tang Computer Science CSCW/HCI Findings from Observational Studies of Collaborative Work Links: Social Psychology Sociology Anthropology Sociolinguistics Linguistics Philosophy CSCW/HCI Links: Social Psychology Sociology Anthropology Sociolinguistics Linguistics Philosophy CSCW/HCI Links: Social Psychology Linguistics (Pragmatics) CSCW/HCI Mesurer l'acceptabilité des collecticiels 19
Groupware Heuristics EXTENSIVE ANALYSIS OF SHARED WORKSPACE USAGE AND THEORY Herbert H. Clark Using Language Carl Gutwin & S. Greenberg The Effects of Workspace Awareness Support on the Usability of Real-Time Distributed Groupware John C. Tang Findings from Observational Studies of Collaborative Work Model of collaboration in language use / Cognitive and social processes / Common Ground / Grounding Better support for workspace awareness can improve the usability of the shared computational workspaces Design implications: conveying gestures, maintaining their relationship to the drawing space; conveying the process of creating and using drawings, with minimal time delay; providing concurrent access to the drawing space; allowing intermixing among drawing space actions and functions; and enabling all participants to share a common view of the drawing space. Mesurer l'acceptabilité des collecticiels 20
Groupware Heuristics «Mechanics of Collaboration» Framework Developed with low-cost evaluation methods in mind Describes low-level (basic) actions and interactions that small groups of people do if they are to complete a task effectively (Gutwin & Greenberg, 2000) Mesurer l'acceptabilité des collecticiels 21
Groupware Heuristics Collecticiel cité : éditeur collaboratif de cartes conceptuelles «Mechanics of Collaboration» Framework Mesurer l'acceptabilité des collecticiels 22
Groupware Heuristics Mechanics of collaboration Explicit Communication Consequential communication Coordination of action Planning (low-level) Monitoring Assistance Protection Intentionally providing each other with information (verbal and gestural) Picking up information that is unintentionally given off by others as they go about their activities (from artifacts as manipulated by others and other s embodiments) Organizing one s actions in a shared workspace so that they do not conflict with others Dividing and redividing the task as one goes along, reserving areas of the workspace for one s use, or considering various courses of action Monitoring and gathering information about others in the workspace (mainly workspace awareness information) Providing help to one another when needed Keeping an eye on one s own work, noticing what effects others actions could have and taking actions to prevent certain activity Mesurer l'acceptabilité des collecticiels 23
Mechanisms of collaboration Effectiveness Efficiency Satisfaction Explicit communication Consequential communication Coordination of action Planning (low-level) Monitoring Assistance Protection Conceptual framework for evaluating groupware = Matching the seven mechanics Against the three criteria measures Mesurer l'acceptabilité des collecticiels 24
Groupware Heuristics USABILITY PROBLEMS IN GROUPWARE SYSTEMS tied to Social or Organizational Issues Poor Support for the Basic Activities of collaborative work in shared spaces The framework articulates the basic activities (Baker, Greenberg, Gutwin, 2001) Adapting, restructuring and rephrasing the framework Augmenting ithe framework with a few other points not included in it Mesurer l'acceptabilité des collecticiels 25
Groupware Heuristics Heuristics : linked and interdependent as they collectively describe a partial framework of attributes of how people interact with shared workspaces Mesurer l'acceptabilité des collecticiels 26
Groupware Heuristics Mechanics of collaboration Heuristics Explicit Communication Permettre la communication verbale intentionnelle (H1) Permettre la communication gestuelle intentionnelle (H2) Consequential communication Permettre la communication résultant de configurations corporelles non intentionnelles (position du corps, des mains, des yeux, etc.) (H3) Permettre la communication résultant de la manipulation d objets partagés (retour d information sur ces objets) (H4) Coordination of action Permettre la coordination des actions (H7) Planning (low-level) Gérer la collaboration fortement couplée et faiblement couplée (H6) Monitoring Assistance Faciliter la découverte de collaborateurs et la prise de contact (H8) Protection Protéger l espace de travail, l espace privé, etc. (H5) Mesurer l'acceptabilité des collecticiels 27
Groupware Heuristics Structure de description d une heuristique Fournir les moyens d une communication gestuelle intentionnelle (Heuristique 2) But Communication intentionnelle (assurer la compréhension mutuelle de la tâche en cours) Formes de communication Illustrations (ex. : illustrer une distance en écartant ses 2 mains) Emblèmes (ex. : hocher la tête pour dire «oui») Référence déictique (deixis) (ex. : pointer un objet du doigt en disant «Celui-ci») Incarnation (embodiment)[*] Télépointeurs Avatars Images vidéos [*] Comment le collecticiel permet la réalisation des formes de communication Mesurer l'acceptabilité des collecticiels 28
Groupware Heuristics Procédure d application des heuristiques Nombre d évaluateurs requis : 3 (cf. Nielsen) Durée : quelques heures (a couple of hours) Goal : Identifier les actions cruciales pour collaborer facilement et sans effort dans un espace partagé et révéler les problèmes d utilisabilité Approche : Se demander si l utilisateur est capable de mettre en œuvre les mécaniques de la collaboration à l aide du collecticiel Mesurer l'acceptabilité des collecticiels 29
Groupware Heuristics Évaluation des heuristiques par les auteurs (familiers avec les heuristiques) Valider auprès d évaluateurs «externes» («typical practitioners») Mesurer l'acceptabilité des collecticiels 30
Groupware Heuristics (Rappel) USABILITY PROBLEMS IN GROUPWARE SYSTEMS tied to Social or Organizational Issues Poor Support for the Basic Activities of collaborative work in shared spaces The framework articulates the basic activities Adapting, restructuring and rephrasing the framework Augmenting ithe framework with a few other points not included in it Mesurer l'acceptabilité des collecticiels 31
SOCIABILITY HEURISTICS Mesurer l'acceptabilité des collecticiels 32
Sociability Heuristics (Preece, 2000, 2001) Collecticiel étudié : «Communauté en ligne» Online community: any virtual social space where people come together to get and give information or support, to learn, or to find company: Bulletin boards (forums) Chats Social networks Mesurer l'acceptabilité des collecticiels 33
Sociability Heuristics (Preece, 2000, 2001) PROBLEMS IN ONLINE COMMUNITIES SYSTEMS Sociability issues Usabiity issues Sociability is concerned with planning and developing social policies and supporting social interaction Framework to guide designers thinking and to help them focus on key issues Supporting Sociability and Designing Usability Mesurer l'acceptabilité des collecticiels 34
Sociability Heuristics Preece & Maloney-Krichmar (2003) RELATING SOCIABILITY WITH USABILITY Example: Deciding on whether community members shoud register to join a community The decision involves sociability issues what the policy says, what information is requested from registrants, what promises are made about security and privacy, etc The mechanics of registering has to be designed in the software and involves usability issues E.g., about the registration form: design, terms used, avoiding errors Mesurer l'acceptabilité des collecticiels 35
Sociability Heuristics RELATING SOCIABILITY WITH USABILITY Preece & Maloney-Krichmar (2003) Questions users ask and discuss for joining some online community They inform online community development by providing the users perspective Users Questions 1. Why should I join this community? (purpose) 2. How do I join or leave? (policy) 3. What are the rules? (policy) 4. How do I communicate with others in the community? (policy) 5. Can I do what I want easily and get what I want? (purpose) 6. If I give will I get back? 7. Is the community safe? (policy) 8. Can I express myself as I wish? (purpose) 9. Why should i come back? (policy and purpose) Mesurer l'acceptabilité des collecticiels 36
Sociability Heuristics Users questions and possible solutions for improving sociability and usability Users Questions Sociability Implications Usability Solutions Q1. Why should I join this community? (purpose) Q4. How do I communicate with others in the community? (policy) Consider what the title and content should communicate about the community s purpose. What information is needed and how should it be presented? Consider what newcomers will need to enable them to feel part of the comunity and to communicate with others. What do the old-timers need? How might participants needs change over time? Is private communication important? Provide a clear title and statement of purpose that is concise and consistent. Grphics should not detract from the main message. Determine what kind of usability support is needed for different groups in the community. Consider providing templates, emoticons, FAQs, single messges or digests for listservers, search facilities, ability to send private messages (i.e., back channels), etc. Mesurer l'acceptabilité des collecticiels 37
Sociability Heuristics Heuristics 1. Clearly stated purpose 2. Clear policies and rules 3. Dynamics of interactions like f2f interactions Natural and active discussion 4. Supporting both deep and light discussions or content-creation) 5. Supporting member commitment 6. Support privacy 7. Self-expression 8. Reliable and up-to-date content information 9. Supporting the evolution of purpose and community Mesurer l'acceptabilité des collecticiels 38
Sociability Heuristics «Sociability is a newer concept that still needs to be operationalized» (Preece, 2000) Mesurer l'acceptabilité des collecticiels 39
Framework Design criteria Determinants of success Sociability Purpose How many and what kinds of messages or comments (or comments per member) are being sent? How on-topic is thediscussion?... Usability Determinants: criteria that indicate success Measure: a quantitative measurement of the determinant that could lead to development of a metric Examples of determinants and measures of success People Policy Dialog & Social support Information design Navigation Access How many and what kinds of people are participating in the community? What do they do and what roles are they taking?... What policies are in place? How effective are the policies?... (Preece, 2001) How long does it takes to learn about dialog and social support? How long does it actually take to send or read a message, or perform some other action, etc.? Can users get where they want to go in a reasonable time? How much do users remember about navigation?... Can users get where they want to go in a reasonable time? How much do users remember about navigation?... Can users get access to all the software components that they need? Can they down load them and run them in time?... Mesurer l'acceptabilité des collecticiels 40
PISTES DE CONTRIBUTIONS À L ÉLABORATION D HEURISTIQUES COLLECTIVES Mesurer l'acceptabilité des collecticiels 41
Pistes de contributions interdisciplinaires Rappel de la motivation de départ Impliquer davantage les chercheurs en SHS dans la conception des technologies numériques De manière interdisciplinaire inter SHS et inter STIC-SHS En particulier : les amener à contribuer à l élaboration de méthodes d évaluation (et de conception) des collecticiels Mesurer l'acceptabilité des collecticiels 42
Chercheurs SHS Économistes Gestionnaires Linguistes Psychologues Sociologues Chercheurs STIC Heuristiques Praticiens STIC Interdisciplinarité Praticiens SHS Économistes ergonomes Gestionnaires ergonomes Linguistes ergonomes Psychologues ergonomes Sociologues ergonomes Mesurer l'acceptabilité des collecticiels 43
Pistes de contributions interdisciplinaires Contribuer à élaborer une méthode économique d évaluation/conception (discount method) Cf. design ethnography a discount version of ethnography where observations and analyses are specific to design implications rather than to a general understanding of a culture (Greenberg, Fitzpatick, Gutwin & Kaplan, 1999) Méthode non exclusive, mais complémentaire de méthodes existantes (observation, expérimentation, tests utilisateurs ) Mesurer l'acceptabilité des collecticiels 44
Pistes de contributions interdisciplinaires Méthodes économiques toujours recherchées Cf. Dew, Turner, Desai, Martin & Kirchhoff (2015): Evaluating Groupware Prototypes with Discount Methods (CSCW 2015 conference) A method based on Gutwin and Greenberg s mechanics of collaboration (MoC) framework for evaluating prototype groupware systems that have not yet been deployed with the minimum number of users needed to be truly functional Mesurer l'acceptabilité des collecticiels 45
Pistes de contributions interdisciplinaires Contribuer aux différentes étapes d élaboration d heuristiques collectives Repérage de théories ou d observations pouvant conduire à des heuristiques Élaboration d heuristiques générales Opérationna -lisation des heuristiques générales Validation des heuristiques Mesurer l'acceptabilité des collecticiels 46
Pistes de contributions interdisciplinaires Repérage de théories ou d observations pouvant conduire à des heuristiques Élaboration d heuristiques générales Opérationna -lisation des heuristiques générales Validation des heuristiques Contribuer à opérationnaliser les notions pouvant conduire à des critères La procédure d utilisation des critères Partir des pratiques d opérationnalisation en SHS Cf. opérationnaliser les variables/hypothèses en psychologie expérimentale Mesurer l'acceptabilité des collecticiels 47
Pistes de contributions interdisciplinaires Opérationnalisation des heuristiques générales Opérationnalisation d une variable (hypothèse) «Définition empirique concrète, explicite et précise de la variable» (utilisée pour tester une hypothèse) (Susan T. Fike) Hypothèse générale hypothèse opérationnelle Hypothèse née d une observation ou d une théorie Mesurer l'acceptabilité des collecticiels 48
Pistes de contributions interdisciplinaires Opérationnalisation des heuristiques générales 1. Feedback du système 2. Match avec les profils utilisateurs 3. Sensation de contrôle 4. Cohérence et standard 5. Gestion des erreurs 6. Optimisation des performances 7. Mise en page 8. Flexibilité 9. Surcharge cognitive 10. User Experience 11. Dialogue Homme-Machine 12. Aide et documentation 13. Collaboration PRINCIPES ET GRILLE LUDOTIC 1 Feedback du Système - FBCK 1.1 La page d'accueil indique clairement la dernière mise à jour, soit générale, soit pour les éléments sensibles à la réactualisation 1.2 Les fenêtres/pop-ups/boîtes de dialogue s'ouvrent près de l'aire cliquée 1.3 Un titre visible est assigné à chaque page/fenêtre/dialog-box/zone de visualisation 1.4 Le titre indique correctement le contenu de la page/fenêtre/dialog-box ( ) 13 Collaboration - COLL Mesurer l'acceptabilité des collecticiels 49
Pistes de contributions interdisciplinaires Opérationnalisation des heuristiques générales 13 Collaboration - COLL 13.1 L'utilisateur est informé de la séquence du Workflow auquel ses données/documents sont soumis(es) 13.2 L'utilisateur est informé de la présence d'autres utilisateurs connectés au système 13.3 L'utilisateur peut changer son statut de connexion au système (occupé, invisible, disponible ) 13.4 Des moyens de communication synchrones et/ou asynchrones sont fournis 13.5 Le système informe l'utilisateur des conséquences de ses actions sur les documents/éléments par rapport au travail d'autres utilisateurs 13.6 L'utilisateur est informé de l'état actuel de ses données/documents dans le workflow 13.7 Le système fournit un feedback lorsqu'un document/élément est en cours d'édition de la part d'un autre utilisateur 13.8 Le système fournit une indication concernant la date et l'auteur des dernières modifications de chaque document/élément 13.9 Le système indique clairement si les autres utilisateurs peuvent être contactés (disponibles, occupés, absents ) 13.10 Les moyens de communication avec les autres utilisateurs sont clairs (texte, audio, vidéo) 13.11 L'utilisateur a la possibilité de s'exprimer (commentaires, avis, notes ) 13.12 critère supplémentaire éventuel 13.13 critère supplémentaire éventuel Mesurer l'acceptabilité des collecticiels 50
Pistes de contributions interdisciplinaires Opérationnalisation des heuristiques générales Contribuer à définir une procédure d utilisation des heuristiques (en phase de conception ou d évaluation) Cf. position d Emmanuel Kessous (in résumé de la 4 ème communication) «Prendre le contrepied» de «lister les déterminants sociaux de l acceptabilité» «en montrant que ce qui est acceptable socialement ne peut découler que de la co-conception d un dispositif entre des ingénieurs et des utilisateurs» Cf. participatory heuristic evaluation Mesurer l'acceptabilité des collecticiels 51
Pistes de contributions interdisciplinaires Opérationnalisation des heuristiques générales Évaluation heuristique participative (Participatory Heuristic Evaluation) Evaluation heuristique réalisée avec des utilisateurs Heuristiques supplémentaires (orientées processus) Respecter l utilisateur et ses «habiletés» Fournir une expérience plaisante avec le système Assister la réalisation d un travail (produit) de qualité http://hci.ilikecake.ie/evaluation/participatoryheuristic.htm Mesurer l'acceptabilité des collecticiels 52
Pistes de contributions interdisciplinaires Évaluation heuristique réalisée par des enfants 14 enfants de 10-11 ans Évaluer un jeu de composition musicale sur ordinateur portable JamMo Mesurer l'acceptabilité des collecticiels 53
QUESTIONS? Mesurer l'acceptabilité des collecticiels 54
Social acceptability refers to whether the interface is acceptable to the users in the context of the culture of the society in which the users are from. (cf. Nielsen, 1993, pp. 23-27, 1995, pp. 279-285) Social acceptance considers the ethical and moral implications from the perspective of the roles, norms and values of the system s use community (cf. Nielsen 1993) Pat Lehane & Samuel Huf (2005). Towards understanding system acceptance: The development of an assessment instrument and workpractice. Proceedings of OZCHI 2005, Canberra, Australia. November 23-25, 2005. Mesurer l'acceptabilité des collecticiels 55
Mesurer l'acceptabilité des collecticiels 56