Les interfaces tactiles pour des situations collaboratives : vers de nouvelles grammaires de gestes permis par le Multi- Touch

Transcription

1 Les interfaces tactiles pour des situations collaboratives : vers de nouvelles grammaires de gestes permis par le Multi- Touch David BERTOLO*, Robin VIVIAN*, **, Jérôme DINET** & Yann LANUEL* *Laboratoire d Informatique Théorique et Appliquée (LITA), Université Paul Verlaine - Metz ** laboratoire InterPsy ETIC (EA 4432), Université Paul Verlaine Metz dbertolo@club- internet.fr; robin.vivan@univ- metz.fr; dinet@univ- metz.fr; yann.lanuel@univ- metz.fr Résumé Les surfaces Multi- touch sont une technologie qui offre de nouveaux styles d'interactions par rapport aux dispositifs classiques d'entrée comme le clavier ou la souris. Les utilisateurs peuvent rapidement et de manière très intuitive manipuler des objets ou exécuter des commandes au moyen de leurs doigts et des mains. Les cadres multi- touch offre un ensemble de gestes standard qui sont faciles à utiliser lors de développement d'une application. Les systèmes collaboratifs nécessitent la définition de nouvelles actions impliquant un développement plus complexe d une bibliothèque voire d une grammaire de gestes. A travers cette étude, nous vous invitons à une discussion proposant une formalisation de l'interaction gestuelle sur des surfaces multi- touch dans le cadre d une application collaborative. Un environnement de test est présenté, montrant l implémentation dans le cadre d un jeu de poker en réseau ad- hoc. Mots clés : interfaces tactiles, grammaire de gestes, multi- touch, situation collaborative 1. Cadre théorique L essor récent et colossal des tablettes interactives (telles que l ipad commercialisé par Apple) est en grande partie dû à leur simplicité d utilisation. Par «simplicité», il faut entendre que l usager peut employer ces supports rapidement, sans formation spécifique, en utilisant les mêmes gestes que ceux utilisés avec des supports traditionnels ou encore en utilisant des gestes dont la grammaire est signifiante. Par exemple, sur les tablettes interactives, il suffit d écarter le pouce et l index pour agrandir une zone de l écran, ce geste étant assez «naturel» (figure 1). De même, le défilement des pages par glissement de l index sur l écran ou encore le «pincer pour zoomer» sont acquis et réalisés sans réel apprentissage. En d autres termes, la grammaire de gestes intuitive a amplement contribué à rendre populaires ces tablettes interactives (O Malley & Fraser, 2004). Comme le remarquait déjà Dallet (1996) concernant les «nouveaux» modes d interaction entre l usager et la machine, les tablettes interactives créent un espace commun à l homme et à la machine, cet espace commun partagé étant permis par la médiation du langage gestuel. 1

2 Figure 1. Gestes pour agrandir et réduire un zoom sur écran tactile 1.1. La grammaire de gestes dans le multi- touch Afin de formaliser la syntaxe de l'interaction multi- touch, une compréhension globale des signes possibles qui peuvent être produits par un utilisateur est nécessaire. Les ressources techniques et des normes comme le protocole TUIO (de la Guía, Gallud, Tesoriero, Lozano & Penichet, 2010) ou Windows 7 gesture events (Microsoft Developer Center, 2009 ; Kaltenbrunner, 2010) donnent un aperçu des actions possibles sur des appareils multi- touch. Wobbrock, Morris & Wilson (2010) affirment que pour établir une grammaire adéquate adaptée aux utilisateurs, ces informations techniques doivent être liées à des données empiriques. D un point de vue psychologique, tout langage est une aptitude qui se développe sans qu il y ait nécessairement un apprentissage explicite, volontaire et conscient. En effet, qu il s agisse du langage verbal ou du langage gestuel, nous acquérons et développons nos compétences sans en avoir réellement conscience, notamment en ce qui concerne le sens. Tout usager d un langage (verbal ou gestuel) doit acquérir l aptitude fondamentale qui consiste à comprendre ce qu un énoncé ou un geste signifient : cette compréhension passe par l apprentissage des associations qui lient un référent (un mot, un geste, un son) à une signification. Et cet apprentissage des associations se fait en grande partie par conditionnement. En d autres termes, avec les tablettes tactiles, les gestes que leurs utilisateurs doivent réaliser correspondent à des gestes antérieurement appris dans d autres contextes (par exemple, «faire défiler les pages grâce à l index») ; les usagers des tablettes interactives reproduisent donc des gestes acquis par conditionnement (notamment par répétition). Bien que de nombreuses technologies de capteurs et dispositifs différents soient disponibles sur le marché, les informations de base fournies pour l'interaction multi- touch sont essentiellement basées sur des coordonnées de surface à deux dimensions (tables tactiles, tablettes, téléphones, etc.). Elles sont regroupées en une catégorie dite à contacts continus. Ces contacts peuvent correspondre soit à des interactions atomiques soit être une composition dans l espace et le temps de ces gestes de base. Parce que certains de nos gestes sont culturellement déterminés, certains auteurs cherchent à établir une grammaire de gestes «universellement intuitifs» (e.g., Le Hong & Biesterfeldt, 2010), ces gestes pouvant en théorie convenir quelle que soit la culture considérée (figure 2). 2

3 Figure 2. Liste des gestes «universellement intuitifs» (selon Le Hong & Biesterfeldt, 2010) Multi- touch et travail collaboratif Dans le cadre d échanges ou de travail collaboratif, cette grammaire de gestes doit être adaptée à la nature même des échanges. En plus des interactions habituelles consistant à interagir avec une application, nous devons envisager, dans le cadre d une application collaborative, un dialogue gestuel permettant de gérer des échanges complexes de données. Globalement ces échanges peuvent être de quatre types : Echanges de type 1-1 : lorsque deux personnes d un même groupe souhaitent par exemple s échanger des données comme des fichiers. Echanges de type 1- N : lorsqu une personne d un groupe souhaite diffuser à l ensemble des participants des informations Echanges de type N- N : lorsque tous les membres d un groupe échangent des données avec l ensemble des participants (un échange de carte d identité électronique en début de réunion par exemple) Echanges de type N- 1 : lorsque l ensemble des participants travaillent sur un document commun (écriture collaborative, etc.). Des applications ont été développées pour permettre un travail collaboratif avec des terminaux mobiles légers comme des Smartphones. Une des difficultés restait les dimensions trop petites des écrans et donc l impossibilité d accéder à des environnements d échanges permettant une gestion simple et intuitive des participants et des données. De la Guia et al. (2010) ont proposé un système de «tables» co- interactives basé sur l utilisation d un environnement graphique indépendant. Le principe consiste à fournir à chaque participant un document papier sur lequel sont pré- imprimés des icones relatifs aux fonctions accessibles (figures 3 et 4). 3

4 Figure 3. Interactions utilisateur avec le co- interactive table Figure 4. Métaphore visuelle des fonctions Chaque participant accède à une fonction de gestion en scannant avec un terminal mobile l icône correspond à l action désirée. Les utilisateurs peuvent ainsi se connecter à une réunion, identifier les participants, visualiser les documents utilisés, échanger des fichiers. Ce système nécessite une connexion wifi à un serveur tiers d application qui identifie les participants. Cette contrainte oblige une identification préalable des personnes par un traditionnel login/mot de passe et interdit donc toute réunion entre personnes non reconnues dans le réseau. En accord avec ces différentes études, notre travail a consisté à développer sur des terminaux tactiles (dans notre cas des ipads) une méthode d échange collaborative d information basée sur des interactions uniquement gestuelles (pas de menu, pas de bouton, etc.) pour une application en réseau ne demandant pas d identification préalable. Le support de ce travail a été un jeu de poker. 2. Présentation de l application L objectif de ce travail était de mettre en œuvre des concepts d interaction simples et intuitifs permettant, sans apprentissage préalable, une utilisation immédiate d une application d échanges collaboratifs. Nous souhaitions tester les possibilités d interaction associées à des terminaux tactiles et non concevoir un jeu opérationnel Choix technologique réseau Pour la communication entre les ipads, plusieurs options étaient possibles de part les caractéristiques techniques de l'appareil. En effet, l'ipad est équipé du Wifi et du Bluetooth. Chacune de ces deux technologies présente des avantages et des inconvénients. 4

5 Le Wifi permet des transferts importants de données et rapides et n'a pas de limitation pour le nombre de personnes connectées. Par contre, les ipads ne permettent pas de faire de réseau ad- hoc. Ce qui est une limitation importante puisqu elle implique la dépendance d'une tierce machine pour la création d'un réseau et donc des contraintes matérielles importantes. A cela venaient s ajouter des problèmes d identification (login, mots de passe) pour accéder à des serveurs et des aspects sécuritaires (limitations d accès) incompatibles avec des échanges collaboratifs temporellement imprévisibles comme peuvent l être des réunions de travail, des échanges informels ou des jeux improvisés. Le Bluetooth ne permet pas de transférer des flux de données aussi important qu'avec le Wifi ; il est moins rapide et limité dans le nombre des personnes interconnectées. Par contre, il permet de réaliser des réseaux ad- hoc. C est donc cette dernière technologie qui a été choisie pour : la possibilité des créer des réseaux ad- hoc, donc une très grande souplesse de mise en œuvre ; l obligation de faire la demande pour accéder au réseau, donc un contrôle possible des échanges de données ; l obligation d'une acceptation d'une personne du réseau pour y accéder, donc un contrôle possible des participants ; l obligation d'être à portée et donc dans le cas du Bluetooth en présentiel, donc une limitation dans les espaces à contrôler. 2.2 : Organisation du réseau L organisation d une réunion de travail, d un jeu en réseau ou d un travail collaboratif impose certaines contraintes qui font qu il n est pas intéressant de définir un utilisateur privilégié comme étant le gestionnaire principal. Tout participant peut à tout moment quitter le groupe de travail. Le retrait du terminal serveur imposerait une reconfiguration du réseau et donc une interruption de travail (ou du jeu). De plus, cette charge imposerait une surcharge en termes de gestion de données incompatible avec la fluidité nécessaire aux applications collaborative. Nous avons donc opté pour une organisation dite en peer- to- peer (figure 5) où la gestion n est pas centralisée et où chaque participant peut à tout de rôle contrôler les autres terminaux. Un acteur peut quitter à tout moment la structure sans que cela ne remette en question la stabilité du réseau. La topologie de cette organisation correspond exactement aux besoins de communication associés à des applications collaboratives. Figure 5. Organisation de la communication entre terminaux 5

6 2.3. Organisation du jeu Notre application se compose de deux écrans distincts correspondant pour le premier à la «vue croupier» (figure 6a) et pour le second à la vue «joueur» (figure 6b). Le changement de vue de fait simplement par un glissé d écran (Figure 6c). Figures 6a, 6b et 6c. Différentes vues du jeu La vue du croupier n est accessible qu au croupier dans la partie. Le croupier change à la fin de chaque donne. Chaque joueur aura donc accès à tour de rôle à cette vue. Le croupier étant également un joueur, il peut donc switcher entre le vue du croupier et la vue du joueur pendant la partie de poker. Le but principal de cette vue est de pouvoir gérer la partie, tel qu un croupier le ferait dans le monde réel. Les objectifs sont : La distribution des cartes du jeu à chaque joueur dans la partie (croupier inclus) Déplacer les cartes sur le flop pendant la partie Tourner et montrer les cartes du flop Comme il ne s agit pas d un jeu «réel», mais d un jeu en réseau, certaines tâches supplémentaires sont nécessaires et elles ne sont pas directement issues du jeu de poker. Il s agit là de tâches techniques. Le croupier agissant comme un petit serveur, il doit donc avoir des fonctionnalités permettant d administrer la partie au niveau fonctionnel/technique. Voici donc ces fonctionnalités (figures 7): Invitation des nouveaux joueurs à rejoindre le jeu (session Bluetooth). Mise en place des zones pour chaque joueur. Avant de distribuer les cartes, il faut tout d abord définir les zones pour chaque joueur. Chaque joueur possède une zone qui lui est réservé et qui «absorbera» la carte pour l envoyer au joueur. La disposition de ces zones définit l ordre de passage (tour de table). Redéfinir l ordre de passage en déplaçant les zones «joueurs» Avoir un aperçu sur l état actuel de la partie (les joueurs s étant couchés, ceux dans la partie, le miseur actuel, etc.) Supprimer un joueur en cours de partie Inviter d éventuels nouveaux joueurs afin qu ils rejoignent la partie en cours et les «insérer» autour de la table 6

7 Figure 7 : reconnaissance des participants, répartition autour de la table, distribution La vue joueur sera elle divisée en deux parties. Dans la partie commune située en haut de l écran on retrouve les mises de chaque joueur durant la partie (le pot) et les cartes visibles par tous (le flop). Dans la partie inférieure dite privative, on retrouve les cartes du joueur. Pour pouvoir consulter discrètement son jeu, chaque participant peut à tout instant incliner le terminal de 90. Cette action permet de dévoiler les cartes de la partie privative (figure 8). Figure 8. Présentation de l écran jeu et consultation des cartes d un joueur. 2.4 : Définition de la bibliothèque de geste Nous ne détaillerons pas ici de manière exhaustive l ensemble des gestes développés pour l application. Nous nous contenterons de catégoriser ces gestes et de présenter sur un exemple des situations d utilisation de ces actions Les gestes de type 1-1 Dans le déroulement d une partie de cartes nous avons à différents moments besoin d établir un échange d information entre deux participants. Par exemple, lors de la distribution des cartes dans la partie privative, l échange entre le croupier et un joueur correspond à une transaction de type 1-1 (Figure 9). 7

8 Figure 9. Echange de type Les gestes de type 1- N Les échanges de type 1- N interviennent par exemple à l initialisation de la partie quand le croupier distribue à chaque joueur ses deux cartes (Figure 10). Celui- ci peut, après avoir défini un contact multi- point sur le tas de cartes (par exemple, 5 doigts), ouvrir la main pour simuler l envoi d une carte à chaque joueur. Figure 10. Exemple d échange 1- N Les gestes de type N- N Les interactions de type N- 1 sont utilisées pour déplacer plusieurs éléments vers par exemple des zones communes (figure 11). Lorsqu un joueur décide de miser plusieurs jetons voire plusieurs piles de jetons, il peut en associant un contact par piles déplacer la totalité des éléments vers la zone du pot. Figure 11. Déplacement de type N- N 8

9 D autres gestes préalables ont été définis pour, par exemple, sélectionner dans une pile un nombre précis de jetons et les déplacer une fois sur le pot commun (figure 12). Figure 12. Variante du mode de sélection Les gestes de type N- 1 Nous pouvons concevoir des interactions de type N- 1 lors de la distribution de plusieurs cartes à un même joueur (lors de défausse par exemple). Le nombre de carte peut être déterminé par le nombre de contacts sur le tas et le destinataire peut être identifié par la localisation de la destination de l envoi (dans le cas d un déplacement avec inertie) ou par la zone de dépôt des cartes (figure 13). Figure 13. Déplacement de type 1- N 3. Discussion Au travers un exemple ludique du jeu de poker, nous avons défini une bibliothèque gestuelle capable de prendre en compte les différentes fonctionnalités nécessaires au développement d applications collaboratives. Notre travail propose deux avancées importantes : la première (simplement évoquée dans ce papier d un point de vue fonctionnel) consiste en la création simple d un réseau ad- hoc de terminaux mobiles au travers d un réseau bluetooth habituellement utilisé pour des communications point à point ; la seconde consiste en la définition d une bibliothèque de gestes adaptée à des échanges d information entre deux utilisateurs ou entre tous les membres d un même groupe. Notre approche définit quatre niveaux d abstraction 9

10 correspondant à des formes de communications possibles entre les acteurs (1-1, 1- N, N- 1 et N- N). L application présentée ici n a pas comme finalité un développement commercial d un jeu de poker. Elle sert uniquement de support à l intégration de nos concepts d interaction. L étape suivante sera de descendre plus bas dans la granularité des geste est de proposer plus formellement une grammaire adaptée à l échange collaboratif. D un point de vue théorique, la notion même de «grammaire de gestes» est ré- interrogée par l existence de nouveaux systèmes techniques qui permettent de nouvelles formes d interaction. Références bibliographiques James J. Gibson (1977), The Theory of Affordances. In Perceiving, Acting, and Knowing, Eds. Robert Shaw and John Bransford. Le Hong, S. & Biesterfeldt, J. (2010). Les gestes en fonction des cultures. Article en ligne : gestes- en- fonction- des- cultures/, consulté le 20 mars Leulier, C. & Muys, J.- D. (2010). Les principes de l'ergonomie web semblent acquis. Mais qu'en est- il de l'ergonomie sur l'iphone et sur l'ipad? Article en ligne : professionnel.fr/tribune- libre/iphone- ipad- ergonomie- applications html, consulté le 20 mars O Malley, C. & Fraser, D.S. (2004). Literature Review in Learning with Tangible Technologies. Article en ligne : ouvertes.fr/hal /en/, consulté le 20 mars Norman, D. (1988). The Design of Everyday Things. Cambridge, Massachussets, MIT Press. Gaver, W. (1991). Technology affordances. In Proceedings of the CHI 1991 (pp.79-84). New York : ACM Press. de la Guía, E., Gallud, J.A., Tesoriero, R., Lozano, M.D., & Penichet V. (2010). Co- Interactive Table: A New Facility to Improve Collaborative Meeting Mobile. HCI 2010 September 7-10, 2010, Lisboa, Portugal. ACM /10/09. Kaltenbrunner, M. (2010). TUIO 2.0 Protocol Specification (Draft). January 18th, Website. Article en ligne : consulté le 20 mars Microsoft Developer Center (2010). Windows Touch. Webseite. Retrieved: Available at: us/library/dd aspx Wobbrock, J. O., Morris, M. R., Wilson, A. D. (2009). User- Defined Gestures for Surface Computing. Proceedings of CHI 2009 (pp ), April 4-9, Boston Massachusetts, USA. 10