Des commandes gestuelles «multi-dimensionnelles»

Transcription

1 Stage de Master 2 Recherche en Informatique Laboratoire de Recherche en Informatique Équipe in situ Des commandes gestuelles «multi-dimensionnelles» David Bonnet Sous la direction de Caroline Appert

2

3 Remerciements Je remercie en premier lieu Caroline Appert, mon encadrante de stage. Je remercie Wendy Mackay et Michel Beaudouin-Lafon, mon futur directeur de thèse, pour, tout simplement, exister. Sans eux, leur travail titanesque et leurs multiples accomplissements, la recherche en interaction homme-machine en France n aurait certainement pas été aussi épanouie qu aujourd hui et j aurais probablement eu beaucoup plus de mal à trouver des personnes qui partagent cette passion. Milles mercis à Clément Pillias, qui s est toujours rendu disponible pour écouter mes idées les plus farfelues et m aider à les rendre moins farfelues, surtout avant que j aille les présenter à Caroline. Un grand merci à Rodrigo Andrade de Almeida pour m avoir donné de multiples références et idées, le tout avec un air brésilien très chaleureux et relaxant. Je remercie bien évidemment tous les membres d in situ pour leur support, leur gentillesse et leur aide précieuse. INRIA / CNRS Équipe in situ " 3

4 Sommaire 1. Introduction! Problème abordé 5 2. État de l'art! Systèmes d entrée gestuelle Apport cognitif Algorithmes de reconnaissance Guides et techniques d apprentissage Conception de vocabulaires de gestes Applications Conclusion SAM! Première approche Description Applications ThumbRock! Motivation Description Calibration Conclusion! 35 4" INRIA / CNRS Équipe in situ

5 1. Introduction L interaction gestuelle recouvre une réalité très large allant du langage engageant tout le corps utilisé dans les dispositifs à grandeur humaine (systèmes de réalité virtuelle, tables interactives, etc.) aux suites de points en deux dimensions capturés par les dispositifs de taille plus réduite (tablettes tactiles, smartphones, etc.). L interaction gestuelle, qui repose sur l association entre une commande et une suite de points, a motivé de nombreux travaux de recherche sur plus d'un demi-siècle pour proposer des algorithmes permettant de reconnaître des formes, des guides visuels pour faciliter l'apprentissage de gestes, des recommandations sur la conception de vocabulaires de gestes et des exemples concrets d'applications. L'objectif de ce stage est d utiliser une approche, encore peu considérée par la recherche, qui consiste à étudier les caractéristiques dynamiques des gestes afin d augmenter le pouvoir d expression de l interaction gestuelle sans avoir recours à des formes complexes et difficiles à mémoriser. Pour cela, les smartphones et appareils similaires forment un contexte d'étude particulièrement intéressant en introduisant deux contraintes majeures d'interaction. D'une part, pour répondre aux exigences de portabilité, la taille réduite de l'écran tactile restreint les gestes sur un espace exigu et à deux dimensions. Ainsi, il limite l'expression des gestes principalement basés, et discriminés, sur la forme et balise le travail de recherche en le restreignant au domaine, déjà très vaste, des tracés réalisés dans un plan. D'autre part, l'utilisateur peut indiquer des positions sur l'écran tactile uniquement lorsque le doigt est en contact avec sa surface (Buxton et al., 1985). Aucun autre mode ne permet de spécifier une suite de points, contrairement au traditionnel ordinateur de bureau où le curseur peut être déplacé avec la souris dans deux états : en maintenant le bouton de la souris enfoncé ou en le laissant relevé Problème abordé Il s agit d identifier des propriétés dynamiques remarquables que l utilisateur est capable de spécifier. Ces schémas dynamiques doivent être systématiquement assortis d'un algorithme capable de les reconnaître efficacement et d'indices graphiques (feedback et feed-forward) permettant leur apprentissage. Cependant, l'espace de conception défini par les dispositifs mobiles sus-mentionnés soulève plusieurs problématiques précises. Tout d'abord, l'utilisateur préfère manipuler l'appareil mobile avec une seule main (Karlson et al., 2008), l'autre main étant réservée pour interagir avec l'environnement, tenir un objet ou alors maintenir l'équilibre. De cette manière, seul le pouce est disponible, ce qui rend certaines cibles graphiques difficiles à atteindre et restreint davantage l'espace d'interaction pour effectuer des gestes. De plus, les doigts peuvent masquer des zones importantes de l'écran, ce qui peut handicaper l'apprentissage et l'exploration d'ensembles de commandes. La plupart des guides visuels pour soutenir l apprentissage et la découverte des gestes sont alors moins pertinents et la question d envisager d'autres techniques d'apprentissage s impose. Enfin, les commandes gestuelles peuvent entrer en conflit avec les interactions déjà utilisées sur les dispositifs mobiles. Par exemple, tout déplacement du doigt sur une page web est actuellement interprété comme un défilement de la page (scroll). Pouvoir passer dans un mode permettant d entrer des commandes gestuelles et revenir au mode d interaction usuel est donc indispensable. INRIA / CNRS Équipe in situ " 5

6 Pour retrouver une richesse d interaction proche de celle que nous connaissons sur les ordinateurs portables ou de bureau, ces contraintes obligent à explorer d'autres dimensions pour augmenter la capacité d encodage des gestes. 6" INRIA / CNRS Équipe in situ

7 2. État de l'art Encouragé par l'essor des smartphones, et des tablettes tactiles, de plus en plus de systèmes interactifs reposent sur l interaction gestuelle. La littérature concernant ce domaine étant particulièrement vaste, nous nous restreindrons aux gestes effectués dans un plan et à la présentation des travaux de recherche majeurs qui leur sont consacrés. Sketchpad (Sutherland, 1963) fait figure de précurseur dans le paysage de l'interaction homme-machine. Il s'agit du premier système permettant à l'utilisateur d'entrer un geste, à l aide d un stylo optique, pour créer et modifier des formes géométriques par manipulation directe. (a) (b) Sketchpad (a) Différentes instances d un objet (ici un rivet) avec des dimensions et orientations variées. (b) Manipulation 3D et vues multiples sur un même objet. Les travaux que nous allons présenter s'inscrivent dans la lignée des problématiques soulevées par Sketchpad : le développement de nouveaux périphériques d'entrée gestuelle plus performants et fiables, la création d'algorithmes permettant de reconnaître les gestes effectués, la mise en œuvre de guides et d'indices permettant d'apprendre des vocabulaires de gestes et enfin la proposition de méthodes permettant de les rendre efficaces. Ces projets de recherche sont également motivés par des applications qui vont au-delà des outils de dessin, que nous décrirons également Systèmes d entrée gestuelle Ce qui suit est un court historique permettant de situer dans l ordre chronologique l apparition de nouveaux appareils d entrée gestuelle plane : Vers 1950, le Light Gun (Everett, ~1950) fut le premier périphérique optique capable de lire la position d'un point sur un écran afin d'effectuer des diagnostics. En 1952, le premier Trackball (Cranston et Longstaff, 1952) fut inventé et se présentait comme une grande souris inversée. L utilisateur manipulait la boule, maintenue sur des coussins d air pour minimiser les frictions, à l intérieur du socle inamovible. En 1957, le Lightpen (Gurley, 1957) adopte la forme d'un stylo et est le premier du genre à pouvoir être utilisé sur un écran. INRIA / CNRS Équipe in situ " 7

8 Light Gun Trackball Lightpen En 1963, arrive la «Rand Tablet» (Davis et Ellis, 1963), l'ancêtre des tablettes graphiques telles que nous les connaissons aujourd'hui. Dès 1964, la souris (English et Engelbart, 1967) fut inventée. En 1965, un mécanisme fonctionnel d'écran tactile capacitif est décrit (Johnson, 1965). En 1972, le premier écran tactile à être massivement distribué dans l'état d'illinois voit le jour (Ebeling et al., 1972). Des lumières infrarouges réparties sur le cadre intérieur de l écran permettant de détecter la présence d un doigt sur l écran. Rand Tablet Souris Touch Screen En 1982, le premier appareil multi-touch (Mehta, 1982) est créé. Il repose sur l'emploi d'une caméra placée derrière une plaque de verre rétroéclairée filmant les ombres créées par la main de l'utilisateur. Le flux vidéo est alors numérisé et transmis à un processeur pour analyse. En 1983, ce qui semble être le premier appareil tactile sur le marché, le HP 150, est apparu (HP, 1983). En 1984, le premier écran multi-touch avec une nappe de détection transparente est inventée (Boie, 1984). Enfin, en 2009, ThinSight, le premier écran LCD doté de capteurs optiques sur toute sa surface (Izadi et al., 2009), permettant d'émettre et de capter de la lumière est réalisé. Il permet alors de lire et même scanner tout objet sur ou proche de la surface de l'écran Apport cognitif Appert et Zhai (2009) montrent au travers d une étude empirique le fort potentiel des raccourcis gestuels. Les participants ont su apprendre plus rapidement davantage de gestes arbitraires (jusqu à 16) que de raccourcis claviers en ayant su les restituer avec moins d erreurs. 8" INRIA / CNRS Équipe in situ

9 Shortcut within Item Frequency Shortcut within Item Frequency Shortcut within Item Figure 4. T ime, Recall and Error by Shortcut Frequency Time 2010: Everyday Gestures April 10 15, 2010, Atlanta, GA, USA Recall 5000 S01 S02 S03 S04 S05 S06 S07 S08 S09 S10 S11 S12 S13 S14 keyboard shortcuts stroke shortcuts Despite this experience bias in favor of keyboard the answers to the final question where they had table revealed that they had learned stroke short than keyboard shortcuts in this study. On average 1 shortcuts and 4 keyboard shortcuts were correctly The participants confidence level was also higher shortcuts (11.7/14 on average; 14 means comp dence on all commands tested) than with keyboard (4.2/14 on average). n, Protractor acquires the vector representation of a PERFORMANCE EVALUATIONS re by aligning the gesture7s indicative orientation. To understand how well Protractor performs, I compared it The participants open remarks confirmed some o the indicative angle is only an approximate measure with its closest peer, the $1 recognizer [4], by repeating the a gesture7s orientation, the alignment in the same experiment on the same data set where the $1 yses that led to our hypothesis. Strokes gave th Temps et mémorisation correcte de commandes en fonction du nombre de fois qu elles ont été vues ocessing cannot completely remove the noise in Figure recognizer 5. Time showed and Recall advantages performance over both according the Rubine to the [2] number and of clues to make up an association (more levels o re orientation. This can lead to an imprecise measure times the adtw command recognizers has been [5]. seen The data set includes 4800 ing) between a command and its arbitrarily assign ilarity and hence an incorrect prediction. To address samples for 16 gesture symbols collected from 10 I thought of this stroke as fish because the shap ssue, at runtime, Protractor rotates a template by an participants 100 (e.g., a star) [4]. The experiment was conducted makes me think about a basin or I associated amount so that it results in a 2.3. minimum Algorithmes angular on a Dell de Precision reconnaissance T3400 with a 2.4GHz Intel Quad with a jump and I see karate as a sport where peo ce with the unknown gesture and better reflects their Core TM 275CPU and 4 GB memory running Ubuntu Linux. Interestingly, no two people mentioned the same t arity. Previous work [4] performs similar rotation to menu Overall, Protractor and the $1 recognizer generated a sociate a stroke with a command. a minimum mean Euclidean distance between 50 Plusieurs algorithmes de reconnaissance similar error rate keyboard shortcuts de curve gestes in response ont été to mis different au point. training Le plus connu est celui de Rubine tories. However, it used an iterative approach to sample 25 sizes (see Figure 2). Although the stroke overall shortcuts Poisson In summary, although the purpose of stroke short h for such a rotation, which (1991), is time-consuming qui utilise and un the mécanisme d apprentissage supervisé. Il classifie les gestes selon 13 caractéristiques, dont les angles initiaux, significant la 0longueur (p<.0001), du tracé, the major les dimensions contributor to du this rectangle englobant, board shortcuts, mais aussi the experiment la clearly shows t regression model for predicting errors was statistically to replace or compete against either menu selecti on found can be suboptimal. ntrast, Protractor employs vitesse a closed-form maximale solution et to la durée significance du geste. is the La training qualité sample des données size and there d'entraînement was no (les shortcuts gestes) pour can be le as reconnaisseur section, this de Rubine, closed-form comme Figure efficient as or more advantag a rotation that leads to the minimum angular distance. significant difference between the recognizers (p=.602). keyboard shortcuts. After enough practice, the e will see in the experiment However, pour 6. Percentage Protractor tout algorithme of use is significantly of eachd'apprentissage, technique faster in retest than on the est the $1 primordiale. second completion Pour le times rendre including plus both recall and execu ion enables Protractor day (by participant) précis to outperform (efficace), previous il doit être recognizer entraîné (see avec Figure un 3). grand Although nombre the time d'exemples needed for suffisamment indistinguishable diversifiés between pour the two types of shortc nizers in both recognition accuracy and speed. Here I recognizing a gesture increases linearly for both recognizers refléter les variations entre les utilisateurs et les différents contextes d'utilisation. Cette ever with diversité the same naturelle fixed amount of practice, the p the closed-form solution. as the number of training samples grows, the $1 recognizer successfully recalled more shortcuts and made fe est généralement difficile cuts à obtenir learneden and laboratoire see which où les typegestes of shortcuts sont réalisés they preferred. Figure ces reconnaisseurs 6 shows each individual fonctionnent participants souvent percent- de manière in the consciente Stroke condition (contrôlée, artificielle). Par ailleurs, we intend to rotate a preprocessed template gesture t increases at a much rapid rate. For example, when 9 than in the Keyboard hypothetical amount so that the resulting angular training samples are used for each of the 16 symbols, the $1 comme des Onboîtes the second noires dayconte- nant the participants chose to use str ce is the minimum (i.e., age of use for each technique (Keyboard, Stroke and Menu). the similarity des données reaches définies its recognizer took over 3 ms to recognize a gesture, while it Although dans un varied espace byà individual, n dimensions, average rendant significantly leur implémentation cuts significantly more difficile à vérifier more often than keyboard shor mum), we formalize this intuition as: took Protractor less than ½ ms to do so. correctly recalled about 3 times as many stroke sh et à corriger. stroke shortcuts than keyboard shortcuts were used (F 1,13 = keyboard shortcuts. 43, p<.0001). The overall mean percentages of use for the optimal argmin arccos v t v g (4) Plus récemment, l'approche three consistant techniquesà were: se baser 77.7 sur % Stroke, des modèles 20.3% de Keyboard, v gestes (templates) a regagné l'attention des chercheurs et fait l'objet de plusieurs applications dans la reconnaissance de Thetracés. study we Ainsi, conducted le re-suggests that stroke gestu t v g 2%Menu. STROKE SHORTCUTS AND UI DEVELOPMENT represents the vector acquired after rotating template t connaisseur $1 (Wobbrock Finally, et al., answers 2007) to s'abroge the postde hocla questionnaire nécessité de showed l'apprentissage that used en s appuyant as commandsur shortcuts un that are as effective a Note that this is on top of the alignment rotation that ensemble de modèles gestuels. all of the Il participants permet d'être had facilement intensive previous utilisable experience pour le with prototypage more effective rapide d'applications respect basées to, we sur find les gestes. different Néanmoins, shortcuts) l'algorithme and that none of testant them had incrémentalement ever used strokes. différentes lenging thanrotations implementing du keyboard shortcuts bec than, keyboard shortcuts. Howev erformed in the preprocessing. As we intend to keyboard shortcuts in their everyday activity (about menting stroke shortcuts in real applications is m ize the cosine distance with geste, la durée de calcul augmente rapidement avec la taille du vocabulaire utilisé. d arccos v t v g v t v Le g Protractor 0 (Li, 2010) (5) étend l'algorithme $1 en apportant une solution analytique 2293 qui permet de déterminer immédiatement la rotation optimale entre le geste entré et celui du vocabulaire. Number of training samples per gesture category d Figure 2. The error rates of both the $1 recognizer and ng Equation (5) gives the following solution: Protractor decrease as more training samples are used. optimal arctan b a (6) e a is the dot product of v t and v g (see Equation 2) and iven in Equation 7. n b x ti y gi y ti x gi (7) i 1 optimal calculated, we can easily acquire the maximum arity (the inverse minimum cosine distance) between o vectors. We then use this similarity as the score for Number of training samples per gesture category well gesture template t predicts the unknown gesture g. esture template that has the highest score becomes the Figure 3. The milliseconds needed for recognizing a gesture Protractor Le temps requis pour reconnaître un geste augmente avec le nombre d exemples de gestes. hoice in the N-best candidate list. grows as the number of training samples increases. Protractor Protractor est runs significativement significantly faster plus than the rapide $1 recognizer. que le reconnaisseur 1$. L'algorithme d'appert et Bau (Appert et Bau, 2010) permet de reconnaître les gestes et de déterminer 2171 leur échelle en cours de tracé (reconnaisseur à priori). Il se base pour cela sur un vecteur d'angles que fait chaque segment avec un axe de référence. INRIA / CNRS Équipe in situ " 9

10 2.4. Guides et techniques d apprentissage Plusieurs projets de recherche ont étudié et mis au point des techniques dans le but de soutenir l'utilisateur dans la découverte et l'apprentissage de gestes. Deux mécanismes sont utilisés : le feedforward, qui renseigne sur la forme des gestes et leur association avec une commande particulière, et le feedback, qui informe sur la reconnaissance du geste pendant ou après sa réalisation. Ces mécanismes mettent en jeu deux modes : le mode expert et le mode novice. Dans le mode expert, seul le tracé effectué est affiché ainsi que, une fois le geste accompli, le nom de la commande sélectionnée ou alors directement le résultat de l'opération. L'utilisateur bascule dans le mode novice lors d'une hésitation caractérisée par une absence de mouvement du périphérique d entrée. Ce mode consiste en général à afficher les gestes possibles avec le nom ou le symbole des commandes associées. L'efficacité des techniques proposées résulte dans la façon de passer du mode novice au mode expert Menus La plupart des menus permettent de déclencher une commande en faisant un tracé particulier. Leur apparence visuelle informe des commandes disponibles et du geste à réaliser pour les sélectionner, ce qui fait qu ils peuvent être considérés comme des guides gestuels. Les Marking Menus (Kurtenbach et Buxton, 1991) étendent le principe des menus circulaires (Callahan et al., 1988) en introduisant ces deux modes. Dans le mode expert, l'utilisateur fait une marque dans la direction du secteur désiré sans que le menu soit affiché, alors qu'il l'est dans le mode novice. (a) Mode novice (b) Mode expert Marking Menu Exemple de sélection d un élément du menu dans deux modes Des études empiriques (Kurtenbach et Buxton, 1993) montrent que les utilisateurs peuvent faire des marques jusque dans 12 directions différentes avec un taux d'erreur acceptable. Les Marking Menus hiérarchiques (Kurtenbach et Buxton, 1993) permettent alors d'augmenter le nombre de commandes en faisant des gestes en forme de zigzags. Une autre variante, les Multi-Strokes Menus (Zhao et Balakrishnan, 2007) permettent d augmenter davantage le nombre de commandes et de réduire l espace requis puisque la navigation dans la hiérarchie se fait à l aide de traits discontinus. Cette richesse accrue de commandes se fait néanmoins au prix d une difficulté de mémorisation plus grande, la seule dimension de direction n'étant pas très expressive. Afin d'y remédier, les Marking Menus hybrides (Isokoski et Käki, 2002), tout comme les Flower Menus (Bailly et al., 2008), introduisent une dimension supplémentaire : les courbures, optionnelles, à la fin des gestes, les rendent plus faciles à retenir et conviennent également à une utilisation sur de petites surfaces tactiles. 10" INRIA / CNRS Équipe in situ

11 Enfin, les FlowMenus (Guimbretiére et Winogard, 2000) et les Control Menus (Pook et al., 2000) proposent de sélectionner une commande et de définir, dans la continuité du geste, la valeur d un paramètre. FlowMenu Exemple d utilisation pour définir le zoom à 100% Gestes iconiques Les gestes iconiques sont, par leur expressivité, plus faciles à apprendre, mais nécessitent des guides plus élaborés. Les anti-sèches avec des animations en contexte (Kurtenbach et al., 1994) permettent à la fois de découvrir l'ensemble des commandes disponibles ainsi que la manière de les utiliser en conjonction avec un objet sélectionné. Par exemple, si l'opération de suppression d'un objet consiste à le barrer horizontalement, une animation barrera l'objet sélectionné invitant alors l'utilisateur à faire de même. Ces guides sont néanmoins très gourmands en termes de surface d'affichage et l'absence de feedback continu ne permet pas de savoir si le geste en train d'être réalisé est correctement reconnu ou pas. Fluid Sketches (Arvo et Novins, 2000) transforme au fur et à mesure le tracé en des formes simples (ronds, carrés ) les plus proches. Il exige cependant de tracer une portion considérable de la forme avant de voir l'effet d'embellissement (notamment, plusieurs boucles sont requises avant que le système ne détecte un rond). La détection des coins en analysant les variations de la vitesse du tracé (Agar et Novins, 2003) permet alors de le segmenter plus facilement et d'appliquer plus rapidement la transformation sur des objets polygonaux. Ainsi, un carré sera reconnu dès que le quatrième bord sera dessiné, au lieu de tracer deux fois son contour. OctoPocus (Bau et Mackay, 2008) propose une aide plus sophistiquée en ne se limitant pas à des formes géométriques «classiques». Elle consiste à afficher les chemins des gestes possibles à partir de la position actuelle du curseur et à faire varier en continu leur épaisseur pour informer de leur taux de reconnaissance. Si l'un d'entre eux passe sous un certain seuil, le tracé correspondant disparaît complètement. RVA IHM IHM RVA SMA TAL OctoPocus Affichage de quatre commandes possibles. Un déplacement le long du chemin de la commande «IHM» entraîne la disparition ou l'amincissement des autres chemins, car ils sont pas ou peu reconnus. INRIA / CNRS Équipe in situ " 11

12 Gestes multi-touch Principalement pour des raisons d occlusion et de complexité visuelle, les guides précédents sont difficilement exploitables pour des gestes multi-touch. ShadowGuides (Freeman et al., 2009) affiche sur une zone déportée la main telle que vue par le système (une ombre) en la complétant avec des ombres, flèches et autres annotations graphiques symbolisant les positions possibles pour activer différentes commandes. L'impact positif sur la mémorisation par rapport aux vidéos montrant les gestes filmés est significatif. Gesture Play (Bragdon et al., 2010) utilise une approche basée sur des métaphores physiques afin d'encourager l'apprentissage de gestes. Bien que les utilisateurs n'aient pas retenu davantage les gestes par rapport à un apprentissage par vidéos, ils ont néanmoins montré plus d'intérêt et d'envie à apprendre les gestes en question Conception de vocabulaires de gestes Les méthodes de mise au point de vocabulaires de gestes ont pour but de les rendre facile à réaliser, à apprendre et à mémoriser. Pour les Marking Menus, Kurtenbach et Buxton (1993), se posent la question sur la manière de répartir les commandes dans les différents niveaux. Les résultats de l'étude montrent que les largeur et profondeur maximales sont respectivement de 8 et 2, le facteur limitant étant le nombre d'erreurs acceptable. Néanmoins, pour une quantité fixe de commandes, alterner entre 4x4x4 éléments et 8x8 éléments donne les mêmes résultats. Enfin, les performances identiques avec la souris et le stylet (avec un très léger avantage pour celui-ci) montrent que ces menus sont compatibles avec les souris. Long et al. (2000) donnent un ensemble de recommandations de conception. Par exemple, la similitude perceptive des gestes est en corrélation avec des caractéristiques comme la courbure. MicroRolls (Roudaut et al., 2009) propose un vocabulaire particulièrement large s il est mis en rapport avec la taille des gestes. En effet, un MicroRoll s opère en faisant simplement rouler le pouce, ce qui le rend particulièrement adapté aux appareils tactiles mobiles Applications Cette section présente des applications de l interaction gestuelle dans des domaines variés Dessin Si Buxton et Rubine ont créé des logiciels de dessin (respectivement GEdit et GDP), c'est avant tout pour illustrer leurs théories ou algorithmes d'interaction gestuelle. Nous présentons ici quelques travaux dont le but est d'aller au-delà du simple prototype, et qui reprennent souvent des métaphores et techniques anciennes d'illustrations. Ligne Claire (Baudel, 1994) s'inspire des méthodes des artistes de bande dessinée et permet d'éditer les tracés selon quatre modes. Le premier consiste à créer un trait, le second permet de modifier une partie d'un trait en retraçant le segment à ajuster, le troisième supprime un segment en le hachurant et le dernier permet de joindre deux extrémités. L'édition des lignes peut se faire alors de manière successive et naturelle, sans détériorer le dessin en cours de réalisation. 12" INRIA / CNRS Équipe in situ

13 Ligne Claire Effet d un tracé dans chacun des quatre modes Digital Tape Drawing (Balakrishnan et al., 1999) reprend une technique utilisée par les graphistes d'automobiles : l'utilisation de scotch photographique permettant d'obtenir une courbure particulière contrôlée avec les deux mains qu'il est difficile, voire impossible, d'obtenir avec un stylet numérique, à main levée. SKETCH (Zeleznik et al., 1996) permet d'exploiter des tracés effectués sur un plan afin d'en faire des objets tridimensionnels. En fonction de l'orientation et de la position des lignes par rapport au point d'origine, certaines seront extrudées le long d'un trait ou alors par circonvolution. Cette technique autorise ainsi à obtenir des primitives aux dimensions voulues afin de réaliser rapidement une maquette. Imaginary Interfaces (Gustafson et al. 2010) pousse le concept encore plus loin en effectuant des tracés dans l'espace devant soi qui peuvent être capturés par des téléphones dépourvus de tout écran. Une caméra infrarouge fixée sur la veste capte les mouvements de la main dominante dans le plan défini par la main non dominante, formant un «L» avec le pouce et l'index. Le seul feedback visuel des gestes effectués s'effectue alors dans l'imagination de l'utilisateur. Les tracés capturés peuvent par exemple être retransmis via le téléphone à un correspondant pour illustrer plus précisément le chemin qui le mène à l'endroit demandé auparavant. Imaginary Interfaces (a) Image brute de la caméra. (b) Version en noir et blanc. (c) Extraction des contours de la main. (d) Extraction des trois points de la main gauche et du point saillant de la main droite. (e) Appareil de capture. INRIA / CNRS Équipe in situ " 13

14 Texte L'utilisation de gestes pour l'entrée de texte présente plusieurs avantages. La simple position des tracés procure suffisamment d'information au système pour alterner rapidement entre texte, schéma, formule mathématique, tableau Alors que sur les systèmes traditionnels, l'emploi explicite de commandes ou de modes est souvent exigé pour y parvenir. Les premiers reconnaisseurs de caractères datent de l'époque de Sketchpad : (Teitelman, 1964), (Brown, 1964) et (Bernstein, 1964). Celui du MessagePad (Apple, ) était basé sur les mots. Cela permet de bénéficier du contexte pour corriger les fautes de frappe éventuelles, mais posait des problèmes lorsque le mot écrit ne figure pas dans le dictionnaire. Certains reconnaisseurs utilisent des formes plus ou moins proches des caractères classiques, altérés au profit d'une entrée gestuelle plus rapide. Graffiti (Palm, 1996), utilisé par les assistants personnels tournant sous Palm OS, dispose d'un vocabulaire constitué de caractères majuscules simplifiés pour qu'ils soient réalisables en un seul trait, sans lever le stylet. Unistroke (Goldberg et Richardson, 1993), est dans la même lignée, mais propose un alphabet encore plus éloigné de l'alphabet traditionnel afin d'optimiser davantage la vitesse d'écriture. Une étude empirique (Castellucci et MacKenzie, 2008) montre qu'unistroke est plus rapide que Graffiti, au prix d'un temps d'apprentissage légèrement plus long. Alphabets gestuels avec Graffiti (en haut) et Unistrokes (en bas) D'autres systèmes ont une reconnaissance encore plus souple. Aha! InkWriter (Aha! Software Corp., 1993) reconnaît la morphologie d'un document rédigé à l'aide d'un stylet. Ainsi, sans en connaître la signification, à partir des caractéristiques des tracés, il est en mesure de détecter des mots, des paragraphes et des schémas sans en connaître la moindre signification. Les connaissances sont suffisantes pour supprimer un ou plusieurs mots d'un simple trait et réarranger les autres mots pour qu'ils occupent l'espace vide, comme dans un logiciel de traitement de texte. Les dessins peuvent être redimensionnés ou même embellis en les remplaçants par la forme primitive la plus proche (par exemple, un rond dessiné à main levée par un rond parfait). S'il est naturel de vouloir réaliser avec un stylo numérique ce que nous faisons habituellement avec un stylo traditionnel (à savoir, dessiner et écrire des mots qui devront être reconnus par le système), la combinaison geste et clavier logiciel («softkeyboard») peut se montrer plus efficace et moins sujette aux erreurs. Par exemple, en combinant le clavier avec les Marking Menus (Hashimoto et Togasi, 1995), on peut, d'un geste court, à la fois entrer un caractère et un modifieur («majuscule», «ctrl», «alt» ) ou alors accéder rapidement à des caractères spéciaux couramment utilisés comme «enter», «suppr», «espace». 14" INRIA / CNRS Équipe in situ

15 Un autre exemple intéressant est le système ShapeWriter (Zhai et Kristensson, 2003) qui permet de tracer un geste continu liant les lettres du mot à écrire plutôt que de taper sur chacune de ces lettres. Le support offert par le clavier gestuel sert de guide pour l exécution des gestes disponibles tandis que les gestes, une fois mémorisés, permettront une entrée plus rapide du mot associé. Afin de pouvoir se reposer un clavier logiciel classique sans ambiguïté en cas de saisie gestuelle, ShapeWriter combine son reconnaisseur de formes avec un dictionnaire de mots. ShapeWriter Exemple de tracé pour écrire le mot «fun» Précédemment, d autres systèmes avaient proposé des représentations graphiques différentes des caractères alphanumériques. QuickWriting (Perlin, 1998) utilise notamment une disposition circulaire des caractères. L utilisateur joint les lettres d un même mot par un geste continu qui repasse par le centre entre chaque lettre. Pour lever l ambiguïté entre des lettres adjacentes sur le cercle, Perlin propose d utiliser la direction du geste juste après le franchissement de la lettre Musique Les gestes sont aussi particulièrement pertinents dans des systèmes de notation qui comportent plus de dimensions que l écriture. Dans le cadre du Structured Sound Synthesis Project (SSSP), plusieurs logiciels dédiés aux compositeurs furent réalisés. L un d entre eux est un outil d écriture de notes musicales, Char-rec (Buxton, 1979). Les notes sont insérées en démarrant le tracé à la position où elles doivent apparaître sur la portée et la forme du trait indique la durée de la note souhaitée (blanche, noire, croche, ). Il introduit alors la notion de raccourcis, de marques qui caricaturent l objet à créer. Un geste spécifie hauteur, position et durée de la note (3 paramètres en un seul trait). Musink (Tsandilas et al., 2009) permet aux compositeurs d associer les caractéristiques de marques faites au stylo (par exemple, les dimensions du tracé, son envergure, la forme générale qui lui est associée ) à leurs logiciels de composition musicale. INRIA / CNRS Équipe in situ " 15

16 Autres Une technique récente, Data Miming (Holz et Wilson, 2011), consiste à utiliser les gestes pour sélectionner un objet parmi un ensemble d objets contenus dans une base de données. L utilisateur décrit l objet recherché en mimant, avec ses mains, sa forme, face à une caméra capable de détecter la profondeur. La vitesse de déplacement des mains permet de discriminer les gestes descriptifs, plus lents, des gestes transitoires. Il existe évidemment un grand nombre d autres applications, comme le vocabulaire de gestes dédié au contrôle du trafic aérien (Chatty et Lecoanet, 1996) ou encore le système basé sur les gestes pour contrôler le comportement de robots à distance (Sakamoto et al., 2009) Conclusion L interaction gestuelle peut, au travers d outils et d un vocabulaire de gestes bien défini, rendre accessible des fonctions qui l étaient difficilement, voire pas du tout, avec les paradigmes usuels. On remarque que peu de techniques utilisent les caractéristiques dynamiques du geste. Lorsque c est le cas, comme dans l algorithme de Rubine, le détecteur de polygones (Agar et Novins, 2003), ou encore Data Miming, elles restent néanmoins marginales et sont principalement utilisées pour aider à la distinction de la forme des gestes. Ainsi, sur le plan de la recherche, un certain nombre de voies restent à explorer, notamment l étude des caractéristiques dynamiques, qui remet alors en question tous les points abordés précédemment (algorithmes, guides, conception de vocabulaires ). 16" INRIA / CNRS Équipe in situ

17 3. SAM Dans le contexte des dispositifs mobiles, il y a plusieurs besoins clairement identifiés à satisfaire : activer beaucoup de commandes de tout type (ces appareils tendent à offrir l expressivité d un ordinateur de bureau, le vocabulaire d entrée doit être potentiellement très riche), éviter les problèmes d occlusion, éviter les problèmes d inaccessibilité. Un premier objectif fut donc de proposer un mode gestuel dans lequel l'utilisateur pourrait réaliser un grand nombre d'opérations diverses tout en restant dans le contexte d'une utilisation à une main (interaction avec le pouce). Or, proposer un vocabulaire gestuel nécessite également de concevoir des guides visuels afin de permettre à l'utilisateur de découvrir l'ensemble des commandes et de réduire la charge cognitive. En implémentant OctoPocus en JavaScript dans le but de pouvoir l utiliser facilement sur différentes plateformes (figure 3.1), nous nous sommes aperçus que les gestes emblématiques impliquent des guides dont la complexité visuelle, les contraintes spatiales et l'occlusion, semblent peu appropriés pour une première approche de la problématique. Figure 3.1 Utilisation de la version implémentée en JavaScript sur un ipod touch Nous avons donc décidé de baser notre solution sur les menus circulaires. Ce sont des guides gestuels simples (ils dirigent des tracés dans une direction) qui donnent la possibilité d'être augmentés facilement pour représenter, avec clarté, les différents types de commande : le déclenchement d'une opération (par exemple, ouvrir une application), l'activation ou la désactivation d'une option (par exemple, activer ou non le moyen de communication Bluetooth), la sélection d'une valeur dans une liste (par exemple, choisir un réseau wifi) et la spécification d'une valeur continue (comme le zoom dans un logiciel de cartographie) ou discrète (comme le choix d'une date pour un rendez-vous). Curieusement, si la littérature regorge de présentations de différents types de menus, aucun ne répond à la fois aux problèmes d'exploration et d accès à un grand nombre de fonctions. Comme l évoque l état de l art précédent, la simple combinaison des techniques existantes n est pas directement envisageable, car elles exploitent des pistes de réponse incompatibles. Lors de la conception du Swiss Army Menu (SAM), notre objectif était de créer une technique satisfaisant tous ces besoins. INRIA / CNRS Équipe in situ " 17

18 3.1. Première approche Dans les premières versions, nous avons envisagé de pouvoir déplacer le menu à distance, depuis n importe quelle position de la surface de l écran. En ajoutant de l inertie, nous souhaitions ainsi répondre aux problèmes d accessibilité du pouce en permettant de lancer le menu dans une direction donnée. Un élément du menu est alors sélectionné lorsque le palet rouge, fixe, casse le bord extérieur de celui-ci (figure 3.2). Smartphone Palet Menu circulaire (mobile) Pouce en contact avec l'écran Command 2 Command 1 Command 4 Command 3 Command 2 Command 1 Command 4 Command 3 Command 2 Command 1 Command 3 Command 4 Figure 3.2 Sélection d un élément du menu en déchirant le bord extérieur Les inconvénients sont néanmoins multiples : la lecture du menu est difficile lorsqu il est en déplacement et aucun modèle simple ne permet de proposer une navigation dans une hiérarchie de commandes. Poussés par la volonté d exploiter la dynamique du geste (notamment, la vitesse), nous avons imaginé d autres techniques mettant en jeu un pneu (figure 3.4-(a)). Celui-ci a l avantage de proposer un feedback visuel clair qui informe immédiatement de la force avec laquelle le menu ou le palet s est écrasé contre la paroi, ce qui a pour effet de déclencher une commande particulière. Palet Command 1 Command 2 Command 3 Command 4 Pie Menu Pneu Zone de déplacement Command 2 Command 1 Command 4 Command 3 Lance-palet Smartphone Commande Command 2D Command 2C Command 2B Command 2A Command 1D Command 1C Command 1B Command 1A (a) (b) Figure 3.3 (a) Métaphore du pneu, la sélection se faisant lorsque l épaisseur du pneu est nulle ou lorsque le pneu est en contact et que l utilisateur relâche le pouce. (b) Utilisation d un palet que l on lance sur un élément pour déclencher la commande associée. Une autre idée fut d utiliser un palet que l on lance sur une commande ou au travers d un lance-palet (figure 3.4-(b)), dont l utilisation est similaire à MagStick. Mais l exploitation de l inertie est trop difficile dans des conditions de mobilité. De ces différentes approches, nous avons retenu le pointage indirect (mais contrôlé, sans accélération ou inertie) et d autres propriétés que nous détaillons dans la section suivante. 18" INRIA / CNRS Équipe in situ

19 3.2. Description L utilisation de SAM se fait au travers d'un palet, évoluant dans une zone restreinte, qui peut être contrôlé depuis n'importe quelle position de l'écran (figure 3.4-(a)). Ce fonctionnement est en accord avec les capacités physiologiques du pouce, lui permettant alors d'accéder facilement à toutes les commandes sans les masquer. Font Size Italic Style Font Size 17 pt Palet Commande Bord extérieur Underline Sous-menu Bascule inactive Zone de contrôle Ruban élastique Circulaire Élastique Bascule active Zone inactive (a) Exemple d utilisation (b) Anatomie Figure 3.4 (a) Exemple d utilisation et anatomie de SAM Événements La partie centrale du menu contenant le palet est composée de deux aires concentriques : une zone inactive et une zone de contrôle (figure 3.4-(b)). Elles sont séparées par un élastique noir, qui se déforme au contact du palet. L'interaction entre ces deux objets permet d'introduire un nouveau vocabulaire de trois types d'événements : Contact : Le palet touche l élastique (figure 3.5-(a)). Étirementx : Le palet étire l élastique d une distance x (compris entre 0 et d) par rapport à l état au repos (figure 3.5-(b)). Traversée : Le palet traverse l élastique s il l étire en se déplaçant vers un élément de type circulaire ou un sous-menu et qu il touche le bord extérieur (dans ce cas, x d, où d est la distance entre l élastique et le bord extérieur). Il peut ensuite le retraverser pour revenir dans la zone inactive en déformant l élastique dans l autre sens d une distance x d (figure 3.5-(c)). x d (a) Contact (b) Étirementx (c) Traversée Figure 3.5 Types d événements générés par l interaction entre le palet et l élastique Ces événements permettent d'utiliser des types d'éléments variés, qui se distinguent chacun par des indices graphiques explicites (figure 3.5). Dès que le palet touche l'élastique, l'élément le plus proche est sélectionné et si l'utilisateur lève le pouce, l'interaction avec le menu se termine. Sinon, lorsque le palet se INRIA / CNRS Équipe in situ " 19

20 trouve dans la zone inactive, il peut repositionner son pouce afin d'accommoder la prise en main (similaire au débrayage réalisé avec la souris) Types d éléments Nous passons en revue la manière d'interagir avec ces différents éléments. Lorsque l'élément commande est sélectionné, la fonction associée est déclenchée au moment où l'utilisateur relève le doigt. Remplaçant les cases à cocher (sélection multiple) ou les boutons radio (sélection unique), l'élément bascule passe dans l'état opposé (actif ou inactif) lorsque le palet étire l'élastique jusqu'à toucher le bord extérieur. Si plusieurs éléments de ce type sont côte à côte, l'utilisateur peut les changer en glissant le palet le long du bord comme illustré dans la figure 3.6-(a). Lorsque plusieurs propriétés sont regroupées, comme c'est le cas avec les boutons radio, les éléments sont alors liés au travers d'un fil (figure 3.6-(b)). Déplacer le fil vers un des éléments l'écarte du précédent élément sélectionné afin d'assurer l unicité. Italique Titre Section Liste Gras Style Paragraphe Légende Souligné Citation (a) Sélection continue (b) Sélection unique Figure 3.6 Apparence et utilisation de l élément bascule Si la plupart des menus existants contiennent des éléments associés à une commande ou un sous-menu, d'autres comme les Control Menus (Pook et al., 2000) et les FlowMenus (Guimbretière et Winograd, 2000) enrichissent l'interaction en permettant le contrôle continu de la valeur d'un paramètre d'une commande (par exemple, le zoom). Néanmoins, ces techniques ne sont pas facilement utilisables sur les appareils mobiles pour des raisons de place et les guides proposés ne sont pas suffisamment intuitifs et évocateurs de la fonction qu'ils représentent. Les éléments élastique et circulaire répondent alors à ces exigences. L'élément élastique, qui ne dispose pas d équivalent dans les interfaces usuelles, permet de modifier une valeur en contrôlant la vitesse à laquelle elle est incrémentée ou décrémentée, selon la distance x d'étirement de l élastique (figure 3.7-(a)). L'élément circulaire permet de changer une valeur d'une manière semblable aux sliders. Lorsque le palet traverse l élastique pour entrer dans la zone de contrôle, les autres éléments du menu disparaissent pour réduire l'occlusion et, dès lors, l'utilisateur peut déplacer le palet dans le sens horaire (respectivement antihoraire) afin d'incrémenter (respectivement décrémenter) la valeur (figure 3.7-(b)). Il peut également annuler l'édition de la valeur en revenant dans la zone inactive. Sinon, il valide la valeur en levant le pouce. 20" INRIA / CNRS Équipe in situ

21 Augmenter taille de police Augmenter taille de police Taille de police 15 pt Annuler Taille de police 12 pt Annuler Taille de police 17 pt Diminuer taille de police Diminuer taille de police (a) Élément élastique (b) Élément circulaire Figure 3.7 Exemples d utilisation des éléments élastiques et circulaires Italic Italic Title Section List Bold Style Bold Style Paragraph Legend Underline Italic Underline Italic Citation Title Section List Bold Style Bold Style Paragraph Legend Underline Citation Underline Figure 3.8 Étapes de la transition vers un sous-menu La navigation dans la hiérarchie est assurée par l élément sous-menu (figure 3.8). Il se déclenche comme l élément commande, et permet alors, via plusieurs gestes directionnels, d accéder à un élément ne se trouvant pas dans le premier niveau du menu. De plus, il permet de prévisualiser les éléments qu il contient en traversant l élastique. Les éléments du niveau actuel s écartent alors pour laisser apparaître les éléments enfants, à l instar du Wavelet Menu Élastique La métaphore de l élastique utilisée dans SAM est particulièrement intéressante. D une part, elle offre un retour visuel plus riche dans l'esprit des guides Gesture Play (Bragdon et al., 2010). Contrairement aux menus circulaires à l'apparence statique, le caractère dynamique de l élastique permet de découvrir et de saisir plus facilement le fonctionnement de SAM. D autre part, l'élastique peut modifier le contrôle indirect du palet en amortissant les mouvements réalisés vers la périphérie s'il se trouve dans la zone inactive ou vers le centre dans l'autre cas. En se plaçant dans un système de coordonnées polaires (r, θ) ayant pour origine le centre de SAM, la simple équation de la figure 3.9 montre comment un déplacement du doigt mesuré par ( r, θ) est transformé pour être appliqué au palet ( r', θ') via les coefficients sr et sθ. Là encore, la valeur x de l'événement d'étirement est utilisée pour déterminer la valeur de sr : elle évolue en proportion inverse par rapport à x, tandis que sθ reste à 1. INRIA / CNRS Équipe in situ " 21

22 Figure 3.9 Altération du déplacement du palet Cet amortissement permet de contrôler plus finement l'utilisation des éléments élastiques. Il peut également, dans le cas des éléments circulaires, empêcher que le palet quitte involontairement la zone de contrôle en apportant plus de tolérance aux mouvements circulaires réalisés par l'utilisateur. Ce dernier devra alors faire des mouvements plus secs pour traverser l élastique, ce qui créera des pics d accélération significatifs qui seront plus faciles à détecter dans le mode expert, décrit ci-après Mode expert En effet, SAM dispose d'un vrai mode expert, comme la plupart des menus circulaires. Il consiste à ne pas afficher le menu tant que l'utilisateur n'a pas marqué une courte pause (300 ms). Néanmoins, simplement masquer l'apparence du menu revient à s'exposer au risque que l'utilisateur ait une mauvaise idée du véritable emplacement du palet. Des trajectoires voulues comme circulaires peuvent en réalité être des ellipses plus ou moins étroites et causer des passages involontaires entre la zone inactive et celle de contrôle. De même, les déplacements peuvent ne pas être assez longs et le palet peut, contrairement aux attentes, ne pas toucher l'élastique ou le bord extérieur. Une version plus efficace de ce mode consiste à ne plus considérer la forme et la longueur du tracé, à l'exception des éléments élastiques. L'orientation suffira à déterminer l élément commande, bascule ou sousmenu à activer et les variations d'accélération permettront de déterminer quand le palet entre dans la zone de contrôle pour changer la valeur d'un élément circulaire Une solution complète Certains travaux ont adapté des menus pour une utilisation sur un appareil mobile, mais souvent, ils constituent des solutions isolées qui introduisent d'autres défauts. Par exemple, le Wavelet Menu (Francone et al., 2009) est une adaptation du Wave Menu (Bailly et al., 2007) facilitant l'exploration de l'ensemble hiérarchique de catégories, mais ajoute le phénomène d'occlusion. De façon similaire, l'archmenu et le ThumbMenu (Huot et Lecolinet, 2007) mettent des commandes à portée de pouce, au prix d'une disposition restreignant le nombre d'éléments. D'autres techniques dédiées à une utilisation à une main d'un dispositif mobile proposent des solutions pour répondre aux problèmes d'occlusion et du champ d'action réduit du pouce. MagStick (Roudaut et al., 2008) permet, au travers d'un bâton télescopique virtuel, d'accéder à des régions inaccessibles de l'écran et d'éviter de masquer la zone d'intérêt en requérant d'éloigner le doigt de celle-ci pour pouvoir la sélectionner. ThumbSpace (Karlson et Bederson, 2008) permet d'accéder à n'importe quel point de l'écran en disposant, sous le pouce, un trackpad logiciel qui représente une taille réduite de l'écran. Mais là encore, les solutions sont isolées et impossibles à agréger afin de pouvoir combiner leurs avantages. SAM, qui emprunte son nom aux couteaux suisses, est le premier menu qui permette simultanément d explorer aisément un ensemble de commandes, grâce à de petits déplacements du pouce, et de garantir une richesse fonctionnelle. Il a fait l objet d un article court rédigé en anglais, qui figure en annexe de ce rapport, et accepté à la conférence IHM " INRIA / CNRS Équipe in situ

23 3.3. Applications Les exemples d utilisation présentés dans les précédentes figures (3.6 à 3.8), montrent les commandes qu il serait possible de déclencher dans le cadre d un logiciel de traitement de texte. L exemple de la figure 3.10 met en scène l utilisation d un élément circulaire pour modifier le zoom sur une carte. On peut également imaginer une utilisation de ce même élément pour retrouver un instant précis dans une vidéo. Zoom Zoom Tilt Rotate Tilt Rotate Options Options - Zoom + Figure 3.10 Étapes de l utilisation de l élément circulaire pour zoomer sur une carte D autres possibilités d utilisation sont possibles en étendant le design de SAM. Notamment, en combinant un élément circulaire avec deux élastiques, on peut obtenir un sélecteur de couleur précis (figure 3.11). Nous prévoyons d ailleurs de proposer une technique qui permette de sélectionner une valeur continue définie sur trois dimensions et plus. Couleur Figure 3.11 Combinaison d un élément circulaire avec deux élastiques (en gris) pour sélectionner une couleur (le palet est représenté par un cercle noir dans la zone colorée) INRIA / CNRS Équipe in situ " 23