Commandes gestuelles interactives avec prédiction de trajectoires de gestes graphiques

Transcription

1 Université de Rennes 1 IFSIC Master recherche en informatique Parcours: Des données aux connaissances Equipe de recherche: IMADOC Maîtres de stage : Eric Anquetil et Adrien Delaye Étude bibliographique Commandes gestuelles interactives avec prédiction de trajectoires de gestes graphiques Sekkal Rafik Rennes, le 27 Janvier 2010

2 TABLE DES MATIÈRES 2 Table des matières 1 Introduction 3 I État de l art 4 2 Reconnaissance gestuelle Reconnaissance en-ligne vs hors-ligne Extraction de caractéristiques Single Stroke Multi Stroke Reconnaissance orientée par le contexte Les menus interactifs Menus déroulants (linéaires) Menus circulaires Étude comparative entre les types de menus ArchMenu et ThumbMenu II Commandes gestuelles interactives 9 4 Menus gestuels interactifs Les menus feuilles Les menus fleurs OctoPocus Caractéristiques des classifieurs Reconnaissance prédictive à la volée Rejets Théorie cinématique Principes Domaine d application Conclusion 14 Références 14

3 1 Introduction 3 1 Introduction L informatique nomade a connu un très grand progrès ces dernières années avec l utilisation de différents types de périphériques ; on peut les trouver sous diverses formes : ordinateurs tablettes, assistants personnels numériques (PDA), téléphones mobiles intelligents (Smartphone), etc. Ces terminaux combinent à la fois les fonctionnalités d affichage d un écran ordinaire et celle d un dispositif de pointage. Ils permettent donc de réduire le nombre de périphériques (entrée/sortie) nécessaires pour la manipulation d un système. L interaction homme machine se fait à travers des commandes définies par les concepteurs des systèmes afin d exécuter des fonctionnalités prédéfinies. La première approche d interaction était les interfaces en mode ligne de commande avec des mots clés précédés par des arguments (par exemple : cd user, ifconfig), ou des raccourcis clavier (Ctrl+a, Ctrl+s) ne présentant aucune interaction, l utilisateur est donc appelé à taper sa commande et attendre le résultat final du système. Une autre approche se base sur les commandes interactives. Dans ce cas, le système renvoie des résultats intermédiaires aidant l utilisateur à aboutir à la commande finale. Par exemple, dans le menu Démarrer de Windows, il suffit de survoler un menu pour qu un commentaire apparaisse, et que les sous-menus s ouvrent automatiquement. En parallèle, un nouveau type de commandes commence à apparaitre sur les nouveaux périphériques cités précédemment : les commandes gestuelles. L utilisateur dessine sur le périphérique de pointage un geste pour que le système puisse le reconnaitre et exécute la commande associée. Dans la plupart de ces périphériques, les commandes gestuelles ne présentent pas d interaction, l utilisateur dessine son geste sur les données souhaitées (par exemple : sélectionner du texte, puis le supprimer) et le système reconnait la commande et l exécute. On peut distinguer le dernier Smartphone d Apple (iphone) qui offre un ensemble de commandes gestuelles qui sont en plus interactives comme le zoom ou la barre de défilement. Les commandes gestuelles offrent d une part une facilité d utilisation car elles ne nécessitent pas trop de manipulations en comparaison avec les méthodes standards (clavier, souris). D autre part, la saisie est plus naturelle puisque les gestes sont tracés manuellement et peuvent être conçus suivant les habitudes de l être humain (par exemple : le geste Supprimer consiste à faire des allers retours d un point à un autre avec la notion de rature ). Cependant, l apprentissage des jeux de commandes demande un peu de temps aux utilisateurs suivant les domaines d applications (notes musicales, plans techniques... ). Dans la plupart des systèmes, on présente les commandes comme des éléments d un menu contextuel qui apparait en cliquant sur un objet graphique. On peut distinguer deux types de menus : les menus déroulants (linéaires) qui regroupent les éléments en colonnes et les menus circulaires qui regroupent les éléments à une distance égale autour du placement actuel du curseur. L activation de la commande s effectue en cliquant sur la zone associée.

4 4 L objectif du stage est de concevoir un ensemble de commandes gestuelles interactives sur un ordinateur tablette qui offre la possibilité à l utilisateur la possibilité de définir en un seul geste graphique : la commande à exécuter (copier, zoomer, supprimer...) ; la zone ciblée par la commande (image, texte... ) ; les paramètres de la commande (facteur de zoom, angle de rotation...). Ces commandes doivent offrir une interaction avec l utilisateur en lui rendant des résultats visuels intermédiaires pour permettre de continuer ou d annuler l action. Pour ce, on va utiliser la reconnaissance à la volée des gestes tracés par l utilisateur, elle nous permet de reconnaitre la commande tracée avant sa terminaison et passer à l interprétation des paramètres. Une idée sera de faire appel à la théorie cinématique pour prédire la trajectoire des gestes et essayer ainsi de les prédire au plus tôt. Dans la suite, la première section présente un état de l art sur la reconnaissance gestuelle, ses niveaux de complexité et les caractéristiques utilisées pour la classification. La deuxième section décrit les types de menus utilisés actuellement : les menus linéaires et circulaires et une étude comparative entre leur utilisation. La troisième section aborde l aspect des commandes gestuelles interactives en présentant différents mode d interaction et quelques caractéristiques que les classifieurs doivent assurer tel que la reconnaissance à la volée et les rejets. La quatrième section présente la théorie cinématique, et quelques domaines d application. Enfin, nous concluons par les solutions et les objectifs à atteindre pour ce stage. Première partie État de l art 2 Reconnaissance gestuelle 2.1 Reconnaissance en-ligne vs hors-ligne La reconnaissance gestuelle fait appel à la reconnaissance de formes, c est un ensemble de techniques visant à identifier des motifs à partir de données brutes pour prendre à la fin une décision sur leur classe d appartenance. On peut distinguer deux genres de reconnaissance suivant le type de données à traiter : la reconnaissance hors-ligne consiste à reconnaitre des documents ou des caractères contenus dans des images. Généralement, ce type de données offre un signal bruité ne contenant aucune information dynamique sur la manière dont les motifs ont été tracés (début, fin, temps,... ). Elle est utilisée pour la lecture des chèques bancaires et le tri postal...

5 2.2 Extraction de caractéristiques 5 la reconnaissance en-ligne est utilisée lorsque l échantillon d encre est constitué d un ensemble de coordonnées ordonnées dans le temps, il est donc possible de suivre le tracé et de connaître les posés et levés de stylos et la vitesse. On trouve ce genre de reconnaissance dans les systèmes à base manipulation directe, comme la reconnaissance de commandes gestuelles. Dans notre cas, nous allons utiliser la reconnaissance en-ligne puisque nous allons travailler sur les ordinateurs tablettes. La classification des gestes s appuie sur différentes approches. Une première approche structurelle consiste à définir des modèles structurels de chaque geste dans la phase d apprentissage et faire une correspondance entre le modèle en entrée et ceux de la base de données. On peut utiliser la programmation dynamique ou (Data Time Warping) pour calculer et minimiser la distance entre l échantillon et les modèles de la base [Del08]. Dans une seconde approche qualifiée statistique, on peut aussi considérer le geste d un point de vue global et le représenter par un vecteur de caractéristiques souvent de grande dimension, puis le faire passer à travers des classifieurs entrainés tels que les réseaux de neurones ou les SVM (séparateurs à vaste marge). Les caractéristiques sont calculées dans la phase de prétraitement. Leur extraction a fait l objet de différentes recherches que l on va détailler dans la section suivante en allant d un signal à tracé unique single stroke jusqu aux gestes iconiques multi stroke. 2.2 Extraction de caractéristiques Single Stroke La reconnaissance gestuelle a fait ses premières apparitions sur des gestes simples avec un seul tracé, c est-à-dire qu on ne lève pas le stylo afin de former un tracé continu. Rubine [Rub91] propose une approche statistique en se basant sur un ensemble de caractéristiques extraites à partir du signal. Il travaille sur un GDP (gesture-based drawing program) : un programme de dessin à base de geste. Par exemple : pour définir un triangle, il suffit de tracer un angle droit et donc définir la hauteur largeur et le point de début (cf. figure 1). Il utilise GRANDMA qui est un toolkit permettant de créer des interfaces gestuelles pour des applications à manipulation directe (click-and-drag interfaces). Les caractéristiques proposées respectent les critères suivants : chacune est calculée d une façon incrémentale avec un temps constant par point d entrée pour permettre de gérer les grands gestes aussi bien que les petits. Chaque caractéristique est significative pour contribuer à la discrimination. Le dernier critère consiste à choisir un grand nombre de caractéristiques pour augmenter le taux de bonne classification. On trouve donc des caractéristiques géométriques et algébriques comme le cos et sin de l angle initial, la diagonale de la boîte englobante, la distance entre le premier et le dernier point... La classification se fait avec un calcul linéaire de la somme des caractéristiques pondérée avec des poids calibrés pendant la phase d apprentissage, la classe choisie est celle qui maximise cette somme. L apprentissage consiste à modifier les poids des caractéristiques suivant leur

6 2.3 Reconnaissance orientée par le contexte 6 Figure 1 Exemples de gestes single stroke [Rub91] contribution à la discrimination. Le travail en single stroke permet d éviter les problèmes de segmentation puisqu un geste physique correspond à une commande unique Multi Stroke Les auteurs dans [WNvGV09] proposent plusieurs ensembles de caractéristiques sur différents niveaux, ils gardent le nombre de dimensions indépendant de la complexité du geste et du nombre de tracés le constituant : Au niveau global : une extension de l ensemble de caractéristiques présentées par Rubine auxquelles ils ont ajouté d autres caractéristiques calculées sur le geste global comme la boite englobante, sa surface, son centre de gravité, l angle entre l axe principal et l axe horizontal... au total cet ensemble contient 48 caractéristiques. Au niveau de chaque tracé : le même ensemble de caractéristiques mais cette fois c est calculé pour chaque tracé composant le geste, en introduisant les moyennes et l écart type calculés pour tous les tracé pertinents, les levés ou posés. Au niveau de chaque coordonnée : pour cet ensemble, l angle courant et la vitesse angulaire sont calculés pour chaque coordonnée sur n (échantillonnage). Pour les caractères occidentaux, n=30 à été très utilisé. Les performances obtenues avec ces différents ensembles de caractéristiques varient suivant les données à traiter et le type du classifieur utilisé. Par exemple, en utilisant les caractéristiques de chaque tracés, avec un SVM sur des gestes iconiques (figure 2) on obtient un taux de bonne classification de plus de 99%, par contre avec des caractéristiques au niveau de chaque coordonnée on n obtient que 97%. 2.3 Reconnaissance orientée par le contexte La reconnaissance orientée par le contexte est une autre approche qui repose sur les dispersions des gestes dans l espace. Dans ce type de classification, les auteurs dans [BAR05] exploitent les informations sur le contexte du geste à reconnaitre c est-à-dire l emplacement du geste ou caractère à reconnaitre par rapport à d autres déjà reconnus pour éviter la

7 3 Les menus interactifs 7 Figure 2 Exemples de gestes multi strokes de la collection NicIcon tracés par un seul scripteur [WNvGV09]. confusion, par exemple le geste O peut être reconnu comme le chiffre 0 ou la lettre O. Ils proposent une méthode appelée CDRM (Context Driven Recognition Method) qui modélise d abord le contexte spatial pour le tracé et fait sortir les classes de gestes susceptibles de se situer dans un tel contexte, puis passe à la reconnaissance du tracé en lui-même en discriminant uniquement les classes produites par la première étape. Les tracés sont représentés avec deux types d informations : des caractéristiques pour la description de la forme et des caractéristiques pour la description du contexte. Dans cette section, nous avons présenté différents ensembles de caractéristiques utilisés dans la classification des gestes. Dans notre cas, nous allons travailler sur des gestes à tracé unique. On pourra donc s inspirer des caractéristiques de Rubine pour la conception de notre classifieur tout en utilisant la reconnaissance orientée par le contexte qui permet de définir l ensemble des gestes éventuels suivant la zone courante du travail. 3 Les menus interactifs Selon le modèle WIMP (Windows, Icons, Menus and Pointing device ) qui présente les bases fonctionnelles des interfaces graphiques informatiques, un menu contextuel est l ensemble des commandes prêtes à être utilisées suivant le contexte courant. Il s ouvre lorsque l utilisateur clique sur un bouton spécifique sur un objet de l interface graphique, toutefois, l activation de la commande ne se fait que lorsque l utilisateur clique sur la zone associée, sans avoir à reconnaitre le tracé dessiné. Dans cette section nous allons présenter deux types de menu contextuels qui existent actuellement : les menus linéaires et circulaires et un autre type appelé ArchMenu et ThumbMenu conçus pour les appareils mobiles. 3.1 Menus déroulants (linéaires) Les menus déroulants ou les menus linéaires sont le premier type de menus apparus dans les systèmes informatique. Ce type de menus regroupe les éléments en colonne avec un ordre

8 3.2 Menus circulaires 8 Figure 3 Différents types de menu contextuel : a) menu linéaire dans Gnome, b) menus circulaires hiérarchiques prédéfini par le système. Un menu est une liste de choix présentés à l utilisateur contenant toutes les commandes possibles à l exécution à partir de l application courante (cf. figure 3a). 3.2 Menus circulaires Un menu circulaire (en anglais : pie menu, radial menu ou marking menu ) est un menu contextuel contenant des éléments placés autour du curseur. Au lancement, Don Hopkins [Hop91] place le curseur dans le centre -une région inactive- et les commandes se trouvent au voisinage dans des régions actives (cf. figure 3b). L utilisateur pourra choisir sa commande on déplaçant le curseur jusqu à la zone de la commande concernée. 3.3 Étude comparative entre les types de menus Dans [CHWS88], on présente une étude expérimentale pour expliquer quel type de menu est meilleur et dans quelle situation, et trouver les avantages et inconvénients de chacun. Cette étude est effectuée sur les menus circulaires et les menus déroulants. L expérience est faite sur des étudiants. On leur a proposé un ensemble de menus différents et à chaque fois ils devraient choisir le menu requête. L évaluation consiste à mesurer les temps de recherche du menu et le taux d erreur. Les résultats obtenus prouvent que les menus circulaires permettent de chercher un élément dans le menu et y accéder plus rapidement en parcourant une distance plus réduite que lorsqu on utilise les menus déroulants. 3.4 ArchMenu et ThumbMenu ArchMenu et ThumbMenu sont des nouveaux types de menus proposés récemment par Huot[HL07] pour les terminaux à écran tactile de petite taille (PDA, smartphone...). Ces menus répondent aux problèmes d utilisation liés à la mobilité lors de la manipulation (en marchant, dans les transports en commun... ). Ces menus permettent l interaction avec le pouce de la main qui tient l appareil (cf. figure 4), ainsi, l utilisateur peut manipuler l ensemble des menus d une seule main. Aussi par contrainte d espace d affichage, ces menus

9 9 Figure 4 a)archmenu, b)thumbmenu ne couvrent que l espace où le pouce pourra atteindre, par exemple pour les droitiers ça sera le coin de droite en bas. La forme des menus est inspirée par les menus circulaires avec un demi-cercle, quant au mécanisme d expansion ils proposent le déploiement en éventail dans le cas des menus hiérarchiques. Dans cette section, nous avons présenté un état de l art sur les differents types de menus qui existent dans les systèmes. Le point commun entre eux est l activation de la commande avec un clic sur la zone du menu, donc pas de reconnaissance de gestuelle. Deuxième partie Commandes gestuelles interactives Dans les solutions qu on va présenter, contrairement aux menus présentés précédemment, les commandes sont activées en utilisant la reconnaissances des tracés effectués par l utilisateur. Ici, on impose à l utilisateur un ensemble de gestes de commande qu il va devoir apprendre, le problème est comment aider l utilisateur à passer du mode novice au mode expert? Les premiers systèmes proposaient des listes de commandes qui apparaissent suite à l appel de l utilisateur. L inconvénient de cette approche est de détourner l attention de l utilisateur du travail qu il entame à la recherche des commandes souhaitées. Pour éviter ça, les chercheurs ont commencé à explorer des solutions pour essayer d assister l utilisateur dans la phase de prise en main, il faut donc un dispositif qui repose sur des interactions ne demandant pas trop d attention. C est le cas des menu feuille, les menus fleurs et d OctoPocus qui interagissent avec l utilisateur en lui proposant une aide sous différents formats qui apparaissent dans la zone de travail de l utilisateur est donc n interrompent pas le tracé du geste. 4 Menus gestuels interactifs 4.1 Les menus feuilles Les menus feuilles ou Leaf menu sont une extension des menus linéaires par des raccourcis gestuels. Ce type de menus à été proposé par [BRLN08] pour remplacer les raccourcis clavier

10 4.2 Les menus fleurs 10 Figure 5 Fonctionnement des menus feuilles : a-d) mode novice, e) mode expert Figure 6 Menu fleur : a) mode novice, b) mode expert, c) les 7 degrés d orientations (ici dans la direction Nord) habituels dans les ordinateurs personnels. Un menu feuille fonctionne de la même manière qu un menu linéaire sauf qu il s affiche par défaut en bas à gauche pour éviter les problèmes d occultation du doigt ou de la main. La figure 5 nous montre le fonctionnement du menu feuille. En mode novice, 5a) : l utilisateur presse une cible, puis un menu linéaire apparait après 0.3 sec. 5b) : il montre tous les chemins possibles aux commandes du menu. Ensuite, 5c) : en choisissant une commande, 5d) : un retour visuel confirme l élément choisi et montre le geste associé. Par contre, en mode expert, l utilisateur exécute le geste directement sans attendre l affichage du menu (5e). 4.2 Les menus fleurs Le menu fleur est un nouveau type des menus circulaires [BLN08]. L intérêt de ce type de menu par rapport au menu circulaire est le nombre de commandes pouvant être affichées dans un niveau. Il a été montré que pour avoir une bonne efficacité dans les menus circulaires on ne peut pas faire plus de 8 éléments par niveau. Les menus fleurs peuvent contenir jusqu à 56 éléments à la fois à cause de leur organisation en groupes. Par exemple : (figure 6 : New et Open sont dans le même menu qui est Fichier ). Un groupe peut contenir jusqu à 7 éléments dans les 8 directions usuelles. Chaque direction contient quatre degrés d orientations (cf. figure 6). En pratique, un menu fleur ne contient que 20 éléments.

11 4.3 OctoPocus 11 Figure 7 Commandes suggérées par OctoPocus [BM08]. 4.3 OctoPocus OctoPocus est une approche de menu proposée par [BM08], elle apporte une assistance à l utilisateur au moment où il trace ses gestes. elle propose des réponses visuelles sous forme de continuation de tracé à partir de la position actuelle (cf. figure 7). OctoPocus est constitué de deux mécanismes travaillant en parallèle, le premier s occupe de l affichage continuel des commandes avec des épaisseurs différentes suivant la correspondance du geste tracé avec celui suggéré. Le second mécanisme s occupe de la reconnaissance gestuelle, il va accorder des taux d appartenances à chaque classe à travers des algorithmes de classification, puis en fixant un seuil, il constitue l ensemble de classes de commandes qui ressemblent le plus au geste tracé. Notre solution regroupera les avantages des menus présentés dans cette section. On prendra en compte les problèmes liés à la mobilité, à l espace d affichage, et surtout, l extraction des paramètres de la commande, un point qui jusqu à présent, n a été traité dans aucune approche. 5 Caractéristiques des classifieurs Les solutions qu on vient de présenter représentent différentes façons d assister l utilisateur dans l apprentissage de l ensemble de commande gestuelles. Ceci est fait avec une interaction au cours du traçage du geste. Cela signifie que les classifieurs doivent être dotés d une part de mécanismes capables de reconnaitre des tracés partiels de gestes. D autre part, les classifieurs doivent être capables de rejeter ou non les gestes rendus lors de la classification pour n en sélectionner que l ensemble de gestes qui correspondent le plus à ce qui a été tracé. 5.1 Reconnaissance prédictive à la volée Uchida [UA08] propose une approche de reconnaissance prédictive basée sur une combinaison de classifieurs. Le geste est découpé en fenêtres séquentielles, il y a autant de classifieurs que de fenêtres. Chaque classifieur s occupe de la classification du vecteur de caractéristiques de sa fenêtre associée. Le résultat de la reconnaissance à un instant t pour une classe C est égale à la somme de tous les résultats de fenêtres précédentes pondérée avec des poids fixés

12 5.2 Rejets 12 par l apprentissage en utilisant la propagation des poids. Les auteurs ont validé leur approche dans le cadre de la reconnaissance de caractère en-ligne. La base de données est constituée de 500 exemples d apprentissage des chiffres de 0 à 9 et de 300 autres de tests. Les performances sont évaluées pour chaque paire c est-à-dire 0-1, 0-2, Les performances obtenues montrent que la propagation des poids lors de la phase d apprentissage améliore le taux de bonne classification (par exemple, un taux de 90% est atteint à l instant t=23 avec la méthode de propagation des poids, par contre le même taux est atteint à l instant t=37 mais sans propagation des poids). Intégrer ce mécanisme dans la reconnaissance gestuelle signifie une interaction continue entre le système et l utilisateur. L utilisateur pourra donc voir apparaitre des résultats de ce qu il a fait et décidera simultanément du chemin à prendre. 5.2 Rejets Le rejet est la capacité de ne pas classifier un échantillon afin d éviter de faire des erreurs. Il existe deux causes principales qui peuvent causer ces erreurs : la première est quand le classifieur hésite entre deux classes possibles, et la seconde est quand l échantillon à reconnaitre est trop différent des échantillons qui ont servi à son apprentissage. Pour cela, deux types de rejets sont définis pour chaque type d erreur : le rejet d ambigüité et le rejet de distance ou d ignorance. Le rejet d ambigüité permet d augmenter la fiabilité du classifieur en rejetant les échantillons pour lesquelles le classifieur pourrait les associer à des mauvaises classes. C est-à-dire que le classifieur les identifie comme placés à coté des frontières de décision. Une solution à ce problème est de définir un couloir autour des frontières de décisions et rejeter tous les échantillons qui s y trouvent. Dans la figure 8a [Mou08] utilise un réseau de fonction radiale (Radial Basis function network) pour discriminer trois classes en définissant des zones de rejets autour de la surface séparatrice. Par contre, le rejet de distance est la délimitation des connaissances du classifieur ; c està-dire que le classifieur n est capable de classer que ce qu il a appris, il doit rejeter tout échantillon qui n appartient à aucune classe. Une solution classique, est de déterminer une probabilité d appartenance aux données d apprentissage. Dans la figure 8b, le classifieur n est capable de reconnaitre que trois classes, tout en rejetant une quatrième qu il n a pas rencontrée dans la phase d apprentissage. Le mécanisme de rejet nous apporte une amélioration dans la qualité des réponses visuelles rendues à l utilisateur. Il va rejeter tout geste n appartenant pas à l ensemble des gestes prédéfinis par le système. Il permet aussi de réduire l espace d affichage dédié pour ces réponses en minimisant le nombre de gestes correspondant au souhait de l utilisateur.

13 6 Théorie cinématique 13 Figure 8 Visualisation des zones de rejet : a) zone de rejet de confuision. b) zones de rejet de distance. 6 Théorie cinématique La théorie cinématique developpée dans les travaux de Palmondon [POD08] permet de modéliser les mouvements humains pour prédire la trajectoire des gestes. Elle pourrait intervenir dans la conception des classifieurs. Le profil de la vitesse du mouvement humain possède toujours des maxima locaux en formant une courbe en cloche (cf. figure 9). Plamondon, l un des fondateurs de la théorie cinématique la définit comme étant une description des propriétés du profil de vitesse de mouvements rapides bien maitrisés et les relient à un modèle neuromusculaire de l individu. 6.1 Principes La théorie cinématique repose sur les modèles delta et sigma-lognormaux, elle se base sur le principe de l invariance de certaines caractéristiques des mouvements humains. Chaque fonction lognormale représente une composante dans la courbe de vitesse, la synergie est donc la somme vectorielle des différents profils. Avec une fonction sigmoïde pour représenter les directions des tracés, on obtient un modèle sigma-lognormal capable de décrire tout mouvement complexe. 6.2 Domaine d application Plamondon [PG98] a appliqué la théorie cinématique pour la génération des caractères manuscrits. En s appuyant sur le modèle sigma-lognormal, la modification des paramétres de ce modèle donne des exemples qui varient dans la forme mais qui gardent le même sens, c est-à-dire qu ils appartiennent toujours à la classe d origine. Ce travail permet d éviter à l utilisateur de fournir un grand ensemble d apprentissage, juste en quelques exemples, l application génère une base d apprentissage avec toutes les variations possibles (hauteur, largeur, inclinaison... ). Cette théorie pourrait nous guider sur les aspects de prédiction de la trajectoire dans notre solution. On pourra utiliser ses modèles pour reconstruire un geste à partir d un bout de

14 7 Conclusion 14 Figure 9 Exemple de reconstitution sigma-lognormale de mouvement complexe. tracé et optimiser ainsi sa reconnaissance au plus tôt. 7 Conclusion Dans ce rapport, nous avons présenté différentes approches qui pourront nous inspirer pour la conception de notre ensemble de commandes gestuelles interactives. Le défi de ces commandes est qu elles regroupent à la fois, la fonctionnalité, les paramètres et interactions. Les solutions présentées dans l état de l art se limitent souvent à un ou deux de ces aspects. On peut utiliser la reconnaissance à la volée et en lui rajoutant un protocole de récupération de paramètres, par exemple comme un menu circulaire dont le dernier niveau correspond à une palette de choix de paramètres. Étant donné que l on va travailler sur un ordinateur tablette, nous n aurons pas à faire face directement aux problèmes d espace d affichage comme sur les Smartphone. Par contre, on pourra profiter des performances offertes comme la vitesse d exécution et l espace mémoire pour la conception de classifieurs (prédictifs) performants pour la reconnaissance interactive de commandes gestuelles. Références [BAR05] [BLN08] Francois Bouteruche, Eric Anquetil, and Nicolas Ragot. Handwritten gesture recognition driven by the spatial context of strokes. In ICDAR 05 : Proceedings of the Eighth International Conference on Document Analysis and Recognition, pages , Washington, DC, USA, IEEE Computer Society. Gilles Bailly, Eric Lecolinet, and Laurence Nigay. Flower menus : a new type of marking menu with large menu breadth, within groups and efficient expert mode memorization. In AVI 08 : Proceedings of the working conference on Advanced visual interfaces, pages 15 22, New York, NY, USA, ACM.

15 RÉFÉRENCES 15 [BM08] Olivier Bau and Wendy E. Mackay. Octopocus : a dynamic guide for learning gesture-based command sets. In UIST 08 : Proceedings of the 21st annual ACM symposium on User interface software and technology, pages 37 46, New York, NY, USA, ACM. [BRLN08] [CHWS88] [Del08] [HL07] [Hop91] Gilles Bailly, Anne Roudaut, Eric Lecolinet, and Laurence Nigay. Menus leaf : enrichir les menus linéaires par des gestes. In IHM 08 : Proceedings of the 20th International Conference of the Association Francophone d Interaction Homme-Machine, pages , New York, NY, USA, ACM. J. Callahan, D. Hopkins, M. Weiser, and B. Shneiderman. An empirical comparison of pie vs. linear menus. In CHI 88 : Proceedings of the SIGCHI conference on Human factors in computing systems, pages , New York, NY, USA, ACM. Adrien Delaye. Interprétation incrémentale de formes structurées manuscrites application à la reconnaissance des caractères chinois. IRISA, Stéphane Huot and Eric Lecolinet. Archmenu et thumbmenu : contrôler son dispositif mobile sur le pouce. In IHM 07 : Proceedings of the 19th International Conference of the Association Francophone d Interaction Homme-Machine, pages , New York, NY, USA, ACM. Don Hopkins. The design and implementation of pie menus. Dr. Dobb s J., 16(12) :16 26, [Mou08] Harold Mouchère. Étude des mécanismes d adaptation et de rejet pour l optimisation de classifieurs : Application à la reconnaissance de l écriture manuscrite en-ligne. PhD thesis, INSA, [PG98] Réjean Plamondon and Wacef Guerfali. The generation of handwriting with delta-lognormal synergies. Palmondon, [POD08] Réjean Plamondon, Christian O Reilly, and Moussa Djioua. La théorie cinématique des mouvements humains rapides : développements récents. Palmondon, [Rub91] Dean Rubine. Specifying gestures by example. In SIGGRAPH 91 : Proceedings of the 18th annual conference on Computer graphics and interactive techniques, pages , New York, NY, USA, ACM. [UA08] Seiichi Uchida and Kazuma Amamoto. Early recognition of sequential patterns by classifier combination. In ICPR, pages 1 4, [WNvGV09] Don Willems, Ralph Niels, Marcel van Gerven, and Louis Vuurpijl. Iconic and multi-stroke gesture recognition. Pattern Recogn., 42(12) : , 2009.