UTC Génie Informatique Atelier TATIN Projet de NF28 Printemps 2011 Sébastien MAINAND Laurent NOUAILLE Aymeric PELLE Damien PIGNAUD 09/06/2011
Introduction La table TATIN est un projet mené par le laboratoire HEUDIASYC de l UTC. Son but est de réaliser une table tactile multipoint destinée à être utilisée dans les phases de conceptions préliminaires (brainstorming) de projets de mécatroniques. Actuellement, la table est physiquement réalisée ainsi que l interface logicielle entre le matériel de détection tactile et la bibliothèque MT4j (Multi Touch for Java), utilisée pour la réalisation des applications tactiles. Notre projet s intègre dans la phase de réalisation d applications utilisables sur cette table tactile. Plus spécifiquement, l objectif est de proposer un système de gestion des applications de la table tactile, permettant aux utilisateurs de lancer des programmes, les déplacer, les fermer, les quitter Pour ce faire, la solution retenue a été de fournir, à chaque utilisateur, un menu circulaire lui permettant d instancier les applications souhaitées. Ce compte rendu décrit la seconde partie de notre projet, concernant l implémentation des concepts réfléchis dans la première partie, lesquels étant présentés dans un cahier des charges et d une maquette. Ces deux documents sont présents sur le site bilan du projet. Le travail restant à réaliser a été découpé en deux étapes, qui sont la conception fonctionnelle et l étude en termes d interactions ainsi que leur mise en œuvre par l implémentation et le test de ces applications. 1
Contenu Introduction... 1 Présentation du projet... 3 Le projet TATIN PIC... 3 Le projet atelier TATIN... 3 Etude des besoins des utilisateurs... 3 Etude des projets concurrents... 3 La Microsoft Surface... 4 Table Tactile Ilight... 5 Positionnement du projet de table TATIN... 5 FONCTIONNALITES... 5 CONTEXTE... 6 BRAINSTORMING... 6 ANALYSE CAUSALE... 6 SOLUTION RETENUE... 6 LANCER DES APPLICATIONS... 6 SUPPRIMER DES ELEMENTS... 7 ORGANISER DES ELEMENTS... 7 CHANGER DE PHASE DE CONCEPTION... 7 Planning du projet... 7 Gantt... 7 Descriptions des tâches... 7 Fonctionnalités... 8 Le menu principal... 8 Disposition des utilisateurs... 9 Réorganisation de l espace personnel... 9 Notion d espace personnel... 10 Fonctionnalités de réorganisation... 10 Interaction avec les applications... 11 Le menu de configuration... 11 Technique... 12 Les fichiers de configuration... 12 Difficultés techniques... 12 Conclusion... 14 2
Présentation du projet Le projet TATIN PIC Notre sujet s'insère dans un projet plus large, nommé TATIN PIC. Il s'agit en fait de la convergence des travaux : TATIN qui a consisté à créer une table graphique interactive multipoints et multi-utilisateurs ; CACIC sur la capitalisation des connaissances en ingénierie coopérative. Ainsi la réunion de ces deux compétences dans TATIN PIC a pour but d instrumenter la phase préliminaire à la conception pour des projets d ingénierie (brainstorming). Cette phase comprend deux parties outillées différemment : l'accumulation des idées : elle se fait sous la forme de création de post-it électroniques1 par les différents collaborateurs (six au maximum) autour de la table; la sélection et l'association de ces post-it : elle est réalisée sous la forme d'un diagramme d'analyse causale. Le projet atelier TATIN Notre projet consistera à définir et implémenter un système permettant aux utilisateurs d organiser leur espace de travail (l Atelier). Etude des besoins des utilisateurs Actuellement, la table tactile ne propose malheureusement rien aux utilisateurs afin d organiser leur espace de travail. Cela est d'autant plus critique que l'espace est partagé, rendant l'entropie quasi-certaine. Les collaborateurs auraient donc besoin d'une interface leur permettant d'afficher, de cacher et de réorganiser les différents éléments se trouvant sur leur espace. Le système ne propose pas non plus à l'heure actuelle d'une interface d'ouverture et de fermeture d'applications3 et/ou de fichiers. Cette fonctionnalité se factoriserait assez bien avec le précédent, dans une interface commune. En effet, dans le cas de gestion des post-it, on ne formule pas de jugements sur les idées proposées. Il est donc nécessaire que les post-it puissent être gérés par leur créateur (réorganisation, édition ou suppression), ce qui rejoint la problématique d organisation de l espace de travail des utilisateurs. De plus, un des utilisateurs est dit animateur, qui a pour rôle de superviser le travail et de décider du passage d'une phase à une autre. Il faudrait donc lui permettre d'avoir un droit de restriction du nombre d'applications et un moyen d'orchestrer le passage de l'accumulation d'idées à l'analyse causale. Etude des projets concurrents Le marché des ateliers pour table multitouch n existe pas en soi : il est entièrement inclus dans le marché des tables elles-mêmes, faisant parti du logiciel d utilisation de la table. La concurrence de notre projet n est donc pas considérée en termes de solution logicielle mais de la réalisation globale d une table tactile. 3
La Microsoft Surface Depuis 2008, Microsoft commercialise une table tactile appelée «Microsoft Surface». Celleci permet des interactions à plusieurs et est donc multitouch. Elle est commercialisée pour un prix d environ 7000 pour la version 2.0 de ce produit. Dans sa version 1, Surface se présente à l'utilisateur comme une table dont le dessus est constitué d'un écran tactile multitouch de 30 pouces. L affichage est effectué par le biais d un vidéoprojecteur DLP affichant une résolution de 1024x768 placé à l intérieur de la table, sous la vitre. La gestion tactile quant à elle n est pas réalisée come sur un écran tactile classique, mais par un réel système de vision basé sur un ensemble de cinq caméras infrarouge, associée à un éclairage infrarouge. De fait, lorsqu un objet s approche de la surface d affichage, celui-ci réfléchit la lumière infrarouge et l objet devient visible pour les caméras. Cela permet à Surface d obtenir une image en niveau de gris de tout ce qui se présente sur la surface d affichage, mais aussi d obtenir les dimensions des contacts et de reconnaitre certaines formes, en particulier les tags de reconnaissance (comme l orientation de l utilisateur par exemple). L interface tactile de Surface implique donc une utilisation indépendante de l orientation de la table par rapport à l utilisateur. Surface permet d afficher des éléments comme des photos, de manière totalement libre pouvant être manipulées avec les doigts pour leur déplacement, la rotation et le redimensionnement. Pour l'instant prévu surtout pour les loisirs (jeux de cartes, galeries de photos de vacances, etc.), il pourrait être étendu à d'autres utilisations. Le public visé initialement par le produit est constitué d'établissements hôteliers, de restaurants et de l'industrie du divertissement. Le prix est de 12 500$ l'unité soi 11 000 pour les versions commerciales. Le prix pour les développeurs quant à lui de 15 000$ ou 13000. 4
Table Tactile Ilight Basée sur les gestes (G), la main (H) et le toucher (T), la table ilight permet un travail collaboratif autour d un même projet, quel qu il soit. Mise au point par Immersion, ilight est une interface instinctive, intuitive, facile d usage et adaptable à n importe quelle application. Et si vous touchiez du doigt vos applications? A travers son projet ilight, Immersion réalise pour vous des interfaces innovantes, sources de techniques d interaction intuitives issues des toutes dernières recherches autour des technologies tactiles et de reconnaissance de mouvements. Grâce à la table tactile ilight d'immersion, vous bénécifiez notamment des atouts suivants : Interaction tactile, profitez d une interface intuitive et réactive Utilisation instinctive, quand collaborer redevient naturel Visualisation collective, partagez un espace de travail haute performance Intégration simplifiée, des outils matériels et logiciels flexibles Positionnement du projet de table TATIN Le projet TATIN peut tout à fait s inclure dans le marché actuel des tables tactiles. Les deux exemples précédents montrent des tables souvent à usage personnel ou pour moins de 4 personnes. De plus leur fonction n est pas d améliorer le travail en entreprise (brainstorming etc) mais plus de créer une nouvelle interface entre une entreprise et ses clients. 7 Par exemple la Microsoft est surtout utilisée par les entreprises pour offrir une nouvelle expérience à leurs clients. Il faut aussi noter que cette table en version 2.0 utilise une technologie différente, appelée Pixel Sense, permettant la suppression du système infrarouge. Le prix serait donc différent de la valeur de la table TATIN. Pour conclure, le projet TATIN n a pas encore de concurrents à proprement parler sur le marché. Cependant il faut prévoir une évolution possible des tables tactiles existantes. Il est envisageable d obtenir une version plus orientée «travail en entreprise» de ces outils ce qui positionnerait la table TATIN sur un marché bien plus concurrentiel. Cependant, le positionnement actuel du projet TATIN est ingénieux et fait de sa table un produit unique et innovant. FONCTIONNALITES Comme expliqué précédemment, la table TATIN va être utilisée, comme présenté précédemment, pendant les différentes phases initiales de conceptions : le Brainstorming et l analyse causale. Les fonctionnalités nécessaires dans notre projet seront donc spécifiques à chacune des phases et seront présentés comme telle par la suite. 5
CONTEXTE Tout d abord, la table étant utilisée par plusieurs utilisateurs, il faut avoir en tête que chaque personne aura un espace virtuel de travail anonyme, dans lequel il pourra avoir le contrôle total des applications qu il lancera (supprimer, modifier ). BRAINSTORMING C est la phase initiale dans le cycle de conception. Les utilisateurs devront pouvoir : - lancer les applications : explorateur internet, lecteur PDF, rédaction de post-it. - accéder aux fonctionnalités de bases : corbeille, réorganisation de l espace de travail, explorateur de fichier Note : L animateur (le chef de réunion) aura quant à lui accès à une option supplémentaire permettant de passer d une phase de conception à une autre. ANALYSE CAUSALE La phase d analyse est lancée par l animateur. Elle consistera à sauvegarder l ensemble des éléments utiles présents sur la table tactile et de les afficher de manière ordonnée sur un tableau (également tactile, mais dédié à être manipulé par une seule personne). SOLUTION RETENUE Pour développer l ensemble de ces fonctionnalités le langage Java sera utilisé. Les interactions multitouch seront gérées grâce à la librairie MT4J. Ci-après sont présentées les principales solutions retenues (amenées à être adaptées par la suite) pour la réalisation concrète des fonctionnalités. LANCER DES APPLICATIONS Pour effectuer l ensemble des actions nécessaires au brainstorming, l utilisateur aura à sa disposition un workbench handler. Celui-ci présentera à l utilisateur l ensemble des applications disponibles sur la session sous forme de menu circulaire. Il suffira donc d un drag pour faire défiler les applications. Certaines, jugées plus importantes, seront en permanence visibles sur le menu circulaire tel que l explorateur de fichiers. Le contenu du menu circulaire sera configuré via un fichier XML. Grâce à ce système, l utilisateur ouvrira en clic ou en un drag une application depuis le menu. Dans le cas des post-it, plusieurs pourront être créés. L ouverture avec le drag and drop permettra à l utilisateur de définir précisément l endroit où l application doit s ouvrir. Ce système permettra donc une édition rapide des post-it, ce qui rendra la phase de brainstorming efficace. C est l élément de base permettant de poster les idées lors du Brainstorming. Un post-it pourra posséder un titre ainsi que d un texte ou d une image. Les textes des post-it seront saisis avec un clavier virtuel déjà présent dans le système de la table TATIN. De plus, ce clavier est muni d un bouton FLICKR permettant, par l entrée d un mot clé, d obtenir directement des images correspondantes présentées sous forme de liste de miniatures en haut du clavier. 6
SUPPRIMER DES ELEMENTS La corbeille placée dans le workbench handler permettra de supprimer des fichiers ou des éléments (instances de programmes) par une action de drag & drop. ORGANISER DES ELEMENTS L un des problèmes récurrents dans l utilisation des tables tactiles est celui de l organisation des éléments présents sur la table tactile. En effet, les applications peuvent facilement se chevaucher et se cacher mutuellement. Le workbench handler aura donc un bouton permanent de réorganisation les applications ouvertes. Il permettra de mettre de l ordre dans celles présentes dans l espace de travail personnel de l utilisateur. La réorganisation s adaptera en fonction des éléments présents, en gardant le but de visualiser l ensemble des applications ouvertes, en supprimant les recouvrements de fenêtres. CHANGER DE PHASE DE CONCEPTION Le choix de la phase de conception est décidé par l animateur. Ce dernier disposera d un bouton, situé dans son workbench handler, qui lui affichera la liste des phases. Il n aura alors plus qu à la sélectionner. Lorsque l analyse causale est choisie, l ensemble des post-it sont transmis au tableau interactif par l intermédiaire d un fichier XML spécifique. Planning du projet Le planning présenté permet de décrire l organisation temporelle de l avancement de notre projet. Il est composé d un diagramme de Gantt et de l explicitation de chacune des tâches représentés. Gantt Descriptions des tâches Les différents noms de tâches utilisées sur la Gantt sont explicités ci-après. o o o o Spécification détaillée : précise les fonctionnalités à implémenter Découverte MT4j : utiliser la bibliothèque et compiler des exemples et extensions Affichage : utiliser MT4j pour afficher le menu circulaire et des fenêtres des applications Interaction tactile : utiliser MT4j pour reconnaître les interactions tactiles nécessaires et comprendre le fonctionnement des événements 7
o o o Implémentation final : mise en forme du code vers une application finale Sondage test : soumettre le programme à des utilisateurs (voir partie procédure) Site web du site : réaliser un mini site web permettant de mettre en valeur le travail réalisé (travail réalisé, utilisation du programme, avantages, suite envisageable du projet) Fonctionnalités Cette partie a pour but de préciser les implémentés au long de ce projet. Elles ont été adaptées à celles définies dans le cahier des charges au vue des tests réalisés pendant l implémentation de notre application. Les fonctions de bases à fournir à une utilisateur sont : o D ouvrir des programmes o De fermer (masquer), déplacer, quitter un programme ouvert o De réorganiser les applications ouvertes Le leader de la réunion peut en plus : o Configurer le nombre d utilisateurs o Configurer les applications disponibles aux autres utilisateurs o Dessiner les espaces de travail personnels (décrit dans la suite de ce rapport) Le menu principal Le menu principal, appelé ici Workbench Handler est en fait un menu circulaire, créé pour chaque utilisateur de la table, leur permettant d avoir accès aux applications nécessaires à la phase d étude. Pdf Post-It Navigateur Internet Radar Réorganisation Pour l instant, les applications prévues sont un navigateur internet, une application «post-it» pour afficher du texte et un lecteur pdf (développé par un second projet de l UV NF28). Les interactions définies sur le Workbench Handler sont les suivantes : o Ouverture du menu par un clic sur son bouton central o Fermer le menu par un second clic sur ce bouton o Le déplacer par un drag n drop du bouton central 8
o Lancement d une application par un clic sur son icône par un drag n drop de son icône sur la table Pour ce qui est des options particulières : o Le bouton de réorganisation : Un clic ou un drag n drop affiche les fenêtres sous la forme d une cascade. Un drag n drop vers le bouton central du menu va faire apparaître une liste des applications ouvertes. Un clic sur l un des éléments de la liste fait apparaitre l application correspondante sous les mains de l utilisateur. o Le bouton radar : il permet de visualiser les applications lancées par le Workbench Handler : un cercle rouge ainsi qu un numéro apparaît autour des applications concernées. Note : le déplacement du Workbench Handler est limité ici à l espace personnel de l utilisateur. Disposition des utilisateurs Voici les différentes configurations initiales de table selon le nombre d'utilisateurs. Les menus sont légèrement décalés sur la droite. Lorsque les utilisateurs sont au nombre de 2 ou 3, il a été décidé de rapprocher les utilisateurs pour faciliter l'échange. En effet, il aurait été instinctif de répartir systématiquement les utilisateurs autour de la table mais nous aurions alors eu un effet du style repas chez Dracula (la scène du film dans laquelle le personnage principal se retrouve seul en tête-à-tête avec le monstre assis à l autre bout d une table démesurément longue). Réorganisation de l espace personnel Une des problématiques fortes qui a mené à l élaboration de ce projet était la forte entropie qui apparaît très rapidement à l usage multi-utilisateurs de la table. Il nous avait donc était demandé de réfléchir à des fonctionnalités permettant de lutter contre cela. 9
Etant donné qu il nous a semblé très difficile d envisager une réorganisation centralisée et globale (une personne déclenchant la réorganisation de tout l espace), nous nous sommes attachés à fournir à chaque utilisateur de quoi réorganiser son espace personnel. Notion d espace personnel L utilisateur aura besoin, lors de la phase de conception, de manipuler différentes applications comme un navigateur web, des post-it, des lecteurs pdf... Ces applications sont configurées pour ses propres recherches, et non dédiées à la présentation d informations aux autres utilisateurs. C est pour cela qu il a fallu définir un espace sur table qui correspond à l espace de travail d un utilisateur. De cette manière, toute application présente dans cette zone sera considérée comme lui appartenant. Les espaces personnels sont en fait virtuels ici : la table n est pas réellement divisée en sections indépendantes. En effet toutes les applications de la table sont gérées dans un espace commun. Ici une application appartient tout simplement à l utilisateur auquel il est le plus près. Cela permet de définir des zones les plus spacieuses possibles et centrées autour de l utilisateur, lui donnant un espace de travail équivalent à un cercle d une longueur de bras. Fonctionnalités de réorganisation La notion d espace personnelle permet maintenant l ajout de fonctionnalités de réorganisation et de tri des applications ouvertes. Ces possibilités sont actuellement au nombre de deux : la réorganisation sous forme de cascade et l utilisation d un menu listant les applications ouvertes. Réorganisation en cascade Le but est ici de regrouper automatiquement toutes les applications sous forme d une cascade horizontale,. Le but est de redonner accès à l utilisateur à toutes ses applications instantanément en les positionnant en face de lui, sous la forme d un éventail. Apparition d une liste d application Si l utilisateur est intéressé uniquement pour retrouver une application bien précise, il a la possibilité de la sélectionner dans une liste d application. Cette fonctionnalité est inspirée du Alt-Tab menu classique des Systèmes d exploitation actuels. Pour faire apparaître ce menu, il suffit de faire glisser l icône de réorganisation vers le bouton central menu de son Worbench Handler. Cette manipulation est faite pour représenter l action de demander le menu correspondant à la fonction réorganiser, en plaçant son icone sur l espace menu. 10
Interaction avec les applications Une fois qu une application est ouverte, elle peut être manipulée comme un élément graphique standard de MT4j : elle peut être agrandie, rétrécie, translaté et subir des rotations. A ce comportement standard, nous avons rajouté les actions permettant de réduire une application et de la quitter. Réduire une application signifie ici la masquer en la faisant glissant hors de l espace visible de la table, cela correspond à la réduction d une fenêtre sur un système d exploitation classique. Pour réaliser cette action, il faut réaliser un mouvement descendant (allant vers soit) avec quatre doigts sur l application. Ainsi, lorsqu on applique quatre doigts sur une application, il est impossible de la bouger vers le centre de la table mais, en revanche, une forte inertie l entraîne très facilement hors de l espace visible lorsqu un utilisateur réalise la même action, vers l extérieur. La fermeture de l application quant à elle est définitive. Pour cela, il suffit de faire converger trois doigts sur l application, mouvement analogue à l acte de froisser une feuille de papier. Le menu de configuration Le contenu des menus est configuré via une interface de configuration dont l'apparence est la suivante : Premier rangée de boutons : Elle permet de sélectionner parmi les applications disponibles (ligne du haut), celles qui figureront dans les menus. Un tap sur une icône la fait passer de rouge à vert et inversement, la correspondance des couleurs avec les principes de check/uncheck nous semblant évidente. Bouton en bas à gauche («3 people»): Ce bouton permet de choisir le nombre d'utilisateurs (et donc de menus) sur la table. En tapant le bouton, le nombre de personnes affichées est incrémenté puis revient à 1 après 6 («1 people», «2 people»,...) Bouton en bas au milieu («begin w/») : Ce bouton permet de choisir si oui et non cette interface apparaît en début de session. Si l'utilisateur décoche/«rend rouge» cette option, la configuration des menus de la session prochaine seront calquées sur celle de la session présente. Graphiquement, on retrouve le passage du rouge au vert, comme avec les icones des applications. 11
Bouton en bas à droite («Go!») : Le bouton instancie les menus et efface l'interface présente. Pour retrouver cette interface en cours de session, l'animateur possède sur son Workbench Handler une entrée spéciale permettant de l afficher ou de le masquer. Apparition du Menu de Configuration Il est à noter que cette interface s'étend sur un modèle en quinconce au fur et à mesure qu'on lui ajouter des applications à gérer (voir partie sur les fichiers de configuration). Technique Les fichiers de configuration Afin de faciliter l insertion de nouvelles applications, un système de fichier de configuration a été instauré. Ils permettent de préciser, pour chaque application : o Son nom o La classe à instancier o Le chemin vers l icone correspondant Cette structure est très basique, venant du manque d applications réelles à intégrer. Dans l avenir, la procédure pour intégrer de nouvelles applications pourra être par exemple : o Posséder un constructeur contenant des paramètres définis (l application, la scène et le calque sur lequel doit s afficher l application) o Implémenter une interface, ajoutant à chaque application les fonctionnalités de fermeture et réduction. Difficultés techniques La principale difficulté du projet était la prise en main de MT4j, d une part parce que la gestion des évènements multitouch n est pas chose simple, d autre part à cause de la jeunesse de la bibliothèque (version beta). La bibliothèque ayant passé à une version supérieur durant notre projet, 12
et ce sans respecter le principe de compatibilité ascendante 1, il nous a fallu développer par nousmême des éléments simulant des applications réelles. En effet, les applications existantes pour l ancienne version de la bibliothèque (navigateur web ), auraient été trop longues et trop complexes à adapter pendant la durée de ce projet. Un dernier élément gênant est le manque de documentation, qui consiste la plupart des cas à répéter le nom des attributs, classes, méthodes De plus, il a été difficile de tester nos fonctionnalités car il est assez compliqué d utiliser plusieurs souris sous Windows et que MT4j fonctionne très mal en multi-souris sous Linux. La table TATIN semble, quant à elle, ne pas supporter les évènements impliquant plus de 2 doigts. Le problème peut cependant être dû à l instabilité de MT4j, lequel déclenche des GESTURE_ABORTED et des GESTURE_RESUMED dont le support est très difficile à implémenter (d ailleurs aucun autre groupe travaillant sur la table ne semble avoir réussi à le faire). Du fait de la difficulté précédente, il nous a été impossible de tester le drag n drop à 4 doigt servant à réduire les applications. Nous avons simplement pu attester du fonctionnement de la chose si on ramène la fonction à un drag n drop 1 doigt. 1 Cela consiste à garder toutes les fonctions présentes dans les versions ultérieures fonctionnelles 13
Conclusion Ce projet a été très intéressent pour nous puisqu il nous a permis d appréhender de nouvelles technologies et méthodologies de travail. En effet, la première partie du sujet concernant l ergonomie et les interactions d une nouvelle application a été une nouveauté pour nous. Ensuite la phase de développement a également été enrichissante, nous permettant de découvrir les technologies tactiles, avec MT4j et de travailler dans le milieu de la recherche. Cela nous a également permis de confronter nos idées avec la réalité, en travaillant sur des technologies encore en phase de test nous obligeant à nous adapter aussi bien avec les caractéristiques de la table que des limites actuelles de la bibliothèque. L environnement de travail était également motivant, puisque nous avions avions accès régulièrement à la table, du créneau de TP pour travailler à plusieurs et d un dépot SVN pour synchroniser notre travail. Pour ce qui est de la réalisation technique de notre projet, l application fournie est pratiquement fonctionnelle, l élément manquant étant une interface ou tout du moins un protocole permettant d intégrer facilement de nouvelles applications. Enfin pour ce qui est des principales améliorations de l application Atelier, elles porteront principalement sur du design. Un exemple est, pour la réorganisation en cascade, de présenter les applications sous forme d un arc de cercle (éventail) au lieu d un alignement rectiligne. Le Workbench Handler pourrait également être amélioré : l ajout d un anneau supplémentaire pourrait être utilisé par exemple pour afficher l actuel alttab menu ou des options générales de gestion pour l administrateur. 14