Du tangible au digital

Transcription

1 Du tangible au digital Lorsque l objet physique rencontre le numérique Gaël Gouault Diplôme national supérieur d expression plastique (DNSEP) Haute École des Arts du Rhin École supérieure des arts décoratifs de Strasbourg Communication graphique 2014 Tuteur de mémoire : Loïc Horellou

2 Introduction Historique et analyses des interfaces utilisateurs Les grandes générations d interfaces L Interaction Homme-Machine Surfaces et tables interactives Utilités des interfaces tangibles Modes de captation Perception naturelle Objets physiques et univers vidéoludique Design graphique et interfaces Graphisme hybride Chirurgie assistée par ordinateur Rôle du designer graphique Conclusion

3 INTRODUCTION L informatique est au cœur de beaucoup de projets dans le domaine du design graphique, elle est devenue depuis plus d une quinzaine d années, l outil, incontournable à la création. Néanmoins, une partie des graphistes, même s ils s en servent tous, le délaissent systématiquement après le passage impression. L engouement actuel pour le support physique, éditions, livres d arts ou catalogues ainsi que la multiplication des salons indépendants tel que Salon Light ou Offprint Paris en témoignent. L objet physique a encore un bel avenir devant lui. Parallèlement et paradoxalement, cet outil informatique est devenu pour d autres, un réel support de réflexion et de diffusion, avec les mêmes notions liées au graphisme (maquette, mise en forme, choix des images, couleur, polices, etc.) ou au sens plus large un espace de programmation pour explorer de nouveaux horizons sans jamais quitter l écran. On peut observer le même engouement pour cette pratique numérique dans des lieux comme La Gaîté Lyrique, le ZKM en Allemangne ou encore le salon Consumer Electronics Show qui se tient chaque année à Las Vegas. Deux domaines, activités et affects distincts, où l on retrouve un graphisme plastique et un second numérique immatériel, qui ne sont pourtant pas antinomique. L association du tangible et du numérique lorsqu elle s opère de manière complémentaire, peut apporter une dimension supplémentaire, une émotion particulière ainsi qu une part de jeu et de magie grâce aux qualités de chacun des deux univers. Certains artistes proposent une interaction avec leur œuvre par le biais d une manipulation contrôlée comme le mentionne le studio Sosolimited. Il évoque le fait que le design est une improvisation permanente où la manipulation joue un grand rôle : «Le processus et l envie de jouer génèrent souvent des résultats aussi inattendus qu agréables. C est un peu comme donner un feutre à un enfant, écrire une liste de ce qu il peut et ne pas faire, et laisser libre cours à sa créativité» 1. Ces dernières années, la prolifération et la démocratisation des appareils technologiques mis à disposition des consommateurs ont permis leur accessibilité à presque tout le monde. Un simple ordinateur, une webcam, quelques notions en informatique 5 1 Graphisme en France, Code < > outils < > design, 2012, pages 35

4 et un peu de réflexion permettent de mettre en place des systèmes d interactions avec un minimum de programmation. Cela donne lieu à de nouvelles expérimentations dans le domaine des relations homme-machine, qui définissent les moyens et outils mis en œuvre afin qu un humain puisse contrôler et communiquer avec un appareil de type informatique. C est le rôle de l interface, et dans l association du réel et du virtuel, il existe des nouveaux types d interfaces dites «tangibles». Ce terme aborde des principes d interface utilisateur dans laquelle une personne interagit avec l information numérique par le biais de l environnement physique, anciennement appelé «interface utilisateur saisissable». Les interfaces tangibles sont des alternatives aux outils traditionnels utilisés comme le clavier ou la souris. Une proposition de lecture numérique grâce à des objets tangibles qui peuvent être manipulables. Ces nouvelles interfaces me questionnent car j envisage ma pratique graphique autant à travers des supports numériques que physiques. En effet, j aime travailler et m exprimer avec l un comme avec l autre, de la confection d objet avec des matériaux nobles à l édition comme à la programmation ; j ai d ailleurs souvent constaté que ces deux univers pouvaient se nourrir l un l autre. Ce mémoire se questionnera sur l utilité des interfaces tangibles et quel rôle les designers ou les graphistes peuvent jouer dans l hybridation de l informatique et de l objet pour une évolution de communication avec l ordinateur. 6 Historique et analyses des interfaces utilisateurs LES GRANDES GÉNÉRATIONS D INTERFACES Afin de comprendre l évolution des interactions hommemachine et par conséquent l arrivée des interfaces tangibles, il est nécessaire de connaître les différentes interfaces mises en place pour permettre de communiquer avec un ordinateur ou autres dispositifs électroniques. Je fais le choix d évoquer principalement celles qui utilisent l écran comme dispositif d affichage dès l apparition des ordinateurs dits «personnels». Communément, on appelle «interface» un programme fournissant un moyen de traduction, d échange d informations entre deux «systèmes» qui n utilisent pas le même langage, comme entre un être humain et un ordinateur. L interface permet d assurer le lien entre l utilisateur et le programme. Depuis la naissance de ces interfaces conversationnelles ou des interfaces utilisateurs, on peut dénombrer plusieurs grandes générations. La première et plus ancienne est l interface en ligne de commande, appelée CLI pour Command Line Interface ou KUI pour Keybord User Interface 1, cette interface est apparue au début des années 1960 en même temps que le clavier informatique, l outil d interaction fondamental entre un être humain et un système informatique. Une interface en ligne de commande nécessite et utilise uniquement le clavier comme commande d entrée et effectue 7 1 On les associe parfois maladroitement aux Interfaces Textuelles comme celles des Minitels ou des télétextes, où l utilisateur interagit avec des éléments pseudo-graphiques créés à partir de caractères et non plus ligne par ligne. On emploie l acronyme TUI pour diverses significations similaire ( Text User Interface, Textual User Interface, Text-based User Interface, Terminal User Interface ) à ne pas confondre avec d autres interfaces aux abréviations identiques.

5 des opérations par instructions textuelles ligne par ligne affichées sur un écran en sortie. Lorsque ces interfaces sont prêtes à recevoir une instruction, elles l indiquent par une invite de commande, qui incitent l utilisateur à taper des mots clefs indiquant les opérations et les noms des éléments à afficher. Après exécution, l ordinateur renvoie du texte correspondant aux résultats des commandes tapées ou à des questions qu un logiciel pose à l utilisateur. Cette interface est toujours très appréciée des informaticiens, car c est un outil très puissant possédant de nombreux avantages et possibilités, en particulier pour l automatisation des actions ou la répétition des commandes. Néanmoins, la manipulation reste lourde et complexe et leur long apprentissage intimide la plupart des nouveaux utilisateurs. Nous les retrouvons sur les systèmes d exploitations dérivés d Unix comme Linux par exemple, ou bien sur Mac et Windows grâce à un interpréteur de commande (ou shell ) où les commandes que veut exécuter l utilisateur sont entrées dans un terminal virtuel en mode texte. La deuxième génération d interface utilisateur est l interface graphique. En informatique, une interface graphique que l on nomme GUI pour Graphical User Interface est une interface dans laquelle l utilisateur interagit avec des éléments graphiques tels que des fenêtres, menus, pictogrammes, boutons à l écran, le plus souvent grâce à un dispositif de pointage comme une souris et pour entrer du texte, le clavier 2. Ce type d interface est apparu à la fin des années 1970, créé par les ingénieurs du Xerox PARC 3 ( Palo Alto Research Center ) à Stanford pour remplacer les interfaces en ligne de commande. Destinées à être utilisées dans la bureautique par des employés de bureau et non plus uniquement par des informaticiens, ces interfaces imitent leur environnement. Les symboles (pictogrammes) qui s affichent à l écran, servent d analogie 2 3 En 1968, Douglas C. Engelbart de la SRI International ( Stanford Research Institute ) fait une démonstration d un environnement graphique avec des fenêtres à manipuler avec une souris. Il démontre dans cet environnement l utilisation d un traitement de texte, d un système hypertexte et d un logiciel de travail collaboratif en groupe. Une très grande partie de ces idées ont été reprises par Apple après que Steve Jobs et les ingénieurs d Apple ont visité le PARC en à des objets familiers de ce type d activité, tels que dossiers, documents, calculatrice, machine à écrire, jusqu à la corbeille, rendant alors l apprentissage de la bureautique plus simple. Elles ont ensuite été développées et popularisées par Apple avec l ordinateur Lisa en 1983, suivis du Macintosh l année suivante : premiers appareils grand public à profiter de ces innovations. On utilise aussi l acronyme anglais WIMP pour Windows, Icons, Menus and Pointing device (fenêtres, icônes, menu et dispositif de pointage), qui présente des bases fonctionnelles d une interface graphique informatique. Leur utilisation avec un dispositif de pointage évite l apprentissage d un lexique ou d une syntaxe de commandes et supprime donc les erreurs de dactylographie. En outre, l utilisation d une image est plus innée et «naturelle» que celle d un texte, cela augmente la rapidité de nos capacités d exécution et de manipulation. Suivent les interfaces tactiles, la troisième génération, appelées TUI pour Tactile User Interface ou Touch User Interface. Une interface utilisateur tactile est une technologie informatique de pointage basée sur le sens du toucher (haptique). Elle permet d interagir sur un écran avec ses doigts ou avec un stylet 4, la technologie tactile existe depuis plusieurs décennies mais s est soudainement démocratisée vers 2007 avec l arrivée de l iphone d Apple puis avec la prolifération des smartphones. Elle a connue un engouement auprès des utilisateurs, à partir du moment où elle est devenue une technologie fiable, simple d utilisation et au design centré sur l expérience utilisateur. Désormais, elle envahit le marché car elle touche un éventail très varié de secteurs : de l industrie au point de vente, ou encore l éducation, l art et la culture, le tactile s immisce aujourd hui partout dans notre quotidien. La technologie tactile possède en effet un potentiel important et représente une révolution dans l interaction hommemachine. Elle offre une expérience utilisateur plus immersive, 4 Le premier écran tactile est créé en 1972 par IM ( International usiness Machines Corporation ), une entreprise spécialisée dans le domaine informatique. Elle met en place le projet PLATO IV, qui consiste à installer autour d un écran d ordinateur classique un dispositif optique de reconnaissance du toucher, grâce à des leds infrarouges. Les grandes générations d interfaces

6 collaborative et naturelle grâce à l interactivité qu elle procure et sa simplicité d utilisation. On appuie directement sur ce que l on voit ; il n y a plus besoin de dispositif intermédiaire, l écran fait à la fois office de périphérique de sortie mais aussi de dispositif d entrée. Les smartphones sont aujourd hui les applications majeures des écrans tactiles, viennent enfin les tablettes tactiles, que nous avons de plus en plus l habitude d utiliser. Néanmoins, malgré la démocratisation des écrans tactiles multitouch, les interactions nécessitant l utilisation de plus de deux doigts restent confuses et sont difficilement mémorisables pour la plupart des gens. De ce fait, les interactions sont encore trop limitées à quelques gestes simples. Elles souffrent également de quelques inconvénients, notamment à cause d interfaces graphiques inadaptées, de couches logiciels limitées et souvent chaotiques notamment pour le traitement de texte. Enrichir ces interactions avec des gestes multi-doigts offrirait certainement plus d expressivité pour des utilisateurs experts, comme les sténotypistes et les musiciens. Enfin la dernière interface utilisateur, celle que je vais développer et analyser tout au long de ce mémoire, est l interface tangible aussi appelée «interface objet» ou «interface saisissable». Elle est aussi appelée TUI pour Tangible User Interface ou qualifiée de NUI pour Natural User Interface et anciennement GUI pour Graspable User Interface selon les travaux de George Fitzmaurice 5. L interface tangible est un procédé de manipulation d objets physiques qui interagissent avec un environnement virtuel. Un exemple simple est la souris de l ordinateur : en effet faire glisser la souris sur une surface plane et avoir un pointeur qui se déplace sur l écran est un des principes de ces interfaces tangibles. Des efforts d ergonomie et de métaphore comme celle du «bureau», sont fait pour trouver des familiarités avec notre espace quotidien et favorisent ainsi la compréhension du fonctionnement des interfaces «classiques». Toutefois, cliquer et déplacer des objets dans un environnement virtuel est 5 G. Fitzmaurice, H. Ishii, W. uxton. Laying the Foundations for Graspable User Interfaces ACM Conférence Human Factors in Computing Systems, CHI 95, ACM Press, 1995, pages 442 à 449 : «Interfaces saisissables» peu naturel et en conséquent pose bien souvent problème aux utilisateurs. L arrivée des interfaces tangibles tend à révolutionner notre rapport à la technologie et au monde numérique permettant de créer une nouvelle relation, plus consistante, entre l utilisateur et le système. Il s agit dans ces interfaces de manipuler de véritables objets physiques comme nous en avons l habitude. L un des pionniers dans le domaine des interfaces tangibles est Hiroshi Ishii, professeur au MIT ( Massachusetts Institute of Technology ) Media Laboratory qui dirige le Tangible Media Group. Ses réflexions visent à donner une forme physique à l information numérique autrement dit de transformer des bits en atomes. Aujourd hui la recherche tente de replacer l utilisateur dans son environnement naturel, l informatique devient ubiquitaire et s insère dans la vie de tous les jours. La technologie se porte vers des objets du quotidien, le numérique devient tangible et l on parle d objets interactifs et non plus d interagir avec des objets virtuels sur un écran. Comme l explique Alan lackwell, de l université de Cambridge : «tout objet issu de l environnement peut devenir médiateur entre l usager et le système et par conséquent être défini comme objet tangible». Il existe d autres interfaces sur lesquelles je ne vais pas m attarder mais que je liste seulement pour information : Interface Gestuelle (GUI Gestural User Interface ) exemple : Lip Motion, Kinect Interface Vocale (VUI Voice User Interface ) exemple : Siri, Voice Search Interface Cinétique (KUIs Kinetic User Interface ) exemple : Nintendo Wii, Playstation Move Interface Organique (OUI Organic User Interface ) exemple : PaperPhone, Samsung Youm Interface Hiérarchique ( Hierarchical User Interface ) exemple : ipod Interface fondée sur la réalité (RUI Reality User Interface ou RI Reality-ased Interfaces ) exemple : Oculus Rift, Système STEM Les grandes générations d interfaces

7 A C D Interface en ligne de commande, MS-DOS, 1981 Interface Utilisateur Graphique, Xerox-Alto, 1981 Interface Utilisateur Tactile, IM, Plato IV, 1972 Interface Utilisateur Tangible, MIT Media Lab, ricks, A C 13 D Les grandes générations d interfaces

8 L INTERACTION HOMME-MACHINE Tous ces moyens et outils mis en œuvre afin qu un humain puisse interagir, contrôler, échanger des informations et communiquer avec une machine sont appelés dans leur ensemble des interfaces homme-machine (IHM). Les chercheurs dans ce domaine étudient la façon dont les humains utilisent les systèmes informatiques afin de concevoir des systèmes qui soient ergonomiques, efficaces, faciles à utiliser et qui satisfassent au mieux les besoins des utilisateurs comme nous avons pu le comprendre. Le domaine de l Interaction Homme- Machine s est construit avec ce que l on peut appeler «la station de travail», plus spécifiquement un ensemble cohérent d outils pour une tâche spécifique. Pour que cette communication soit la plus simple à faire et à réaliser, on utilise différents éléments. Les périphériques d entrée, comme le clavier, la souris, le microphone ou le scanner, permettent à l homme de donner des renseignements ou des ordres à la machine. Les périphériques de sortie comme l écran, des diodes, les hautparleurs ou l imprimante permettent à la machine de répondre aux ordres et d afficher des informations. L écran est un élément important et peut afficher du texte simple aussi bien que des interfaces graphiques. L un des buts de la discipline est ainsi de donner des outils et des éléments pour mettre en forme au mieux cet environnement, et ainsi permettre à l homme d interagir de manière plus humaine et plus efficace avec la machine. Comme il est dit précédemment, une interface tangible est un procédé de manipulation d objets physiques qui interagit avec des informations numériques. L acronyme TUI Tangible User Interface, est inventé en 1997 au MIT par Hiroshi Ishii 1 pour désigner une nouvelle vague d interfaces ayant comme volonté de donner une forme physique à l information numérique appelée Tangible its. Cela rend les bits directement manipulables et perceptibles d où l utilisation 1 Il est le directeur associé du MIT Media Lab et le co-directeur de Things That Think, un groupe de chercheurs poursuivant la vision de Marc Weiser sur l informatique ubiquitaire. Il est à la tête d une centaine de prototypes visant à augmenter l espace physique réel en couplant des informations numériques aux objets quotidiens et à notre environnement du terme «tangible» 2. Montré comme véritables pionniers en matière d interfaces tangibles, le Tangible Media Group crée en 1995 et dirigée par Hiroshi Ishii est un centre de recherche au sein d une université américaine, le Massachusetts Institute of Technology, située près de oston. Il s impose comme leader mondial dans les domaines de la science et des technologies naissantes du XXI e siècle. Son Media Lab est un terrain d expérimentations visant à mettre en évidence l impact des technologies sur les comportements et capacités humaines. De ce fait il est l un des laboratoires les plus prometteurs grâce à leurs idées et réalisations mêlant design, multimédia et technologie. Trouver une alternative au triplet «écran clavier souris» s avère difficile et les échecs sont nombreux, mais interagir avec l information numérique par le biais de l environnement physique s avère beaucoup plus prometteur. En témoigne l un des premiers projets du Tangible Media Group : ricks. Il naît d une recherche qui définit les base du langage des interfaces utilisateur tangible (TUI) et en propose plusieurs prototypes en illustration. Hiroshi Ishii et ses partenaires établissent qu une des manières les plus évidentes de construire un lien entre numérique et tangible est d associer à un objet numérique, un objet physique (ou comme ils l appellent une «brique»). Posée sur une surface de captation, la brique est associée à son homologue numérique, les deux étant liés, les actions sur l objet physique transforment de la même façon l objet numérique ; translation ou rotation. Pour des transformations plus complexes, une brique supplémentaire peut agir sur le même objet, la première sert alors de point d ancrage : et la seconde sert à la modification des objets. De ce point de vue, ricks constitue un travail de recherche fondamental et posera les jalons des futurs travaux sur les interfaces tangibles. Au sein des interfaces utilisateurs, on peut dire qu il n y a pas eu une réelle révolution depuis le Xerox PARC 3. Il y a surtout 2 3 Dans une courte interview, il mentionne un abaque et démontre que la manipulation directe d objets représentent une valeur peut nous aider pour des opérations comme le calcul. u interviews/hiroshiishii ill Moggridge, Designing interactions, The MIT Press, Cambridge,

9 eu des évolutions relativement lentes et des améliorations techniques. Souvent, pour démontrer en quoi une technologie est innovante, il faut dans un premier temps comprendre en quoi l autre était chaotique d utilisation et moins pratique. Actuellement, du fait de la miniaturisation des composants électroniques 4 et des dispositifs de captation, accompagnée de leurs baisses de prix et de leurs connectivités, une grande place est faite à l innovation. L omniprésence de l informatique comme le définit Marc Weiser sur l informatique ubiquitaire 5 prend sens : l Interface Homme-Machine d un système s étend partout dans notre environnement. Les limites entre les mondes numériques et physiques se réduisent. Des caisses automatiques de nos supermarchés en passant par les smartphones et autres tablettes que l on emporte partout avec nous, l utilisateur devient mobile et l Interface Homme-Machine aussi. Cela accroît la possibilité de nouvelles formes d interaction où les surfaces jouent un rôle important. Dans le domaine de l art ou de la muséographie, le doublé souris/clavier est souvent délaissé pour la navigation au profit du corps tout entier par exemple. Celui-ci se trouve confronté à un dispositif, un système, mais aussi à un lieu, un espace déterminé dans les installations interactives (galeries, expositions didactiques, musées ). Une relation inédite se noue avec le spectateur, par une scénographie dont l enjeu est de l inviter à agir sur ce dispositif. L interface peut alors prendre différentes formes (éventuellement métaphoriques) : un vélo pour «rouler» dans un paysage virtuel, un manche à balai dans un simulateur de vol, ou encore les mouvements du corps dans un espace muni de capteurs. 16 «L interactivité captive les artistes avant même que le concept issu de l informatique soit créé. L idée de faire interagir le spectateur avec une œuvre ou un environnement remonte aux années soixante. On parle alors non pas d interactivité mais de participation du spectateur. Pourtant, les intentions sont déjà là : associer le spectateur à l élaboration de l œuvre ou, dans le cas d environnements, faire réagir ces environnements à la présence du spectateur.» Edmond Couchot et Norbert Hillaire, L Art numérique, Comment la technologie vient au monde de l art, Flammarion, 2003, pages 46 Il s agit principalement de faire appel à un sens inné de l espace, du monde matériel et à des gestes communs de manipulation. L objectif est de chercher des dispositifs intuitifs pour tirer parti des capacités que peuvent offrir certaines interfaces aussi facilement qu on peut le faire avec des objets de notre quotidien. Afin que les Tangible User Interface (TUI, nous garderons cet acronyme tout au long de ce mémoire pour les définir) soient en quelque sorte un prolongement du corps grâce à la possibilité d une manipulation plus directe et intuitive sitôt l interface apprivoisée. Souvent c est la complexité du geste réel qui permet une manipulation fine de l ordinateur. «Le geste humain est analogique, infiniment complexe, multiple et gradué dans sa simplicité, tandis que les inputs venant du clavier ou de la souris sont immédiatement numériques : ils ont la pauvreté triste et bichrome des 0 et des 1.» Camille osqué et Mathias Kusnierz, Interfaces buissonnières, Décembre 2011, u dernière consultation en janvier En témoigne le premier ordinateur de la taille d une carte SD, lancé par Intel très récemment. aptisé Edison, il est équipé du Wifi et du luetooth, peut tourner sous le système d exploitation libre Linux et possède même un magasin d applications dédié. Marc Weiser, Ubiquitous computing, L interaction homme-machine

10 SURFACES ET TALES INTERACTIVES Nous sommes souvent impressionnés par des interfaces «futuristes» et «fictives» que nous montre parfois le septième art, comme on peut le voir dans des films tel que Avatar, Star Trek, Iron Man 2 ou encore le travail de Jayce Hansen, graphiste freelance dans le film The Avengers. Mais en règle générale ces interfaces ne sont qu une courte démonstration embellie et pas toujours pratique de réels dispositifs existants déjà. Prenons l exemple de l interface pour «Précrime» dans le film Minority Report 1. Essayez de rester dans la même position que Tom Cruise, debout les bras levés, si vous tenez cinq minutes c est déjà pas mal! Nous pouvons croire à une technologie futuriste, innovante, associant habillement une interface gestuelle à une interface tangible matérialisée par les boules fournissant l heure du crime, le nom de l agresseur et celui de sa victime. Seulement, cette interface est un peu copiée du concept d un designer : Durrell ishops. En 1992, il a l idée de matérialiser les messages d un répondeur téléphonique par des billes de couleurs. Celles-ci, placées à un endroit particulier pouvaient permettre d écouter le message qui leur était associé, où mises de côté donnaient la possibilité d écouter les messages plus tard. Il était également possible de les placer sur une station de téléphone pour pouvoir rappeler directement la personne qui avait laissé le message. Durrell ishops pensait que les messages téléphoniques étant abstraits, il était important qu ils soient représentés par des objets concrets. Ainsi chacun pouvait se souvenir de ses messages en reconnaissant la bille de couleur qui lui était attribuée à la manière des annotations sur un Post-it. Les nombreux gadgets de la section «Q», division recherche et développement du MI6 issu de l univers des James ond, sont souvent très inventifs et impressionnants : de la simple montre à écran de surveillance au téléphone portable dont l interface permet de piloter une voiture à distance. Dans l un des derniers films, Quantum of Solace, sorti en 2010, les bureaux du MI6 sont 1 Minority Report est un film de science-fiction américain réalisé par Steven Spielberg, sorti en C est l adaptation cinématographique de la nouvelle éponyme de Philip K. Dick équipés d une table interactive. Cette surface tactile fictive, que l on doit au studio MK12 2 basé au Kansas et spécialisée dans le design et l animation cinématographique, se compose d une table et d un écran aux dimensions plutôt généreuses qui avoisinent les 3x1 mètres chacune. La table est une surface tactile «multi-touch» où l utilisateur peut manipuler plusieurs éléments d information comme l identité d une personne des documents ou des caméras de surveillance Étant «multi-touch», plusieurs utilisateurs peuvent donc l utiliser simultanément et peuvent de ce fait, se passer des données en les faisant glisser. Certains éléments s animent ou se mettent en évidence (sans trop savoir comment cela est décidé) et il est possible de transférer les informations de son choix affichées sur la table vers l écran mural. ien que visuellement agréable, cette interface semble demander une certaine agilité et une grande maîtrise de la part de son utilisateur car les nombreuses données, accompagnées d effets graphiques, semblent se noyer visuellement dans cette surface très large. Mais cela devient intéressant lorsqu un objet physique, ici un billet de banque, est posé sur la surface, il est automatiquement scanné et «virtualisé» pour s insérer parmi les autres données affichées sur la table. À l image de la table interactive de Microsoft baptisée PixelSense et vendue sous le nom de Surface en Elle se présente à l utilisateur comme une table dont le dessus est constitué d une surface à la fois tactile et tangible, capable de reconnaître 52 points de contact simultanément ainsi que certains objets posés sur l affichage. Pour exemple, lorsqu un smartphone y est déposé, le teléchargement des photos et/ou vidéos qu il contient se fait automatiquement et les informations apparaissent en éventail. De même pour interagir avec du contenu virtuel lorsque l on dépose certains objets munis de code-barres. Le public visé initialement par le produit est constitué d établissements hôteliers, de restaurants, et de l industrie du divertissement qui pouvaient créer leur propre interface et la mettre à disposition pour un dialogue plus explicite avec leurs clients. Le marché s est ensuite étendu au domaine de la santé, 2 MK12 MKTWELVE : Tactical design & researsh bureau, u MKXII/

11 des services financiers, de l éducation, et du gouvernement. Le produit a changé de nom, de Microsoft Surface en Microsoft PixelSense le 18 juin 2012, lorsque Microsoft a annoncé une nouvelle tablette grand public indépendante nommée Microsoft Surface. Dans le principe des tables graphiques que l on manipule à la main, deux prototypes ont vraiment contribué au succès des TUI. Même si leurs principes fondamentaux sont assez proches (des tables interactives qui interagissent avec des modules physiques manipulables 3), leurs philosophies respectives diffèrent sensiblement. Considérées comme la première table musicale à contrôleur tangible, l Audiopad développé par James Patten et en Recht au sein du MIT Media Lab en 2002, est un instrument de composition et de performance pour la musique électronique. Il permet de suivre la position de pastilles posées sur sa surface et convertit leur mouvement en variations sonores. Chaque module est reconnaissable grâce à son anneau lumineux qui s affiche sur la surface et définit son aura d influence avec les autres modules et sur la musique. L Audiopad permet non seulement de réinterpréter simplement des compositions musicales, mais aussi de créer un dialogue visuel et tangible entre son interface, l (es) utilisateur(s) et éventuellement un public. De la même manière et plus abouti, la Reactable, créée au sein du Music Technology Group à l université Pompeu Fabra de arcelone en 2005, est un instrument de musique électro-acoustique qui se présente sous une forme ronde elle aussi dotée d une surface interactive tangible et tactile. Cet instrument est né de l expérience de Günter Geiger, Sergi Jordà, Martin Kaltenbrunner et Marcos Alonso en lutherie numérique et en performance sonore, leur envie était d élaborer un dispositif musical participatif et intuitif qui convienne aux novices comme aux experts de la synthèse musicale. Le concept de cet instrument devait résider dans le fait que 3 Initié notamment par le projet Sensetable, un système sans fil qui permet de suivre précisément et rapidement les positions de plusieurs objets sur une surface horizontale plane. Ces objets ont un état numérique, qui peut être commandé et modifié par leur position au sein de la surface. Hiroshi Ishii, James Patten & co, MIT Media Lab, son utilisateur puisse très rapidement et simplement, produire un son et le modifier, tout en laissant une large part à un apprentissage plus poussé ainsi qu au perfectionnement des techniques de jeu, comme pour un véritable instrument de musique. Ils ont alors l idée de créer une table dont l interface permet, lorsque l on y dispose et déplace de véritables modules physiques, d activer et modifier les composantes d un synthétiseur modulaire. Ces modules représentant chacun des éléments du synthétiseur, sont reliés entre eux virtuellement et et interagissent avec la surface. L utilisateur peut modifier leurs interactions en augmentant ou en réduisant leur distance, en en les pivotant pour varier la fréquence du signal et même jouer avec l amplitude en déplaçant son doigt autour de l élément,etc. grâce à ses capacités tactiles. L écran permet d afficher toutes ces informations et informe des différentes fonctions et liaisons entre les modules. C est donc la position des multiples groupes d objets posés sur la table, qui déterminera les signaux qui rejoindront un point central matérialisé par une sortie audio et ainsi produire la musique. La Reactable est une remarquable démonstration d intuitivité et de design ergonomique, en effet chaque élément et fonction du synthétiseur est parfaitement représenté. Reliés entre eux par des connexions graphiques, ces liaisons représentent de façon très explicite, le contenu même des informations qui y circulent comme la forme d onde d un signal audio parcourant deux éléments. Le son semble littéralement se transmettre d un objet à l autre en temps réel. Ces objets, associés à un visuel graphique évident, sont répartis en familles, ellesmêmes reconnaissables par leurs couleurs et formes de leurs contours. Par ce principe, même avec beaucoup de modules présents et déplacés simultanément, tout reste en permanence parfaitement lisible. Sa simplicité extrême dans son design comme dans sa manipulation intuitive, conjugué à d énormes capacités sonores, permet à la Reactable d être très appréciée dans plusieurs domaines. En 2007, jörk l utilise en concert pour la tournée de son album Volta, qui contribua alors au succès de l artiste islandaise. Surfaces et tables interactives

12 A C D Avatar, James Cameron, 2009 The Avengers, Joss Whedon, 2012 Minority Report, Steven Spielberg, 2002 Quantum of Solace, Marc Forster, A C 23 D Surfaces et tables interactives

13 A C D Microsoft Surface/PixelSense, Microsoft, 2007 Audiopad, James Patten et en Recht, MIT Media Lab, 2002 Reactable, Günter Geiger, Sergi Jordà, Martin Kaltenbrunner et Marcos Alonso, Music Technology Group, A C 25 D Surfaces et tables interactives

14 Utilités des interfaces tangibles MODES DE CAPTATION Pour le moment, les tables interactives restent difficilement accessibles au grand public notamment à cause de leur prix encore élevé et sont surtout accessibles lors d événements culturels ou pour de la pédagogie encadrée. Néanmoins, avec un ordinateur de bureau et quelques dispositifs de captation à faible coût, il est possible de confectionner soi-même sa propre table d affichage à l aide d un verre Plexiglas, d un grand calque, d une webcam et d un vidéoprojecteur. Le tout associé à de petits logiciels présents sur la toile comme le Multi- Pointer X entièrement gratuit sous Linux, et une solution multiplateforme nommé Festival qui est en cours de développement. Trackmate issu du Tangible Media Group, est également une initiative open source 1 pour créer soi-même son interface tangible. Il permet à n importe quel ordinateur de reconnaître les objets marqués, leur position, leur rotation et la couleur de l objet, grâce à une simple caméra. Comme vu précédemment, l évolution instrumentale qu est la Reactable fera également naître grâce à son principe très efficace, de nombreux projets utilisant son système de tracking informatique baptisé Reactivision. Grâce à l Open source, et avec un minimum de connaissances en programmation, chacun peut se construire sa propre table tangible et redéfinir sa propre vision d interface homme-machine. eaucoup verront le jour, des prototypes bricolés aux produits finis, souvent axés sur la musique, simples clones de la Reactable ou inventions plus farfelues (bar lumineux, jeu d échec musical ). 26 Avec l engouement du «DIY» 2, plusieurs concepts naissent autour de ces questions d interface utilisateur naturel. Comme dans le cas du projet D-Touch. Toujours autour de la création sonore, D-Touch, initié par Enrico Costanza et Simon Shelley, se veut ultra-disponible. En effet il vous suffira seulement d une dizaine de feuilles de papier, d un ordinateur muni d une caméra et d une imprimante. La première étape consiste à installer une petite interface sur son ordinateur et la seconde est de se procurer une série de marqueurs graphiques contrastés noir sur blanc à imprimer soi-même. Il suffit de disposer ces marqueurs sur une feuille blanche format A4 et de bien cadrer le tout devant sa webcam qui saura les reconnaître. Ces marqueurs modulaires, répartis sur la surface de la feuille seront lus, de gauche à droite et joueront grâce à l ordinateur le son qui leur sera associé. Chaque son peut être personnalisé à l aide d un micro, simplement en plaçant le marqueur sur le coin supérieur droit de la feuille : on lance l enregistrement et en le retirant on l arrête, il est ensuite enregistré et associé à ce marqueur. Il pourra ensuite être joué parmi les autres présents sur la surface de la feuille de papier. Il est évidemment possible de pousser un peu les réglages sonores avec l interface préalablement installée en ajoutant des boucles, de la réverbération, ou bien la vitesse du rythme de lecture. Le but de ce dispositif est de proposer un type de représentation évocateur autant pour l humain que pour la machine, les marqueurs représentent simplement des ordres envoyés à la machine. Accessibles à tout le monde, D-Touch permet de laisser libre court à son imagination par la manipulation sonore. Il réussit à faire oublier un temps la machine en axant ses priorités vers la série de modules fabriqués maison, que certains appliqueront sur des objets en volume. Les vertus sociales de la musique populaire ne sont plus à prouver, les internautes ambitieux en témoignent, car ils ont démontré que D-Touch pouvait être participatif et adapté à des échelles différentes, c est d ailleurs une des rares interfaces musicales gratuites, en ligne et La désignation open source, s applique aux logiciels dont l accès au code source et libre, ils peuvent donc être modifiés et redistribués. Les programmeurs peuvent ainsi mettre en place des logiciels dérivés Abréviation de l expression Do it uourself («fais-le toi même»), une philosophie consistant à créer par ses propres moyens des objets du quotidien, des outils technologiques, des œuvres d art, etc.

15 D autres moyens de captation qui n utilisent pas la caméra et beaucoup plus coûteux existent et sont d ailleurs orientés sur l informatique et ses réseaux. Pour l identification et la localisation d objets tangibles, on utilise la radiofréquence basée sur la technologie RFID 3. Dans le cadre d un projet de l ANR (Agence Nationale de la Recherche) en 2007, MultiCom (un centre de recherche axés sur les problèmes de conception et d évaluation de systèmes interactifs utilisateurs) associé à une équipe du LIG (Laboratoire d Informatique de Grenoble), a développé le concept de «Table TTT 4» avec ses partenaires industriels. Une surface (dalle matricielle) composée de plus d un millier et demi d antennes RFID, permettant d interagir avec des objets tangibles équipés de badges RFID. Les interfaces des dalles sont nativement en réseau IP et permettent à des applications de communiquer naturellement au sein d un réseau local ou au travers celui d internet. La particularité de la technologie RFID est non seulement d être capable de connaître la position de l objet et sa rotation en permanence, mais également d écrire des informations dans les objets. Il devient alors possible de reconnaître des objets superposés les uns sur les autres (les autres modes de captations par contact sur la surface, ne peuvent reconnaître des objets superposés sur d autres, ceci est souvent caractérisé comme offrant 2,5 dimensions plutôt que trois). Grâce à un partenariat avec les universités de Grenoble et de Valenciennes, la surface Tangisense voit le jour. Elle consiste à concevoir, réaliser et tester un environnement permettant à un ensemble d utilisateurs d interagir de manière distribuée à l aide d un ensemble de tables ou tablettes interactives et d exploiter des objets aussi bien tangibles que virtuels 5. Tangisense est composé de dalles de 25 cm de coté comportant 64 antennes RFID, reliées chacune au réseau Ethernet et Radio Frequency IDentification (Identification par Radio Fréquence). Cette technologie permet d identifier un objet, d en suivre le cheminement et d en connaître les caractéristiques à distance grâce à une étiquette émettant des ondes radio, attachée ou incorporée à l objet. Table d interaction avec des objets Traçables et Tangibles. Un projet qui consiste à réaliser les logiciels d une table interactive pour la manipulation collaborative d objets tangibles. En partenaria avec IMAGIT (EnvIronnement Multi-Acteurs multi-tables interactives à objets tangibles et virtuels). Propos de la société RFidées, u dernière consutation Janvier équipées de quatre diodes multicolores. Une seconde version est en cours d étude, dans laquelle des écrans remplacerons les diodes. Cette caractéristique offre la possibilité d assembler autant de dalles que l on souhaite et permet de choisir la taille de sa surface de reconnaissance et d action. Il est d ailleurs possible de s en procurer, les dalles Tangisense sont disponibles à la vente auprès de la société RFidées. Reliées par le réseau local IP, l ordinateur pilote les modes de fonctionnement des dalles, collecte et traite l information quelles envoient, il est d ailleurs possible grâce à son ordinateur portable ou toute technologie capable de se connecter à ces réseaux, d afficher ces informations. Grâce à cette technologie, cette surface offre un mode d interaction intuitif et efficace dans des applications comme les maquettes manipulables, les jeux collaboratifs, ou la composition musicale (comme nous avons pu le voir), etc. De nombreux projets sont en cours de développement sur ces surfaces, utilisées pour la visualisation et l apprentissage dans divers domaines sensibles comme l écologie ou la biodiversité. En effet via cette technologie, il est proposé par exemple, d utiliser des figurines d animaux à placer correctement sur la surface des dalles, afin de peupler les biotipes d une carte des hauts plateaux du massif du Vercors. L objectif est de faire comprendre à des élèves la notion de biodiversité d une manière plus interactive que les dessins de leurs manuels scolaires ; «On apprend plus vite en déplaçant des objets» 6. De plus, réunis autour de la table avec le sens quelle implique les élèves partagent davantage leur connaissance sur les animaux qu ils ont entre les mains et leur environnement, et ce de façon intuitive. En effet, manipuler des objets sur une surface horizontale, permet à l utilisateur d agir tout en parlant et en gardant un œil sur ce que font les autres. Chaque utilisateur peut alors modifier la position des objets par rapport à eux mais aussi par rapport aux autres utilisateurs. Cela permet d attribuer à l objet une place significative et de développer un raisonnement spatial. 6 D après les propos de Christian Perrot (ingénieur chargé de valorisation au LIG) recueillit dans un article de Marion Sabourdy (journaliste et animatrice de communauté pour Echosciences Grenoble), Tangisense : une table pour apprendre et négocier, juillet u actualites/tangisense-une-table-pour-apprendre-et-negocier Modes de captations

16 A C D Trackmate, MIT Media Lab, 2009 Reactivision, Universitat Pompeu Fabra, 2005 D-Touch, Media and Design Laboratory, A C 31 D Modes de captations

17 A Tangisense, Apprentissage des chiffres et nombres, imagit, Université de Valencienne, 2007 Tangisense, La iodiversité au bout des doigts, Fête de la Science, A Modes de captations

18 PERCEPTION NATURELLE Le site READi/Design Lab issu de l école de design de Nantes, est axé sur la recherche expérimentale appliquée en design d interactivité, considère les interfaces tangibles à travers trois approches 1 : 1. Approche psychotechnique et ergonomique L interface investit l espace (produits, architecture), comme modalité d interaction, la tangibilité efface l interface. Disparition de la métaphore, du cadre descriptif et conceptuel, au profit d une «naturalité» et d une sensorialité plus effective. 2. Approche architecturale et sémiologique Un nouveau langage plastique, issu des gènes de ce nouvel objet, fusion du tangible et du numérique, intelligent et communicant. L interrelation usage/plasticité, les formes, le poids, l environnement, le mouvement (et flux), les signes 3. Approche économique, sociale et politique De la personnalisation à la co-création par l usager (DIY/RepRap 2). Adaptation et transformation des moyens de production, quels enjeux, quelles conséquences sociales et économiques? Comme nous pouvons le comprendre, les TUI posent de nombreuses questions et remettent en cause notre moyen de communication avec notre environnement informatique car il tendent à vouloir se substituer aux interfaces classiques telles que nous avons l habitudes de les utiliser. L avantage de ce raisonnement est de placer l utilisateur au centre de la communication grâce à un environnement physique. Selon certains psychologues, dont Heinz Werner, spécialisé dans la psychologie du développement, les objets nous poussent à agir. Il définit comme «objets signaux», les objets qui ont pour 1 2 Propos supervisée par Thierry Lehmann (Responsable de l Option Majeure Interfaces Tangibles, designer produit, transport, systèmes et interfaces embarqués pour le groupe Manitou), assisté de Thierry Mellerin (Co-responsable de la même option), designer d interactivité et directeur de l agence L-arrosoir). u Contraction de l anglais Replication Rapid prototyper, pouvant se traduire par concepteur de réplication rapide. C est un projet britannique de l Université de ath, visant à créer une imprimante 3D en grande partie auto-réplicative et libre caractéristique d évoquer leur fonctionnalité à celui vers qui il est destiné ; comme une chaise évoque à l homme le fait de pouvoir s asseoir dessus, bien que cela ne soit pas le cas pour un bébé ou un animal. C est en 1977, que James J. Gibson attribut le terme d affordance, comme étant l ensemble des possibilités d action dans l environnement, d un objet, d une situation : en fonction de ses caractéristiques propres et de celle de l observateur/acteur. En 1988, Donald Norman, dans The Design of Everyday Things, réutilise le terme dans les possibilités perceptibles d un programme pour son utilisateur, le terme est donc utilisé pour désigner le potentiel d une interface homme-machine 3. Grâce à cette notion et de la même façon, utiliser des objets réels avec une interface tangible peut être perçu et compris plus rapidement que l utilisation des objets virtuels perceptibles à travers un écran d ordinateur. De plus l effet sensoriel que procure un objet peut optimiser l interaction. Cet effet sensoriel fait appel à notre sens haptique, qui désigne la science du toucher, comme l acoustique pour le son ou l optique pour la vue. Lorsque l on touche un objet, l haptique agit de trois manières différentes : il fait appel alors au sens tactile, la sensation des textures, grâce aux capteurs de pression sur notre peau qui nous donne une information sur le relief de la surface. Au sens kinesthésique, la sensation des forces qui permet de ressentir la position et les mouvements du corps ainsi que les forces exercées sur lui, en particulier pour nous informer sur le poids des objets. Puis le sens thermique, qui permet de perçevoir la température de l objet par rapport à notre peau. Tout récemment sorti des laboratoires de Disney Research, le projet Aireal, propose une nouvelle interface basée sur la sensation du touché appelée interface haptique. Aireal permet de sentir une pression physique sur la main ou le bras lorsque l on manipule des objets virtuels sur un écran Selon IA. & ergonomie, apparru dans la définition d affordance présent sur un dictionnaire phsycologique en ligne. u com/fr/definition/affordance.html Dans d autres domaines, que nous aborderons plus loin, on utilise des interfaces haptiques à retour de force pour reconstituer certaines sensations physiques liées à l action se déroulant sur un écran. On trouve des volants ou des joysticks à retour de force qui servent à transcrire voire à amplifier les effets de résistance liés à la conduite d une voiture, d un avion ou d une opération chirurgicale.

19 Mais son originalité est de fonctionner sans le moindre équipement corporel, grâce un dispositif placé à côté de l écran qui propulse rapidement de petits tourbillons d air qui se propagent jusqu à la peau de l utilisateur. Projetés avec précision sur ses gestes grâce à un système de capture de mouvement, et en jouant sur l intensité et la fréquence de ces mini-canons à air, il est possible de créer de multiples sensations tactiles. Pour démontrer l efficacité de leur système, Disney Research montre l exemple d un papillon projeté numériquement sur la main d un utilisateur : l image et les tourbillons à air synchronisés avec les gestes, donnent la sensation des battements d ailes sur la peau. Le générateur de tourbillons dont l orientation est pilotée par l ordinateur est constitué de cinq haut-parleurs miniatures, dont les membranes compressent et expulsent l air capable de se propager sans déformation ni atténuation sur une distance d un mètre ou plus. D un autre côté le projet InForm du Tangible Media Group propose également par le biais d une interface gestuelle, un système d affichage dynamique qui peut reproduire et matérialiser physiquement à distance, la forme des mains ou tout objet capté par le dispositif. Il est composé de 900 bâtonnets de section carrée, alignés sur une grille de 30x30 et actionnés à l aide de mécanismes contrôlés par ordinateur. Ces bâtonnets varient respectivement leur hauteur suivant celle de l objet présenté sous l interface gestuelle. Ce procédé permet d interagir et de déplacer des objets à distance se trouvant sur la surface de la table mobile. De même, si on pose sa main directement sur ces bâtonnets l interface fera office de surface haptique. InForm montre l exemple d une balle rouge, déplacée par les bâtonnets qui reproduisent les gestes et matérialise les mains de la personne se trouvant sous les capteurs de mouvements. À distance, les participants d une conférence vidéo peuvent être affichés physiquement, permettant un fort sentiment de présence et la capacité d interagir physiquement. Pour le moment le système est un peu encombrant mais si on le miniaturise suffisamment, il pourrait être transposé dans de nombreux domaines, notamment dans le design, en architecture, un dans le cas d un plan de ville interactif etc Si on s amuse à assembler les technologies d InForm avec celles de Aireal, il sera alors possible de ressentir le poids de la balle rouge que l on déplace pour apporter du réalisme tactile à l utilisateur. Non seulement, il lui sera possible de déplacer un objet à distance, mais il pourra également sentir son poids sous ses mains et fera davantage écho à son environnement naturel. On se rapproche alors des notions d interface intuitive et naturelle, qui seraient presque invisible pour l utilisateur et qui ne nécessiteraient pas de temps d apprentissage pour interagir avec la machine. Le mot naturel est utilisé parce que la plupart des interfaces informatiques utilisent des dispositifs de contrôle artificiels dont le fonctionnement doit être appris préalablement. ien que l interface nécessite un temps d adaptation, son accessibilité doit être facilitée par le sentiment qu elle donne à l utilisateur de progresser rapidement et avec succès de façon constante. Elle repose sur le fait de passer rapidement du niveau débutant à expert. Ainsi, le naturel réside dans l expérience utilisateur où l interaction avec la technologie se fait naturellement, sans apprentissage préalable, on parle également de l aspect didactique d une interface. Pour revenir à la perception haptique, il existe d autres procédés comme la technologie E-Sense avec le projet Tixel 5, destiné aux écrans tactiles. Cette technologie est capable de faire sentir à l utilisateur des sensations d humidité et de texture au bout des doigts, obtenu en utilisant un champ électrique appliqué à la surface de l écran. Ce champ électrique réagit grâce à la charge naturelle présente sur la surface du doigt. Selon la loi de Coulomb, deux charges de même signe se repoussent, deux charges de signe opposées s attirent. En modulant, le champ électrostatique à l échelle du pixel il est possible de recréer des sensations très précises. L absence de retour sensoriel est le principal inconvénient des écrans tactiles utilisés aujourd hui, ce qui pousse certains utilisateurs à préférer des téléphones à clavier physique par exemple. Il est également envisagé d adapter des écrans pour l usage des personnes atteinte de déficience visuelle ou de cécité. 5 Contraction de Tactile Pixel imaginé par la société Finlandaise Senseg. Perception naturelle

20 A Aireal, Disney Research, Pittsburgh, États-Unis, A Perception naturelle

21 A C InForm, Mit Media Lab, Tangible Media Group, États-Unis, A 41 C Perception naturelle

22 OJETS PHYSIQUES ET UNIVERS VIDÉOLUDIQUE Le jeu vidéo est un domaine de création propice à l expérimentation où la diversité des productions favorise de nombreux axes d approche et d étude. Les bases d un jeu reposant principalement sur des notions liées à l image, l esthétique, le son, la narration, l interactivité Les concepteurs et créateurs approfondissent continuellement leur réflexion autour de ces bases et poussent le jeu vidéo à toujours explorer de nouvelles possibilités techniques pour éveiller et émerveiller nos esprits. À l origine réservé à un publique de passionnés, souvent masculin et adolescent, le jeu vidéo à aujourd hui évolué. Il s est élargi, s est féminisé et concerne maintenant toutes les générations. Cette évolution lui a permis de se démocratiser, on le retrouve dorénavant dans l éducation, généralement sur des logiciels comme supports pédagogiques où pour l éveil des enfants car de plus en plus visuel. Plus récemment on trouve des jeux éducatifs sous le nom de «serious game», destinés à un public «adulte» dont l intérêt est de transmettre un savoirfaire de manière pédagogique, informative et ludique. «Application informatique, dont l objectif est de combiner à la fois des aspects sérieux ( Serious ) tels, de manière non exhaustive, l enseignement, l apprentissage, la communication, ou encore l information, avec des ressorts ludiques issus du jeu vidéo (Game). Une telle association a donc pour but de s écarter du simple divertissement.» Définition de serious games d après Julian ALVAREZ 1 Ces nombreuses évolutions et mutations ont eu des impacts importants sur le marché et dans le domaine industriel. Le jeu investit notre quotidien, par le biais de nos smartphones ou tablettes, le joueur peu alors se divertir n importe où et n importe quand, dans le train, en pose déjeuner 42 Fin 2013, selon L Agence Française pour le Jeu Vidéo, en partenariat avec ecap Partner (banque d affaires spécialiste de l industrie digitale), grâce à l industrie du jeu vidéo sur mobiles, le jeu-vidéo reste la première industrie culturelle en France et dans le monde par son chiffre d affaires 2. Ce qui tend à penser que le jeu vidéo, ludique ou non, séduit de plus en plus de monde et de tranches d âge. Cela pourrait s expliquer par le fait que l on exploite d avantage la voie des interfaces naturelles et tangibles : car elles engagent le corps de l utilisateur. Elles font appel à «son mouvement, son geste, sa capacité à entrer en contact de manière concrète avec l objet. L interactivité se retrouve donc définit à nouveau, par une nouvelle entrée celle du corps en action face à l objet technologique. Cette frontière du corps, une fois franchie, donne une possibilité nouvelle et exceptionnelle à l utilisateur : celle de toucher le virtuel. Ce concept du toucher, très exploité par les technologies tactiles de plus en plus répandues, ne cessera d évoluer et de constituer le futur des interfaces utilisateurs» 3. En ce qui nous concerne, beaucoup de studios de développement se sont penchés sur la question de l utilité d associer des objets physiques à un univers vidéoludique. Certains se sont avérés être de simples gadgets ou accessoires, là où d autres tentent d innover en proposant de nouvelles façon d interagir avec du contenu virtuel. Parmi ces associations d univers, on peut citer des accessoires comme le NES Zapper sur Nintendo (1985) et ces nombreux descendants tel que le GunCon, un simple pistolet électronique, vendu comme accessoire. Ils permettent aux joueurs de tirer en direction de leur télévision, sur des cibles qui apparaissent au fur et à mesure de la progression. Certains «pistolets» sont équipés de petits moteurs vibrants, qui améliorent l expérience en faisant appel à notre sens haptique. Comme lorsque l on manipule de véritables volants accompagnés de retour de force 1 Du Jeu vidéo au Serious Game : approches culturelles, pragmatique et formelle. Thèse spécialité en science de la communication et de l information. Université detoulouse III (Paul Sabatier), décembre 2007, 445 p. Selon le site éduscol : Portail national des professionnels de l éducation. u numerique/dossier/apprendre/jeuxserieux/notion Comme le rapporte la Société National du Jeu Vidéo. u industrie-francaise-jeu-video/ u Claire Siegel, L émergence des interfaces tangibles, vers une nouvelle dimension du serious game, Claire Siegel est doctorante en game design, elle travaille sur les relations entre le jeu vidéo et le domaine artistique.

23 tel que l on peut en voir dans les salles d arcade. Plus tard, d autres permettent aux joueurs de créer leurs propres groupes de rock virtuels (Guitar Hero (2004), Rock and (2006) et donnent la possibilité de jouer à quatre en simultané en reproduisant les notes qui défilent à l écran, grâce à l utilisation de périphériques inspirés de réels instruments de musique. Guitar Hero propose une version très simpliste du jeu de guitare, le rendant de ce fait plus accessible et amusant, avec la possibilité de sélectionner son niveau d apprentissage et de difficulté en supprimant des notes ou en ralentissant le rythme. L accessoire peut devenir une belle entrée dans le monde de la musique et permet de s initier au plaisir de jouer d un instrument, le tout dans la convivialité. Il en est de même pour d autres univers avec l accessoire Wii Fit de Nintendo (une balance rectangulaire reliée sans fil à la console Wii), grâce à quatre capteurs de poids, il peut calculer l inclinaison du joueur et son centre de gravité. À partir de ce concept simple, Wii Fit propose des exercices de souplesse et d entraînement physique, afin de garder la forme tout en se divertissant. De son côté, Sony à dernièrement sorti un livre interactif en réalité augmentée sur sa PlayStation 3, appelé Wonderbook et destiné à un jeune public. Muni d une baguette magique, le joueur doit apprendre et reproduire des sorts lorsqu il parcourt les pages du livre pour résoudre diverses énigmes et progresser dans l histoire. Autant de possibilités offertes, par l innovation et le retour des joueurs qui deviennent de plus en plus nombreux. 44 créatures dotées de divers pouvoirs. Le principe est simple, il suffit de poser une statuette sur le fameux socle en plastique (nommé Portail de pouvoir) pour la voir apparaître dans le jeu et faire évoluer ses pouvoirs. Chacune des statuettes bien réelles contient une mémoire interne, le joueur peut donc jouer chez un ami tout en gardant l évolution qu il a acquise lors de sessions précédentes. L éditeur souhaite avec ce principe, pousser l intérêt au-delà du simple jeu vidéo et créer un aspect communautaire en proposant aux jeunes joueurs d emmener leur figurine jusqu à la cour de récréation. Ce concept fait visiblement un véritable carton chez les enfants, au-delà même des espérances d Activision (développeur du jeu), car en seulement deux ans, de nombreuses nouvelles figurines sont apparues (32 au total). Deux suites sont déjà sorties à ce jour, disponibles sur la plupart des plate-formes vidéoludiques actuelles. D autres jeux suivront ce principe comme Disney Interactive cette année avec Disney Infinity, basée sur leurs personnages et univers. Ce qui renvoi à l affordance, l importance de l aspect des objets, qui doivent être immédiatement compris, et montrer quelles sont les actions et fonctions qu ils permettent. Ces jeux proposent une belle complémentarité entre contenu réel et virtuel, pour preuve elle est le fruit de l association de deux firmes américaine : Toys R Us, une chaîne de magasins spécialisée dans le jouet et Activision, une entreprise de développement et d édition de jeux vidéo. Sortis en 2011, les jeux Skylanders 4, reposent sur un concept plus novateur et très accrocheur. En effet, l éditeur ne souhaite pas seulement s installer sur les consoles familiales mais faire partie du quotidien des enfants en proposant des figurines interactives, obligatoires pour jouer à leur titre. Ce jeu d aventure est fourni avec un socle connecté au jeu vidéo par un petit adaptateur US infrarouge à relier à sa console, mais surtout avec trois figurines en plastique représentant des 4 Liste des jeux référencés sur le site jeuxvideo.com, u com/recherche/jeux/skylanders.htm, et sur le site officiel, u skylanders.com/fr/video-games 45 Objets physiques et univers vidéoludique

24 A C D Time Crisis 4, Namco andai, 2008 Wonderbook : ook of Spells, Sony, 2012 Wii Fit, Nintendo, 2008 Skylanders : Spyro s Adventure, Activision, A C 47 D Objets physiques et univers vidéoludique

25 Design graphique et interfaces GRAPHISME HYRIDE Face au développement de la création numérique et à l attachement que l on porte à notre monde physique, certains graphistes et designers ont imaginé de nouveaux concepts, notamment dans le domaine du jeu vidéo. C est le cas des Éditions Volumiques par exemple, crées en 2008, c est une sorte de petit laboratoire de recherches et de productions, dans les domaines de l édition et du ludique. Refusant de choisir entre papier et numérique, les deux créateurs de cette maison d édition nouvelle génération, décident de développer des objets hybrides de toute sorte. Etienne Mineur 1 est professeur à l ENSAD de Paris et à la HEAD de Genève et ertrand Duplat 2 est le cofondateur du studio de création industrielle Absolut Design, crée en Leur idée est simple, au lieu de confronter les nouveaux médias aux anciens, pourquoi ne pas les associer? Dès le début, ils souhaitent lier l objet physique et l interactivité numérique pour supprimer la frontière entre le monde tangible et le monde virtuel. Les Éditions Volumiques axent alors principalement leur raisonnement autour du livre : tenir l objet dans ses mains, sentir son poids, tourner les pages et en apprécier sa texture. Au-delà du contenu qu il renferme, le plaisir de lire passe essentiellement par la qualité de l objet. Autrement dit, le passage aux livres numériques (sur ordinateur, liseuse, 48 tablette, smartphone, etc.) perd forcément de la saveur. Une vidéo parodique fait d ailleurs l apologie de l objet livre, elle le présente comme une évolution technologique incroyable : le OOK 3. ien que le numérique apporte son lot de fonctionnalités intéressantes : outils de recherche, hypertexte, indexation, la réelle interaction avec l objet se retrouve complètement bouleversé. Il ne s agit pas simplement d une transposition du papier vers l écran, autrement dit de ne pas juste transposer le contenu d un support vers un autre plus performant, mais plutôt d améliorer ce support grâce à un autre plus performant. Par «performant» je veux dire qui offre un plus large champ de possibilités. Sans perdre l authenticité du livre et le plaisir de le manipuler physiquement, les Éditions Volumiques veulent lui apposer un côté numérique et technologique. Comme le décrit Etienne Mineur à propos de ses recherches dans l évolution du livre numérique : «Les gens veulent mettre le livre dans l ordinateur, nous, on met l ordinateur dans le livre». Cette question s est poursuivie dans l univers du jeu, il existe d une part les jeux de plateaux et d une autre les jeux vidéo. Pourquoi ne pas «associer» ces deux principes, en proposant d ajouter un peu de numérique dans le jeu physique et vise versa, une sorte de jeu hybride? En bricolant un peu, Etienne Mineur et ertrand Duplat ont eu l idée d inventer un système simple et peu coûteux ; il s agit de petits objets que l on vient déposer sur des appareils tactiles du type tablette numérique et qui interagissent avec le contenu numérique. En effet, grâce à une encre spécifique qui conduit l électricité statique de notre corps, l objet maintenu est reconnu par l écran capacitif sur lequel il est posé. Plusieurs objets peuvent être reconnus grâce à la technologie multi-touch, l encre imprimée sous l objet forme des points différenciés suivant leur configuration. 1 2 Diplômé de l ENSAD (École Nationale Supérieure des arts décoratifs de Paris) en 1992, membre de l AGI (Alliance Graphique Internationale) depuis 2000 et membre des Designers Interactifs depuis Mais également cofondateur et directeur artistique de l atelier de création Incandescence en Également cofondateur de Virtools en 1993, une société créatrice de l outil éponyme de création visuelle d interactivité et de gameplay en 3D, et inventeur de son interface graphique Un présentateur de Leerestademoda (un projet culturel lancé dans le but de promouvoir le livre et la littérature en ligne) d un ton très sérieux présente le OOK. Inspiré des démos d Apple, il fait l éloge de l objet livre et le décrit comme compact, facilement transportable, totalement autonome en énergie et capable de contenir plusieurs milliers d informations. Il reprend les gestes des lecteurs comme tourner les pages, suivre du bout de l indexe la progression de lecture et nous présente rien d autre qu un simple livre comme un objet high-tech incroyable.

26 L écran connaît alors leur position et leur rotation, lorsqu ils sont manipulés. La question et de savoir comment se servir de ces objets, leurs caractéristiques, leurs possibilités, comme articuler un scénario afin de leur donner du sens. De nombreux jeux sont créés : alloon PaperApp, un petit dirigeable que vous déplacez au-dessus d une ville numérique ; Monopoly Zapped qui reprend la base du jeu éponyme et utilise des cartes de crédits à présenter sur l interface comme moyen de payement ; ou bien un prototype dans lequel les pions doivent se rapprocher entre eux à travers un dialogue typographique C est généralement l interface présente sur l écran qui sert de plateau de jeu, les objets communiquant deviennent alors les pions qui apportent le côté magique par leurs diverses possibilités d interaction. Ou bien au contraire, l interface présente sur l écran indique des ordres ou des informations et sert parfois de pion lorsque ce dernier est posé sur un plateau de jeu. Pour le moment c est le géant du jeu et du jouet Hasbro qui fabrique et distribue les jeux des Éditions Volumiques sous le nom de zapped games. Ils travaillent principalement avec plusieurs personnes de domaines différents : avec des développeurs et des ingénieurs, mais aussi avec des graphistes et designers freelances. eaucoup de sociétés dans des domaines très variés se sont intéressées à leur projet, ils travaillent d ailleurs avec des personnes issues du domaine des jeux vidéo, des jeux de cartes et des jeux de plateau, des éditeurs de livres traditionnels, de bandes dessinées, de téléphonie 50 quelle peut contenir et proposer. Une voie propice à l imagination s offre donc aux métiers graphiques qui pourront mettre au service des IHM et tout particulièrement des TUI, leur savoir faire. Un langage visuel et maîtrisé, au service de la muséographie, de l éducation et de la médecine par exemple. Pourtant si cette idée à l air de plaire, elle reste trop cantonné au simple «jeu amusant» et on perçoit très vite les limites offertes par le procédé utilisé. La collaboration entre le graphiste et les métiers du domaine technologique doit aller beaucoup plus loin que le simple smartphone ou la tablette. Car dans ce principe d hybridation, le graphiste peut alors s exprimer numériquement et plastiquement. Apporter son savoir faire dans un domaine et le transposer dans l autre. Cette complémentarité fait résonner à la fois ses connaissances plastiques dans la confection et la fabrication de l objet, mais aussi dans la réalisation de l interface et des informations 51 Graphisme hybride

27 A C D alloon PaperApp version iphone, les Éditions Vomumiques, 2012 Jeu de plateau augmenté par l utilisation d un iphone, les Éditions Vomumiques, 2011 Présentation du Nouvel Ipad, Apple, 2012 Présentation de ook, Leerestademoda, A C 53 D Graphisme hybride

28 CHIRURGIE ASSISTÉE PAR ORDINATEUR Dans certains domaines comme par exemple la médecine, l interaction homme-machine passe aussi par l imagerie à traitement numérique et la robotique chirurgicale. Ce procédé est appelé la chirurgie assistée par ordinateur (CAO), elle permet d aider le praticien dans la réalisation de ses gestes diagnostiques et thérapeutiques afin de les rendre plus précis et plus efficaces. Le médecin peut alors atteindre un organe profond à travers une incision de quelques millimètres seulement. La machine devient le troisième bras du chirurgien, qui l assiste dans les opérations de cerveau délicates par exemple, comme la biopsie ou l ablation de tumeur cérébrale. Elle permet de voir en profondeur à l intérieur de la tête du patient et même de produire une image virtuelle en 3D du tissu que l on doit soigner. Ces prouesses et bien d autres sont en pleines expansions depuis une quinzaine d années. Le médecin qui manipule cette robotique à généralement une console avec visionneuse 3D, un chariot d opération avec bras d instrumentalisation et un chariot d imagerie permettant le contrôle direct en temps réel. Cette technologie permet d améliorer la précision des procédures chirurgicales et de garder une position précise pendant des heures, ce qui serait quasiment impossible pour le chirurgien. Elle permet dans ce cas de réduire considérablement le temps opératoire. Des systèmes électroniques d amplification cinématique permettent de démultiplier les mouvements du praticien, mais aussi de filtrer et stabiliser ses gestes et donc d atténuer le tremblement naturel. Une autre dimension de la CAO est la réalité virtuelle, plus précisément la réalité augmentée. La réalité virtuelle (RV) simule informatiquement un environnement réel et le reproduit visuellement. La réalité augmentée (RA) quant à elle, a pour but de combiner réel et virtuel de manière interactive, par interfaçage direct entre la zone d opération, les outils d intervention et les gestes du praticien. Ces procédés tentent d obtenir des simulations de plus en plus réalistes de l anatomie des patients et de représenter par exemple les nerfs, les veines, les artères, afin de guider au plus près les gestes chirurgicaux. Depuis quelques années, il est possible d effectuer des opérations simulées sur un patient virtuel. Le modèle numérique reproduit des informations sur la forme, la texture et le mouvement de l organe du patient pour planifier ou contrôler l intervention médicale. Par exemple, la reconstitution virtuelle en trois dimensions de l organe malade est déjà utilisée pour préparer des opérations qui utilisent de petits instruments introduits par de petites incisions. Il est ainsi possible de déterminer à l avance où placer les appareils optiques et les instruments afin que tout se déroule correctement pendant l intervention. En Europe, la première opération par ordinateur a eu lieu en 1998, en elgique : il s agissait d une cholécystectomie, c est-à-dire de l ablation de la vésicule biliaire. Il est également possible de diriger une intervention à plusieurs kilomètres de distance (télé chirurgie). En 2001, Jacques Marescaux a réalisé la première opération à distance depuis New York, d un patient hospitalisé à Strasbourg. Ces opérations présentent donc un grand potentiel pour augmenter la précision des gestes techniques et leurs résultats cliniques. Les visuels de ces interfaces doivent être très précis et l interaction facilement compréhensible pour les médecins, les métiers graphiques ont alors un rôle important à jouer. De même pour l illustration médicale, qui consiste à représenter clairement et de façon didactique un problème scientifique complexe. Polyvalent, l illustrateur médical doit être capable de dialoguer avec des équipes scientifiques et savoir adapter sa représentation selon le message à transmettre. Une double compétence est nécessaire : artistique et scientifique.

29 A Exemple de chirurgie assistée par ordinateur, Robo Sensei Traitement d une insuffisance cardiaque, TherA-Image, CHU de Renne, A Chirurgie assistée par ordinateur

30 RÔLE DU DESIGNER GRAPHIQUE La médecine est donc un domaine propice à l hybridation du physique et du numérique. Aujourd hui, peu importe les domaines dans lesquels les intérêts des TUI se révéleront, c est la transformation des modèles cognitifs et ergonomiques, provoquée par le passage d interfaces graphiques à des interfaces physiques qui est important. La compréhension des interactions possibles avec le monde physique est l enjeu principal des interfaces tangibles. Leur conception est une affaire de subtilité et d équilibre entre les différents outils de manipulation et d affichage graphique de leur interface. Toutefois, les TUI peuvent représenter un réel danger d intuitivité si l on ne prend pas garde à bien «marquer les actions» possibles par ce qui est manipulable. C est le sens et la forme de ces nouveaux artefacts connectés et intelligents, qui définira le rôle de ces interfaces dans la mutation des interactions homme-machine. Un dispositif dont l interface, l ergonomie et le travail graphique n est pas bien pensé ne sera pas agréable à utiliser ; une interface dont le design ne serait pas étudié correctement ne sera pas utilisée de façon intuitive. Les utilisateurs se construisent souvent inconsciemment un modèle d interaction lorsqu il découvrent pour la première fois une nouvelle interface. Si le modèle du designer et de l utilisateur ont les mêmes logiques, alors le dialogue avec l interface sera grandement facilité. Un modèle n est pas exprimé en terme de concepts d interface graphique, mais autour des données que l utilisateur manipule, de l organisation de ces données, et de ce que l utilisateur fait avec ces données. En l occurrence, il s agit des objets mis à disposition de l utilisateur pour interagir avec les données numériques. Leur forme et leur design graphique sont essentiels à la compréhension de l interface, et à leur utilité en tant qu interfaces tangibles. La tendance «actuelle» du design graphique d interface est de se débarrasser de tout élément graphique superflu (contours, ombrages, effets de volume, reliefs ) ou qui imiterait la réalité. Le Flat Design (que l on peut traduire par «Design à plat»), est un style de design graphique appliqué aux interfaces que l on trouve de plus en plus sur des sites web ou sur des applications pour mobile ou tablette. Son principe, basé sur le minimalisme, se caractérise par une volonté de faire simple et fonctionnel et a pour but d améliorer la lisibilité. Popularisé par l interface de Windows 8 (Microsoft, 2012), ios 7 (Apple, 2013) ou encore les applications web de Google, l objectif du Flat Design est de valoriser le contenu avant tout. Il réside en partie dans son traitement de la couleur (des aplats de couleurs sobres et actuels) et dont la grille de mise en page et la typographie créent la structure du contenu. Le contenu est maître et l interface est purement à son service, un élément graphique est égale à une application. Le Flat Design trouve essentiellement sa place dans le design digital, notamment sur les écrans tactiles, où l ergonomie et les principes de navigation se veulent plus clairs et plus accessibles. Il permet à mon sens de mieux véhiculer l information et de contribuer à une meilleure expérience de navigation pour l utilisateur dont la vision est débarrassée de tout élément superflu. Mais il est vrai que le Flat Design n est réellement efficace que pour des utilisateurs ayant une bonne connaissance des interfaces et qui comprennent rapidement un vocabulaire graphique simplifié. Souvent comparé et en opposition à ce style, on retrouve la tendance du skeuomorphisme. En design graphique, le skeuomorphisme consiste à reproduire virtuellement l apparence d un objet familier, qui, dans le cadre de l interface remplit la même fonction que dans la réalité, afin de rendre son utilisation totalement intuitive. Il s agit d une interface qui fait écho au monde réel, ce concept peut accroître son affordance. Apple utilisait souvent ce principe notamment dans son système d exploitation mobile ios 1 (ce n est désormais plus le cas pour ios 7), ainsi que pour sa plate-forme de jeux Game Center, sa oussole, son calepin Notes Dans l exemple d une table interactive, les objets physiques permettant d interagir avec l interface devront-t-ils revêtir une texture réaliste (exemple : bois, métal, tissus ) ou au contraire être d une couleur significative? Sans parler de leur forme et des possibilités de connections physique entre elles etc. 1 Anciennement iphone OS, ios est un système d exploitation mobile développé par Apple pour l iphone, l ipod touch et l ipad.

31 Le design d interfaces ne peut être approximatif, et trouver l équilibre visuel est une question de subtilité. Pour servir les TUI, il convient d adapter le design de chaque interface aux problématiques qui lui sont propres et d anticiper les besoins des utilisateurs. Cela permet de créer un design graphique d interface pertinent, à la fois dans les objets physiques manipulables que dans la surface qui affiche les interactions et les éléments de réponse de ceux-ci. C est pourquoi l expertise d un ergonome est et restera plus que jamais nécessaire pour créer des designs minimalistes qui offrent une bonne affordance. Les nombreuses connaissances en communication visuelle des designers graphiques permettront ainsi de mettre en valeur les éléments d interaction physique et numérique afin d améliorer leur intuitivité, pour faire évoluer les interfaces tangibles. «L apparition des écrans à balayage récurrent ouvre la porte à la manipulation des pixels, donc des images. C est l apparition du MacIntosh, utilisant le langage graphique Post Script et permettant de préparer des documents de qualité professionnelle, qui entraînera les graphistes vers l informatique, en leur offrant un super-aérographe. On modifie textures et couleurs.» Michel Porchet, La production industrielle de l image, Critique de l image de synthèse, Édition L Harmattan, 2002, pages 147 Le même engouement se produira peut être vers les interfaces tangibles, car elles offrent de multiples possibilitées de création, aussi bien plastiques que numériques. Un terrain de «jeu» propice à la création et à l expression graphique. Le graphiste qui travaille la structure et l aspect de l interface est donc aussi amené à penser les caractéristiques et la forme de l objet, qui couplé au logiciel constitue l interface tangible. Son travail ne se divise plus en deux domaines d application: le physique ou l écran. L interface tangible bouscule les usages du graphiste, car il est amené à penser l un avec l autre, en une unité cohérente. 60 avec un ordinateur. Il en existe d autres, mais dans certains domaines, elle s avère efficace et même parfois essentielle. Car si l ordinateur de bureau ou portable, est très efficace pour la mise en page ou le traitement de texte, la technologie tactile l est pour la navigation et pour consulter du contenu à lire comme un livre numérique, ou un article de blog. Les interfaces tangibles quand à elles seront parfaites pour l assistance médicale, l apprentissage éducatif et le travail collaboratif. Chaque outil imaginé doit tenir compte des besoins et des attentes de l utilisateur ; selon les cas une application/un logiciel sera efficace avec une interface tactile mais pas avec une interface tangible et inversement. Par exemple, avec à la démocratisation et la prolifération des smartphones, la Reactable que nous avions vue précédemment existe maintenant en version mobile, disponible sur l AppStore depuis 2010 sous le nom de Reactable Systems. Profitant de l engouement pour la tablette ipad d Apple, la Reactable devient transportable partout et s ouvre au grand public. En contrepartie, elle s ampute de ses possibilités tangibles et devient une surface uniquement tactile et non-collaborative. La gestuelle originelle, simple et évidente, est difficilement remplacée par des combinaisons multi-touch. Alors qu il était très facile d effectuer des rotations ou des déplacements avec les modules physiques, dans ce cas, pour pivoter un module, il faut le sélectionner, le maintenir en son centre à l aide d un doit puis effectuer un glissement continu vertical grâce avec un second doigt. Il devient presque impossible de cumuler plusieurs actions comme la rotation ou la modification d un objet ou de le déplacer. Des manipulations qui semblaient évidentes avec des objets physiques deviennent laborieuses et demandent une dextérité dont la forme originelle faisait aisément abstraction. Ce qui fonctionne très bien pour un concept ne fonctionne pas forcement pour un autre. Chaque interface (quelle sois tangible ou non) doit s adapter au mieux à la méthode de travail qu un logiciel propose et pas l inverse. D autre part, il est important de rappeler que les TUI n est pas «la» solution optimum pour «entrer en interaction» 61 Rôle du designer graphique

32 A Exemple de Skeuomorphisme, oussole, ios 6, Apple, 2012 Exemple de Flat Design, oussole, ios 7, Apple, A Rôle du designer graphique