Expérience Picturale Augmentée Fribourg Rebecca Guyet Florian Saint-Maxent Manon Sené Baptiste
I- Concept Le cœur du projet est d offrir à un public une expérience picturale augmentée. Le fil conducteur serait alors un tableau choisi : «Several Circles» (Plusieurs cercles) de Kandinsky. Parti de là, l idée serait de vidéo-projecteur cette peinture dans une salle sombre et de permettre une interaction entre l utilisateur et cette dernière. En effet, l utilisateur muni d un smartphone devrait pouvoir parcourir l œuvre et un programme récupérerait les informations de ce smartphone (caméra, position, micro) pour actualiser en temps réel cette peinture vidéo-projetée. Par actualiser il faut entendre modifications visuelles, sonores, plusieurs évènements permettant de stimuler et les émotions de l utilisateur et ainsi d enrichir l expérience de l utilisateur face à cette œuvre majeure de Kandinsky. II- Public cible Ce projet a pour visée une expérience «tout public», mais il faudrait néanmoins être en possession d un smartphone pour pouvoir en profiter. Cette expérience picturale augmentée se voudrait être capable d émouvoir des personnes de tout âge confondu. III- Objectifs Un des objectifs principaux du projet réside dans la volonté de développer une forme d interactivité innovante en vue de donner au public un regard sur l œuvre qu il n aurait pas eu sans cette combinaison de technologies et d éléments multimédias. En effet, au niveau de l interactivité, cette jonction «smartphone et programme» en temps réel est quelque chose d encore très peu développé, il en ressort donc un vrai challenge.
IV- Ressources médias Le tableau Several Circles de Kandinsky constitue la base de notre projet. Les autres médias ont été utilisés dans le but d enrichir le tableau et l expérience de l utilisateur. En premier lieu, nous avons créé des animations graphiques sur le tableau qui résultent de l'interaction avec l utilisateur. À cela sont venus s ajouter différents fonds sonores proposant à l utilisateur une expérience plurisensorielle. V- Structure et navigation - Projet Le contenu est réparti entre une application Unity sur ordinateur et une application mobile. La structure étant relativement complexe, nous avons réalisé un flowchart expliquant la structure de notre projet ainsi que les méthodes de navigation employées.
VI - Formes et degrés d interactivité L œuvre finale se verra interactive sur plusieurs niveaux mais toujours dans une même visée : enrichir l expérience artistique de l utilisateur, stimuler ses sens. L interaction se voudra intuitive tout en laissant une part de mystère entre l action effectuée par l utilisateur et le résultat au niveau de l œuvre. Plus précisément, l utilisateur muni de son smartphone, pourra en déplaçant ce dernier en face de la peinture projetée, en agitant son téléphone, en soufflant dessus, créer des réactions sur la peinture même projetée. 1. Utilisation de la caméra du smartphone : En visant une partie du tableau avec son smartphone, l utilisateur pourra appliquer un filtre coloré à l oeuvre et ainsi changer l ambiance générale. La couleur appliquée sera la couleur se trouvant au centre de l image capturée par l utilisateur. 2. Utilisation de l accéléromètre du smartphone : En secouant son téléphone, l utilisateur fera bouger les cercles à l écran. Nous pensons donner une gravité aux cercles de l oeuvre lorsque le mouvement sera détecté, ce qui fera tomber toutes les formes au sol. 3. Utilisation du micro du smartphone : En soufflant dans le micro de son téléphone, l utilisateur pourra modifier la taille des cercles ou éventuellement les faire se déplacer dans la toile. Des indications s afficheront petit à petit sur l écran du smartphone, afin de laisser l utilisateur trouver des fonctionnalités par lui-même, tout en le guidant au bout d un certain temps d inactivité. VII - Choix techniques Afin de réaliser ce projet, nous avons décidé d utiliser le moteur de jeu Unity3d. Nous allons développer une application multi-plateformes pour qu elle puisse être lancée depuis un ordinateur mais aussi depuis les smartphones des utilisateurs. L application sera lancée sur ordinateur et sur un smartphone en même temps et s échangeront des informations. L écran de l ordinateur (qui sera projeté par un vidéo-projecteur) sera utilisé pour afficher l oeuvre. Quand au smartphone, il sera utilisé pour interagir avec l oeuvre affichée, via plusieurs de ses capteurs. Afin de permettre à l ordinateur et au smartphone de communiquer et de s échanger des données en temps réel, il faut utiliser un routeur.
VIII - Scénario d utilisation Afin de bien visualiser l utilisation qui pourrait être faite de notre application, nous avons pris le parti de créer des scénarios spéculatifs de personnes utilisant notre application. Pour une personne découvrant l application et le tableau : La personne télécharge l application via le site web dédié et se retrouve face au tableau projeté (elle pourrait l être à l Espace Jean Legendre). Elle commence par découvrir l interface graphique de l application qui accompagne le tableau, l idée étant de créer une Atmosphère autour du tableau : lumière tamisée, musique relaxante Elle peut commencer par contempler le tableau dans son intégralité en appréciant le travail du peintre. Au bout d un certain temps, l application Smartphone se rappelle à l utilisateur par un léger son, l invitant à interagir avec le tableau (en le secouant par exemple ). L attention de ce dernier est à nouveau tournée vers le tableau quand il se rend compte des interactions possibles avec lui. Son intérêt pour le tableau est décuplé et l utilisateur peut explorer à loisir les secrets du tableau. Par la suite il pourra s informer sur le contexte dans lequel a été peint l oeuvre, il aura vécu une expérience picturale augmentée. Pour une personne découvrant l application mais connaissant le tableau : La personne télécharge l application via le site web dédié et se retrouve face au tableau projeté. Connaissant déjà le tableau, elle se demande à quoi peut bien servir l application et va donc essayer d'interagir avec. L interface lui offrant la possibilité de prendre une photo, l utilisateur va rapidement essayer de voir ce qui se cache derrière se bouton. En voyant qu il se passe quelque chose au niveau du tableau, il comprendra alors qu il est lié au Smartphone par cette application. Il pourra donc vouloir explorer toutes les autres options d interactions qu offre l application. Ce mode d interaction permet d offrir à l utilisateur un nouveau regard sur l oeuvre.
IX - Charte graphique Cette partie explicite les choix visuels réalisés dans le cadre de la conception de l interface utilisateur. Nous avions la volonté d intégrer l influence circulaire et colorée dans notre logo et l interface de l application Smartphone. Nous retrouvons donc le fond sombre qui caractérise le tableau et les forme circulaires et colorées qui dénotent sur ce fond. Lorsqu il parle de Several Circles, Kandinsky déclare apprécier la forme circulaire pour [l ] intense perception de la force intérieure du cercle dans ses innombrables variations. [...] dans la mesure où [il] trouve dans le cercle davantage de possibilités intérieures [que dans sa forme favorite d autrefois, le cheval]. A travers l interface de l application, les potentiels d interaction dégagés par chaque cercles que l utilisateur peut voir évoluer et sur lesquels il peut agir sont un écho à la force intérieure perçue par Kandinski. Chaque cercle évoque une opportunité pour l utilisateur, aussi bien ceux de l application sur lesquels il peut appuyer que ceux du tableau projeté avec lesquels il aura envie de découvrir une forme d interaction.
X - Structure et navigation - Réalisation Suite à la réalisation d un premier prototype, nous avons pu revoir la structure de notre application en fonction de nos objectifs initiaux. Le flowchart de notre prototype apparaît ci-dessous : La navigation au sein de l application Smartphone se fait plus précise et nous avons eu l occasion d'implémenter de nouvelles interactions entre l utilisateur et le tableau comme le fait de souffler dans le micro ou de secouer l appareil. Ces interactions qui au départ n étaient que des idées ont pu être concrétisées au cours du projet!
XI - Ouvertures Les délais imposés par le semestre nous obligent à limiter le nombre de fonctionnalités de notre application. Cependant, nous présentons ici les nombreuses idées que nous pourrions ajouter à ce projet par la suite : - On peut imaginer que lorsque les boules tombent sur le sol, l utilisateur puisse orienter son Smatrphone pour changer la direction de la gravité. - Nous souhaiterions également intégrer une composition musicale créée par un étudiant de l UTC spécialement pour notre projet. XII - Conclusion La réalisation de notre projet s est faite de manière itérative, nous étions limités par nos connaissances respectives en programmation Unity3D et incertains sur ce que nous étions capables de réaliser en terme de design d application. Pourtant, c est en partie pour cela que le projet s est révélé passionnant. C est d abord l idéation qui a représenté un challenge, il était nécessaire de trouver le ton juste pour accompagner l oeuvre de Kandinsky. Par la suite, la complexité de la partie technique nous a obligé a avancer pas à pas avec l aide du logiciel de support de projet, GitHub. Nous avons donc du harmoniser des compétences diverses et variées, de la maîtrise de Photoshop et Illustrator à la gestion de communication via routeur Wi-Fi C est ce qui fait toute la force et l interêt d un projet : la mise en harmonie de connaissances multiples vers la réalisation d un projet commun. Et cette harmonisation a abouti à un résultat à la hauteur de nos espérances. Il s agit d un travail qui nous a tous passionnés et qui nous a permis de mieux appréhender les nouvelles possibilités offertes par le numérique. Enfin ce travail nous a permis d obtenir un avant-goût de compétences qui ne sont pas spécifiques à nos branches respectives (la programmation Unity3D pour les GM et l utilisation de Photoshop/Illustrator pour les GI). Si il ne s agit pas de nos coeurs de métiers respectifs, c est une ouverture intéressante si jamais nous sommes amenés à travailler sur des projets de même nature. Nous remercions Mr.Bouchardon de nous avoir permis de profiter de cette opportunité à travers l UV.