Environnement logiciel open source pour la création d œuvres artistiques interactives Stéphane Donikian IRISA/CNRS Campus de Beaulieu 35042, Rennes Cedex, France donikian@irisa.fr La création artistique contemporaine se nourrit de plus en plus de l'utilisation des nouvelles technologies et nous assistons en même temps à un décloisonnement des arts classiques. Au sein d'un même spectacle le théâtre peut se mêler à la danse et au cirque, la musique live à des bandes son préenregistrées ou générées par ordinateur et le réel au virtuel. La différence entre les médias traditionnels et la réalité virtuelle est principalement le fait que l'utilisateur dans le premier cas est spectateur de l'univers qui lui est présenté, tandis que dans le second cas, il se retrouve immergé à l'intérieur de cet univers. Toute les œuvres dites installations électroniques rentrent dans ce champ. Par contre, dans le spectacle vivant contemporain il faut rajouter une dimension supplémentaire, car le spectateur n'est toujours pas interacteur mais spectateur d'une interaction entre deux univers réel et virtuel qui se juxtaposent et dialoguent sous ses yeux. D'autre part, l'art numérique se nourrit d'un dialogue d'un autre genre et pas toujours simple entre artistes et scientifiques sur la conception des outils, matériels et logiciels, d'aide à ce type de création artistique. Nous nous proposons d illustrer à travers un exemple, un musée de la photographie contemporaine, l état actuel de notre plate-forme logicielle fondée principalement sur l usage de technologies open source et nous tirerons des conclusions sur les manques existant aujourd hui notamment au niveau du dialogue entre les différents logiciels dédiés et sur l implication que cela peut avoir sur la création artistique. Le musée virtuel de la photographie contemporaine Ahad Yari Rad, étudiant en thèse en Arts Plastiques à l Université de Rennes 2, a pour sujet d étude l esthétique de la réalité virtuelle. Il a choisi de développer, pour sa partie pratique, un musée virtuel de la photographie contemporaine et est, pour ce faire, accueilli au sein du projet SIAMES de l IRISA afin de disposer du plateau technique lui permettant de mener à bien son projet. Le sujet choisi pour cette exposition virtuelle porte sur les droits de la femme et de l enfant. Elle se compose de 25 paires de photographies sélectionnées parmi 4300 œuvres de photographes internationaux. Les photographies sont associées par paires : une image en couleur représente une situation agréable de la société idéaliste comme on peut la voir à la télévision ou dans les publicités ; l autre en noir et blanc représente une face cachée de la société réelle, une situation véridique mais occultée.
Un couple de photographies en confrontation. Ces photos sont en opposition et il appartient à l utilisateur de les faire se confronter. Dans le musée, chaque image couleur masque son image noir et blanc opposée. Le spectateur est immergé dans un environnement 3D virtuel représentant l intérieur d un musée en vision stéréoscopique. Avec autour de lui 25 cadres suspendues. Chaque cadre comporte une photographie couleur au première plan, et une deuxième photo noir et blanc derrière. Le musée virtuel de la photographie contemporaine. Il peut ainsi se déplacer dans cet univers tridimensionnel en faisant certains gestes, lesquels sont captés par des caméras puis analysés par le logiciel Eyesweb. Ce musée offre à l utilisateur la possibilité via une commande gestuelle de naviguer dans cet espace (zoom avant/arrière, panoramique latéral gauche ou droit) et d interagir avec des couples d œuvres photographiques ; Les mouvements de la main permette d effacer au fur et à mesure la photographie de premier plan faisant apparaître petit à petit une seconde photographie permettant ainsi un dialogue entre les deux oeuvres accompagné par l évolution dynamique de la composition musicale. Navigation et interaction via la commande gestuelle d EyesWeb. L ambiance du musée est enrichie par une création sonore adaptée aux photographies et réagissant aux actions de l utilisateur. Cette conception musicale a été réalisée par quatre étudiants du département de musique de l Université de Rennes 2. Ils ont développé pour ce faire un certain nombre de patches en Max/MSP qui peuvent être activés et paramétré au fur et à mesure de la navigation à l intérieur du musée, permettant de créer ainsi un univers sonore spatialisé et réagissant aux actions de navigation et d interaction avec les couples d œuvres photographiques.
Architecture logicielle EyesWeb est utilisé pour la commande gestuelle, Max/MSP pour la génération musicale temps-réel et OpenMASK pour la gestion de l interaction avec l environnement virtuel. Le protocole OSC (Open Sound Control) est utilisé pour permettre à ces trois logiciels de dialoguer entre eux, chacun d eux s exécutant sur une ou plusieurs machines indépendantes (1 PC windows pour Eyesweb, 1 Mac OSX pour le son et trois PC linux pour le rendu visuel sur grand écran). Un protocole de communication dédié a été défini pour gérer l échange d information entre logiciels, mais peut se réduire à de l échange de données structurées de type entier, réel, chaîne de caractères. La figure ci-dessous montre l architecture logicielle de l application. L analyse d EyesWeb est envoyée à OpenMASK qui en déduit l animation de la scène 3D et les points de vue adaptés. Selon le comportement de l utilisateur, OpenMASK envoie à Max/MSP des directives pour la sonorisation de la salle immersive. La plate-forme OpenMASK Architecture logicielle du musée Plateforme permettant de combiner diverses technologies au sein d'une même application, OpenMASK (Modular Animation and Simulation Kit) permet le développement et l'exécution d'applications dans les domaines de la simulation et la réalité virtuelle, et s'adapte à l'usage : support de plusieurs systèmes d'exploitation et se déclinant de l ordinateur portable à la salle immersive. Modéliser des applications interactives, composées de plusieurs entités dynamiques évoluant dans des environnements virtuels complexes, nécessite des communications entre différents modèles tels que modèles environnementaux, modèles mécaniques, modèles de contrôle du mouvement, modèles d'interactions, modèles sensitifs, modèles géométriques et modèles de scénarios. Les principales caractéristiques d'openmask sont les possibilités : d'interagir avec un environnement virtuel via différents types de périphériques (capteurs de position, gants numériques, périphériques haptiques,...), en coopération 3D locale ou distante (travail collaboratif) ;
d'intégrer différents modules de calcul (simulateurs mécaniques, mouvements humains, modèles comportementaux, etc...) grâce à des abstractions de haut niveaux; d'automatiser la distribution sur un réseau d'ordinateurs; de présenter les résultats aussi bien dans un environnement immersif (Reality Center, Workbench, etc...) que sur un écran de PC, grâce à un module de visualisation temps-réel fondé, soit sur Performer (Sgi), soit sur OpenSG (Fraunhofer Institute). Un des objectifs principaux d'openmask (Modular Animation and Simulation Kit, ou encore Multithreaded Animation and Simulation Kernel) est de fournir à la fois un environnement d'exécution et un modèle conceptuel, pour des applications de réalité virtuelle. Pour OpenMASK, l'unité de modularité est l'objet de simulation. Un objet peut implémenter n'importe lequel des différents modèles précédents, et il peut être, par exemple, le résultat d'une génération de code produite par un outil spécialisé. Construire une application OpenMASK consiste à réunir des objets de simulation et à les organiser en un arbre de simulation. Un des principaux avantages de cette approche est de permettre la réutilisation de composants entre les applications. Un autre est d'autoriser la génération automatique de composants depuis des outils dédiés. OpenMASK est disponible sous une licence Open Source (http://www.openmask.org) et fonctionne actuellement sous linux, Irix et Windows (la version MAC OS X est en cours de développement). Le maillon faible : le dialogue entre applications spécialisées Un point commun d un certain nombre d œuvres hybrides présentées ces dernières années est l utilisation du protocole OSC (Open Sound Control). Ce protocole développé par Matt Wright à l Université de Berkeley aux Etats-Unis permet de faire communiquer ensemble des ordinateurs, des synthétiseurs et d autres périphériques multimédia. OSC fonctionne sous la forme d un mécanisme client/serveur avec de la transmission d unités de données appelées des paquets. Ce protocole est aujourd hui intégré au sein d un certain nombre de logiciels dont EyesWeb, Max/MSP, Pure Data et OpenMASK, mais malheureusement, les données de base pouvant être intégrées (empaquetées) dans un message OSC sont très rudimentaires : entier, réel, chaîne de caractères, estampille temporelle. Conclusion Un artiste développant une œuvre numérique interactive se retrouve confronté à la prise en compte du statut du specta(c)teur 1 dans son oeuvre : quel espace de liberté lui laisse-t-il et quels sont les degrés de liberté admissibles dans la structure de l œuvre? D autre part, il ne faut plus penser une œuvre comme un processus de création individuel mais collectif et cette dimension de création collective est au cœur de notre projet de recherche. Comment créer collectivement une œuvre pluri-culturelle interactive permettant le dialogue entre les créations individuelles? Autant pour un média classique tel que le cinéma, le processus peut être itératif (on compose la musique sur des images ou on filme à partir du rythme d un morceau de musique choisi), autant l œuvre numérique interactive requiert l existence d un contrat passé entre les différents protagonistes de la création. Cela commence par la définition de la nature de l interactivité et de ses répercussions sur les différents constituants de l œuvre. Aujourd hui, à l issue d une phase de discussion et d échange dans laquelle chacun s exprime avec son propre bagage culturelle et son vocabulaire métier, il est nécessaire de faire intervenir un ingénieur ou technicien qui va, avec sa propre interprétation définir, à l aide de 1 Il s agit d un spectateur qui est actif au travers des mécanismes d interaction mis à sa disposition.
protocoles souvent archaïques et pauvres en expressivité, le contenu de ce qui va transiter dans le tuyau de communication entre les logiciels ou bibliothèques spécialisées. Autant la capture et la restitution peuvent être riches car bénéficiant de l'avancée des technologies dans les domaines de la réalité virtuelle ou du jeu vidéo, autant le dialogue entre les univers est aujourd'hui très limité par manque de langages supports à ce dialogue qui soient à la fois riches, pluri-artistiques et ouverts. Il nous semble donc important de favoriser les échanges sur ce sujet entre tous les acteurs intéressés, qu ils soient artistes, chercheurs, ingénieurs, afin de bâtir de nouveaux langages ouverts permettant un dialogue à un beaucoup plus haut niveau entre les différents champs artistiques impliqués au sein du processus de création et de réalisation d une œuvre poly-artistique interactive.