Mur communicant. présentation du dispositif

Transcription

1 Mur communicant présentation du dispositif

2 manipuler relier *ouvrir collaborer s informer jouer explorer bouger toucher Mur communicant Schéma d usages

3 explorer découvrir se repérer communiquer Mur communicant Le mur communicant est un dispositif collectif d exploration et de découverte. Il s agit d un grand écran interactif. Grace à son système de capture «multi-touch» on peut littéralement toucher l image et en modifier ainsi son contenu. Le mur récolte des informations depuis de multiples sources (téléphone, Internet, capture vidéo, borne de saisie, etc) et les re-transforme en des visualisations tactiles. De cette façon le mur n est pas hermétique; au contraire il s agit d un carrefour d informations, d une carte temps-réel qui simplifie et rend tangible certaines informations et relations complexes (locales/globales) qui seraient trop difficiles à représenter sur l espace réduit d un ordinateur personnel ou d un ordinateur de poche (smartphone). C est un mur/écran urbain, qui crée des relations informationnelles adaptées à l échelle du corps humain et qui relie des corps à leurs territoires. Le mur est également un objet de communication avec d autres murs de même facture : initialement deux murs seront construits : l un à Marseille, l autre à Aix-en-Provence. Ces deux murs communiqueront entre eux et construiront ensemble un «trou dans l espace» où deux lieux pourront communiquer, collaborer, échanger. À l issu de ces expériences, et grâce à la licence open-source (logiciel libre) du système d exploitation, le système sera rendu ouvert afin que d autres murs et espaces du même genre puissent en bénéficier. Avec un système d exploitation capable de s adapter à diverses tailles et configurations, des contenus pourraient être rendus compatibles entre tous ces différents types de lieu. En plus des contenus «informationnels», des contenus dits «algorithmiques» seront également proposés, c est-à-dire des contenus évolutifs et interactifs qui nécessitent une programmation spécifique : jeux urbains, machines à dessiner collectives, interfaces musicaux, narrations génératives, et créations artistiques diverses.

4 Deux modes d interaction sont possibles dans le dispositif du Mur communicant : la capture vidéo (miroir) et le multitouch (toucher). bouger toucher danser jouer s identifier (se) reconnaître Capture + Multitouch La capture vidéo temps-réel permet aux personnes de se tenir devant le mur tandis que le système détecte leur silhouette. De cette façon on peut interagir avec le mur en utilisant l ensemble du corps; on peut ainsi : poser, danser, bouger, s approcher, reculer, et être intégré dans le contenu de l image. Grâce à ce mode d interaction, on n a pas besoin de toucher l écran pour interagir avec lui. Ce mode d interaction permet de gérer «l approche» de l écran, en donnant des informations supplémentaires ou des indications sur les possibilités offertes à l utilisateur avant le toucher directe. De cette façon, le mode miroir est complémentaire au mode d interaction directe. Dans l interaction directe (multitouch), on peut toucher directement l écran pour manipuler l information. Dans ce mode d interaction on saisit l image et on la manipule directement avec les doigts. On peut «sélectionner» des éléments, mais on peut aussi les regrouper, les jeter, ou les associer. C est une forme d interaction beaucoup plus engagée et éminemment plus précise que le mode d interaction en miroir. Au niveau du schéma corporel, le mode miroir est peu ergonomique dans la manipulation des informations avec un grand risque de fatigue musculaire. Il faut pouvoir toucher les objets (graphiques) pour pouvoir les manipuler de manière intentionnelle, surtout si l on souhaite la même intentionnalité qu une souris (ordinateur de bureau) ou qu un trackpad (ordinateur portable). C est grâce au multitouch que le public pourra véritablement s approprier le Mur communicant pour échanger et hiérarchiser l information.

5 s informer associer analyser publier informer Internet (API + CMS) La révolution «Web 2.0» a ancré Internet de manière définitive dans des logiques d agrégation d informations aux origines multiples. La clé de cette agrégation réside dans l usage des «API», autrement dit les divers services offerts sur le World Wide Web et qui permettent à tout un chacun de profiter des informations récoltées par Google (cartographie, recherche, info), Flickr (image), YouTube (images), etc. Ces services sont puissants mais peuvent devenir vite obscurs et difficiles à négocier. Étant donné qu une des missions centrales du Mur communicant est de rendre lisible les relations complexes de ses usagers et du territoire qui l entoure à travers des propositions artistiques, un certain nombre de services Internet seront inclus à travers son kit de développement. De cette manière, on pourra rapidement développer des visualisations qui intègrent des données diverses comme celles de GoogleMaps et d atmopaca. org (qualité de l air), et les intégrer dans un jeu de reportages citoyen grâce aux services de Flickr (photographies amateurs). D autres services comme ceux de YouTube ou de DailyMotion permettront aux utilisateurs du Mur communicant de partager également des clips vidéo dans le tissu des agrégations collectées dans le mur. L objectif sera de donner aux créateurs de contenus un maximum de sources informationnelles (comporains ou historique, peu importe) avec en plus la possibilité de se relier aux moyens collaboration comme Wikipedia ou d autres services de données collectives. Un des avantages supplémentaires des services Web 2.0 concerne l équilibre que le projet doit trouver entre la censure d un côté et les risques d abus intrinsèques à tout système de collaboration publique de l autre (cf. le phénomène des «trolls»). En utilisant des services comme Wikipedia, DailyMotion, Flickr ou autres, nous pouvons profiter des systèmes de filtrage communautaire déjà intégrés dans ces API. Enfin, via des plates-formes de publication (Content Management Systems) on pourra également gérer la publication des informations sur le mur à partir d un point éloigné. Des systèmes de gestion des contenus permettront à des collaborateurs qui ne programment pas d introduire des contenus dans les programmes, de les mettre à jour, le tout sans avoir à passer par des étapes lourdes de développement/recompilation. De la même façon qu un journaliste peut aujourd hui travailler indépendamment des développeurs du site d un journal papier ou en-ligne, il faut donner aux divers collaborateurs accès aux contenus des programmes sans les obliger à travailler à l intérieur des environnements de programmation.

6 jouer collecter témoigner partager Téléphone mobile Au delà de son implantation dans la ville qui le localise à un quartier en particulier, le Mur communicant doit aussi être compris comme un point de repère pour des interactions sur l ensemble du territoire. Les téléphones mobiles sont partout et contiennent de plus en plus les informations auparavant réservées seulement aux ordinateurs. Et en rajoutant de nouvelles données telle que la localisation par GPS, le téléphone mobile ouvre des possibilités d interaction au delà des ordinateurs classiques. C est dans ce sens que le Mur communicant peut devenir un point de repère pour diverses formes d action avec le territoire en transformant celui-ci en un énorme terrain de jeu. Ces jeux peuvent se déployer sur l ensemble du territoire grace aux envois SMS et relier ainsi le mur au quotidien de ses usagers. Le téléphone mobile est enfin un moyen efficace pour récolter diverses informations (images, son, vidéo, texte) ce qui permettrait au Mur communicant de recevoir relativement facilement différentes formes de participation des usagers. On pourrait de cette façon utiliser son téléphone pour prendre des témoignages photo ou vidéo, puis ensuite les regrouper ensemble sur le mur. Le mur ne serait pas passif dans cette collecte, et communiquerait des défis ou créerait des formes spécifiques pour attirer ce type de contenus.

7 manipuler jouer se promener iphone & itouch De la même manière qu un téléphone mobile classique, l iphone peut récolter des informations et communiquer avec le Mur communicant à travers des protocoles comme le SMS pour transmettre des images, des sons, et du texte. Mais l iphone est également l objet pionnier en matière de multitouch; de ce point de vue il est intéressant de le relier directement au Mur communicant pour voir ce qui devient possible quand les mêmes types de contenus (algorithmiques, gestuels, en réseau) co-existent sur deux types d écran et à deux échelles bien distinctes (main vs. corps). Chaque appareil a forcément ses propres avantages (mobile/petit vs. localisé/ grand, etc) mais peut ouvrir de nouvelles formes une fois reliés ensemble. D autres smartphones pourraient également être reliés au Mur, mais dans la première phase du projet l Atelier Hypermédia propose de travailler avec l iphone comme modèle, avant tout parce que l atelier a expérimenté avec l appareil.

8 collaborer contribuer Terminaux Certains projets peuvent nécessiter la saisie d informations trop complexes (ex: objets physiques) ou mal adaptés (ex: texte) aux interfaces multitouch du Mur communicant ou ses divers périphériques (téléphones, etc). Pour ces besoins, des terminaux peuvent être installés dans le lieu avec le mur, ce qui permettrait au public d y rentrer des données. Ces terminaux seraient conçus avant tout en collaboration avec les partenaires comme le Zinc/Friche en fonction des publics ciblés par leurs projets d utilisation du mur.

9 Objective-C *ouvert UIKit MobileFrameworks * écrire pour le projet * modifier code / projet existant Processing SDK Mac Windows Linux Cocoa Touch Console Portable iphone ipodtouch SPIP WordPress MySQL API PHP PHP XML HTTP World Wide Web texte image RSS vidéo son Monolithe Processing librarie Most Pixels Ever Most Pixels Ever Pure Data Switchboard Mac Linux Mac Linux Mac Linux Mac Linux Vidéo Projecteur Vidéo Projecteur Vidéo Projecteur Audio Micro Camera Processing Mobile Flickr API SMS Téléphone Générique FTIR DI LLP TouchKit Camera + illumination OpenCV optical flow blob fudicial image réalité augementée Mac Windows Linux Mur communicant Schéma de développement

10 Objective-C Processing *ouvert UIKit MobileFrameworks tant SDK Mac Windows Linux Cocoa Touch Console Portable iphone ipodtouch s texte image RSS vidéo son Monolithe Processing librarie Most Pixels Ever Most Pixels Ever Pure Data Switchboard Mac Linux Mac Linux Mac Linux Mac Linux Vidéo Projecteur Vidéo Projecteur Vidéo Projecteur Audio Micro Camera Processing Mobile synchronisation Flickr API SMS Switchboard Téléphone Générique Le coeur du système de diffusion audiovisuelle du Mur communiquant repose sur un système d aiguillage appelé le «Switchboard». Le rôle du Switchboard est très simple : ouvrir et fermer les différents modules d information et de communication de manière totalement FTIR DI LLP Camera + illumination OpenCV TouchKit optical flow blob invisible pour les utilisateurs. C est l équivalent du «Finder» sur Macintosh ou de l «Explorateur» sur Windows. Le Switchboard est le fudicial image réalité augementée lanceur de programmes et gère leur distribution sur l écran en enlevant tous les éléments graphiques souvent appelés le «chrome» de l interface. Le Switchboard se comporte alors comme un lanceur de programmes mais sans interface graphique derrière. Il gère Mac Windows Linux aussi les transitions visuelles d ouverture et de fermeture (fondu, réduction, animation 3D, etc). L intérêt d un tel système est que n importe quel type de contenu pourra y être intégré plus tard, même si pendant cette première phase du projet les contenus algorithmiques conçus à l intérieur des deux environnements de programmation privilégés, Processing seront privilégiés, ainsi que ceux conçus dans l environnement de création spécifique au projet, Monolithe (cf. plus loin). Par rapport à cette ouverture future, restera aussi le problème de la traduction des touchers directs du public vers des contenus conçus avant tout pour des «clics» de souris. Les deux modèles d interaction (toucher vs. cliquer) doivent être gérés différemment sur le plan programmatique autant que sur le plan gestuel-sémiotique. Pour cette raison seront évitées toutes les solutions de «bidouillage» (hacking) à partir des plate-formes de création de contenus comme Flash, Powerpoint ou les navigateurs HTML. Aussi, bien qu un interfaçage avec Flash serait techniquement possible, cela éloignerait le projet de son objectif d expérimenter de nouvelles formes d usage. C est aussi via le Switchboard que l on pourra créer une programmation temporelle des différents «moments» du mur, en ouvrant les animations selon les phases de la journée ou de la semaine. On pense surtout à des contenus de type «vidéo multi-écran» qui pourraient être crées par les étudiants des différentes écoles qui participeront au projet et qui pourraient être projetés sur le mur pendant ses phases de fermeture (la nuit, etc). On envisage également la possibilité que le Switchboard soit le moyen pour le public de choisir les différentes applications qu il souhaite explorer. Le problème de ce mode d interaction est qu elle re-transforme le Mur en un gigantesque bureau d ordinateur personel avec le risque d une ouverture et fermeture en permanence des différents modules, sans que le public ne prennent vraiment le temps d explorer ou de communiquer. Néanmoins, à partir du moment où le Switchboard remplace le «Finder» et facilite l ouverture et la fermeture des différents programmes, on peut envisager cette option, voire même y donner accès uniquement pour des performances ou workshops avec les partenaires comme le Zinc/Friche. Le Switchboard sera écrit en et résidera juste au dessus du système d exploitation Mac OS X dans un premier temps, avec la possibilité d une version pour Linux. Pour maintenir la synchronisation des différents écrans/ordinateurs, la bibliothèque «Most Pixels Ever», écrit et maintenu par Daniel Shiffman à New York University (Tisch ITP), sera re-écrite pour être rendue compatible avec le Switchboard. L Atelier Hypermédia collabore déjà avec M. Shiffman sur divers projets liés à l enseignement de la programmation dans le contexte de la création (art & design numérique).

11 Objective-C Processing *ouvert UIKit MobileFrameworks stant SDK Mac Windows Linux Cocoa Touch Console Portable iphone ipodtouch s texte image RSS vidéo son Monolithe Processing librarie Most Pixels Ever Most Pixels Ever Pure Data Switchboard Mac Linux Mac Linux Mac Linux Mac Linux Vidéo Projecteur Vidéo Projecteur Vidéo Projecteur Audio FTIR DI LLP Camera + illumination OpenCV TouchKit open-source proposera donc un modèle de développement optical flow blob pour expérimenter les nouvelles formes d interaction qui doivent fudicial image réalité augementée émerger pour que de tels écrans multi-touch urbains dépassent le stade de démonstration et commencent à concerner de vrais permettant même l usage commercial de la Mac plate-forme. Windows Linux kit de développement Micro Camera Processing & OF Mobile Flickr API SMS Téléphone Générique De nombreuses solutions multi-touch existent aujourd hui, mais pour l instant aucun standard de développement ne permet de relier ces différentes options à une plate-forme cohérente de développement de contenus. Il existe de nombreux gadgets permettant de dessiner des lignes ou de sélectionner des images avec ses doigts; il manque maintenant la plate-forme de développement ouverte et standardisée pour aller au delà des lignes sympathiques pour créer de véritables contenus algorithmiques. Ce kit de développement usages et usagers. Avec le choix de l open-source on assure d ailleurs une plus grande diffusion de ces formes au delà du laboratoire, Processing et seront les deux environnements de développement privilégiés dans l expérimentation des nouvelles formes de contenus pour le Mur communicant. Tous les deux ont été conçus pour le prototypage de nouvelles formes d installation et d interface multimédia, avec un fort accent sur la création artistique. Ils simplifient avant tout le démarrage des projets complexes en proposant tout une série de fonctionnalités avancées intégrées et qu il suffit d enchaîner pour créer ses propres programmes. Ils proposent également des environnements de travail qui simplifient de manière significative la création de nouveaux programmes et permettent du coup aux créateurs de se concentrer sur l essentiel de leurs programmes et non pas sur leur mise en route. Les deux environnements sont distribués sous des licences open-source avec une communauté internationale très active d artistes développeurs qui étendent tous les jours les possibilités des deux systèmes. L Atelier Hypermédia participe depuis plusieurs années à leur développement et à leur promotion : nos tutoriaux en-ligne sur Processing et sont utilisés par de nombreuses écoles et universités dans l enseignement de la programmation artistique; plusieurs de nos modules d extension (s) sont utilisés par des artistes, designers, et architectes de par le monde dans leurs installations et prototypes; et nous sommes souvent solicités en tant que conseiller sur ces plate-formes, par exemple pour faire de l expertise sur des livres publiés sur Processing. Il s agit donc de deux plate-formes de création que nous connaissons bien dans l atelier, et qui ont l avantage d être à la fois robustes et ouvertes. Il ne sera pas nécessaire de toucher à la base de ces deux plate-formes pour réussir à créer le kit de développement du Mur communicant. Il est bien plus préférable de laisser les différentes équipes déjà engagées s occuper de la maintenance et du débuggage des noyaux respectifs. De cette façon, notre projet pourra se concentrer uniquement sur les extensions appelées «s» qu il sera nécessaire de rajouter aux noyaux de base. Ces extensions concerneront principalement la communication avec les périphériques : la récupération des données liées à la capture (cf. TouchKit), la communication avec les téléphones portables (cf. MobileFrameworks, Mobile Processing), la récupération des données sur Internet (cf. API Web), et la synchronisation des ordinateurs à travers Most Pixels Ever (cf. Switchboard).

12 Objective-C *ouvert UIKit MobileFrameworks penframeworks Processing SDK Mac Windows Linux Console Portable Cocoa Touch iphone ipodtouch texte image RSS vidéo son Monolithe a Micro Camera sing rie Processing Mobile ls Ever Most Pixels Ever Pure Data Flickr API SMS Switchboard Téléphone Générique Mac Linux Mac Linux Mac Linux r Vidéo Projecteur Vidéo Projecteur Audio FTIR DI LLP Camera + illumination TouchKit optical flow blob OpenCV fudicial image réalité augementée Mac Windows Linux Capture multi-touch & vidéo TouchKit TouchKit est un projet open-source développé par le studio NOR_/D à New York en collaboration avec le laboratoire de recherche artistique Eyebeam Labs. Il rajoute au kit de développement la gestion du toucher sur la surface d un écran. Il communique les positions exactes des doigts et gère leur évolution en temps-réel. Ce kit de développement multi-touch sera modifié de deux manières. Tout d abord les informations ne seront plus intégrées directement dans les programmes ( ou autre) mais seront communiquées sur le réseau des divers ordinateurs via le protocole de communication OSC () et seront synchronisées avec Most Pixels Ever (cf. Switchboard) qui distribuera ces informations aux écrans/ordinateurs concernés (toucher sur écran A > action ordinateur A, toucher sur écran B > action ordinateur B, etc). Ensuite, aux informations de toucher seront ajoutés des informations liées au corps entier des personnes situés devant l écran. De cette manière, n importe quel ordinateur se trouvant sur le réseau du Mur communicant pourra repérer les élements suivants : la position des doigts sur l écran lui-même ; la silhouette des usagers, sa position et sa géométrie («blob tracking») ; le nombre de «personnes» devant l écran indéntifiés par leurs visages («face tracking»), la position et l image (pixels) de ceux-ci. Aussi, le Mur communicant peut faire le portrait de ces usagers, intégrer la silhouette de leurs corps dans le tissu de l image et même l image de leurs visages. Ces images pourraient être stockées dans une base de données interne pour permettre la communication transtemporelle des usagers, ouvrant la possibilité d une sorte de «tagging temporel»

13 enframeworks Processing Mac Windows Linux Console Portable *ouvert Objective-C UIKit MobileFrameworks SDK Cocoa Touch iphone ipodtouch texte image RSS vidéo son Monolithe sing ie ls Ever Most Pixels Ever Pure Data Switchboard Mac Linux Mac Linux Mac Linux r Vidéo Projecteur Vidéo Projecteur Audio FTIR DI LLP Camera + illumination OpenCV TouchKit optical flow blob fudicial image réalité augementée Monolithe Micro Camera Processing Mobile Flickr API SMS Monolithe sera une plate-forme de création conçue spécifiquement pour le Mur communicant. Son objectif est la création d un Téléphone Générique «logiciel auteur» facilitant l introduction de divers contenus multimédia dans le mur, sans avoir besoin de compétences particulières de programmation. Il sera développé sur la plate-forme et se servira des mêmes s de communication et d interfaçage du kit de développement. De cette manière, tous les services (cartes, images, flux RSS, etc) offerts aux développeurs via les kit de développement Processing et seront disponibles pour le développement du programme Monolithe et vice versa. logiciel auteur Deux modèles d interaction ont été imaginés déjà pour Monolithe : la création de contenus temporels/animés (diaporamas) ; l exploration de contenus Open Sound de type Control base de données (navigateur). Ces deux modèles peuvent d ailleurs être combinés pour donner Mac Windows Linux naissance à une forme de diaporama interactive. D autres modèles d interaction émergeront des workshops organisés avec les divers partenaires (territoriaux, commerciaux, artistiques). Monolithe sera un logiciel de création et de gestion manipulable sur ordinateur, similaire à des logiciels comme Powerpoint, Keynote ou Impress où on peut glisser/déposer des contenus dans un bac à sable qui représente une future présentation multimédia. Une fois l interaction et l enchaînement des contenus validés, ces contenus sont ensuite transmis au Mur communicant accompagnés d un fichier XML qui décrit les différentes instructions concernant le déroulement temporel (timecode) et la distribution dans l espace (cordonnées). sera également utilisé pour le développement du logiciel Monolithe pour permettre l utilisation de sources vidéo de haute qualité en plein-écran/multi-écran/mosaïque avec la gestion temporelle/spatiale de celles-ci. De cette manière, des vidéastes pourraient construire des narrations originales avec des clips vidéos synchronisés, comme dans le film «TimeCode» de Mike Figgis ou l installation «Video Quartet» de Christian Marklay ou quatre films interagissent entre eux pour générer des narrations autant à l intérieur des images qu entre elles. En associant ces sources vidéo à une source fluctuante de type RSS (syndication web) on peut imaginer une nouvelle forme de diaporama qui présenterait divers «vues» du territoire avec la possibilité au public d alimenter leurs propres images dans le diaporama.

14 Objective-C UIKit MobileFrameworks SDK Cocoa Touch iphone ipodtouch développement iphone / ipodtouch MobileFrameworks n Data Linux dio A ce jour, le seul kit de développement multi-touch digne de ce nom est signé Apple Inc. Il s agit du kit de développement pour iphone Micro Camera qui permet non seulement de gérer le toucher, mais également de gérer tout ce dont on a besoin lorsqu on veut gérer des contenus Processing Mobile Flickr API SMS de manière Téléphone Générique algorithmique sur une petite surface mobile : texte, vidéo, son, et image; mais aussi des communications réseau via HTML, RSS ou autre; animation 3D; repérage GPS; et ainsi de suite. TouchKit optical flow blob pencv fudicial image réalité augementée pen Sound Control ac Windows Linux Le seul problème pour le développement sur iphone : son langage de programmation, Objective-C. Peu de programmeurs connaissent ce langage et bien qu il soit parmi les mieux conçus dans l histoire de la programmation orientée-objet, la transition vers cette nouvelle logique prend souvent trop longtemps pour être valable pour des expérimentations avec des étudiants en art/design qui ont déjà fait un investissement lourd pour apprendre le ou le pour programmer en Processing ou. Pour faciliter alors cette transition et permettre aux créateurs des programmes d éviter de sauter en permanence d un environnement/language à l autre, nous utiliserons MobileFrameworks qui a été conçu comme une adaptation d au SDK de l iphone. Il utilise les mêmes instructions qu, mais adaptées aux fonctions Cocoa Touch/UIKit/Objective-C de l iphone. En utilisant MobileFrameworks, les créateurs pourront concevoir dans le même langage et avec les mêmes instructions des programmes existant à la fois sur le grand écran du Mur communicant et sur le petit écran de l iphone qui se glisse dans la poche.

15 Objective-C UIKit MobileFrameworks SDK Cocoa Touch iphone ipodtouch Micro Camera Processing Mobile Flickr API SMS Téléphone Générique kit de développement téléphone mobile générique Mobile Processing lob age tée l ux De la même manière que MobileFrameworks adapte l environnement Open Frameworks à l iphone, Mobile Processing adapte Processing aux nombreux téléphones qui peuvent faire tourner des programmes Mobile (Windows Mobile, Symbian, etc). Bien que ces téléphones soient beaucoup moins sophistiqués que la nouvelle génération de «smartphones» comme l iphone, ils sont éminemment plus utilisés. Mobile Processing est une version très restreinte de Processing, mais permet néanmoins d utiliser la caméra, les touches, le micro et l écran du téléphone dans des programmes qui peuvent ensuite communiquer à travers des services en ligne avec le Mur communicant. Pour des téléphones n utilisant pas ou pour des programmes qui n en auraient pas besoin, on peut tout simplement imaginer l utilisation du SMS (image + texte) pour communiquer et contribuer via un numéro de téléphone. Des interfaces SMS sont déjà disponibles à la fois pour Processing et et ont été expérimentées par l Atelier Hypermédia et ses artistes invités.

16 Objective-C * écrire pour le projet * modifier code / projet existant Processing *ouvert UIKit MobileFrameworks SDK Mac Windows Linux Cocoa Touch Console Portable iphone ipodtouch SPIP WordPress content management system (système de publication partagée) MySQL texte image RSS vidéo son CMS API PHP PHP Monolithe XML Micro Camera HTTP Processing World Wide Web librarie Processing Mobile Most Pixels Ever Most Pixels Ever Pure Data Flickr API SMS Switchboard Téléphone Générique Le système de publication partagée (CMS) permettra aux contributeurs de contenus d ajouter des contenus à distance en utilisant Mac Linux Mac Linux Mac Linux Mac Linux des interfaces open-source Vidéo Projecteur Vidéo qui Projecteur sont Vidéo aujourd hui Projecteur Audio suffisamment standardisés et sécurisés. Certains de ces contenus pourront être tout simplement écrits à l intérieur d une interface de gestion de type blog (WordPress) et récupérés dans le Mur communicant via Monolithe via les flux RSS du blog. Dans ce cas, aucune modification ne sera nécessaire ; il suffira de pointer Monolithe vers l adresse FTIR DI LLP TouchKit du blog et le système s occupera du reste. On pourrait même de cette façon faire une double communication : à la fois dans un blog optical flow blob Camera + illumination OpenCV fudicial image réalité augementée visible via un navigateur/ordinateur classique et en même temps sur le mur, mais chacun utilisant ses besoins de communication spécifiques en terme de charte graphique et d interactivité. Mac Windows Linux Pour des besoins plus complexes, comme par exemple pour des jeux singuliers conçus à travers les SDK de Processing ou d, des interfaces PHP côté serveur seront créées pour communiquer plus directement entre le Mur communicant et la base de données gérée par le CMS choisi (WordPress, Drupal, SPIP, peu importe). Ce script PHP résidera sur le même serveur que le système de publication et accédera directement à la base de données pour convertir ensuite la requête en XML avant d être transmise au mur. Cette solution permettra aux développeurs de construire des interfaces de création de contenu spécifiquement orienté pour les programmes résidant dans le mur.

17 Objective-C *ouvert UIKit MobileFrameworks * écrire pour le projet * modifier code / projet existant Processing SDK Mac Windows Linux Console Portable Cocoa Touch iphone ipodtouch SPIP WordPress MySQL texte image RSS vidéo son API PHP PHP Monolithe XML HTTP Processing World Wide Web librarie Most Pixels Ever Most Pixels Ever Pure Data interfaces de programmation web Web API Micro Camera Processing Mobile Flickr API SMS Switchboard Téléphone Générique Mac Linux Mac Linux Mac Linux Mac Linux Le nombre de services disponibles sur Internet est en expansion permanente. On peut récupérer des données climatiques, Vidéo Projecteur Vidéo Projecteur Vidéo Projecteur Audio géographiques, sociologiques, multimédia, etc. à travers les interfaces de programmation web (API = Application Programming Interface). À priori le projet du Mur communicant n aurait pas besoin de programmer des s spécifiques pour accéder à ces FTIR DI LLP TouchKit services puisque Processing et importent et interprètent déjà des fichiers XML (la lingua franca des interfaces optical flow blob Camera + illumination OpenCV fudicial image réalité augementée web). Néanmoins, certains de ces services nécessitent un développement important pour intégrer leurs données dans un programme. Pour faciliter ce travail, et accéder à l ensemble des images Flickr de la région de Provence, par exemple, des bibliothèques seront Mac Windows Linux créées pour les SDK Processing et. De cette façon, on pourra créer des visualiseurs de ces images avec quasiment le même nombre d étapes que n importe quelle forme graphique : à partir du moment où on saura afficher un rectangle sur un écran via Processing (la base) on saura afficher une image venant de Flickr. La sélection des services à intégrer au Mur communicant dépendra des phases consultatives du logiciel Monolithe.

18 Processing Mac Windows Linux Console Portable Objective-C *ouvert UIKit MobileFrameworks bornes de saisie contrôle à distance Consoles SDK Cocoa Touch iphone ipodtouch texte image RSS vidéo son Le Mur Communicant Monolithe n est pas uniquement un grand écran de diffusion, c est également une plate-forme de collaboration. Ses besoins Micro Camera varieront selon les programmes. Pour cette raison, les mêmes kit de développement seront utilisés pour les bornes de saisie et les Processing librarie Processing Mobile programmes directement affichés sur le mur, à savoir Processing et. Les programmes du mur communiqueront Most Pixels Ever Most Pixels Ever Pure Data Flickr API SMS Switchboard Téléphone Générique avec les programmes des bornes via les protocoles de communication standards que n importe quel programme en réseau Mac Linux Mac Linux Mac Linux Mac Linux d ou de Processing connait déjà, à savoir le protocole de communication. Vidéo Projecteur Vidéo Projecteur Vidéo Projecteur Audio On peut noter FTIR que DI LLP les consoles TouchKit qui communiqueront avec le mur peuvent aussi bien être tout simplement des ordinateurs portables optical flow blob Camera + illumination OpenCV fudicial image amenés par des professeurs réalité lors augementée d une visite de classe ou quelqu un animant un workshop autour de la plate-forme. Ces bornes ou périphériques ne doivent Open pas Sound Control être forcément des structures sur place. Mac Windows Linux C est dans ce sens que nous pouvons envisager également une bibliothèque spécifique pour le contrôle à distance du Mur ou de son Switchboard. Pour une performance musicale utilisant la plate-forme, par exemple, on pourrait avoir besoin de prendre le contrôle du système, ce qui deviendrait possible via la spécifiquement conçue à cet effet. Par contre, en dehors de ce besoin très spécifique, d autres formes de développement ne seront pas nécessaires pour cette partie du dispositif.

19 L Atelier Hypermédia présentation

20 L art de l algorithme Depuis 10 ans, l Atelier Hypermédia de l École supérieure d art d Aix-en-Provence explore les transformations épistémologiques provoquées par les nouvelles technologies de l information. Son axe principal concerne les possibilités ouvertes par la programmation dans la création artistique, et les nouvelles formes d interaction qu elle engage avec le monde physique à travers les interfaces et la robotique. En 2002 le responsable de l atelier, Douglas Edric Stanley, a créé l «Hypertable» : une table interactive permettant à ses utilisateurs de saisir l image tout simplement en posant leurs mains sur sa surface. L Hypertable a été ensuite exploitée dans de nombreuses expositions artistiques et culturelles (Centre Georges Pompidou, Forum des images, Salon du livre et de la presse jeunesse, ISEA 2006, Festival Arborescence) et a fait l objet de multiples expérimentations et créations menées à l École supérieure d art d Aix-en-Provence et à la Haute École d Art et de Design de Genève. Depuis, l Atelier Hypermédia s est spécialisé dans les dispositifs d analyse de l image avec une optique plus large, en s appuyant cette fois-ci sur des techniques développées dans les milieux de la recherche scientifique tout en les rendant accessibles aux artistes. Pour explorer ces nouveaux outils, l atelier a accueilli en 2008 une douzaine de créations explorant le concept d «hypersurfaces», c est-à-dire des dispositifs où image, support, et interaction se confondent en une seule entité (tables, chaises, murs, objets, corps). Ces créations ont touché des milieux aussi divers que la danse contemporaine, la musique électronique, les arts plastiques, les jeux vidéo, et le design. Dans le projet du «Mur communiquant Aix/Marseille» l Atelier Hypermédia souhaite appliquer sa vaste expérience dans le domaine de l image interactive pour créer une plate-forme de création et de communication citoyenne autour d un grand écran multi-touch en réseau. En réalité, la technologie multi-touch est déjà suffisamment au point sur le plan technique (interface physique). Se pose maintenant la question de son usage, c est-à-dire de ses contenus (interface logicielle). Alors que les solutions industrielles manquent dans ce domaine, des artistes et designers ont depuis quelques années réussi à développer des plates-formes de création de contenus à la fois solides et ouvertes. Nous proposons d adapter ces solutions pour créer un système d exploitation multi-écrans/ multi-touch/multi-utilisateurs dédié au divers besoins du Mur communicant. Nous apporterons également notre savoir-faire sur les formes interactives elles-mêmes en s appuyant sur les travaux d artistes et de designers qui ont déjà proposé des innovations dans ce domaine.

21 Installation - Centre Georges Pompidou Hypertable L Hypertable a été conçu comme support physique pour un nouveau type de cinéma : le cinéma algorithmique. L Hypertable permet de manipuler des images en posant les mains directement sur sa surface. À ce dispositif d interaction a été associé une plate-forme logicielle, «Concrescence», conçue spécifiquement pour le dispositif physique. En réalité les deux couches, logicielles et physiques, ont été conçues comme une seule et même entité. Ce n est que par la suite que les deux entités ont été dissociées pour explorer d autres formes d interaction avec le dispositif. L Hypertable a été co-produite par le CIREN, avec le soutien d Arcadi, le DICREAM, et le SCAM. Workshop - Haute École d Art et de Design Genève Objets orientés-objet Douglas Edric Stanley a été invité à l école de design de Genève pour imaginer d autres usages pour son Hypertable. Pendant ce workshop, un demi-douzaine de prototypes ont été explorés. Pour ce workshop, la plate-forme de développement de l Hypertable a également été remanié pour permettre le prototypage très rapide de nouvelles idées en créant une bibliothèque spécifiquement dédié au dispositif. De cette manière, une idée pouvait être implementée en un minimum de temps, parfois même en quelques minutes seulement. Performance - Féstival Arborescence 8=8 En 2006 Douglas Edric Stanley invite trois étudiants de l école d art d Aix-en-Provence à se joindre à lui pour donner une nouvelle définition de l Hypertable : 8=8 devient alors une groupe de musique visuelle avec 4 programmeurs = performeurs = compositeurs = visualistes. Dans 8=8 chaque performer peut manipuler différents signes graphiques qui modifient, voire génèrent, directement de la musique. En confondant image+son+mobilier, une nouvelle forme de musique et sa visualisation devient possible. Installation - Leipzig Games Convention Invaders! Depuis 2001, Douglas Edric Stanley explore les rapports plutôt délicats entre les jeux vidéo et les conflits historiques. Dans cette installation, les joueurs sont invités à défendre l Amérique contre des envahisseurs descendant du ciel et qui s attaquent aux monuments mythiques. Cette installation à la fois ludique et critique, utilise la capture du mouvement pour détecter la vélocité des gestes corporels qui sont ensuite traduits en missiles envoyés contre les envahisseurs.

22 OpenCV for Processing A partir de ces expériences, une bibliothèque à été produite autour du système de surveillance open-source OpenCV pour permettre une analyse de l image plus conséquente à l intérieur de l environnement de programmation graphique, Processing. OpenCV est la plate-forme de rigueur pour la recherche scientifique sur la vision machinique. La plupart des algorithmes proviennent directement de la communauté de la recherche universitaire et scientifique bien que le projet soit soutenu par la société Intel qui l utilise pour promouvoir leur technologie d accélération graphique, Integrated Performance Primitives (Intel IPP). La bibliothèque créé par l Atelier Hypermédia simplifie l utilisation de cette plate-forme scientifique pour permettre aux artistes un accès rapide à ce système puissant. Performance - Le Cube, Issy-les-moulineaux Moving by Numbers Moving by Numbers est un dispositif de performance chorégraphique créé par le chorégraphe Wolf Ka et sa compagnie Res_publica. Il s agit d un dispositif de danse pour un seul spectateur qui s allonge dans un siège singulier qui lui permet d interagir avec une danseuse via sa propre respiration. Du côté de la danseuse le système OpenCV surveille une matrice (physique) de lumières infrarouges posées sur son corps et lui permet de manipuler une matrice (virtuelle) de pixels projetées sur son corps. L atelier Hypermédia a participé à l élaboration du système d analyse, les algorithmes visuelles, et le système d enchaînement narratif. Installation - Festival Gamerz 03 C est toi la Patate Ce jeu a été exposé lors du festival Gamerz 03 à Aix-en-Provence. Il s agit d un jeu créé dans un workshop à l Atelier Hypermédia à partir de notre bibliothèque d analyse OpenCV pour Processing. Le joueur se voit reflété dans un miroir qui détache progressivement les différentes parties de l image de son corps. Diplôme DNSEP - École supérieure d art d Aix-en-Provence Parole Ce dispositif de Fabien Artal combine le dispositif de l Hypertable et la bibliothèque OpenCV-Processing pour permettre aux joueurs de manipuler des lettres et d inventer une nouvelle langue à partir des phonèmes et lettres élémentaires de la langue française.

23 Installation - Musée d art contemporain de Marseille Node City Cette installation de Lei Zhao créée à l origine pour son diplôme de 5ème année de design à l École supérieure d art de Marseille utilise OpenCV et (cf. schéma technique) pour créer un sol interactif où les passants peuvent se balader à l intérieur d une grande image vidéo projetée sur eux. Une boussole repère la position du spectateur et propose des suites possibles de balades vidéo. L atelier Hypermédia a conçu le dispositif d analyse vidéo et de contrôle interactif des séquences. Workshop - Institut d Arts Visuels Orléans L orientation algorithmique Ce workshop donné à l école de design d Orléans a exploré, entre autres, les possibilités de capture du corps grace à la bibliothèque OpenCV. Ici une performance de danse qui utilise la silhouette des danseurs pour manipuler des formes graphiques. Installation - Féstival Arborescence Les 1000 visages du boudha Cette installation de 1999 est une des premières créations de Douglas Edric Stanley à utiliser la capture vidéo. Il s agit d un miroir où l on voit son visage sur un écran vidéoprojeté au format 1:1. Le visage du spectateur est capté par une caméra cachée dans la surface de cet écran, et qui l enregistre ensuite dans le système. Ce sont ces images capturées à savoir les images de toutes les personnes ayant regardé dans le miroir qui forment les pixels du visage temps réel. Et puis ce sera ensuite ce même visage qui aidera à son tour à former les prochains visages des prochains «regardeurs» du miroir.

24 Influences exemples * *ces exemples dressent une liste de projets-type qui nous intéressent pour la phase expérimentale du projet

25 George Legrady Pockets Full of Memories / Cell Tango [l] [l] George Legrady est un des pionniers de la visualisation des base de données et de la mise en réseau des images, c est-à-dire des hyperimages. Depuis plusieurs années il travaille sur les bases de données en tant que forme visuelle comme dans Pockets Full of Memories, exposé au Centre Pompidou, où des enfants ont été sollicités pour scanner les images d objets qu ils affectionnaient, créant une grande base de données d objets de leur quotidien. La même logique a ensuite été adaptée pour des téléphones portables où les visiteurs de l exposition peuvent mettre à contribution leurs propres images via leurs téléphones mobiles et les tagger avec des mots clés. Les images sont ensuite reliées dans des diaporamas et des mosaïques qui cherchent à trouver des liens à l intérieur des images. Ces travaux, qui ont débuté dans les années 1990 avec son travail Slippery Traces, peuvent être considérés comme des précurseurs de phénomènes du web 2.0 comme Flickr. Nous retenons : l idée d une visualisation qui relie les personnes entre elles via leurs artefacts (objets & images). Blast Theory Day of the Figurines [l] [v] Dans «Day of the Figurines», le collectif artistique Blast Theory transforme l espace urbain en une énorme scène de théâtre. Au début du jeu, les participants du jeu urbain choisissent une figurine qu ils placent sur une grande carte qui représente la ville non pas d un point de vue géographique, mais d un point de vue narratif. Ensuite, et pendant un mois, chaque participant reçoit des messages sur son téléphone lui indiquant l évolution de son personnage à l intérieur de la ville fictive et les objectifs qu ils doivent remplir. Ces informations sont conçues pour se superposer sur l espace réel des joueurs et de leur quotidien. Parallèlement, les personnages sont déplacés sur la carte fictive grace à une série de flèches visuelles qui indiquent aux gardiens de l exposition (un peu à la manière d un général devant une carte de guerre) où doivent se déplacer les figurines. Nous retenons : l idée qu une carte centrale peut devenir un repère pour un jeu qui se déroule sur l ensemble du territoire.

26 Jonathan Harris We Feel Fine [l] [v] «We Feel Fine» est une carte interactive en temps-réel des «sentiments» du monde. En repérant heure par heure toutes les occurrences des mots «I feel...» dans une phrase, We Feel Fine récupère l ensemble des adjectifs utilisés pour qualifier les sentiments des internautes. Avec toutes ces phrases, le programme construit des chartes et des figures poétiques qui permettent de comprendre la relation entre ces données disparates et les facteurs géographiques, climatiques et sociaux (age, sexe, etc) qui auraient pu les influencer. On peut noter enfin que «We Feel Fine» expose son moteur de recherche des sentiments via un API public (cf. Web API). Nous retenons : l idée que même les plus intangibles des quantités peuvent être collectées grace aux algorithmes d agrégation et être rendues lisibles grâce à la poésie visuelle. Nous retenons également l humanisme, c est-à-dire la possibilité d utiliser des systèmes sophistiqués comme des agrégateurs, des bases de données, et des protocoles de communication pour ne retrouver en fin de compte rien d autre qu une image de l être humain. Jonathan Harris & Sep Kamvar I Want You To Want Me [l] [v] «I Want You To Want Me» peut être considéré comme une extension des recherches qui ont débuté dans «We Feel Fine» mais cette fois-ci avec la modélisation en temps réel des relations amoureux et leur visualisation dans un installation multi-touch plus sophistiquée. L installation récupère les interfaces publiques des sites de recherche d un(e) partenaire amoureux(x se) et cherche à extraire de ces sites des informations significatives qu elle visualise dans différent «tableaux» interactifs. Nous retenons : l idée que la complexité des relations humaines peut devenir lisible grâce à la visualisation interactive. Nous retenons également l idée que ce que nous rechercherions dans un grand mur d images collectives serait une image de notre vie en collectivité. Aussi, nous retenons l utilisation des API publiques non natives, en l occurence ici les sites de recherche amoureux, comme «contenu» de l image et aussi comme source de filtrage des images.

27 Marc Hansen & Ben Rubin The Listening Post [l] [v] & «The Listening Post» est une grande oreille d écoute de la «conversation» générale des chats et forums de discussions. Les phrases du moment sont relevées un peu partout via des algorithmes d analyse statistique des communications globales puis intégrées dans une composition musicale grâce à une voix de synthèse qui les chante de manière synchronisée avec la musique. Nous retenons : l idée que les fluctuations complexes des communications diverses peuvent être transformées en une véritable scénographie narrative. Interactive Telecomunications Program (ITP/NYU) Pacmanhattan [l] [v] «Pacmanhattan» est un projet d expérimentation des étudiants du programme ITP du Tisch School of the Arts, NYU. Son idée est simple : transformer le célèbre «Washington Square Park» en un labyrinthe grandeur-nature du jeu vidéo Pacman en utilisant les téléphones portables des participants pour localiser les joueurs sur la carte. Nous retenons : l idée que les téléphones portables peuvent être reliés à une image centrale qui distribue les rôles d un jeu qui transforme le sens du territoire.

28 Kit Galloway & Sherrie Rabinowitz Hole In Space [l] [v] En 1980, deux artistes ont placé deux grandes images «live» à chaque bout des Etats-Unis, une à Los Angeles, l autre à New York, reliées ensemble grâce à la communication satellite. Des passants pouvaient non seulement voir les usagers de l autre côté, mais également leur parler. Nous retenons : l idée qu un trou-dans-l espace peut constituer un terrain de jeu ouvert, le but du jeu étant défini par ses joueurs. Urs Lehni & Rafi Koch Vectorama [l] [l] Vectorama est un bac à sable graphique partagé, où n importe qui peut venir et modifier le dessin de tout le monde. Les formes proposées sont des formes vectorielles, d où le titre «Vectorama». Les joueurs peuvent choisir ces formes à partir d une liste de formes dessinées en amont, changer la position et l échelle, la couleur, et l orientation. On peut également écrire du texte. Les dessins sont stockés toutes les 5 minutes dans une base de données qui peut être consultés à travers une interface de recherche historique. Nous retenons : l idée de la création collaborative et publique.

29 Naut humon Recombinant Media Labs [l] [v] Recombinant Media Labs est un lieu de performance unique en son genre. Il contient 10 écrans vidéo synchronisés et un système son de très haute qualité avec 16 haut-parleurs positionnés autour des spectateurs à la fois horizontalement et verticalement. Des performances live ont lieu à l intérieur de la salle, mais des créations sont également conçues spécifiquement pour la salle et projetées comme une nouvelle forme de cinéma audiovisuelle. Nous retenons : l idée qu un dispositif immersif multi-écran peut contenir en lui-même un intérêt scénographique, et avec des contenus spécifiquement conçus pour lui.