Mur communicant. présentation du dispositif

Transcription

1 Mur communicant présentation du dispositif

2 manipuler relier *ouvrir collaborer s informer jouer explorer bouger toucher Mur communicant Schéma d usages

3 explorer découvrir se repérer communiquer Mur communicant Le mur communicant est un dispositif collectif d exploration et de découverte. Il s agit d un grand écran interactif. Grace à son système de capture «multi-touch» on peut littéralement toucher l image et en modifier ainsi son contenu. Le mur récolte des informations depuis de multiples sources (téléphone, Internet, capture vidéo, borne de saisie, etc) et les re-transforme en des visualisations tactiles. De cette façon le mur n est pas hermétique; au contraire il s agit d un carrefour d informations, d une carte temps-réel qui simplifie et rend tangible certaines informations et relations complexes (locales/globales) qui seraient trop difficiles à représenter sur l espace réduit d un ordinateur personnel ou d un ordinateur de poche (smartphone). C est un mur/écran urbain, qui crée des relations informationnelles adaptées à l échelle du corps humain et qui relie des corps à leurs territoires. Le mur est également un objet de communication avec d autres murs de même facture : initialement deux murs seront construits : l un à Marseille, l autre à Aix-en-Provence. Ces deux murs communiqueront entre eux et construiront ensemble un «trou dans l espace» où deux lieux pourront communiquer, collaborer, échanger. À l issu de ces expériences, et grâce à la licence open-source (logiciel libre) du système d exploitation, le système sera rendu ouvert afin que d autres murs et espaces du même genre puissent en bénéficier. Avec un système d exploitation capable de s adapter à diverses tailles et configurations, des contenus pourraient être rendus compatibles entre tous ces différents types de lieu. En plus des contenus «informationnels», des contenus dits «algorithmiques» seront également proposés, c est-à-dire des contenus évolutifs et interactifs qui nécessitent une programmation spécifique : jeux urbains, machines à dessiner collectives, interfaces musicaux, narrations génératives, et créations artistiques diverses.

4 Deux modes d interaction sont possibles dans le dispositif du Mur communicant : la capture vidéo (miroir) et le multitouch (toucher). bouger toucher danser jouer s identifier (se) reconnaître Capture + Multitouch La capture vidéo temps-réel permet aux personnes de se tenir devant le mur tandis que le système détecte leur silhouette. De cette façon on peut interagir avec le mur en utilisant l ensemble du corps; on peut ainsi : poser, danser, bouger, s approcher, reculer, et être intégré dans le contenu de l image. Grâce à ce mode d interaction, on n a pas besoin de toucher l écran pour interagir avec lui. Ce mode d interaction permet de gérer «l approche» de l écran, en donnant des informations supplémentaires ou des indications sur les possibilités offertes à l utilisateur avant le toucher directe. De cette façon, le mode miroir est complémentaire au mode d interaction directe. Dans l interaction directe (multitouch), on peut toucher directement l écran pour manipuler l information. Dans ce mode d interaction on saisit l image et on la manipule directement avec les doigts. On peut «sélectionner» des éléments, mais on peut aussi les regrouper, les jeter, ou les associer. C est une forme d interaction beaucoup plus engagée et éminemment plus précise que le mode d interaction en miroir. Au niveau du schéma corporel, le mode miroir est peu ergonomique dans la manipulation des informations avec un grand risque de fatigue musculaire. Il faut pouvoir toucher les objets (graphiques) pour pouvoir les manipuler de manière intentionnelle, surtout si l on souhaite la même intentionnalité qu une souris (ordinateur de bureau) ou qu un trackpad (ordinateur portable). C est grâce au multitouch que le public pourra véritablement s approprier le Mur communicant pour échanger et hiérarchiser l information.

5 s informer associer analyser publier informer Internet (API + CMS) La révolution «Web 2.0» a ancré Internet de manière définitive dans des logiques d agrégation d informations aux origines multiples. La clé de cette agrégation réside dans l usage des «API», autrement dit les divers services offerts sur le World Wide Web et qui permettent à tout un chacun de profiter des informations récoltées par Google (cartographie, recherche, info), Flickr (image), YouTube (images), etc. Ces services sont puissants mais peuvent devenir vite obscurs et difficiles à négocier. Étant donné qu une des missions centrales du Mur communicant est de rendre lisible les relations complexes de ses usagers et du territoire qui l entoure à travers des propositions artistiques, un certain nombre de services Internet seront inclus à travers son kit de développement. De cette manière, on pourra rapidement développer des visualisations qui intègrent des données diverses comme celles de GoogleMaps et d atmopaca. org (qualité de l air), et les intégrer dans un jeu de reportages citoyen grâce aux services de Flickr (photographies amateurs). D autres services comme ceux de YouTube ou de DailyMotion permettront aux utilisateurs du Mur communicant de partager également des clips vidéo dans le tissu des agrégations collectées dans le mur. L objectif sera de donner aux créateurs de contenus un maximum de sources informationnelles (comporains ou historique, peu importe) avec en plus la possibilité de se relier aux moyens collaboration comme Wikipedia ou d autres services de données collectives. Un des avantages supplémentaires des services Web 2.0 concerne l équilibre que le projet doit trouver entre la censure d un côté et les risques d abus intrinsèques à tout système de collaboration publique de l autre (cf. le phénomène des «trolls»). En utilisant des services comme Wikipedia, DailyMotion, Flickr ou autres, nous pouvons profiter des systèmes de filtrage communautaire déjà intégrés dans ces API. Enfin, via des plates-formes de publication (Content Management Systems) on pourra également gérer la publication des informations sur le mur à partir d un point éloigné. Des systèmes de gestion des contenus permettront à des collaborateurs qui ne programment pas d introduire des contenus dans les programmes, de les mettre à jour, le tout sans avoir à passer par des étapes lourdes de développement/recompilation. De la même façon qu un journaliste peut aujourd hui travailler indépendamment des développeurs du site d un journal papier ou en-ligne, il faut donner aux divers collaborateurs accès aux contenus des programmes sans les obliger à travailler à l intérieur des environnements de programmation.

6 jouer collecter témoigner partager Téléphone mobile Au delà de son implantation dans la ville qui le localise à un quartier en particulier, le Mur communicant doit aussi être compris comme un point de repère pour des interactions sur l ensemble du territoire. Les téléphones mobiles sont partout et contiennent de plus en plus les informations auparavant réservées seulement aux ordinateurs. Et en rajoutant de nouvelles données telle que la localisation par GPS, le téléphone mobile ouvre des possibilités d interaction au delà des ordinateurs classiques. C est dans ce sens que le Mur communicant peut devenir un point de repère pour diverses formes d action avec le territoire en transformant celui-ci en un énorme terrain de jeu. Ces jeux peuvent se déployer sur l ensemble du territoire grace aux envois SMS et relier ainsi le mur au quotidien de ses usagers. Le téléphone mobile est enfin un moyen efficace pour récolter diverses informations (images, son, vidéo, texte) ce qui permettrait au Mur communicant de recevoir relativement facilement différentes formes de participation des usagers. On pourrait de cette façon utiliser son téléphone pour prendre des témoignages photo ou vidéo, puis ensuite les regrouper ensemble sur le mur. Le mur ne serait pas passif dans cette collecte, et communiquerait des défis ou créerait des formes spécifiques pour attirer ce type de contenus.

7 manipuler jouer se promener iphone & itouch De la même manière qu un téléphone mobile classique, l iphone peut récolter des informations et communiquer avec le Mur communicant à travers des protocoles comme le SMS pour transmettre des images, des sons, et du texte. Mais l iphone est également l objet pionnier en matière de multitouch; de ce point de vue il est intéressant de le relier directement au Mur communicant pour voir ce qui devient possible quand les mêmes types de contenus (algorithmiques, gestuels, en réseau) co-existent sur deux types d écran et à deux échelles bien distinctes (main vs. corps). Chaque appareil a forcément ses propres avantages (mobile/petit vs. localisé/ grand, etc) mais peut ouvrir de nouvelles formes une fois reliés ensemble. D autres smartphones pourraient également être reliés au Mur, mais dans la première phase du projet l Atelier Hypermédia propose de travailler avec l iphone comme modèle, avant tout parce que l atelier a expérimenté avec l appareil.

8 collaborer contribuer Terminaux Certains projets peuvent nécessiter la saisie d informations trop complexes (ex: objets physiques) ou mal adaptés (ex: texte) aux interfaces multitouch du Mur communicant ou ses divers périphériques (téléphones, etc). Pour ces besoins, des terminaux peuvent être installés dans le lieu avec le mur, ce qui permettrait au public d y rentrer des données. Ces terminaux seraient conçus avant tout en collaboration avec les partenaires comme le Zinc/Friche en fonction des publics ciblés par leurs projets d utilisation du mur.

9 Objective-C *ouvert UIKit MobileFrameworks * écrire pour le projet * modifier code / projet existant Processing SDK Mac Windows Linux Cocoa Touch Console Portable iphone ipodtouch SPIP WordPress MySQL API PHP PHP XML HTTP World Wide Web texte image RSS vidéo son Monolithe Processing librarie Most Pixels Ever Most Pixels Ever Pure Data Switchboard Mac Linux Mac Linux Mac Linux Mac Linux Vidéo Projecteur Vidéo Projecteur Vidéo Projecteur Audio Micro Camera Processing Mobile Flickr API SMS Téléphone Générique FTIR DI LLP TouchKit Camera + illumination OpenCV optical flow blob fudicial image réalité augementée Mac Windows Linux Mur communicant Schéma de développement

10 Objective-C Processing *ouvert UIKit MobileFrameworks tant SDK Mac Windows Linux Cocoa Touch Console Portable iphone ipodtouch s texte image RSS vidéo son Monolithe Processing librarie Most Pixels Ever Most Pixels Ever Pure Data Switchboard Mac Linux Mac Linux Mac Linux Mac Linux Vidéo Projecteur Vidéo Projecteur Vidéo Projecteur Audio Micro Camera Processing Mobile synchronisation Flickr API SMS Switchboard Téléphone Générique Le coeur du système de diffusion audiovisuelle du Mur communiquant repose sur un système d aiguillage appelé le «Switchboard». Le rôle du Switchboard est très simple : ouvrir et fermer les différents modules d information et de communication de manière totalement FTIR DI LLP Camera + illumination OpenCV TouchKit optical flow blob invisible pour les utilisateurs. C est l équivalent du «Finder» sur Macintosh ou de l «Explorateur» sur Windows. Le Switchboard est le fudicial image réalité augementée lanceur de programmes et gère leur distribution sur l écran en enlevant tous les éléments graphiques souvent appelés le «chrome» de l interface. Le Switchboard se comporte alors comme un lanceur de programmes mais sans interface graphique derrière. Il gère Mac Windows Linux aussi les transitions visuelles d ouverture et de fermeture (fondu, réduction, animation 3D, etc). L intérêt d un tel système est que n importe quel type de contenu pourra y être intégré plus tard, même si pendant cette première phase du projet les contenus algorithmiques conçus à l intérieur des deux environnements de programmation privilégés, Processing seront privilégiés, ainsi que ceux conçus dans l environnement de création spécifique au projet, Monolithe (cf. plus loin). Par rapport à cette ouverture future, restera aussi le problème de la traduction des touchers directs du public vers des contenus conçus avant tout pour des «clics» de souris. Les deux modèles d interaction (toucher vs. cliquer) doivent être gérés différemment sur le plan programmatique autant que sur le plan gestuel-sémiotique. Pour cette raison seront évitées toutes les solutions de «bidouillage» (hacking) à partir des plate-formes de création de contenus comme Flash, Powerpoint ou les navigateurs HTML. Aussi, bien qu un interfaçage avec Flash serait techniquement possible, cela éloignerait le projet de son objectif d expérimenter de nouvelles formes d usage. C est aussi via le Switchboard que l on pourra créer une programmation temporelle des différents «moments» du mur, en ouvrant les animations selon les phases de la journée ou de la semaine. On pense surtout à des contenus de type «vidéo multi-écran» qui pourraient être crées par les étudiants des différentes écoles qui participeront au projet et qui pourraient être projetés sur le mur pendant ses phases de fermeture (la nuit, etc). On envisage également la possibilité que le Switchboard soit le moyen pour le public de choisir les différentes applications qu il souhaite explorer. Le problème de ce mode d interaction est qu elle re-transforme le Mur en un gigantesque bureau d ordinateur personel avec le risque d une ouverture et fermeture en permanence des différents modules, sans que le public ne prennent vraiment le temps d explorer ou de communiquer. Néanmoins, à partir du moment où le Switchboard remplace le «Finder» et facilite l ouverture et la fermeture des différents programmes, on peut envisager cette option, voire même y donner accès uniquement pour des performances ou workshops avec les partenaires comme le Zinc/Friche. Le Switchboard sera écrit en et résidera juste au dessus du système d exploitation Mac OS X dans un premier temps, avec la possibilité d une version pour Linux. Pour maintenir la synchronisation des différents écrans/ordinateurs, la bibliothèque «Most Pixels Ever», écrit et maintenu par Daniel Shiffman à New York University (Tisch ITP), sera re-écrite pour être rendue compatible avec le Switchboard. L Atelier Hypermédia collabore déjà avec M. Shiffman sur divers projets liés à l enseignement de la programmation dans le contexte de la création (art & design numérique).

11 Objective-C Processing *ouvert UIKit MobileFrameworks stant SDK Mac Windows Linux Cocoa Touch Console Portable iphone ipodtouch s texte image RSS vidéo son Monolithe Processing librarie Most Pixels Ever Most Pixels Ever Pure Data Switchboard Mac Linux Mac Linux Mac Linux Mac Linux Vidéo Projecteur Vidéo Projecteur Vidéo Projecteur Audio FTIR DI LLP Camera + illumination OpenCV TouchKit open-source proposera donc un modèle de développement optical flow blob pour expérimenter les nouvelles formes d interaction qui doivent fudicial image réalité augementée émerger pour que de tels écrans multi-touch urbains dépassent le stade de démonstration et commencent à concerner de vrais permettant même l usage commercial de la Mac plate-forme. Windows Linux kit de développement Micro Camera Processing & OF Mobile Flickr API SMS Téléphone Générique De nombreuses solutions multi-touch existent aujourd hui, mais pour l instant aucun standard de développement ne permet de relier ces différentes options à une plate-forme cohérente de développement de contenus. Il existe de nombreux gadgets permettant de dessiner des lignes ou de sélectionner des images avec ses doigts; il manque maintenant la plate-forme de développement ouverte et standardisée pour aller au delà des lignes sympathiques pour créer de véritables contenus algorithmiques. Ce kit de développement usages et usagers. Avec le choix de l open-source on assure d ailleurs une plus grande diffusion de ces formes au delà du laboratoire, Processing et seront les deux environnements de développement privilégiés dans l expérimentation des nouvelles formes de contenus pour le Mur communicant. Tous les deux ont été conçus pour le prototypage de nouvelles formes d installation et d interface multimédia, avec un fort accent sur la création artistique. Ils simplifient avant tout le démarrage des projets complexes en proposant tout une série de fonctionnalités avancées intégrées et qu il suffit d enchaîner pour créer ses propres programmes. Ils proposent également des environnements de travail qui simplifient de manière significative la création de nouveaux programmes et permettent du coup aux créateurs de se concentrer sur l essentiel de leurs programmes et non pas sur leur mise en route. Les deux environnements sont distribués sous des licences open-source avec une communauté internationale très active d artistes développeurs qui étendent tous les jours les possibilités des deux systèmes. L Atelier Hypermédia participe depuis plusieurs années à leur développement et à leur promotion : nos tutoriaux en-ligne sur Processing et sont utilisés par de nombreuses écoles et universités dans l enseignement de la programmation artistique; plusieurs de nos modules d extension (s) sont utilisés par des artistes, designers, et architectes de par le monde dans leurs installations et prototypes; et nous sommes souvent solicités en tant que conseiller sur ces plate-formes, par exemple pour faire de l expertise sur des livres publiés sur Processing. Il s agit donc de deux plate-formes de création que nous connaissons bien dans l atelier, et qui ont l avantage d être à la fois robustes et ouvertes. Il ne sera pas nécessaire de toucher à la base de ces deux plate-formes pour réussir à créer le kit de développement du Mur communicant. Il est bien plus préférable de laisser les différentes équipes déjà engagées s occuper de la maintenance et du débuggage des noyaux respectifs. De cette façon, notre projet pourra se concentrer uniquement sur les extensions appelées «s» qu il sera nécessaire de rajouter aux noyaux de base. Ces extensions concerneront principalement la communication avec les périphériques : la récupération des données liées à la capture (cf. TouchKit), la communication avec les téléphones portables (cf. MobileFrameworks, Mobile Processing), la récupération des données sur Internet (cf. API Web), et la synchronisation des ordinateurs à travers Most Pixels Ever (cf. Switchboard).

12 Objective-C *ouvert UIKit MobileFrameworks penframeworks Processing SDK Mac Windows Linux Console Portable Cocoa Touch iphone ipodtouch texte image RSS vidéo son Monolithe a Micro Camera sing rie Processing Mobile ls Ever Most Pixels Ever Pure Data Flickr API SMS Switchboard Téléphone Générique Mac Linux Mac Linux Mac Linux r Vidéo Projecteur Vidéo Projecteur Audio FTIR DI LLP Camera + illumination TouchKit optical flow blob OpenCV fudicial image réalité augementée Mac Windows Linux Capture multi-touch & vidéo TouchKit TouchKit est un projet open-source développé par le studio NOR_/D à New York en collaboration avec le laboratoire de recherche artistique Eyebeam Labs. Il rajoute au kit de développement la gestion du toucher sur la surface d un écran. Il communique les positions exactes des doigts et gère leur évolution en temps-réel. Ce kit de développement multi-touch sera modifié de deux manières. Tout d abord les informations ne seront plus intégrées directement dans les programmes ( ou autre) mais seront communiquées sur le réseau des divers ordinateurs via le protocole de communication OSC () et seront synchronisées avec Most Pixels Ever (cf. Switchboard) qui distribuera ces informations aux écrans/ordinateurs concernés (toucher sur écran A > action ordinateur A, toucher sur écran B > action ordinateur B, etc). Ensuite, aux informations de toucher seront ajoutés des informations liées au corps entier des personnes situés devant l écran. De cette manière, n importe quel ordinateur se trouvant sur le réseau du Mur communicant pourra repérer les élements suivants : la position des doigts sur l écran lui-même ; la silhouette des usagers, sa position et sa géométrie («blob tracking») ; le nombre de «personnes» devant l écran indéntifiés par leurs visages («face tracking»), la position et l image (pixels) de ceux-ci. Aussi, le Mur communicant peut faire le portrait de ces usagers, intégrer la silhouette de leurs corps dans le tissu de l image et même l image de leurs visages. Ces images pourraient être stockées dans une base de données interne pour permettre la communication transtemporelle des usagers, ouvrant la possibilité d une sorte de «tagging temporel»

13 enframeworks Processing Mac Windows Linux Console Portable *ouvert Objective-C UIKit MobileFrameworks SDK Cocoa Touch iphone ipodtouch texte image RSS vidéo son Monolithe sing ie ls Ever Most Pixels Ever Pure Data Switchboard Mac Linux Mac Linux Mac Linux r Vidéo Projecteur Vidéo Projecteur Audio FTIR DI LLP Camera + illumination OpenCV TouchKit optical flow blob fudicial image réalité augementée Monolithe Micro Camera Processing Mobile Flickr API SMS Monolithe sera une plate-forme de création conçue spécifiquement pour le Mur communicant. Son objectif est la création d un Téléphone Générique «logiciel auteur» facilitant l introduction de divers contenus multimédia dans le mur, sans avoir besoin de compétences particulières de programmation. Il sera développé sur la plate-forme et se servira des mêmes s de communication et d interfaçage du kit de développement. De cette manière, tous les services (cartes, images, flux RSS, etc) offerts aux développeurs via les kit de développement Processing et seront disponibles pour le développement du programme Monolithe et vice versa. logiciel auteur Deux modèles d interaction ont été imaginés déjà pour Monolithe : la création de contenus temporels/animés (diaporamas) ; l exploration de contenus Open Sound de type Control base de données (navigateur). Ces deux modèles peuvent d ailleurs être combinés pour donner Mac Windows Linux naissance à une forme de diaporama interactive. D autres modèles d interaction émergeront des workshops organisés avec les divers partenaires (territoriaux, commerciaux, artistiques). Monolithe sera un logiciel de création et de gestion manipulable sur ordinateur, similaire à des logiciels comme Powerpoint, Keynote ou Impress où on peut glisser/déposer des contenus dans un bac à sable qui représente une future présentation multimédia. Une fois l interaction et l enchaînement des contenus validés, ces contenus sont ensuite transmis au Mur communicant accompagnés d un fichier XML qui décrit les différentes instructions concernant le déroulement temporel (timecode) et la distribution dans l espace (cordonnées). sera également utilisé pour le développement du logiciel Monolithe pour permettre l utilisation de sources vidéo de haute qualité en plein-écran/multi-écran/mosaïque avec la gestion temporelle/spatiale de celles-ci. De cette manière, des vidéastes pourraient construire des narrations originales avec des clips vidéos synchronisés, comme dans le film «TimeCode» de Mike Figgis ou l installation «Video Quartet» de Christian Marklay ou quatre films interagissent entre eux pour générer des narrations autant à l intérieur des images qu entre elles. En associant ces sources vidéo à une source fluctuante de type RSS (syndication web) on peut imaginer une nouvelle forme de diaporama qui présenterait divers «vues» du territoire avec la possibilité au public d alimenter leurs propres images dans le diaporama.

14 Objective-C UIKit MobileFrameworks SDK Cocoa Touch iphone ipodtouch développement iphone / ipodtouch MobileFrameworks n Data Linux dio A ce jour, le seul kit de développement multi-touch digne de ce nom est signé Apple Inc. Il s agit du kit de développement pour iphone Micro Camera qui permet non seulement de gérer le toucher, mais également de gérer tout ce dont on a besoin lorsqu on veut gérer des contenus Processing Mobile Flickr API SMS de manière Téléphone Générique algorithmique sur une petite surface mobile : texte, vidéo, son, et image; mais aussi des communications réseau via HTML, RSS ou autre; animation 3D; repérage GPS; et ainsi de suite. TouchKit optical flow blob pencv fudicial image réalité augementée pen Sound Control ac Windows Linux Le seul problème pour le développement sur iphone : son langage de programmation, Objective-C. Peu de programmeurs connaissent ce langage et bien qu il soit parmi les mieux conçus dans l histoire de la programmation orientée-objet, la transition vers cette nouvelle logique prend souvent trop longtemps pour être valable pour des expérimentations avec des étudiants en art/design qui ont déjà fait un investissement lourd pour apprendre le ou le pour programmer en Processing ou. Pour faciliter alors cette transition et permettre aux créateurs des programmes d éviter de sauter en permanence d un environnement/language à l autre, nous utiliserons MobileFrameworks qui a été conçu comme une adaptation d au SDK de l iphone. Il utilise les mêmes instructions qu, mais adaptées aux fonctions Cocoa Touch/UIKit/Objective-C de l iphone. En utilisant MobileFrameworks, les créateurs pourront concevoir dans le même langage et avec les mêmes instructions des programmes existant à la fois sur le grand écran du Mur communicant et sur le petit écran de l iphone qui se glisse dans la poche.

15 Objective-C UIKit MobileFrameworks SDK Cocoa Touch iphone ipodtouch Micro Camera Processing Mobile Flickr API SMS Téléphone Générique kit de développement téléphone mobile générique Mobile Processing lob age tée l ux De la même manière que MobileFrameworks adapte l environnement Open Frameworks à l iphone, Mobile Processing adapte Processing aux nombreux téléphones qui peuvent faire tourner des programmes Mobile (Windows Mobile, Symbian, etc). Bien que ces téléphones soient beaucoup moins sophistiqués que la nouvelle génération de «smartphones» comme l iphone, ils sont éminemment plus utilisés. Mobile Processing est une version très restreinte de Processing, mais permet néanmoins d utiliser la caméra, les touches, le micro et l écran du téléphone dans des programmes qui peuvent ensuite communiquer à travers des services en ligne avec le Mur communicant. Pour des téléphones n utilisant pas ou pour des programmes qui n en auraient pas besoin, on peut tout simplement imaginer l utilisation du SMS (image + texte) pour communiquer et contribuer via un numéro de téléphone. Des interfaces SMS sont déjà disponibles à la fois pour Processing et et ont été expérimentées par l Atelier Hypermédia et ses artistes invités.

16 Objective-C * écrire pour le projet * modifier code / projet existant Processing *ouvert UIKit MobileFrameworks SDK Mac Windows Linux Cocoa Touch Console Portable iphone ipodtouch SPIP WordPress content management system (système de publication partagée) MySQL texte image RSS vidéo son CMS API PHP PHP Monolithe XML Micro Camera HTTP Processing World Wide Web librarie Processing Mobile Most Pixels Ever Most Pixels Ever Pure Data Flickr API SMS Switchboard Téléphone Générique Le système de publication partagée (CMS) permettra aux contributeurs de contenus d ajouter des contenus à distance en utilisant Mac Linux Mac Linux Mac Linux Mac Linux des interfaces open-source Vidéo Projecteur Vidéo qui Projecteur sont Vidéo aujourd hui Projecteur Audio suffisamment standardisés et sécurisés. Certains de ces contenus pourront être tout simplement écrits à l intérieur d une interface de gestion de type blog (WordPress) et récupérés dans le Mur communicant via Monolithe via les flux RSS du blog. Dans ce cas, aucune modification ne sera nécessaire ; il suffira de pointer Monolithe vers l adresse FTIR DI LLP TouchKit du blog et le système s occupera du reste. On pourrait même de cette façon faire une double communication : à la fois dans un blog optical flow blob Camera + illumination OpenCV fudicial image réalité augementée visible via un navigateur/ordinateur classique et en même temps sur le mur, mais chacun utilisant ses besoins de communication spécifiques en terme de charte graphique et d interactivité. Mac Windows Linux Pour des besoins plus complexes, comme par exemple pour des jeux singuliers conçus à travers les SDK de Processing ou d, des interfaces PHP côté serveur seront créées pour communiquer plus directement entre le Mur communicant et la base de données gérée par le CMS choisi (WordPress, Drupal, SPIP, peu importe). Ce script PHP résidera sur le même serveur que le système de publication et accédera directement à la base de données pour convertir ensuite la requête en XML avant d être transmise au mur. Cette solution permettra aux développeurs de construire des interfaces de création de contenu spécifiquement orienté pour les programmes résidant dans le mur.

17 Objective-C *ouvert UIKit MobileFrameworks * écrire pour le projet * modifier code / projet existant Processing SDK Mac Windows Linux Console Portable Cocoa Touch iphone ipodtouch SPIP WordPress MySQL texte image RSS vidéo son API PHP PHP Monolithe XML HTTP Processing World Wide Web librarie Most Pixels Ever Most Pixels Ever Pure Data interfaces de programmation web Web API Micro Camera Processing Mobile Flickr API SMS Switchboard Téléphone Générique Mac Linux Mac Linux Mac Linux Mac Linux Le nombre de services disponibles sur Internet est en expansion permanente. On peut récupérer des données climatiques, Vidéo Projecteur Vidéo Projecteur Vidéo Projecteur Audio géographiques, sociologiques, multimédia, etc. à travers les interfaces de programmation web (API = Application Programming Interface). À priori le projet du Mur communicant n aurait pas besoin de programmer des s spécifiques pour accéder à ces FTIR DI LLP TouchKit services puisque Processing et importent et interprètent déjà des fichiers XML (la lingua franca des interfaces optical flow blob Camera + illumination OpenCV fudicial image réalité augementée web). Néanmoins, certains de ces services nécessitent un développement important pour intégrer leurs données dans un programme. Pour faciliter ce travail, et accéder à l ensemble des images Flickr de la région de Provence, par exemple, des bibliothèques seront Mac Windows Linux créées pour les SDK Processing et. De cette façon, on pourra créer des visualiseurs de ces images avec quasiment le même nombre d étapes que n importe quelle forme graphique : à partir du moment où on saura afficher un rectangle sur un écran via Processing (la base) on saura afficher une image venant de Flickr. La sélection des services à intégrer au Mur communicant dépendra des phases consultatives du logiciel Monolithe.

18 Processing Mac Windows Linux Console Portable Objective-C *ouvert UIKit MobileFrameworks bornes de saisie contrôle à distance Consoles SDK Cocoa Touch iphone ipodtouch texte image RSS vidéo son Le Mur Communicant Monolithe n est pas uniquement un grand écran de diffusion, c est également une plate-forme de collaboration. Ses besoins Micro Camera varieront selon les programmes. Pour cette raison, les mêmes kit de développement seront utilisés pour les bornes de saisie et les Processing librarie Processing Mobile programmes directement affichés sur le mur, à savoir Processing et. Les programmes du mur communiqueront Most Pixels Ever Most Pixels Ever Pure Data Flickr API SMS Switchboard Téléphone Générique avec les programmes des bornes via les protocoles de communication standards que n importe quel programme en réseau Mac Linux Mac Linux Mac Linux Mac Linux d ou de Processing connait déjà, à savoir le protocole de communication. Vidéo Projecteur Vidéo Projecteur Vidéo Projecteur Audio On peut noter FTIR que DI LLP les consoles TouchKit qui communiqueront avec le mur peuvent aussi bien être tout simplement des ordinateurs portables optical flow blob Camera + illumination OpenCV fudicial image amenés par des professeurs réalité lors augementée d une visite de classe ou quelqu un animant un workshop autour de la plate-forme. Ces bornes ou périphériques ne doivent Open pas Sound Control être forcément des structures sur place. Mac Windows Linux C est dans ce sens que nous pouvons envisager également une bibliothèque spécifique pour le contrôle à distance du Mur ou de son Switchboard. Pour une performance musicale utilisant la plate-forme, par exemple, on pourrait avoir besoin de prendre le contrôle du système, ce qui deviendrait possible via la spécifiquement conçue à cet effet. Par contre, en dehors de ce besoin très spécifique, d autres formes de développement ne seront pas nécessaires pour cette partie du dispositif.

19 L Atelier Hypermédia présentation

20 L art de l algorithme Depuis 10 ans, l Atelier Hypermédia de l École supérieure d art d Aix-en-Provence explore les transformations épistémologiques provoquées par les nouvelles technologies de l information. Son axe principal concerne les possibilités ouvertes par la programmation dans la création artistique, et les nouvelles formes d interaction qu elle engage avec le monde physique à travers les interfaces et la robotique. En 2002 le responsable de l atelier, Douglas Edric Stanley, a créé l «Hypertable» : une table interactive permettant à ses utilisateurs de saisir l image tout simplement en posant leurs mains sur sa surface. L Hypertable a été ensuite exploitée dans de nombreuses expositions artistiques et culturelles (Centre Georges Pompidou, Forum des images, Salon du livre et de la presse jeunesse, ISEA 2006, Festival Arborescence) et a fait l objet de multiples expérimentations et créations menées à l École supérieure d art d Aix-en-Provence et à la Haute École d Art et de Design de Genève. Depuis, l Atelier Hypermédia s est spécialisé dans les dispositifs d analyse de l image avec une optique plus large, en s appuyant cette fois-ci sur des techniques développées dans les milieux de la recherche scientifique tout en les rendant accessibles aux artistes. Pour explorer ces nouveaux outils, l atelier a accueilli en 2008 une douzaine de créations explorant le concept d «hypersurfaces», c est-à-dire des dispositifs où image, support, et interaction se confondent en une seule entité (tables, chaises, murs, objets, corps). Ces créations ont touché des milieux aussi divers que la danse contemporaine, la musique électronique, les arts plastiques, les jeux vidéo, et le design. Dans le projet du «Mur communiquant Aix/Marseille» l Atelier Hypermédia souhaite appliquer sa vaste expérience dans le domaine de l image interactive pour créer une plate-forme de création et de communication citoyenne autour d un grand écran multi-touch en réseau. En réalité, la technologie multi-touch est déjà suffisamment au point sur le plan technique (interface physique). Se pose maintenant la question de son usage, c est-à-dire de ses contenus (interface logicielle). Alors que les solutions industrielles manquent dans ce domaine, des artistes et designers ont depuis quelques années réussi à développer des plates-formes de création de contenus à la fois solides et ouvertes. Nous proposons d adapter ces solutions pour créer un système d exploitation multi-écrans/ multi-touch/multi-utilisateurs dédié au divers besoins du Mur communicant. Nous apporterons également notre savoir-faire sur les formes interactives elles-mêmes en s appuyant sur les travaux d artistes et de designers qui ont déjà proposé des innovations dans ce domaine.