PRE-PRINT : BRUILLARD Éric (2004). Peut-on comprendre le «réel» sans le «virtuel». L exemple de la réalité augmentée. Éducation Technologique, n 24, Scérén et Delagrave, juin 2004, p. 22-24. Peut-on comprendre le «réel» sans le «virtuel»? L exemple de la réalité «augmentée» Éric Bruillard GREYC et IUFM de Basse-Normandie eric.bruillard@caen.iufm.fr Un exemple introductif Imaginons une visite à une exposition de peintures. Nous pouvons nous laisser guider par nos impressions en regardant les œuvres exposées sans nous intéresser à leur titre ou leur auteur. Nous percevons les tableaux tels qu ils sont mis en scène, sans autre information que nos propres connaissances. Pour «enrichir» notre exploration, nous pouvons lire les documents souvent proposés pour les expositions ou un livre, choisi au préalable, nous fournira diverses explications supplémentaires. Devant chaque tableau, à nous de rechercher les informations qui peuvent le concerner. Si un audio-guide est proposé, on pourra, face à chaque œuvre munie d un numéro taper ce dernier sur le dispositif sonore et écouter la narration préparée à notre intention. Si nous préférons suivre un guide humain, une personne organisera un itinéraire, nous offrira tout au long des explications et répondra également aux questions que nous pourrions lui poser. Certaines scénographies sont parfois proposées. Notre entrée dans une pièce est détectée et déclenche un mécanisme plus ou moins compliqué : une bande sonore se déroule, des éclairages guident notre regard, des événements se déclenchent Dans toutes les situations banales que nous venons d évoquer, nous sommes dans le monde réel. Pour nous permettre de mieux le comprendre ou l apprécier, le monde matériel dans lequel nous évoluons se double d un monde informationnel auquel nous pouvons accéder par le biais de technologies spécifiques, enrichissant notre vision. Autre situation. Au lieu de nous déplacer pour voir l exposition, on se procure son catalogue. Sa lecture nous donne accès non aux œuvres mais à leur reproduction sur papier dans un format réduit, dans un contexte riche en récits, explications, schémas Un cédérom ou un site web de l exposition sont disponibles? Il nous est alors possible de voir les tableaux, via un écran, dans un environnement nous procurant divers points de vue : des zooms sur des parties spécifiques, des mises en perspectives de plusieurs tableaux, des animations illustrant la genèse de certains d entre eux, etc. Nous ne pouvons voir les tableaux eux-mêmes et leur version numérique n en rend compte que très imparfaitement. Mais nous avons des possibilités d exploration dépassant ce qui est permis au cours d une visite «réelle». Dans cette dernière situation, maintenant tout aussi banale que les précédentes, nous ne voyons pas de «vrais» tableaux et la «visite» est qualifiée de virtuelle. Les deux modes de visite sont complémentaires : une visite virtuelle peut précéder la visite réelle et/ou la prolonger. Nous pouvons même combiner les deux expériences en apportant un dispositif informatique portable lors de notre promenade dans une exposition et passer du tableau réel à sa présentation dans un contexte numérique. La réalité augmentée : améliorer perception et capacités d action Ainsi, nous évoluons dans un monde depuis longtemps enrichi par la technologie. Soit en nous projetant, en nous immergeant dans des représentations, domaine de la réalité virtuelle ;
soit en complétant notre expérience réelle, en intégrant un monde virtuel au monde matériel afin d interagir avec l information directement dans le contexte de ce qui l entoure. La réalité augmentée vise ainsi à «améliorer» les objets du monde physique. D abord, améliorer notre perception de l environnement réel, en y ajoutant des informations. Le plus souvent elles sont visuelles : on superpose alors des images de synthèse sur des images réelles ou vidéo. Mais elles peuvent être également auditives (certaines voitures intègrent un dispositif qui produit un signal sonore dès que l on recule trop près d un obstacle), olfactives ou tactiles. Historiquement, on peut considérer que les loupes, microscopes, etc. participent de cette idée de réalité augmentée. Améliorer aussi nos possibilités d action, en fusionnant les capacités de traitements informatiques et l environnement physique : conserver notre expérience du monde réel et faire acquérir aux objets une dimension informatique (sémiotique), en les dotant d une capacité à réagir non pas aux seuls phénomènes physiques auxquels ils sont soumis, mais aussi aux informations qu ils captent sur l état de leur entourage. Ce domaine est en plein développement, aussi n est-il pas question ici d en faire le tour 1. Les applications sont multiples. D abord militaires, bien évidemment, ensuite médicales, dans le contexte de la téléopération ainsi que tout ce qui concerne les manipulations en milieux hostiles, les travaux coopératifs dans des domaines nécessitant la mobilité (par exemple, l architecture, Canals et al., 2002), etc. Nous allons ici nous contenter de présenter quelques principes. Un premier exemple déjà ancien, celui du digital desk ou bureau électronique (Wellner, 1993) donne une idée des potentialités offertes : interagir le plus naturellement possible avec des documents numériques par l intermédiaire d une projection de ces éléments dans notre monde réel. Alors qu il est plus simple d effacer, de modifier ou déplacer du texte dans un éditeur de texte que sur papier, ce dernier est plus agréable à lire et à transporter. Mélanger papier et électronique peut fournir une solution élégante. La figure 1 en donne un schéma de fonctionnement. Une caméra vidéo détecte l endroit pointé par l utilisateur, l image des nombres est capturée puis reconnue et projetée sur la surface du bureau. Ainsi, une colonne de nombres imprimés sur une page et pointée par l utilisateur est reconnue et introduite dans un tableur qui peut en calculer la somme. L utilisateur peut modifier les nombres et faire des calculs (Voir MacKay 98 pour d autres applications, augmentant le papier). 1 On pourra consulter les pages de Jim Vallino (http://www.se.rit.edu/~jrv/research/ar/), de Reinhold Behringer (http://www.augmented-reality.org) ou de Raphaël Grasset (Augmented Reality Research Website, http://www-artis.imag.fr/members/raphael.grasset/ar/), ou des articles de synthèse : MacKay (1996, 1998), Azuma (1997, 2001), Grasset et Gascuel (2003).
Figure 1. Principe de fonctionnement du digital desk Figure 2. Cette photographie a été prise juste après que l utilisateur ait sélectionné le nombre 4834 sur une feuille de papier. Ce nombre a été reconnu et introduit dans la calculatrice projetée comme s il avait été tapé (Wellner, 1993). Mais si offrir des bureaux améliorés 2 est certes intéressant, un des avantages est dans la mobilité. Imaginons-nous face à une scène, contenant un ou plusieurs objets dont le modèle est connu. En identifiant ces objets, il est possible de fournir des informations sur eux. Par exemple, s agissant de réparer un équipement complexe, on peut donner automatiquement le nom de ses différentes parties. KARMA 3 permet à un technicien de voir à travers un miroir un diagramme se surimposant sur une imprimante (Feiner et al., 1993). 2 http://depts.washington.edu/dmachine/digitaldesk/projects.html : exemples de bureaux électroniques 3 http://www1.cs.columbia.edu/graphics/projects/karma/karma.html, Knowledge-Based Augmented Reality for Maintenance Assistance
Figure 3. Mettre des feuilles dans le bac d une imprimante : on peut «montrer» l opération à effectuer. Un dispositif mobile donnant accès à Internet tout en se déplaçant a ainsi été développé à l Université de Columbia. Muni d une tablette de saisie, d un stylet, d une balise de localisation et d une paire de lunettes sur laquelle s incrustent les informations, on peut parcourir le site (réel et non web) de l université et obtenir des informations sur un certain nombre de monuments. Figure 4. Une fenêtre fournit des informations sur l objet sélectionné (Bell et al., 2003) A condition d une localisation suffisamment précise pour garantir la superposition exacte du virtuel et du réel, on se déplace dans un monde enrichi par des informations virtuelles, en quelque sorte projetées dessus (figure 4). Des lunettes de visualisation sont dotées d une surface semi-transparente. Le regard peut les traverser et on peut y incruster des informations et des images (le mixage réel/virtuel se fait par l œil de l utilisateur). Figure 5. Deux dispositifs optiques embarqués (miroir opaque ou miroir semi-transparent). Images adaptées d Azuma (1997) On peut aussi avoir un miroir opaque sur lequel un moniteur projette une image virtuelle préalablement traitée. Ainsi le projet Archeoguide 4 devrait permettre aux touristes, munis d un tel dispositif de réalité augmentée, de découvrir un Parthénon reconstitué, de consulter dans le 4 http://archeoguide.intranet.gr/
détail la frise du fronton qui se trouve au British Museum, etc. En bref, d admirer le Parthénon tel qu il était au temps des anciens grecs. Figure 6. Le Parthénon reconstitué (projet Archeoguide) On pourra accéder à de l information en contexte selon sa position et son orientation avec des aides à la navigation thématiques et personnalisées (selon la culture, la langue, l âge, les connaissances), voir en 3D les parties manquantes détruites Ajouter des parties que l on ne peut plus voir est important, mais, dans d autres cas, on peut souhaiter enlever un objet réel, pour voir un objet qui se situait à la même place dans le passé. Il ne s agit plus seulement d ajouter des informations mais d enlever des objets, ce que l on nomme réalité diminuée ou réalité médiée (Azuma et al., 2001). Figure 7. Le système pour voir le Parthénon (projet Archeoguide)
Quelques réflexions Une vision un peu rapide du «virtuel» nous le fait associer à des mondes imaginaires, coupés du monde physique, exerçant une fascination considérée parfois comme dangereuse. Par certains côtés, l absence d implication du corps entraîne un manque d engagement, conduisant à une expérience factice Mais notre environnement combine un monde physique et un monde informationnel. Notre compréhension, nos expériences se fondent sur notre perception de ces deux mondes intimement reliés et les techniques de réalité augmentée cherchent à mieux les associer. Ainsi, opposer réel et virtuel n est sans doute plus très pertinent. Nos activités sont instrumentées et s inscrivent dans le monde tel qu il s organise. L informatique, de plus en plus disséminée 5, conduit à se mouvoir dans des environnements rendant accessibles de multiples informations, multipliant les formes possibles de traitement. Les environnements informatiques grand public (incluant appareils de photographie ou caméras numériques, scanner, imprimante, etc.) nous en offrent déjà beaucoup plus qu un simple aperçu. La question est alors bien de savoir, dans une perspective curriculaire, ce qui permettra aux futurs citoyens d acquérir les capacités nécessaires d interprétation et de compréhension pour piloter une technologie sans cesse plus envahissante, mais indispensable pour appréhender le monde dans lequel nous vivons. Références Azuma, R. (1966). A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments 6, 4 (August 1997), p. 355 385, http://www.cs.unc.edu/~azuma/azuma_ar.html Azuma R., Baillot Y., Behringer R., Feiner S., Julier S., and MacIntyre B. (2001). Recent Advances in Augmented Reality, in IEEE Computer Graphics and Applications, vol. 21, n 6, November/December 2001, p. 34-47. Bell B., Feiner S., Höllerer T. (2002). Information at a Glance in Wearable Augmented Reality Systems, An extended version of B. Bell, S. Feiner, and T. Höllerer, Information at a Glance, IEEE Computer Graphics and Applications, vol. 22, no. 4, July/August 2002, p. 6 9, http://crestserver.aist-nara.ac.jp/crest/workshop/2003/03feiner.pdf Canals G., Nigay L., Pucheral P. (2002). Mobilité : accès aux données et interaction homme-machine, http://sis.univ-tln.fr/gdri3/fichiers/assises2002/papers/06-mobilite.pdf Feiner S., MacIntyre B., Seligman D. (1993). Knowledge-based augmented reality. Communications of the ACM, 36(7), p. 52 62, July 1993. Grasset R., Gascuel J.D. (2003). Réalité augmentée et environnement collaboratif : un tour d'horizon, AFIG '03 (Actes des 16e journées de l'association Française d'informatique Graphique), décembre 2003, http://www-artis.imag.fr/publications/2003/gg03/index.fr.html Höllerer T., Feiner S., Pavlik J. (1999). Situated Documentaries: Embedding Multimedia Presentations in the Real World, Proceedings of ISWC 99 (International Symposium on Wearable Computers), San Francisco, CA, October 18 19, 1999, p. 79 86 Mackay, W. (1996). Réalité Augmentée : le meilleur des deux mondes. La Recherche, numéro spécial L'ordinateur au doigt et à l œil. Vol. 284. 5 On parle d informatique pervasive (du latin per-vadere, se répandre partout) ou ubiquitous computing pour qualifier une informatique transparente, inscrite dans notre environnement accessible partout et en tout lieu à l aide de multiples périphériques.
Mackay, W. (1998) Augmented Reality: linking real and virtual worlds. In Proceedings of ACM AVI '98, Conference on Advanced Visual Interfaces. L'Aquila, Italy: ACM. Keynote address. p. 1-9. Nigay L., Renevier P.,Pasqualetti L., Salembier P., Marchand T. (2002). Réalité Augmentée en Situation Mobile et Collaborative, www.fing.org/ref/upload/articlemagic_oc.doc Wellner P. (1993). Interacting with paper on the DigitalDesk. Communications of the ACM, 36(7), p. 87-96, July 1993.