PRÉFACE. François d Aubert

Transcription

1 PRÉFACE François d Aubert En parcourant le traité de la réalité virtuelle, le lecteur découvrira une large réflexion collective sur ce nouveau secteur d activités, issu de recherches à la croisée des sciences de l ingénieur et des sciences cognitives. Au-delà de l aspect technique, clairement développé tout au long de ce traité, il se dégage un nouveau mode de travail et d expérimentation : l homme, s extrayant de son environnement quotidien, peut observer, agir, dialoguer, se former... en un mot, vivre dans un nouvel univers artificiel. Ce nouveau paradigme ouvre des horizons prometteurs dans des domaines aussi variés que celui de la formation, de la santé, de l urbanisme, de la simulation scientifique et de l industrie. Cette dernière, s interrogeant en premier sur cette source d innovations technologiques, a franchi une étape décisive, passant d une réflexion sur les potentiels de la réalité virtuelle à des outils d exploitation, maintenant opérationnels. A l heure de la mondialisation de l économie, il est réconfortant de voir la vitalité de la recherche française et de ses retombées auprès des entreprises. Le volume du traité sur les applications est là pour témoigner des potentialités effectives de la réalité virtuelle. Le lecteur y découvrira les applications des grands secteurs de l économie française, mais aussi dans des domaines où nous l attendions moins : l archéologie, les géosciences, la psychothérapie pour ne citer que ceux-ci. Derrière le côté attrayant de la réalité virtuelle, se cachent en fait des travaux très complexes de modélisation informatique. Un volume sur ce thème aborde ce sujet, écrit par les meilleurs spécialistes français. D autres problématiques sont traitées également dans deux autres volumes, couvrant le grand champ scientifique que sollicite la réalité virtuelle : la modélisation du comportement de l homme dans ces nouveaux environnements virtuels et la création d interfaces adaptées à son immersion. Ce traité est un fameux défi, pris sur l initiative du Professeur Philippe Fuchs, qui a su, grâce à une connaissance du domaine et de la communauté des chercheurs, convaincre ces derniers de réaliser collectivement cette œuvre originale et unique dans le domaine des livres scientifiques. Je suis convaincu que ce traité éclairera le chercheur, l entrepreneur et tout lecteur par l étendue des sujets rédigés avec un souci d excellence scientifique et pédagogique. Souhaitons que nos jeunes diplômés trouveront plaisir à s informer sur ce domaine innovant et que celui-ci suscitera des vocations pour cet immense défi. En tant que Président de l agglomération lavalloise et ancien Ministre de la Recherche, j ai été très heureux d aider au développement de la réalité virtuelle en France. La recherche et les entreprises françaises ont réussi à se hisser au premier plan européen. Ce traité en sera un témoignage instructif pour tous nos concitoyens ainsi qu au niveau international. Laval continuera, par l intermédiaire de son congrès international «Laval Virtual», de promouvoir cet ensemble de sciences et de techniques, en permettant aux chercheurs et aux professionnels de prendre encore plus conscience des enjeux de la réalité virtuelle.

2 ii Le traité de la réalité virtuelle Nous pouvons être fiers d avoir en France une communauté aussi performante que dynamique sur ce domaine, situé à l interface de plusieurs secteurs de la Recherche : c est un aboutissement de l évolution de sciences et de techniques informatiques, mais c est aussi un nouveau départ vers des espaces, certes virtuels, mais fertiles pour notre société si nous savons en tirer des profits durables et réfléchis. Monsieur François d Aubert Président de l agglomération lavalloise Maire de Laval Ancien Ministre de la Recherche

3 AVANT-PROPOS Philippe Fuchs et Guillaume Moreau Depuis une quinzaine d années, la réalité virtuelle s est développée en France. Celle-ci ouvre potentiellement de nouvelles perspectives pour notre société. Mais soyons réalistes, la réalité virtuelle induit d abord bien des défis scientifiques pour les chercheurs et pour les professionnels. Nous avons participé avec enthousiasme à l éclosion de la réalité virtuelle en France, conscients de l immensité de la tâche. Pour notre part, nous avons développé à l Ecole des Mines de Paris des recherches théoriques et appliquées sur l interfaçage du sujet dans un environnement virtuel. Durant nos travaux de recherche, nous avons souhaité faire une tâche d information sur les avancées du domaine. En 1996, Philippe Fuchs a rédigé un premier livre : «les interfaces de la réalité virtuelle». En 2001, Guillaume Moreau, Jean-Paul Papin et Philippe Fuchs, conscients de l absence de livre récent en français, ont écrit une première édition du «Traité de la Réalité Virtuelle». Mais aucun chercheur ne peut avoir une connaissance précise de tous les secteurs de la réalité virtuelle, interdisciplinaire par essence. Nous avons souhaité que d autres chercheurs français participent à la rédaction du traité pour une deuxième édition. Ce fut obtenu d autant plus facilement que l ensemble de ces chercheurs collaborait déjà dans des projets communs, dont la plateforme PERF-RV. De nouveaux chapitres ont été rédigés par des chercheurs de l ENIB, de l IRISA, de l INRIA, de l AFPA, de l Ecole des Mines de Paris et du CNRS. Parallèlement à la parution en 2003 de la deuxième édition, nous avons continué à œuvrer pour rassembler les communautés concernées, des sciences de l ingénieur aux sciences cognitives. Nous avons participé à des actions interdisciplinaires : l Action Spécifique du CNRS Réalité Virtuelle et Cognition, animée par Patrick Bourdot et Philippe Fuchs, les journées RéViCo (Réalité Virtuelle et Cognition) qui se déroulèrent à l ENST, sous la direction de A. Grumbach et N. Richard en décembre 1999, et l école thématique Réalité Virtuelle et Sciences du Comportement du CNRS, organisée par Jean-Louis Vercher et Daniel Mestre. Dans ce cadre très ouvert d échanges et de collaborations, nous avons souhaité poursuivre notre œuvre collective de rédaction par une troisième édition relativement complète et plus interdisciplinaire. Pour réaliser cette troisième édition plus étendue, nous avons mis en place un comité de rédaction, composé d experts en réalité virtuelle provenant de différentes disciplines : Bruno Arnaldi, Professeur et chercheur à l INRIA ; Alain Berthoz, Professeur au Collège de France et membre de l Académie des Sciences ; Jean-Marie Burkhardt, Maître de Conférences à l université Paris V ; Sabine Coquillart, Directrice de recherches à l INRIA, Philippe Fuchs, Professeur à l Ecole des Mines de Paris. Pascal Guitton, Professeur et chercheur à l INRIA ; Guillaume Moreau, Maître de Conférences à l Ecole Centrale de Nantes ; Jacques Tisseau, Professeur à l ENIB ; Jean-Louis Vercher, Professeur à l Université d Aix-Marseille ;

4 iv Le traité de la réalité virtuelle La tâche de ce comité de rédaction, animé par Philippe Fuchs, fut d organiser les contenus, de proposer des auteurs et de s assurer de la cohérence de l ouvrage. Les membres du comité ont veillé à l homogénéité du discours afin que le livre soit accessible à tout public de disciplines différentes, tout en étant interdisciplinaire dans son contenu. La réalisation de cet ouvrage, essentiellement collectif, fut sous la direction de Philippe Fuchs et la coordination générale de Guillaume Moreau. Chaque volume a été coordonné par deux membres du comité. Le comité a défini les objectifs du traité, manuel destiné à la fois aux concepteurs et aux utilisateurs de la réalité virtuelle. Il a pour but de leur fournir un état, aussi complet que possible, des connaissances sur la réalité virtuelle dans les domaines suivants : informatique, mécanique, optique, acoustique, physiologie, psychologie, ergonomie, éthique,... Il doit être l ouvrage de référence du domaine et un guide de conception pour aider le lecteur dans la réalisation de son projet de réalité virtuelle. En second lieu, il s agit de formaliser une réflexion originale et d aider à une conceptualisation de cette discipline. La structuration du traité en quatre volumes ainsi que les contenus de ces volumes sont présentés dans le premier chapitre d introduction de chaque volume. Après avoir précisé le domaine de la réalité virtuelle et les problématiques qui en découlent, nous explicitons notre choix d organisation en quatre volumes. Pour permettre à chaque lecteur de débuter la consultation du traité par le volume de son choix, le début de tous les chapitres 1 des quatre volumes est identique sur une douzaine de pages. Le concept de base de cet interlivre, rédigé par des interauteurs et interdisciplinaire dans son contenu, a pour objectif de fournir à toute personne un document de référence sur la réalité virtuelle. Notre ambition est de proposer des éditions du traité réactualisées, sachant qu une réédition périodique est possible grâce à la réactivité de l éditeur, les Presses de l École des Mines de Paris. Nous tenons à remercier en premier les coordonnateurs, membres du comité de rédaction. Sans eux, cette troisième édition n aurait pas pu voir le jour et, grâce à leur notoriété, ils nous ont permis de rassembler la communauté française du domaine pour concrétiser cette œuvre collective. Nos remerciements s adressent évidemment aux 75 auteurs, chercheurs ou professionnels, ainsi qu aux 12 contributeurs qui ont écrit les 63 chapitres du traité. Malgré leurs charges professionnelles, ils ont pris le temps nécessaire pour rédiger, généralement collectivement, des chapitres concis et pertinents sur leur secteur de recherches ou d activités. Sans leur accord et leur enthousiasme, nous sommes conscients que l objectif de réaliser un véritable traité de la réalité virtuelle n aurait jamais pu être atteint. Ce traité est agrémenté par des photographies et des informations fournies par des entreprises que nous remercions de leur collaboration. Nous remercions l éditeur, les Presses de l Ecole des Mines de Paris et sa responsable, Madame Silvia Dekorsy, qui nous a aidé à la réalisation de cette troisième édition et qui, avec beaucoup de patience, a pris le temps nécessaire à lire, corriger et améliorer plus de 1700 pages de ce volumineux ouvrage. Notre gratitude va également à Messieurs Benoît Tandonnet et Ahad Yarirad pour leur superbe travail sur les couvertures. Nos remerciements s adressent au Président de l agglomération lavalloise, Maire de Laval, Monsieur François d Aubert, ancien Ministre de la Recherche, qui nous a soutenus dans notre projet et qui nous a fait l honneur de préfacer notre livre.

5 Le traité de la réalité virtuelle est issu d un projet rédactionnel ambitieux et fédérateur. Nous espérons, cher lecteur, que vous apprécierez ce traité, comme nous avons pris plaisir à le rédiger avec les autres auteurs et à transmettre nos idées. v

6 vi Le traité de la réalité virtuelle

7 LES AUTEURS DIRECTION DU TRAITÉ Philippe Fuchs est à l initiative du «Traité de la réalité virtuelle» et dirige la rédaction de l ouvrage, dont c est la troisième édition. Professeur à l Ecole des Mines de Paris, il est le responsable de l équipe Réalité Virtuelle et Réalité Augmentée au Centre de Robotique. Ses recherches concernent les aspects théoriques et techniques de l interfaçage en Réalité Virtuelle. Il est auteur ou coauteur des chapitres 1, 3, 14 du volume 1 ; des chapitres 1 à 5 et 9 à 12 du volume 2 ; du chapitre 1 du volume 3 ; des chapitres 1, 2 du volume 4. (philippe.fuchs@ensmp.fr - fuchs) COORDONNATEURS Guillaume Moreau est le coordonnateur du «Traité de la réalité virtuelle». Maître de conférences en informatique à l Ecole Centrale de Nantes, ses activités de recherche se déroulent au CERMA et portent sur l utilisation des outils de réalité virtuelle pour l étude des ambiances architecturales et urbaines ainsi que sur la reconstruction 3D d environnements virtuels urbains. Il est auteur du chapitre 2 du volume 3 et du chapitre 9 du volume 4 ; coauteur du chapitre 1 du volume 3. (guillaume.moreau@ec-nantes.fr - Jacques Tisseau est Professeur des Universités en Informatique à l Ecole Nationale d Ingénieurs de Brest (ENIB) où il dirige le Centre Européen de Réalité Virtuelle (CERV). Ses recherches portent sur l autonomisation des entités virtuelles, l interaction avec ces entités autonomes et l épistémologie de la réalité virtuelle. Il est coauteur des chapitres 1, 9 et 11 du volume 3. (tisseau@enib.fr - AUTEURS Bruno Arnaldi est professeur à l INSA de Rennes (Institut National des Sciences Appliquées) et effectue ses recherches à l IRISA (Institut de Recherche en Informatique et Systèmes Aléatoires UMR 6074) où il dirige, depuis 1992, le projet SIAMES (projet commun INRIA/CNRS). Ses activités de recherche concernent l informatique graphique et plus précisément l animation/simulation de systèmes physiques. Il a obtenu un doctorat en informatique de l Université de Rennes 1 en 1988 et une habilitation à diriger les recherches de l université de Rennes 1 en Bruno Arnaldi a été responsable de la plate-forme RNTL PERF-RV ( ) et est membre du Network Management Committee du Réseau d Excellence INTUITION. Il est coauteur du chapitre 12 du volume 3 et du chapitre 1 du volume 4. (Bruno.Arnaldi@irisa.fr -

8 viii Le traité de la réalité virtuelle Ronan Boulic est adjoint scientifique au Laboratoire de Réalité Virtuelle de l EPFL à Lausanne. Ses travaux portent sur la modélisation, le contrôle, la capture et la transformation du mouvement humain ainsi que sur les applications les mettant en œuvre pour l interaction en 3D. Il est coauteur du chapitre 10 du volume 3. (Ronan.Boulic@epfl.ch - vrlab.epfl.ch/ boulic/professional.html) Patrick Bourdot est chercheur au LIMSI-CNRS (Orsay), responsable de l équipe VE- NISE, ses travaux en Réalité Virtuelle et Augmentée portent sur l Interaction Multimodale, la Gestion de Scènes et les Architectures distribuées, et leurs applications à la CAO, à l analyse de données scientifiques et au pilotage distant de véhicules. Il est coauteur du chapitre 16 du volume 2, du chapitre 10 du volume 3, des chapitres 4 et 8 du volume 4. (bourdot@limsi.fr - Marie-Paule Cani est professeur à l INP Grenoble et responsable scientifique de l équipe EVASION (projet INRIA) du Laboratoire GRAVIR/IMAG. Ses activités de recherche portent sur la simulation graphique de scènes naturelles animées, issues des mondes végétal, minéral et animal. Elle est coauteur du chapitre 11 du volume 3. (Marie-Paule.Cani@imag.fr - www-evasion.imag.fr/membres/marie-paule.cani) Eric Cazeaux est ingénieur de recherche au laboratoire CERV à l ENIB de Brest. Il se charge du développement de l application GVT (Giat Virtual Training), outil de formation aux opérations de maintenances utilisant la réalité virtuelle et apporte sa contribution à la plate-forme ARéVi. Il est coauteur du chapitre 13 du volume 3. (cazeaux@enib.fr - cazeaux) Alain Chauffaut est ingénieur de recherche dans l équipe Siames à l Inria de Rennes. Il est chargé de la mise à disposition de OpenMASK une plate-forme distribuée pour la réalité virtuelle. Il est coauteur du chapitre 12 du volume 3. (Alain.Chauffaut@irisa.fr - Stéphane Donikian est chargé de recherche au CNRS au sein de l Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA UMR 6074) situé à Rennes, et plus exactement de l équipe SIAMES (Synthèse d Images, Animation, Modélisation Et Simulation). Ses axes de recherche concernent entre autre la modélisation du comportement humain, l animation comportementale réactive et cognitive, la simulation de foules, les environnements virtuels informés et la scénarisation d environnements virtuels narratifs et interactifs. Il est auteur des chapitres 8 du volume 3 et 12 du volume 4 et coauteur des chapitres 10 et 12 du volume 3. (donikian@irisa.fr - Thierry Duval est Maître de Conférences en Informatique à l Université de Rennes 1 et fait partie de l équipe SIAMES de l IRISA. Il effectue ses recherches dans le domaine des interactions collaboratives en environnements virtuels partagés (entre utilisateurs physiquement proches ou distants), et ses travaux contribuent au développement

9 ix d OpenMASK ( Il est coauteur du chapitre 12 du volume 3. (Thierry.Duval@irisa.fr - François Faure est enseignant-chercheur à l université Joseph Fourier, Grenoble. Son domaine de recherche principal est l animation par modèles physiques pour les solides rigides et déformables. Il est coauteur du chapitre 7 du volume 3. (Francois.Faure@imag.fr - Pascal Guitton est Professeur d informatique à l université Bordeaux 1 où il anime un projet de recherche commun au LaBRI et à l INRIA baptisé IPARLA. Ses activités dans le domaine de la réalité virtuelle concernent principalement la création d environnements virtuels, leur visualisation en temps réel et l interaction 3D avec des données complexes. Il est coauteur du chapitre 3 du volume 3 et du chapitre 1 du volume 4. (Pascal.Guitton@labri.fr - Fabrice Harrouet est Maître de Conférences au laboratoire CERV à l ENIB de Brest. Il se charge du développement de la bibliothèque ARéVi au sein du CERV et enseigne principalement la programmation système, les réseaux et les techniques de compilation à l ENIB. Il est coauteur des chapitres 9 et 13 du volume 3. (harrouet@enib.fr - harrouet) Jean-Pierre Jessel est professeur à l Université Paul Sabatier et responsable de l équipe Synthèse d Images et Réalité Virtuelle et de la plate-forme de RV PREVI de l IRIT. Ses recherches actuelles concernent la Réalité Virtuelle et ses applications au prototypage virtuel et à l ingénierie collaborative, les simulations distribuées collaboratives, l interaction 3D et l animation de personnages. Il est coauteur du chapitre 16 du volume 3 et du chapitre 7 du volume 4. (jessel@irit.fr - Thomas Jourdan est ingénieur d étude au laboratoire CERV à l ENIB de Brest. Il se charge du développement de la bibliothèque d humanoïdes hlib, de l implémentation du modèle IPAS et apporte sa contribution à la plate-forme ARéVi. Il est coauteur du chapitre 13 du volume 3. (jourdan@enib.fr - jourdan) Abderrahmane Kheddar est professeur à l université d Evy, il est en détachement au CNRS et codirige le AIST/CNRS laboratoire commun franco-japonais de robotique. Ses recherches concernent les techniques de réalité virtuelle, l interaction et interfaces haptiques et la robotique humanoïde. Il est co-auteur des chapitres 5 et 6 du volume 3. (kheddar@ieee.org) Philippe Meseure est Maître de Conférences au laboratoire SIC de l université de Poitiers. Ses centres d intérêt couvrent la simulation physique, la détection de collision, le retour d effort, l animation des structures topologiques et les simulateurs chirurgicaux.

10 x Le traité de la réalité virtuelle Il est co-auteur des chapitres 5 et 6 du volume 3. (meseure@sic.sp2mi.univ-poitiers.fr - Franck Multon est Maître de conférences au LPBEM, Université Rennes2, et collaborateur du projet SIAMES-IRISA UMR Ses axes de recherche sont l analyse, la modélisation et la simulation du mouvement humain. Il est coauteur du chapitre 10 du volume 3 et contributeur du chapitre 17 du volume 1. (Franck.Multon@uhb.fr - David Nahon est responsable des produits de réalité virtuelle chez Virtools depuis Auparavant, Il avait en charge la direction technique de nombreuses installations muséographiques interactives au sein de Z-A (www z-a.net) où il conçut entre autres la plate-forme informatique du SAScube, premier visiocube fonctionnant sur cluster de PC. Il est l auteur du chapitre 15 du volume 3. (nahon@virtools.com - Fabrice Neyret est chercheur au CNRS, dans l équipe EVASION du laboratoire GRA- VIR / IMAG-INRIA. Ses thèmes de recherche portent sur la simulation (forme, mouvement, rendu) de phénomènes naturels, les approches phénoménologiques, texturelles, procédurales, les représentations alternatives, l exploitation du hardware graphique (GPU). Il est coauteur du chapitre 11 du volume 3. (Fabrice.Neyret@imag.fr - www-evasion.imag.fr/membres/fabrice.neyret) Marc Parenthoën est enseignant-chercheur au CERV à Brest, dans l équipe ARéVi du Laboratoire d Informatique des Systèmes Complexes (LISyC, EA3883 UBO-ENIB). Ses recherches consistent à proposer une méthodologie (dite modélisation énactive) pour construire le virtuoscope : expérimenter in virtuo des modèles de phénomènes en interaction. Il est coauteur des chapitres 9 et 11 du volume 3. (marc.parenthoen@enib.fr - parenthoen) Mathias Paulin est maître de conférences en informatique, HDR de l Université Paul Sabatier de Toulouse et effectue ses recherches à l IRIT, Institut de Recherche en Informatique de Toulouse. Il a soutenu en 1995 une thèse de doctorat intitulé «Algorithmes pour la radiosité : parallélisme et échantillonnage» et en 2004 son Habilitation à Diriger les Recherches intitulée «Rendu en synthèse d images : du réalisme au temps réel». Ses recherches actuelles sont orientées vers la simulation réaliste de l éclairage en synthèse d images et le rendu temps réel afin de proposer des environnements logiciels et matériels pour l immersion visuelle réaliste en réalité virtuelle. Il est coauteur du chapitre 3 du volume 3. (Mathias.Paulin@irit.fr - Professeur d informatique à l université Lyon 1, Bernard Péroche est directeur du LIRIS, UMR 5205 du CNRS. Bernard Péroche travaille en informatique graphique et, plus spécialement, dans le domaine du rendu réaliste. Il est coauteur du chapitre 3 du volume 3.

11 xi Bogdan Stanciulescu est attaché de recherche au Centre de Robotique de l Ecole des Mines de Paris. Ses axes de recherche sont la vision par ordinateur et la réalité augmentée. Actuellement il travaille sur des projets de traitement d images et de reconnaissance de formes pour l industrie automobile et sur des projets de réalité augmentée pour l aviation civile. Il est coauteur du chapitre 7 du volume 3. (bogdan.stanciulescu@ensmp.fr - caor.ensmp.fr/ bogdan) Patrice Torguet est enseignant-chercheur à l Université Paul Sabatier (Toulouse III). Il effectue sa recherche au sein de l équipe synthèse d images et réalité virtuelle de l Institut de Recherche en Informatique de Toulouse (IRIT, Unité Mixte de Recherche 5505 du CNRS). Son thème de recherche principal est la réalité virtuelle distribuée. Il est coauteur du chapitre 16 du volume 3. (torguet@irit.fr - Patrice.Torguet) Damien Touraine a préparé et soutenu sa thèse au sein de l équipe VENISE du LIMSI- CNRS (Orsay). Son expertise porte sur l interaction en RV&A, où ses travaux traitent, d une part, des architectures matériels et logicielles pour l interaction en environnement immersif, d autre part, de l interaction «naturelle», notamment multimodale, en environnement immersif. Il fait actuellement profiter les chercheurs de l Université Louis Pasteur (Strasbourg I) de ses compétences en spécification, gestion et utilisation d environnements immersifs au sein du Centre d Études du Calcul Parallèle et de la Visualisation. Il est coauteur du chapitre 13 du volume 2 et du chapitre 14 du volume 3. Nicolas Tsingos est chargé de recherche au sein du projet REVES (Rendu et Environnements Virtuels Sonorisés) de l INRIA Sophia Antipolis. Ses axes de recherche actuels incluent la synthèse et simulation sonore réaliste pour les environnements virtuels, la simulation sonore scalable basée sur la perception auditive, les techniques Algorithmiques interactives pour l acoustique des salles et la synthèse sonore expressive à partir de modèles physiques. Il est coauteur du chapitre 3 du volume 1, du chapitre 15 du volume 2 et du chapitre 4 du volume 3. (Nicolas.Tsingos@inria.fr - Jean-Marc Vézien est ingénieur de recherche au LIMSI-CNRS (Orsay), au sein de l équipe VENISE. Son expertise porte sur la vision par ordinateur, l interaction multimodale, la gestion de scènes complexes et massives et leur application aux problématiques de réalité virtuelle et augmentée. Il est coauteur du chapitre 13 du volume 2, du chapitre 14 du volume 3 et du chapitre 4 du volume 4. (vezien@limsi.fr - Olivier Warusfel est chargé de recherche à l IRCAM (Institut de Recherche et de Coordination Acoustique/Musique). Ses axes de recherche concernent l étude des modèles et technologies pour la reproduction sonore spatiale (synthèse binaurale, wave field synthesis, synthèse du rayonnement...), la perception et la cognition spatiale auditive et les outils d écriture de la spatialisation pour les applications musicales. Il est

12 xii Le traité de la réalité virtuelle coauteur du chapitre 3 du volume 1, du chapitre 15 du volume 2 et du chapitre 4 du volume 3. (Olivier.Warusfel@ircam.fr - CONTRIBUTEUR Thomas Convard est ATER, membre de l équipe VENISE du LIMSI-CNRS (Orsay), ses travaux portent sur le couplage de la Réalité Virtuelle avec la Conception Assistée par Ordinateur (interfaces multimodales, structures de données dédiées à la RV-CAO, solutions de cluster de rendu). Il est contributeur du chapitre 14 du volume 3 et du chapitre 7 du volume 4. (convard@limsi.fr -

13 VOLUME 1 : L HOMME ET L ENVIRONNEMENT VIRTUEL I - Introduction Introduction à la réalité virtuelle II - L Homme et son environnement L environnement naturel de l Homme Les sens de l homme Étude et modélisation du mouvement humain Ergonomie, facteurs humains et réalité virtuelle Invariants et variabilité : antinomie ou complémentarité III - Percevoir le monde Théories de la perception : le monde comme mémoire externe Se déplacer et naviguer dans l espace Remplacer un sens par un autre : la suppléance perceptive IV - L Homme en mouvement Le contrôle de l action Le mouvement biologique : perception, reproduction, synthèse V - Interagir avec les objets et le monde Percevoir les objets Le contrôle adaptatif ou comment acquérir et maintenir une performance VI - L Homme dans un monde virtuel Immersion et présence La latence temporelle dans la boucle de réalité virtuelle Éthique, droit et réalité virtuelle VII - Les usages de la réalité virtuelle en sciences de la vie Interactions entre réalité virtuelle et sciences du comportement

14 VOLUME 2 : INTERFAÇAGE, IMMERSION ET INTERACTION EN ENVIRONNEMENT VIRTUEL I - Interfaçage Introduction à la réalité virtuelle Approche théorique et pragmatique de la réalité virtuelle II - Dispositifs matériels des interfaces motrices Les capteurs de localisation Les interfaces spécifiques de la localisation corporelle Les interfaces manuelles motrices III - Dispositifs matériels des interfaces sensori-motrices Commande d une interface à retour d effort IV - Dispositifs matériels des interfaces sensorielles Les interfaces tactiles Les interfaces visuelles Les interfaces à simulation de mouvement et l interface à simulation de climat Les interfaces olfactives V - Les techniques d interaction Les techniques d interaction pour les primitives comportementales virtuelles Les techniques d intégration multimodale en environnement virtuel VI - Aspects particuliers de l interaction en réalité virtuelle La restitution visuelle stéréoscopique Dispositifs et interfaces de restitution sonore spatiale Le Retour Pseudo-Haptique VII - Ergonomie de l interfaçage Concevoir et évaluer l interaction utilisateur-environnement virtuel

15 VOLUME 3 : LES OUTILS ET LES MODÈLES INFORMATIQUES DES ENVIRONNEMENTS VIRTUELS I - Introduction Introduction à la réalité virtuelle Modèles géométriques des environnements virtuels II - Modèles pour les rendus sensori-moteurs Modèles pour le rendu visuel Modèles pour le rendu sonore Modèles pour le rendu haptique Détection des collisions Modèles mécaniques III - Modèles pour le rendu comportemental Scénarios adaptatifs : le paradoxe du contrôle d agents autonomes Modèles pour l autonomie Modèles pour les humanoïdes Modèles pour les environnements naturels IV - Outils et environnements de développement OpenMASK : une plate-forme logicielle Open Source pour la réalité virtuelle ARéVi EVI3d : une plate-forme de développement d applications de RV&A Virtools et la réalité virtuelle La réalité virtuelle distribuée

16 VOLUME 4 : APPLICATIONS DE LA RÉALITÉ VIRTUELLE I - Introduction Introduction à la réalité virtuelle II - Les applications par fonction Réalité virtuelle et conception La réalité virtuelle pour l apprentissage humain III - Les applications par domaine d activités Explorations de données scientifiques et expérimentations virtuelles Applications de la réalité virtuelle aux troubles cognitifs et comportementaux Géosciences Industries manufacturières La réalité virtuelle dans le groupe PSA Peugeot Citroën Architecture, urbanisme et paysage Réalité virtuelle et archéologie Apport de la réalité virtuelle à la création artistique L interactivité sensorielle au service de la création artistique contemporaine Applications des techniques de réalité virtuelle en milieu militaire

17 TABLE DES MATIÈRES I Introduction 1 1 Introduction à la réalité virtuelle Fondement de la réalité virtuelle Introduction Définitions de la réalité virtuelle Modèle de référence pour l immersion et l interaction L approche «instrumentale» pour l immersion et l interaction Le modèle de référence en RV Structuration du traité de la réalité virtuelle l Homme et l environnement virtuel L interfaçage, l immersion et l interaction en environnement virtuel Les applications de la réalité virtuelle Présentation du contenu du volume «Les outils et les modèles informatiques des environnements virtuels» La modélisation des environnements virtuels Modélisation et simulation Réalité virtuelle et complexité Références bibliographiques Modèles géométriques des environnements virtuels Introduction

18 xviii Le traité de la réalité virtuelle Types d objets Propriétés des modèles Modèles volumiques Énumération spatiale Constructive Solid Geometry Modèles surfaciques Utilisation de surfaces planes Utilisation de surfaces non planes Géométrie algorithmique Transformation d un volume en surface Maillage polygonal d un nuage de points Décimation de maillages Optimisation des modèles pour la réalité virtuelle Texturation Niveaux de détails Références bibliographiques II Modèles pour les rendus sensori-moteurs 61 3 Modèles pour le rendu visuel Les rendus pour la réalité virtuelle Introduction Rendu temps réel Qualité et perception Modèles d éclairage et d ombrage

19 Table des matières xix Modélisation de l apparence Modélisation de l éclairage Rendu et perception Modèles de vision et calculs de rendu Reproduction de tons Références bibliographiques Modèles pour le rendu sonore Introduction Problématique du rendu sonore Le pipeline de rendu sonore Acoustique et traitement du signal Quelques notions d acoustique Outils de traitement du signal pour le rendu audio Synthèse de sources sonores virtuelles Synthèse par enregistrements et «textures sonores» Synthèse par modèles physiques et analyse-synthèse Propriétés des sources sonores. Sources ponctuelles et étendues Modélisation de la propagation du son Acquisition de réponses impulsionnelles et rendu Modèles physiques pour la propagation du son Modèle générique des effets environnementaux Intégration des effets de propagation dans le pipeline de rendu sonore Rendu audio structuré et optimisations perceptives Importance des sources sonores et masquages auditifs

20 xx Le traité de la réalité virtuelle Niveau de détail et regroupement spatial des sources, «imposteurs sonores» Représentations progressives des signaux et scalabilité des traitements Rendu audio 3D par manipulation directe d enregistrements in-situ Rendu à partir d enregistrements coïncidents et décompositions directionnelles Rendu a partir d enregistrements non-coïncidents Extraction d une scène structurée à partir d enregistrements Références bibliographiques Modèles pour le rendu haptique Le couplage simulation/dispositif haptique Le calcul du rendu haptique Rendus par schémas d impédance : calcul des forces Rendus par schémas d admittance : calculs des contraintes Des modèles primitifs aux modèles objets (proxy) Modélisation de l environnement pour le rendu haptique L adaptation fréquentielle Les représentations intermédiaires Biblothèques haptiques Conclusion Références bibliographiques Détection des collisions Détection de collision entre primitives Définition de la collision

21 Table des matières xxi Détection spatiale entre polyèdres convexes Détection spatiale entre polyèdres quelconques Les approches temporelles Bilan sur la détection entre objets et problèmes ouverts Le pipeline de détection Problématique La recherche de proximité (broad-phase) La détection approximative (narrow-phase) Accélération temporelle continue Bilan de l accélération Traitement de la collision Conclusion Références Modèles mécaniques Modèles à base de particules Rappels Nuages de particules Masses-ressorts Éléments finis Formulations lagrangiennes Intégration du temps Solides en contact Dynamique du solide Calcul analytique des forces de contact Pénalités

22 xxii Le traité de la réalité virtuelle Frottement Impulsions Impulsions intégrées Méthodes à base d optimisation Regroupements optimaux Solides articulés Dynamique directe en coordonnées absolues Dynamique directe en coordonnées relatives Méthode à base de réseaux de neurones Identifier un modèle à partir de la cinématique Introduction La technique évolutionnaire Stratégie d évolution : un paramétrage adapté aux grandeurs physiques Fonctions de coût adaptée aux systèmes masses-ressorts Applications et limites Trajectoire réelle : identification Références bibliographiques III Modèles pour le rendu comportemental Scénarios adaptatifs : le paradoxe du contrôle d agents autonomes Introduction Etat de l art Le langage SLuHrG Introduction

23 Table des matières xxiii Langage de scénario Grammaire du langage Gestion des acteurs Ordonnancement Conclusion Exemple de scénario Conclusion Références bibliographiques Modèles pour l autonomie Introduction Interdisciplinarité Transdisciplinarité Principe d autonomie Exploitation des modèles Modélisation de l utilisateur Autonomisation des modèles L autonomie en réalité virtuelle Entités autonomes Approche multi-agents Simulation multi-agents participative Métaphore d Ali Baba Expérimentation in virtuo L autonomie par construction Hypothèse énactive Modélisation énactive

24 xxiv Le traité de la réalité virtuelle Premiers résultats Conclusion Références bibliographiques Modèles pour les humanoïdes Introduction L humain virtuel H-ANIM CAL3D Animation d humains virtuels Animation d humains par cinématique directe Animation d humains par cinématique inverse Capture de mouvements en temps réel Adaptation en temps réel de mouvements capturés Utilisation de la dynamique Modéliser le comportement humain Modèles de comportement réactif Les familles de modèle HPTS : un outil de spécification de comportements réactifs Les modèles de perception Les modèles d actions sur les objets Les approches compétitives et coopératives de sélection d action(s) Modèles de comportement cognitif Introduction Approches cognitives en animation

25 Table des matières xxv Modélisation des émotions Modèles de comportements collectifs et sociaux Introduction La locomotion Modèles de navigation réactive d un humain virtuel dans son environnement Comportements de foules Modèles de simulation de foule Conclusion Références bibliographiques Modèles pour les environnements naturels Introduction Éléments de méthodologie Verrous scientifiques Méthode de construction des modèles Outil générique pour la modélisation multi-échelles Etude de cas Prairies agitées par le vent Mer quasi-linéaire Ruisseaux Nuages, fumées et avalanches Modélisation énactive des états de mer La mer des marins : un défi pour la physique Choix des entités énactives pour la mer des marins Conclusion : psychologie ou physique?

26 xxvi Le traité de la réalité virtuelle Visualisation : une réhabilitation du «trompe-l œil» Vers une nouvelle méthodologie pour la simulation Références bibliographiques IV Outils et environnements de développement OpenMASK : une plate-forme logicielle Open Source pour la réalité virtuelle Introduction Concepts d OpenMASK Noyau - une machine virtuelle Objet de simulation fréquentiel et/ou réactif Applicatif configurable Session distribuable Conclusion Services d OpenMASK pour la réalité virtuelle Initialisations Visualisations interactives Sonorisations Interactions Coopérations Conclusion OpenMASK : Plate-forme d intégration et de capitalisation de services Handball - tirs au but GVT - formation à la maintenance Musée virtuel de la photographie contemporaine

27 Table des matières xxvii Collaborations haptiques distribuées Conclusion Références bibliographiques ARéVi Motivations Les services de base L architecture retenue Les entités autonomes La communication par messages Liaison avec d autres outils Les services 3D La structure retenue Les objets graphiques Les moyens de détection Les systèmes de particules Les interacteurs La visualisation stéréoscopique La distribution Le modèle retenu La sérialisation Démarche de mise en œuvre Les humanoïdes Le principe Les squelettes L animation

28 xxviii Le traité de la réalité virtuelle La représentation Démarche de mise en œuvre Bilan et perspectives EVI3d : une plate-forme de développement d applications de RV&A Introduction Gestion de la multimodalité Multimodalité en entrée Multimodalité en sortie Cluster graphique et cluster de rendu multimodal Conclusion Références bibliographiques Virtools et la réalité virtuelle Les outils logiciels de Virtools pour la réalité virtuelle La plate-forme de développement Virtools Dev Les outils logiciels autour de la plate-forme La Schématique Virtools Le VR Pack Virtools et ses marchés Le jeu vidéo Le marketing en ligne et multimédia Les applications industrielles La société Virtools Références bibliographiques

29 Table des matières xxix 16 La réalité virtuelle distribuée Introduction Bref historique Architecture des systèmes de RVD Architecture client-serveur centralisée Architecture client-serveur distribuée Architecture client-serveur distribuée avec plusieurs serveurs Architecture égal à égal (peer to peer) distribuée point à point Architecture égal à égal distribuée en mode diffusion Techniques d optimisation des systèmes de RVD Références bibliographiques

30 xxx Le traité de la réalité virtuelle

31 Première partie Introduction

32

33 1 INTRODUCTION À LA RÉALITÉ VIRTUELLE Philippe Fuchs, Guillaume Moreau et Jacques Tisseau 1.1 FONDEMENT DE LA RÉALITÉ VIRTUELLE INTRODUCTION Il est naturel pour l homme de s échapper de la réalité quotidienne pour différentes raisons (artistiques, culturelles ou professionnelles). L évolution des techniques aidant, l homme a pu satisfaire ce besoin par des représentations principalement visuelles ou sonores, mais figées du monde. Figées dans le sens où l utilisateur ne peut observer la représentation qu en spectateur, que ce soit une peinture, une photographie, un film d images réelles ou d images de synthèse. La réalité virtuelle lui offre une dimension supplémentaire en lui procurant un environnement virtuel dans lequel il devient acteur. Que le lecteur ne s y méprenne pas, la nouveauté n est pas dans la création d environnements virtuels plus performants dans leur représentation, mais bien dans la possibilité de pouvoir «agir virtuellement» dans un monde artificiel (ou «interagir», vu sous un angle plus technique). La réalité virtuelle oscille, dans l esprit du grand public, entre phantasme et technologie, entre rêve et réalité. Il est évident que de nombreux mystères entourent cette discipline, le premier d entre eux étant contenu dans l oxymoron qui la nomme, associant deux termes en apparente opposition. Qui n a pas rêvé ou été effrayé par les réalisations littéraires et cinématographiques de la science-fiction, exploitant certains aspects techniques sensés être propres à la réalité virtuelle? L enjeu de cet ouvrage, outre celui de décrire un état de l art sur le sujet, est de délimiter correctement le domaine permettant de démystifier la réalité virtuelle. La réalité virtuelle ne peut être envisagée que depuis peu, grâce à l augmentation importante de la puissance intrinsèque des ordinateurs, en particulier la possibilité de créer en temps réel des images de synthèse et de permettre une interactivité, toujours en temps réel, entre l utilisateur et le monde virtuel. Le lecteur doit bien noter que ce sont des évolutions techniques qui ont permis son essor, et donc, par déduction, qui en contraignent sa portée, due aux limites inhérentes de la technique. N écoutons pas les dires de certains, qui ont proclamé un peu vite, que le «Grand Jour du Virtuel» était arrivé! Essayons simplement de relever ce défi pour franchir cette nouvelle étape («agir dans le virtuel») en sachant que la route sera longue mais aussi passionnante. La réalité virtuelle n est pas née spontanément. Comme toute nouvelle technique, elle a eu des antécédents qui ne s appelaient pas «réalité virtuelle». Principalement, les simulateurs de transport ont permis à des professionnels d interagir avec un environnement partiellement 1 virtuel, depuis 50 ans environ (on faisait de la réalité virtuelle sans le savoir, comme M. Jourdain faisait de la prose...). La réalité virtuelle implique par essence de nombreux domaines : 1 Le poste de conduite de la voiture, de l avion ou du train n est pas simulé mais réel.

34 4 Le traité de la réalité virtuelle Dans le domaine des sciences et des techniques, la réalité virtuelle émarge au domaine des STIC (Sciences et Techniques de l Information et de la Communication). Néanmoins, le cadre de la réalité virtuelle dépasse celui de l information et de la communication, puisqu il s agit d agir dans un monde virtuel. De nombreuses disciplines concourent à produire de nouvelles avancées dans le domaine de la réalité virtuelle : l informatique propose et continue de développer de nouveaux algorithmes pour le traitement de modèles numériques et la création des environnements virtuels interactifs ; la téléopération et la robotique, par la capacité à développer de nouveaux organes actifs coopérants avec l humain ; la mécanique, l optique et l acoustique fournissant les modélisations numériques des phénomènes physiques. Dans le domaine des sciences humaines et des sciences du vivant, l Homme «utilisateur» est placé au cœur de la démarche de développement des technologies de la réalité virtuelle, ce qui implique une forte synergie avec de nombreuses disciplines de ce domaine. Citons ainsi à titre d exemples : la psychologie expérimentale et les sciences du comportement développent des théories et des protocoles d investigation concernant l étude des actions et des perceptions humaines dans des conditions contrôlées, en environnement réel comme dans des environnements virtuels ; l ergonomie développe des méthodes et des connaissances visant à améliorer la prise en compte des facteurs humains dans la conception et l évaluation des environnements de réalité virtuelle, afin que ceux-ci soient en adéquation avec les objectifs des utilisateurs, les conditions d utilisation, les exigences de confort et de sécurité, etc. la psychologie cognitive étudie la nature des processus cognitifs du sujet plongé dans une activité se déroulant dans un univers virtuel, qu il s agisse de mieux comprendre les particularités de ces environnements ou bien d exploiter les mondes virtuels l expérimentation et la modélisation ; la physiologie, la neurobiologie, etc. À ce titre, la réalité virtuelle occupe, par le couplage des sciences humaines et des sciences de l ingénieur, une position particulière dans le schéma scientifique habituel. Cette position représente un avantage par l interdisciplinarité intrinsèque du domaine. Cette position est en même temps une difficulté à surmonter, d une part pour la formation des acteurs du domaine, d autre part pour la reconnaissance de ce fondement multidisciplinaire par les divers disciplines qui la fécondent. Par exemple, il serait réducteur de considérer la réalité virtuelle comme une simple branche de l informatique. Si les ordinateurs permettent effectivement de programmer et de simuler des mondes virtuels, l interaction de l homme avec ceux-ci n est possible qu au travers de logiciels et de dispositifs techniques compatibles avec les processus cognitifs, perceptifs et sociaux humains. En retour, mieux comprendre et formaliser les difficultés et les particularités de la cognition et de l interaction dans les mondes virtuels offre une fondation empirique pour stimuler la recherche et l innovation. Si la réalité virtuelle s appuie aujourd hui sur l informatique pour son essor, notre opinion est que le domaine de la réalité virtuelle deviendra à terme un secteur de recherche et d activité indépendant.

35 Introduction à la réalité virtuelle DÉFINITIONS DE LA RÉALITÉ VIRTUELLE Origine et image réductrice de la réalité virtuelle Le terme «réalité virtuelle» est employé depuis plus de quinze ans. Ce terme est discutable et a été discuté par certains. Cet oxymoron vient de l expression anglaise virtual reality, introduite aux États-Unis dans les années 80 par Jaron Lanier. Cette appellation étant maintenant courante, il est vain de vouloir la modifier. Cependant, comme le rappelle J.P. Papin, en anglais, virtual signifie «de fait», «pratiquement». La traduction française ne rend donc pas compte de cette signification. Il aurait fallu parler de tenant lieu de réalité ou de réalité vicariante ou mieux encore d environnement vicariant. Le mot vicariant est utilisé en psychologie et en physiologie, où il désigne respectivement un processus, une fonction ou un organe qui se supplée à un autre. Définir la réalité virtuelle est une tâche indispensable. On trouve encore dans la littérature des définitions qui mélangent malencontreusement la finalité de la réalité virtuelle, ses fonctions, ses applications et les techniques sur lesquelles elle repose. Certains sont allés jusqu à définir la réalité virtuelle par le seul fait d exploiter tel ou tel dispositifs d interaction. C est cette image réductrice qui a été malheureusement véhiculée dans les médias : une personne équipée d un visiocasque 2 avec différentes commandes pour interagir (gant de données, manette, volant, etc.) et reliées à un ordinateur (Figure 1.1). Il faut rejeter ces approches, à la fois parce qu elles sont sont trop centrées sur une technologie particulière et, à la fois, parce qu elles sont trop fortement restrictive quant aux enjeux scientifiques liés à la complexité des dimensions impliquées dans l interaction entre l utilisateur humain et les environnements virtuels. Dans la suite de cette partie, nous proposons des définitions à plusieurs niveaux pour clarifier le domaine de la réalité virtuelle. Ces termes et ces définitions proviennent de discussions au sein du comité de rédaction de ce traité concernant la définition, le périmètre du domaine et sa finalité, à partir des définitions proposées dans les précédentes éditions du traité et les acceptions communément admises par la communauté scientifique internationale. Le comité de rédaction propose au lecteur les traductions en français pour certains termes ou expressions anglo-saxons typiques du domaine. Même si des définitions voisines continuent d exister, il existe aujourd hui un consensus de fait dans la communauté scientifique internationale concernant la réalité virtuelle. En témoignent plusieurs grandes manifestations scientifiques internationales traitant de «Virtual Reality» Finalité de la réalité virtuelle Avant de se focaliser sur des fonctions ou des techniques, il semble judicieux de déterminer d abord la finalité de la réalité virtuelle que partage tous les acteurs. Après avoir étudié l objectif commun de chacune de ses applications, nous pouvons affirmer que [Fuchs, 1996], [CRTRV, 2004] : La finalité de la réalité virtuelle est de permettre à une personne (ou à plusieurs) une activité sensori-motrice et cognitive dans un monde artificiel, créé numériquement, qui peut être imaginaire, symbolique ou une simulation de certains aspects du monde réel. 2 Visiocasque : traduction de «Head Mounted Display». On peut aussi employer l expression «casque immersif».

36 6 Le traité de la réalité virtuelle Figure 1.1 : Simulation de la conduite d une voiture avec visiocasque ou sur écran de simulateur (Copyright Photo PSA Peugeot Citroën) Deux éléments sont discutés et précisés à partir de cette finalité. Le premier concerne la nature de l interaction de l utilisateur avec l environnement donnant accès à un monde artificiel. Les termes «activité sensori-motrice» sont employés pour signifier qu au fondement de la réalité virtuelle est l idée que la personne perçoit et agit physiquement avec les entités et éléments du monde virtuel. Bien évidemment, il en découle que la personne a aussi une activité au plan cognitif. Mais avoir une activité cognitive dans un environnement virtuel sans que cela se traduise par une activité physique (sensorimotrice) est hors du domaine de la réalité virtuelle. Nous préciserons par la suite ces concepts de base. Le second élément concerne la diversité des origines des mondes représentés dans l environnement virtuel. En cela cette définition se distingue d une vision simpliste de la réalité virtuelle comme «simple copie» du monde «réel». Les trois principales origines sont discutées à la suite. Une simulation de certains aspects du monde réel : ceux-ci sont à déterminer lors de la conception de l application. Nous verrons que cette phase initiale de conception est fondamentale et doit être analysée explicitement. L erreur, souvent rencontrée, est celle du concepteur qui recherche le plus grand «degré de réalisme». Cette approche erronée est entreprise sans se soucier de savoir précisément quels sont les aspects de la réalité que l application exige. L idée naïve de vouloir, si possible, le comportement du monde virtuel entièrement identique à celui du monde réel est absurde. Si on veut faire une réalité «virtuelle», c est bien dans le but de modifier des aspects de la «vraie» réalité ; par exemple, pour la formation sans danger réel pour le formé dans un environnement virtuel, pour l étude de futurs produits, non encore matérialisé. Ce n est donc pas seulement à cause de difficultés techniques que la simulation virtuelle est différente de la réalité. Réciproquement, la réalité virtuelle permet aussi de simuler différemment des phénomènes, le réalisme «allant au-delà» du réel. Nous obtenons ainsi une simulation du monde réel, qui est «augmentée» par des représentations plus adéquates, quoique irréelles, d objets ou de phénomènes physiques ; par exemple, des objets affichés en fil de fer ou en éclaté, des phénomènes physiques invisibles (radioactivité, infrarouges, etc.) représentés virtuellement. Un monde symbolique : on peut aussi exploiter des représentations symboliques pour améliorer la compréhension du monde simulé. La réalité virtuelle est alors exploitée soit pour représenter un phénomène, (la structure de molécules, l écoulement de

37 Introduction à la réalité virtuelle 7 fluide,...), soit pour ajouter au monde réel simulé des concepts symboliques. Ceux-ci permettent à l utilisateur de se faire une meilleure représentation mentale de son environnement. Par exemple : nous pouvons afficher des informations schématiques pour l utilisateur, lui permettant de mieux saisir la structure d un mécanisme ou la planification d une tâche à accomplir ; nous pouvons représenter la potentialité d un danger par le simple changement de couleur d objets, virant au rouge. Un monde imaginaire : la virtualité est employée pour créer un monde irréel, sorti de l imagination de l artiste ou de l auteur de science-fiction. Dans ce cas, le monde créé n a pas l obligation d être une simulation du monde réel, en particulier pour les lois liées aux entités virtuelles. En conclusion, le lecteur doit retenir qu il ne faut pas parler d un «degré de réalisme», ce terme laissant supposer d une part, qu au mieux le virtuel est identique au réel et, d autre part, que la réalité virtuelle a pour seule ambition de rechercher la meilleure copie du réel. Il y a bien des façons variées d exploiter les potentialités de la réalité virtuelle, les trois cas pouvant évidemment être associés dans une même application. Le concepteur de dispositif de réalité virtuelle doit aussi se poser une autre question. Cette question concerne la frontière entre le monde simulé virtuellement et le monde réel, dans lequel se situe l utilisateur. Au moment de la conception d un dispositif en réalité virtuelle, l analyse de l application doit notamment permettre de déterminer la frontière entre les mondes réel et virtuel. Par exemple, dans un simulateur de transport, la cabine est souvent tout ou partie d une maquette physique réelle. Pour l étude esthétique d une planche de bord, celle-ci est virtuelle, le volant pouvant être réel ou virtuel Définition fonctionnelle En 1995, Fuchs a proposé une taxonomie basée sur les fonctionnalités «théoriques» : face à sa propre perception de la réalité, l homme a conceptualisé les notions de temps et d espace sur lequel il ne peut interagir que suivant des lois physiques immuables. La réalité virtuelle va lui permettre de s extraire de la réalité physique pour changer virtuellement de temps, de lieu et(ou) de type d interaction : interaction avec un environnement simulant la réalité ou interaction avec un monde imaginaire ou symbolique. Cette définition fait allusion à l exigence inverse des auteurs des tragédies littéraires du XVIIe siècle prônant la règle des trois unités de temps, de lieu et d action. Nous utiliserons cette approche qui permet une taxonomie fonctionnelle des applications de la réalité virtuelle selon les combinaisons de ces trois fonctions Définition technique Une définition plus technique et littérale de la réalité virtuelle va s attacher à caractériser le domaine par une phrase compacte et suffisamment consensuelle pour que les

38 8 Le traité de la réalité virtuelle acteurs du domaine s y reconnaissent. Deux mots sont la clef de voûte de la réalité virtuelle : l immersion et l interaction. La définition technique de la réalité virtuelle est [Arnaldi e.a., 2003] : La réalité virtuelle est un domaine scientifique et technique exploitant l informatique (1) et des interfaces comportementales (2) en vue de simuler dans un monde virtuel (3) le comportement d entités 3D, qui sont en interaction en temps réel (4) entre elles et avec un ou des utilisateurs en immersion pseudo-naturelle (5) par l intermédiaire de canaux sensori-moteurs. Cette définition introduit une terminologie nécessitant quelques explications permettant de la situer par rapport aux arguments développés dans l introduction : 1. il faut évidemment exploiter les potentialités de l informatique, matérielles et logicielles, pour réaliser techniquement un environnement virtuel interactif qui puisse être interfacé avec l utilisateur. La simulation est dynamique : les entités (objets, personnages virtuels, etc.) sont animées en temps réel suivant des lois physiques (mécaniques, optiques, acoustiques, etc.) et des lois comportementales (psychologiques, sociales, affectives, etc.) ; 2. nous exploitons des interfaces matérielles de la réalité virtuelle, que nous appelons «interfaces comportementales» (voir le chapitre 2 du volume 2 de ce traité au sujet de cette appellation). Elles sont composées «d interfaces sensorielles», «d interfaces motrices» et «d interfaces sensori-motrices». Les interfaces sensorielles informent l utilisateur par ses sens de l évolution du monde virtuel. Les interfaces motrices informent l ordinateur des actions motrices de l homme sur le monde virtuel. Les interfaces sensori-motrices informent dans les deux sens. Le nombre et le choix de ces interfaces dépendent de l objectif poursuivi de l application ; 3. il faut créer un monde virtuel interactif et en temps réel. La création d un monde virtuel est une problématique majeure de la réalité virtuelle : la modélisation, la numérisation et le traitement informatique du monde virtuel. Nous pouvons noter le cas particulier d associer un monde réel avec un monde virtuel (techniques de la réalité augmentée) ; 4. l interaction en temps réel est obtenue si l utilisateur ne perçoit pas de décalage temporel (latence) entre son action sur l environnement virtuel et la réponse sensorielle de ce dernier. Cette contrainte est difficile à satisfaire. A défaut, on peut chercher à ne point infliger de perturbations au sujet par ce décalage temporel, même s il le perçoit ; 5. l utilisateur doit être en «immersion pseudo-naturelle» la plus efficace possible dans le monde virtuel. L immersion ne peut être naturelle car nous avons appris à agir naturellement dans un monde réel et non virtuel (des biais sensori-moteurs sont créés, d où le terme pseudo). Cette sensation est une notion en partie subjective qui dépend de l application et du dispositif utilisé (interfaces, logiciels, etc.). Nous parlerons en détail des concepts d immersion et d interaction qui doivent être bien définis et analysés à plusieurs niveaux. Les deux conditions, interaction et immersion, sont rarement réalisables «parfaitement» par rapport à l application envisagée. Par contre, elles doivent être en partie réalisées, même modestement, pour parler d un système basé sur les techniques de réalité virtuelle.

39 Introduction à la réalité virtuelle 9 Il résulte de cette analyse globale un principe fondamental de la réalité virtuelle. Ce principe est contenu dans la boucle de la figure 1.2. L utilisateur agit sur l environnement virtuel grâce à l usage d interfaces motrices qui captent ses actions (gestes, déplacements, voix, etc.). Ces activités sont transmises au calculateur qui l interprète comme une demande de modification de l environnement. Conformément à cette sollicitation de modification, le calculateur évalue les transformations à apporter à l environnement virtuel et les restitutions sensorielles (images, son, efforts, etc.) à transmettre aux interfaces sensorielles. Cette boucle en environnement virtuel interactif n est que la transposition de la boucle «perception, cognition, action» du comportement de l homme dans un mode réel. Mais deux contraintes majeures, inhérentes aux techniques, vont perturber la boucle «perception, cognition, action» et en conséquence le comportement du sujet : la latence et les incohérences sensori-motrices. MONDE REEL MONDE VIRTUEL Interfaces motrices UTILISATEUR(S) Perception Décision Action CALCULATEUR(S) Acquisition Simulation Restitution Interfaces sensorielles Figure 1.2 : La boucle «perception, cognition, action» passant par le monde virtuel La latence est le décalage temporel entre une action de l utilisateur sur les interfaces motrices et la perception des conséquences de cette action sur l environnement virtuel à travers les interfaces sensorielles. L existence de la latence dans la boucle influe sur la qualité de toute application de réalité virtuelle. Cette latence est un artéfact inhérent aux environnements virtuels interactifs. Les incohérences sensori-motrices sont d autres artefacts de la réalité virtuelle. Quel que soit le nombre de canaux sensoriels exploités dans une application, quelque soit le nombre d interactions à la disposition du sujet, il y a presque toujours des incohérences sensori-motrices par rapport au comportement sensori-moteur du sujet dans le monde réel. Ces incohérences sensori-motrices perturberont-t-elle le comportement du sujet? Ces deux problématiques sont développées dans le volume «l homme et l environnement virtuel» du traité.

40 10 Le traité de la réalité virtuelle 1.2 MODÈLE DE RÉFÉRENCE POUR L IMMERSION ET L INTERACTION L APPROCHE «INSTRUMENTALE» POUR L IMMERSION ET L INTERACTION Dans tout dispositif de réalité virtuelle, l homme est au centre du système car l application virtuelle lui est adressée. Partant de ce constat, nous proposons d adopter une approche anthropocentrique (dirigée vers l homme) et non technocentrique (dirigée vers l ordinateur), symbolisée par le schéma anthropocentrique (Figure 1.3) de l immersion de l homme dans le monde virtuel, tel que celui-ci doit le percevoir en tant qu utilisateur. MONDE VIRTUEL INTERFACES SENSORIELLES vue ouïe Perception forces sur les muscles nerfs INTERFACES MOTRICES muscles toucher Centres nerveux goût odorat nerfs muscles INTERFACES SENSORIELLES kinesthésie INTERFACES MOTRICES MONDE VIRTUEL Figure 1.3 : Schéma anthropocentrique de la perception du monde virtuel par l homme Mais si le concepteur doit se référer à ce schéma anthropocentrique, objectif à réaliser pour l utilisateur, il doit aussi le compléter car il est nécessaire d analyser finement le processus d interfaçage et les dispositifs à concevoir. Nous avons fait le choix fondamental d analyser ce processus à trois niveaux. Au premier niveau, on peut schématiser l interfaçage entre l homme et le monde virtuel au niveau physique. Nous parlons dans ce cas d immersion et d interaction sensori-motrices, puisque physiquement l ordinateur est connecté au corps de l utilisateur au niveau de ses sens et de ses réponses motrices. Pourquoi employons-nous pour les trois niveaux les termes «Immersion ET Interaction»? Fondamentalement, comme nous l avons indiqué dans notre définition de la réalité virtuelle 3, celle-ci est basée sur l Immersion d une personne dans un monde virtuel. Mais nous y associons le terme Interaction, car parler seulement d immersion 3 Et toutes les définitions de la réalité virtuelle se rejoignent sur ces deux seules fonctionnalités.

41 Introduction à la réalité virtuelle 11 serait omettre l innovation de la réalité virtuelle, qui est de permettre au sujet d agir dans un monde virtuel. D où, au niveau physique d immersion et d interaction sensorimotrices, nous obtenons le schéma technocentrique de la figure 1.4. Figure 1.4 : Schéma technocentrique d Immersion et d Interaction sensori-motrices Le schéma précédent est restrictif car il ne représente que partiellement les problèmes et les solutions que tout concepteur doit étudier. A un deuxième niveau, nous devons analyser les processus cognitifs que le sujet va mettre en œuvre et qu il faudra assister dans son interfaçage avec l environnement virtuel : c est le niveau de l immersion et de l interaction cognitives. Notre approche est basée sur l activité du sujet et pas sur la seule métaphore de la communication, comme employée souvent dans l interfaçage entre un système et un utilisateur. L interfaçage comportemental pose une problématique de l interfaçage proche de celle d un opérateur avec sa machine ou avec son outil. Dans ce cas, il ne s agit pas seulement de penser l interfaçage au niveau physique (boutons de commande et retours d informations sur les actions), mais aussi de comprendre à partir de quels processus mentaux la personne va penser et agir. Comme l a décrit Rabardel dans son approche instrumentale [Rabardel, 1995], l interface est un médiateur d activité. Cette dernière repose matériellement sur des artefacts (ou instruments) et va être utilisée suivant des processus cognitifs de l utilisateur. Quelles vont être les catégories de processus cognitifs qui seront impliqués pour permettre une interaction et une immersion efficaces et, si possible, relativement naturelles, proposant alors une immersion et une interactivité pseudo-naturelles? Concrètement, tout concepteur peut exploiter deux catégories de processus cognitifs, que nous avons proposé de bien différencier : les Schèmes Comportementaux Importés (SCI) et les métaphores, cette dernière catégorie étant composée de deux sous-classes : métaphores avec ou sans substitution sensori-motrice. L utilisateur peut faire appel dans ses activités sensori-motrice et cognitive à certains automatismes qu il a assimilés dans le monde réel en les mettant en œuvre dans le contexte de l activité à réaliser dans l environnement virtuel. Ces automatismes sont à associer à la notion de schème proposée par le psychologue Piaget [Piaget e.a., 1979] : un schème est l organisation mentale des actions telles qu elles se transfèrent ou se généralisent lors de la répétition de cette action en des circonstances analogiques. D après Piaget, les schèmes constituent les moyens du sujet à l aide desquels il peut assimiler les situations et les objets auxquels il est confronté. Notons pour l instant, comme Piaget l a énoncé, l intelligence sensori-motrice parvient à résoudre un ensemble de problèmes d action (atteindre des objets, etc.) en construisant un système complexe de schèmes d assimilation et à organiser le réel selon un ensemble de règles spatiotemporelles et causales. D où notre postulat fondamental en réalité virtuelle :

42 12 Le traité de la réalité virtuelle Dans un environnement virtuel interactif, la personne exploite la même démarche que dans un monde réel, pour organiser le virtuel selon un ensemble de règles spatiotemporelles et causales. Dans le cas de difficultés techniques, économiques ou théoriques ne permettant pas d exploiter un Schème Comportemental Importé, nous pouvons contourner ces difficultés en employant une «métaphore». Au lieu d exploiter un comportement sensorimoteur et acquis de la personne, nous lui proposons, visuellement en général, une image symbolique de l action ou de la perception souhaitée. Par exemple dans un magasin virtuel, on peut proposer au consommateur de valider l achat d un produit en cliquant simplement sur son image et ensuite sur une icône représentant une caisse. Cette action devient symbolique et elle n est plus représentative de l action sensori-motrice dans un magasin réel, l immersion et l interaction y sont moins pseudo-naturelles. La métaphore peut aussi exploiter un sens spécifique, qui soit différent du sens stimulé dans l action réelle : métaphore avec substitution sensorielle, (de même pour une réponse motrice), par exemple la détection entre deux objets est rendue par leur changement de couleur. L étude de ces catégories de processus cognitifs est développée dans le chapitre 2 du volume «Interface, immersion et interaction en environnement virtuel» du traité LE MODÈLE DE RÉFÉRENCE EN RV Nous avons présenté deux niveaux d immersion et d interaction : le niveau sensorimoteur et le niveau cognitif. Un troisième niveau est nécessaire pour compléter notre démarche. Ce troisième niveau concerne l application de réalité virtuelle, dont l objectif est de s attacher à réaliser une immersion de l homme pour une activité donnée et non pour une simple immersion cognitive de l homme dans un monde artificiel. Nous parlons dans ce cas d immersion et d interaction fonctionnelles 4. C est le niveau fondamental que doit étudier en premier tout concepteur d application : quelles sont les activités (les fonctions) que doit réaliser le sujet? Le fondement de notre démarche est basé sur ce modèle hiérarchique à trois niveaux, en associant un découpage transversal entre le sujet et le monde virtuel : parallèlement aux différents niveaux d I 2 sensori-motrices et cognitives pour la personne, nous avons deux niveaux de fonctionnement logiciel pour le monde virtuel. Symétriquement aux I 2 sensori-motrices, l ordinateur doit gérer la partie logicielle temps réel (noyau temps réel et drivers pour les dispositifs matériels des interfaces), permettant une réalisation physique du monde virtuel. Cette dernière concerne la simulation basée sur les lois physiques (mécaniques, optiques, biomécaniques, etc.) agissant sur les objets et les êtres animés. Face aux I 2 cognitives, la partie logicielle spécifique de réalité virtuelle doit gérer la modélisation comportementale du monde virtuel. Cette partie logicielle doit fournir la simulation des comportements des êtres animés et des Aides Logicielles Comportementales (ALC), associées aux processus cognitifs pour faciliter les I 2 cognitives de la personne. L éventail des ALC exploitables, ALC sensori-motrices (ALS-M) et ALC cognitives (ALCog), est présenté dans le volume «Interface, immersion et interaction en environnement virtuel» du traité. Au niveau I 2 fonctionnelles, par rapport à l application et ses objectifs, il faut se poser la question suivante : quelles sont les activités que l utilisateur doit exécuter? Si 4 On utilise pour la suite la notation I 2 pour l immersion et l interaction.

43 Introduction à la réalité virtuelle 13 le lecteur veut prendre le temps d y réfléchir, il verra rapidement que dans toutes les applications RV, les activités du sujet sont toujours décomposables en quelques comportements de base que nous appelons les «Primitives Comportementales Virtuelles» (PCV). Il faut donc au niveau des I 2 fonctionnelles bien définir les PCV et leurs spécificités. Quelle que soit l application, ces dernières peuvent être regroupées en quatre catégories : observer le monde virtuel ; se déplacer dans le monde virtuel ; agir sur le monde virtuel ; communiquer avec autrui ou avec l application. Nous obtenons en final le schéma de référence de la réalité virtuelle (Figure 1.5) qui va nous servir de canevas dans notre démarche en réalité virtuelle [Fuchs e.a., 1999]. Avec ce schéma pluridisciplinaire 5, nous avons clarifié les notions d immersion et d interaction, qui seront détaillées dans le volume «Interfaçage, Immersion et Interaction en environnement virtuel». Figure 1.5 : Schéma technocentrique de référence en RV 1.3 STRUCTURATION DU TRAITÉ DE LA RÉALITÉ VIRTUELLE Le comité de rédaction du traité a souhaité que sa structuration soit basée essentiellement sur les problématiques générales de la réalité virtuelle. Dans toute application 5 A chaque bloc on peut associer : le physicien (pour les IC), le neurophysiologiste (sens et réponses motrices), l informaticien (logiciels), le psychologue (processus mentaux) et l ergonome (perception et motricité désirées).

44 14 Le traité de la réalité virtuelle de réalité virtuelle, la personne est en immersion et en interaction dans un environnement virtuel. Elle perçoit, décide et agit dans cet environnement, processus schématisé par la classique boucle «perception, cognition, action», qui doit être réalisée sous des contraintes technologiques, physiologiques et cognitives (Figure 1.2). De ce schéma découlent trois problématiques fondamentales de la réalité virtuelle (Figure 1.6) : Figure 1.6 : Schéma de la problématique de la réalité virtuelle, basé sur la boucle «perception, cognition, action» La problématique de l analyse et de la modélisation de l activité humaine en environnement réel et en environnement virtuel ; La problématique de l analyse, de la modélisation et de la réalisation de l interfaçage du sujet pour son immersion et son interaction dans un environnement virtuel ; La problématique de la modélisation et de la réalisation de l environnement virtuel. Ces trois problématiques, bien distinctes mais associées, permettent de proposer un cadre pour structurer le traité : Le volume : «l Homme et l environnement virtuel» ; Le volume : «L interfaçage, l immersion et l interaction en environnement virtuel» ; Le volume : «Les outils et les modèles informatiques des environnements virtuels». Un quatrième volume «Les applications de la réalité virtuelle» complète le traité en présentant l exploitation du domaine dans tous les secteurs de la société. Ce découpage en quatre volumes, inhérent à l ouvrage, ne doit pas déformer la vision du lecteur face aux trois problématiques qui sont fortement imbriquées. Il serait vain d aborder la réalité virtuelle sous l angle restrictif d un seul de ces trois points de vue. Le lecteur, comme tous les auteurs du traité l ont entrepris, devra faire un va-etvient incessant entre des chapitres de différents volumes pour bien assimiler des notions «technico-cognitives» que la boucle «perception, cognition, action» induit dans tout environnement artificiel. Quel est le comportement de l homme confronté à des latences et des incohérences sensori-motrices dans un monde virtuel? Quelles sont les interfaces et les techniques d interaction qui généreront ces latences et ces incohérences, mais qui aussi les maîtriseront? Quels sont les outils et les algorithmes informatiques qui limiteront la nuisance de ces artefacts? Voilà un des problèmes cruciaux qui sera traité transversalement dans les différents volumes du traité.

45 Introduction à la réalité virtuelle L HOMME ET L ENVIRONNEMENT VIRTUEL Le volume «l Homme et l environnement virtuel» aborde la problématique de la réalité virtuelle sous l angle des sciences cognitives. L homme étant au centre du dispositif, il paraît incontournable de préciser comment l homme fonctionne en tant que système percevant le monde qui l entoure et comment il est capable d agir sur celui-ci. Sans être exhaustif, il s agit de donner des notions générales sur le fonctionnement humain, en insistant sur les aspects concernant directement la réalité virtuelle. Ces notions devront être prises en compte par les concepteurs de systèmes de réalité virtuelle. Délibérément, nous ne traiterons peu de la perception sur une base sensorielle, ni de la motricité en tant que telle. Celles-ci peuvent être trouvées aisément dans d autres ouvrages de base. Nous donnerons seulement dans un chapitre quelques informations essentielles sur les sens humains. Nous nous concentrons sur l interaction, entre l homme d une part et le monde et les objets qui le peuplent d autre part, en intégrant perception et action. On considérera ensuite quels sont les effets produit par ces systèmes sur l Homme et on terminera par quelques exemples d applications de la réalité virtuelle comme outil pour étudier le comportement humain. Le plan du volume est composé de sept parties : L homme dans son environnement naturel ; L homme en interaction avec le monde ; L homme en mouvement ; L interaction avec les objets ; Agir sur le monde ; L homme dans un monde virtuel ; Les usages de la réalité virtuelle comme outil en Sciences de la Vie L INTERFAÇAGE, L IMMERSION ET L INTERACTION EN ENVIRONNEMENT VIRTUEL Le volume «L interfaçage, l immersion et l interaction en environnement virtuel» présente la problématique de l interfaçage de l homme à un monde virtuel, aussi bien sous les aspects matériels, logiciels qu ergonomiques. Les technologies de la plupart des dispositifs des interfaces motrices, sensorielles et sensori-motrices sont décrites en expliquant les principes, les caractéristiques techniques et les limites des dispositifs. Ensuite, une analyse détaillée des techniques d immersion, d interaction et des primitives comportementales virtuelles est exposée, permettant de comprendre que l interfaçage ne se résume pas à un dispositif, mais est réalisé par un ensemble de concepts cognitifs et ergonomiques et de techniques matérielles et logicielles. L ergonomie de l interfaçage est abordée pour permettre à tout concepteur d application d avoir une démarche rigoureuse, fondée sur des principes et des méthodes qui ont fait leur preuve. Le plan du volume est composé de quatre parties : Concepts de base, approche théorique et pragmatique de l interfaçage ; Aspects matériels de l interfaçage comportemental; Techniques d interaction, aspect logiciel de l interfaçage ; L ergonomie de l interfaçage.

46 16 Le traité de la réalité virtuelle LES APPLICATIONS DE LA RÉALITÉ VIRTUELLE Le volume «Les applications de la réalité virtuelle» présente l exploitation des potentialités de la réalité virtuelle dans les principaux secteurs de la société. Une classification à «deux axes» est proposée sous l angle des différentes fonctionnalités génériques de la réalité virtuelle et sous l angle des divers secteurs d activités socio-économiques. Différents aspects seront traités dans les chapitres : les potentialités de la réalité virtuelle par rapport au domaine concerné, les axes de recherches actuelles et les aspects technico-économiques. Divers exemples représentatifs seront détaillés dans le but de permettre aux lecteurs de concrétiser les différents aspects exposés au cours des chapitres. Le plan du volume est composé de trois parties : Introduction et classifications des applications ; La conception et la formation ; Les applications des principaux secteurs socio-économiques : sciences, psychothérapie, environnement, industries manufacturières, architecture et urbanisme, archéologie, art et défense. 1.4 PRÉSENTATION DU CONTENU DU VOLUME «LES OUTILS ET LES MODÈLES INFORMATIQUES DES ENVIRONNEMENTS VIRTUELS» Le volume «Les outils et les modèles informatiques des environnements virtuels» expose la conception et la réalisation de l environnement virtuel. Celui-ci, généré informatiquement, doit être modélisé numériquement. Les modèles des objets, des êtres animés, de leurs lois physiques et comportementales doivent être conçus sous la forte contrainte d être exploitables en temps réel, imposée par l objectif de l instantanéité de la boucle «perception, cognition, action». L environnement virtuel à créer pouvant être représentatif de n importe quel environnement réel, nous comprenons aisément que le défi informatique est immense : modéliser numériquement en temps réel toute entité et tout phénomène du monde réel. Si la modélisation visuelle d objets rigides est bien développée, ce n est pas encore le cas des modélisations non visuelles (mécaniques, acoustiques, etc.) pour des solides déformables. Concernant les modélisations des êtres vivants, bien des travaux sont à poursuivre pour les modélisations biomécaniques, comportementales et d autonomie de ces entités. Il existe donc un grand nombre de modélisations, certaines étant du domaine de la «réalisation physique du monde virtuel», correspondant au niveau I 2 sensori-motrices et d autres étant du domaine de la «modélisation comportementale du monde virtuel», correspondant au niveau I 2 cognitives du schéma de référence en RV (Figure 1.5). Le volume fera une présentation des techniques exploitables actuellement et des recherches futures en modélisation temps réel. Il abordera ensuite l évolution des outils logiciels, adaptés aux défis de modélisation de l environnement virtuel, de l acquisition des actions de l utilisateur et des restitutions sensorielles à ce dernier. Le plan du volume est composé de trois parties principales : Modèles pour les rendus sensori-moteurs ; Modèles pour les rendus comportementaux ; Outils et environnements de développement.

47 Introduction à la réalité virtuelle LA MODÉLISATION DES ENVIRONNEMENTS VIRTUELS Les modèles L exploitation d une scène virtuelle, représentative de l environnement dans lequel l expérimentation doit avoir lieu, est réalisée par le traitement de modèles que ce soit pour la forme des objets, leur aspect et leur mobilité [Foley e.a., 1982, Hégron, 1985, Foley e.a., 1995, Péroche e.a., 1998]. Concernant la géométrie des objets, le problème consiste essentiellement à décrire sous une forme mathématique la frontière entre l intérieur et l extérieur de l objet. Formellement, différentes techniques sont utilisables. Néanmoins, la contrainte du temps de calcul impose d exploiter des cartes graphiques 3D avec accélération matérielle pour la génération des images. En conséquence, il est actuellement d usage de considérer que les environnements 3D utilisés en réalité virtuelle sont modélisés par un ensemble de facettes polygonales planes 6, indépendamment de la manière dont les objets de cette scène ont été modélisés au départ. En effet, les outils de modélisation (modeleurs CAO ou multimédia) peuvent exploiter plusieurs types de modèles géométriques (NURBS 7, représentation volumique...) qui nécessiterons, pour être intégrés dans l application de réalité virtuelle, une conversion en un ensemble de facettes polygonales planes. Cette conversion n est pas sans conséquence puisqu elle est généralement effectuée avec perte d information. En effet, l ensemble des facettes polygonales planes ne représente, en général, qu une vue approchée de la surface initiale. Toute la difficulté de la conversion de modèle réside alors dans un judicieux compromis entre le nombre de facettes polygonales planes et la précision de la représentation. Une fois la forme représentée, il est nécessaire de considérer le comportement de l objet face à la lumière [Bouatouch e.a., 1996] et d associer aux surfaces un ensemble de propriétés photométriques lié au matériau composant l objet. Ici aussi, l exploitation de cartes graphiques 3D va orienter un certain nombre de choix. En effet, ces cartes disposent d algorithmes câblés d élimination des surfaces cachées (algorithme du tampon de profondeur) et de calcul d éclairement fondé sur quelques modèles simples traitant de la diffusion (loi de Lambert), de la spécularité (effet miroir) due aux sources et de la transparence (sans traitement de la réfraction). Il existe aussi des modèles d éclairement et des algorithmes plus sophistiqués [Whitted, 1980, Cook e.a., 1982](lancer de rayon [Roth, 1982, Kajiya, 1983], radiosité [Sillion e.a., 1998]) beaucoup plus coûteux et difficile à faire tenir aujourd hui sur une carte graphique. Enfin pour tenir compte de la mobilité d un objet, nous introduisons des modèles d animation chargés de gérer les degrés de liberté de l objet qui, selon sa nature rigide ou déformable, comprennent : les trois translations dans l espace 3D ; les trois rotations dans l espace 3D ; les déformations locales de la surface de l objet qui sont soit des déplacements des sommets des facettes polygonales planes soit des modifications plus profondes de la forme imposant une modification de la topologie de l objet (par exemple, un objet qui se casse en deux parties ou plus). 6 définition élémentaire : partie de plan inscrite dans un contour polygonal fermé. 7 Non Uniform Rational B-Spline.

48 18 Le traité de la réalité virtuelle Une scène virtuelle est généralement composée de plusieurs objets qui sont fréquemment organisés selon une représentation hiérarchique arborescente. En animation, cette hiérarchie peut être exploitée pour distinguer les mouvements relatifs de mouvements absolus. Dans la littérature scientifique, nous distinguons trois classes de modèles de mouvement [Arnaldi, 1988, Arnaldi, 1994] : Les modèles descriptifs : ils traduisent une représentation exclusivement fondée sur la description des effets du mouvement (modèles phénoménologiques). Même s il existe de nombreuses variantes, leur trait commun est de modéliser la mobilité des objets sous la forme de trajectoires spatio-temporelles [Reeves, 1981, Kochanek, 1984, Steketee e.a., 1985] (ensemble des lieux et des temps de passage des objets). Les modèles générateurs : ils s attachent à tenir compte des causes du mouvement (modèle causal) en représentant, sous la forme d équations, l ensemble des trajectoires possibles [Hégron e.a., 1992], [Hégron e.a., 1995] et [Dumont, 1990]. Un exemple classique de ce type de modèle est le fait d associer à un objet un comportement mécanique où le mouvement sera régit par ses équations qu il faudra résoudre pour chaque image ou pour chaque instant de l échantillonnage temporel utilisé. Les modèles comportementaux : ce type de modèle a pour vocation de donner de l autonomie à un objet [Donikian, 1994]. Fondamentalement, l objet doit avoir une perception de l environnement virtuel dans lequel il est plongé, il doit avoir la capacité de décider de son futur et enfin il doit pouvoir agir sur lui-même par ses organes moteurs. L exemple typique de ce type de modèle est le traitement d humains virtuels autonomes capable d agir et de réagir dans l environnement virtuel. Une discussion s impose quant aux capacités de ces modèles sur le plan des applications en réalité virtuelle : en effet, les modèles descriptifs sont tels que, dans une certaine mesure, les mouvements sont préenregistrés et qu il n est possible pratiquement que de contrôler l instant de déclenchement de la trajectoire. En particulier, les réactions aux interactions avec l utilisateur ne pourront suivre qu une des trajectoires préenregistrées. La variation et la crédibilité du résultat passent donc par l usage d un très grand nombre de trajectoires potentielles qu il est difficile de modéliser ; les modèles générateurs, quant à eux, sont très adaptables (au sens de l interaction) puisqu ils contiennent par essence l ensemble des réactions possibles. L action de l utilisateur est traduite sous la forme d un des points d entrée du modèle (paramétrage en force ou en position) et cette action est prise en compte au moment de la nouvelle résolution du système d équations. En contrepartie, les modèles générateurs sont beaucoup plus coûteux en temps de calcul car ils nécessitent généralement la résolution de systèmes d équations différentielles linéaires ou non-linéaires. Sur le plan de l usage, lorsqu une certaine réalité physique de l environnement virtuel est imposée par le type d application ou le type d interaction, ces modèles deviennent incontournables. Un exemple typique est celui d une interaction avec retour d effort. Dans ce cas, pour que l utilisateur ait la capacité de percevoir les efforts ou les inerties engendrées lors d une manipulation, l application doit être en mesure de déterminer ces forces, grâce au modèle générateur, pour les transmettre ensuite au dispositif haptique ;

49 Introduction à la réalité virtuelle 19 Enfin, les modèles comportementaux se placent sur un autre plan puisque leur caractéristique essentielle concerne leur capacité à produire de l autonomie dans l environnement virtuel. Cette autonomie est largement utilisée dans les applications faisant intervenir des entités virtuelles dotées d une certaine intelligence ou lorsque l on cherche à observer des phénomènes émergeants, liés à l usage d un ensemble de règles ou de lois locales connues sur un grand nombre d entités (modélisation et simulation multi-agents). Dans la partie action du cycle perception - décision - action, le modèle comportemental s appuie fréquemment sur un modèle descriptif ou un modèle générateur. La modélisation des environnements virtuels est présentée en détail dans les premiers chapitres de ce volume Autonomisation des modèles L autonomisation d un modèle consiste à le doter de moyens de perception et d action au sein de son environnement, ainsi que d un module de décision lui permettant d adapter ses réactions aux stimuli tant externes qu internes. Trois éléments de réflexion nous guident dans l autonomisation des modèles : l autonomie par essence, par nécessité et par ignorance. L autonomie par essence est celle qui caractérise les organismes vivants, de la cellule à l homme. Les avatars ne sont pas les seuls modèles à percevoir et à agir dans leurs environnements numériques : tout modèle censé représenter un être vivant doit impérativement être doté d une telle interface logicielle sensori-motrice. La notion d animat, par exemple, concerne les animaux artificiels dont les lois de fonctionnement s inspirent de celles des animaux [Wilson, 1985]. Comme un avatar, un animat est situé dans un environnement; il possède des capteurs pour acquérir des informations sur son environnement et des effecteurs pour agir au sein de cet environnement. A la différence d un avatar dont le contrôle est assuré par un utilisateur humain, l animat doit assurer lui-même ce contrôle pour coordonner ses perceptions et ses actions [Meyer e.a., 1991]. Le contrôle peut être inné (préprogrammé) [Beer, 1990], mais dans l approche animat, il sera le plus souvent acquis afin de simuler la genèse de comportements adaptés pour survivre dans des environnements changeants. Ainsi, l étude de l apprentissage (épigenèse) [Barto e.a., 1981], du développement (ontogenèse) [Kodjabachian e.a., 1998] et de l évolution (phylogenèse) [D. Cliff e.a., 1993] de l architecture de contrôle constitue l essentiel des recherches dans ce domaine très actif [Meyer e.a., 1994, Guillot e.a., 2000] 8. L animation de créatures virtuelles obtenues par ces différentes approches constitue un exemple très démonstratif de ces comportements adaptatifs [Sims, 1994], et la modélisation d acteurs virtuels relèvent de la même démarche [Thalmann, 1996]. Ainsi, l autonomisation du modèle associé à un organisme permet de rendre compte plus fidèlement de l autonomie constatée chez cet organisme. L autonomie par nécessité concerne la prise en compte instantanée des changements dans l environnement, par les organismes comme par les mécanismes. La modélisation physique des mécanismes passe le plus souvent par la résolution de systèmes 8 From Animals to Animats (Simulation of Adaptive Behavior) : conférences bisannuelles depuis 1990 (

50 20 Le traité de la réalité virtuelle d équations différentielles. Cette résolution nécessite la connaissance des conditions aux limites qui contraignent le mouvement. Or, dans la réalité, ces conditions peuvent changer sans arrêt, que les causes en soient connues ou non (interactions, perturbations, modifications de l environnement). Le modèle doit donc être capable de percevoir ces changements pour adapter son comportement en cours d exécution. Ceci est d autant plus vrai quand l homme est présent dans le système car, par l intermédiaire de son avatar, il peut provoquer des modifications tout à fait imprévisibles initialement. L exemple de l écoulement du sable dans un sablier est à ce titre très instructif. La simulation physique des milieux granulaires repose le plus souvent sur des interactions micromécaniques entre sphères plus ou moins dures. De telles simulations prennent plusieurs heures de calcul pour visualiser des écoulements de l ordre de la seconde et sont donc inadaptées aux contraintes de la réalité virtuelle [Herrmann e.a., 1998]. Une modélisation à plus gros grains (niveau mésoscopique) à base de masses ponctuelles liées entre elles par des interactions appropriées conduit à des visualisations satisfaisantes mais non interactives [Luciani, 2000]. Notre approche considère des gros grains de sable autonomes qui, individuellement, détectent les collisions (chocs élastiques) et sont sensibles à la gravité (chute libre). Elle nous permet de simuler l écoulement du sable dans le sablier, mais également de s adapter en temps réel au retournement du sablier ou à la création d un trou dans le sablier [Harrouet, 2000]. Ainsi, l autonomisation d un modèle quelconque lui permet de réagir à des situations imprévues qui apparaissent en cours d exécution, et qui sont le fait de modifications dans l environnement dues à l activité des autres modèles. L autonomie par ignorance révèle notre incapacité actuelle à rendre compte du comportement de systèmes complexes par les méthodes réductionnistes de la démarche analytique. Un système complexe est un système ouvert composé d un ensemble hétérogène d entités atomiques ou composites, dont le comportement d ensemble est le résultat du comportement individuel de ces entités et de leurs interactions variées dans un environnement, lui-même actif. Selon les écoles, le comportement d ensemble est considéré soit comme organisé en fonction d un but, et on parle de comportement téléologique [Le Moigne, 1997], soit comme le produit d une auto-organisation du système, et on parle alors d émergence [Morin, 1977]. L inexistence de modèles de comportement global pour les systèmes complexes conduit à répartir le contrôle au niveau des composants des systèmes et ainsi à autonomiser les modèles de ces composants. L évolution simultanée de ces composants permet alors de mieux appréhender le comportement d ensemble du système global. Ainsi, un ensemble de modèles autonomes en interaction au sein d un même espace contribue à l étude des systèmes complexes ainsi qu à leur expérimentation. L autonomie par conviction : l autonomisation des modèles, qu elle soit par essence, par nécessité ou par ignorance, contribue à peupler les environnements virtuels d une vie artificielle qui renforce l impression de réalité. L utilisateur d un système de réalité virtuelle est à la fois spectateur et acteur, mais il peut être aussi créateur de l univers de modèles numériques avec lequel il interagit. Mieux, il y participe pleinement au sens où il est lui-même représenté au sein de l univers par un avatar, modèle numérique qui dispose de capteurs et d actionneurs virtuels pour percevoir et agir dans cet univers. La véritable autonomie de l utilisateur tient alors dans sa capacité à coordonner ses perceptions et ses actions, soit au hasard, pour simplement déambuler dans cet environnement virtuel, soit en suivant ses propres buts. L utilisateur est ainsi placé au même niveau conceptuel que les modèles numériques qui composent ce monde virtuel.

51 Introduction à la réalité virtuelle 21 Différents types de modèles particules, mécanismes, organismes coexistent au sein des univers virtuels. Il est essentiel de donner aux modèles d organismes les moyens de percevoir, d agir et de décider, afin de reproduire au mieux leur capacité à décider par eux-mêmes. Cette démarche est également nécessaire pour les mécanismes, qui doivent être capables de réagir à des modifications imprévues de leur environnement. Par ailleurs, notre ignorance dans la compréhension des systèmes, lorsqu ils deviennent trop complexes, nous conduit à décentraliser le contrôle du système au niveau de ses constituants. Les modèles, quels qu ils soient, doivent donc disposer de moyens d investigation équivalents à ceux de l utilisateur et de moyens de décision adaptés à leurs fonctions. Une déficience sensorielle (myopie, surdité, anesthésie) provoque en général une perte d autonomie du sujet. Il en est de même pour un handicap moteur (entorse, déchirure, élongation) et pour une déficience mentale (amnésie, distraction, phobie). Une déficience dans l une des trois médiations du réel (sens, action, cognition) conduit donc à une perte d autonomie. Ainsi, a contrario, doter les modèles de moyens de perception, d action et de décision, c est leur donner une autonomie qui les place au même niveau opérationnel que l utilisateur. Nous érigeons donc en principe l autonomisation des modèles numériques qui composent un univers virtuel. Un environnement virtuel en réalité virtuelle peut être un univers de modèles autonomes en interaction, au sein duquel tout se passe comme si les modèles étaient réels parce qu ils proposent simultanément, aux utilisateurs et aux autres modèles, la triple médiation des sens, de l action et de la cognition. Accepter cette autonomie par conviction, c est accepter le partage du contrôle de l évolution des univers virtuels entre les utilisateurs humains et les modèles numériques qui peuplent ces univers. L autonomie des entités virtuelles est présentée en détail dans le chapitre correspondant du volume deux du traité. Les principales qualités d un modèle représentation artificielle d un objet ou d un phénomène reposent sur ses capacités à décrire, suggérer, expliquer, prédire et simuler. La simulation du modèle, ou l expérimentation sur le modèle, consiste à tester le comportement de cette représentation sous l effet d actions que l on peut exercer sur le modèle. Les résultats d une simulation deviennent ensuite des hypothèses que l on cherche à vérifier en concevant des expériences sur un prototype singulier du système réel. Ces expériences, ainsi rationalisées, constituent une véritable expérimentation in vivo. Une typologie des simulations, dans le champ de la réalité virtuelle ou non, est présentée en annexe de ce chapitre MODÉLISATION ET SIMULATION Typologie des simulations On distingue classiquement quatre principaux types de modèles : les modèles perceptifs, formels, analogiques, et numériques. L expérimentation de ces modèles conduit à cinq grandes familles de simulation. Intuitions in petto La simulation d un modèle perceptif correspond à des intuitions in petto issues de notre imaginaire et de la perception que l on a du système

52 22 Le traité de la réalité virtuelle étudié. Elle permet ainsi d éprouver des impressions sur le système réel. Inspirations, associations d idées et heuristiques, non codifiées et non raisonnées, provoquent la formation d images mentales dotées d un pouvoir évocateur. La démarche scientifique cherchera à rationaliser ces premières impressions tandis que la création artistique en tirera des œuvres numériques ou analogiques selon le support utilisé. Mais c est souvent le caractère suggestif du modèle perceptif qui déclenchent ces instants créatifs qui conduisent à l invention ou à la découverte [Vidal, 1984], comme en témoigne Alfred Wegener, le père de la dérive des continents et de l expansion des fonds océaniques desquelles émergera la théorie de la tectonique des plaques à la fin des années La première idée des translations continentales me vint à l esprit dès En considérant la carte du Globe, je fus subitement frappé de la concordance des côtes de l Atlantique, mais je ne m y arrêtai point tout d abord, parce que j estimai de pareilles translations invraisemblables. Alfred Wegener, La genèse des continents et des océans, 1937 Raisonnements in abstracto La simulation d un modèle formel repose sur un raisonnement in abstracto mené dans le cadre d une théorie. Le raisonnement fournit des prédictions qui peuvent être testées sur le système réel. La découverte en 1846 de la planète Neptune par Galle, à partir des prévisions théoriques de Adams et Le Verrier, est une illustration de cette démarche dans le cadre de la théorie des perturbations du problème à 2 corps en mécanique céleste. De même, en physique des particules, la découverte en 1983 des bosons intermédiairesw +, W et Z 0 avait été prévue quelques années auparavant par la théorie des interactions électrofaibles. Ainsi, de l infiniment grand à l infiniment petit, le caractère prédictif des modèles formels s est avéré très fructueux dans de nombreux domaines scientifiques. Expérimentations in vitro La simulation d un modèle analogique passe par une expérimentation in vitro sur un échantillon ou sur une maquette construite par analogie avec le système réel. Les similitudes entre la maquette et le système améliorent alors la compréhension du système étudié. Les essais en soufflerie sur des maquettes d avion permettent aux aérodynamiciens de mieux caractériser l écoulement d air autour d obstacles par l étude de coefficients de similitude introduits à la fin du 19ème siècle par Reynolds et Mach. De même, en physiologie, l analogie cœur-pompe a permis à Harvey (1628) de montrer que la circulation du sang relevait des lois de l hydraulique. Ainsi, de tout temps, le caractère explicatif des modèles analogiques a été utilisé, avec plus ou moins de dérive anthropocentrique, pour ramener l inconnu au connu. Calculs in silico La simulation d un modèle numérique est l exécution d un programme censé représenter le système à modéliser. Les calculs in silico donnent des résultats qui sont confrontés aux mesures effectuées sur le système réel. La résolution numérique de systèmes d équations mathématiques correspond à l utilisation la plus courante de la modélisation numérique. En effet, la détermination analytique de solutions se heurte souvent à des difficultés qui tiennent aussi bien aux caractéristiques des équations à résoudre (non-linéarité, couplages) qu à la complexité des conditions aux limites et à la nécessité de prendre en compte des échelles spatio-temporelles très différentes. L étude de la cinétique de réactions chimiques, le calcul des déformations d un solide sous l effet de contraintes thermo-mécaniques, ou la caractérisation du rayonnement électromagnétique d une antenne, sont des exemples classiques d implantation 9 sur ordinateur de systèmes d équations différentielles. Ainsi le modèle numérique obtenu par discrétisation du modèle théorique est devenu aujourd hui un outil indispensable. 9 Par abus de langage, un autre mot venant du terme anglais implementation est employé : implémentation.

53 Introduction à la réalité virtuelle 23 Expérimentations in virtuo Plus récemment, la possibilité d interagir avec un programme en cours d exécution ou avec un environnement virtuel interactif a ouvert la voie à une véritable expérimentation in virtuo des modèles numériques. Il est désormais possible de perturber un modèle en cours d exécution, de modifier dynamiquement les conditions aux limites, de supprimer ou d ajouter des éléments en cours de simulation. Ce qui confère aux environnements virtuels interactifs un statut de maquette virtuelle, infiniment plus malléable que la maquette réelle de la modélisation analogique. Les simulateurs de vol ou les jeux vidéo sont les précurseurs des systèmes de réalité virtuelle qui deviennent nécessaires lorsqu il est difficile, voire impossible, de recourir à l expérimentation directe, quelles qu en soient les raisons : milieux hostiles, difficultés d accès, contraintes spatio-temporelles, contraintes budgétaires, éthiques Modélisation, simulation, compréhension En fait, ces différents modes de simulation sont complémentaires et peuvent, tous ou en partie, être mis en œuvre pour appréhender et comprendre un même phénomène (figure 1.7). En effet, que l on soit littéraire ou scientifique, artiste ou ingénieur, l étude d un phénomène réel passe d abord par nos perceptions. Ces perceptions, confrontées à notre imaginaire personnel, nous inspirent des intuitions in petto qui se traduisent en impressions. Ce n est que dans un deuxième temps, que l approche scientifique cherche à formaliser ces premières impressions pour en donner une représentation la plus dégagée des illusions individuelles. Les raisonnements in abstracto élaborés dans le cadre d une théorie adaptée, et qui reposent le plus souvent sur une démarche logico-déductive, conduisent alors à des prédictions sur le phénomène étudié. Des expérimentations in vivo sur le système réel peuvent ainsi être menées pour confronter ces prédictions aux résultats expérimentaux. Mais dans certaines situations réelles, l approche formelle seule, essentiellement réductionniste, ne peut rendre compte de la complexité du phénomène étudié. On peut alors recourir à des analogies pour mener des expérimentations sur des maquettes réelles. Ces maquettes peuvent être obtenues par des analogies d échelles (type modèle réduit) ou par des analogies formelles (type thermique électrique). Les résultats de ces expérimentations in vitro sont ensuite adaptés au phénomène réel par similitude (facteurs d échelle ou de conversion). Aujourd hui, le recours aux méthodes numériques et aux programmes informatiques ouvre une autre voie pour simuler un modèle formel pour lequel on ne dispose pas de solution analytique. On distingue alors le calcul in silico de l expérimentation in virtuo par l absence ou la présence de l homme dans la boucle de simulation. L expérimentation in virtuo permet à l utilisateur de manipuler une véritable maquette virtuelle et de re-sentir ou non ses premières impressions, là où les calculs in silico ne fournissent que des résultats numériques. Dans certains cas, on cherche à rendre compte par la simulation, non d un phénomène réel, mais d une idée. Pour matérialiser son idée, l artiste passera directement du modèle perceptif de son imaginaire à une œuvre analogique ou numérique : c est l acte de création artistique, analogique ou numérique selon le support utilisé. Pour sa part, l ingénieur passera du modèle formel de son cadre théorique à une maquette réelle ou virtuelle : c est l acte de conception technologique qui se traduit par une concrétisation

54 24 Le traité de la réalité virtuelle analogique ou numérique. Cette maquette, réelle ou virtuelle, devient alors le prototype singulier d un nouveau phénomène réel qui peut à son tour être étudié par de nouvelles expérimentations; le scientifique entre alors dans un processus itératif de modélisation/simulation qui lui permet de préciser son idée et ainsi d affiner et d améliorer les différents modèles associés. implémentation théories Modèles formels raisonnements in abstracto formalisation prédictions matérialisation programmes Modèles numériques expérimentations in virtuo numérisation comportements prototypes Phénomènes réels expérimentations in vivo analogies similitudes maquettes Modèles analogiques expérimentations in vitro création numérique impressions perception imaginaires Modèles perceptifs intuitions in petto création analogique domaine Modèle simulation modélisation compréhension Figure 1.7 : Modélisation, simulation et compréhension des phénomènes La notion de modèle en tant que représentation du réel repose sur deux métaphores, l une artistique et l autre juridique. La métaphore juridique de délégation (l élu représente le peuple, le nonce apostolique représente le pape et l ambassadeur le chef d état) suggère la notion de remplacement : le modèle tient lieu de réalité. La métaphore artistique de réalisation (la pièce de théâtre est représentée en public, l inspiration artistique est représentée par une œuvre) suggère la notion de présence : le modèle est une réalité. Ainsi, tout en complétant nos moyens d investigation désormais classiques que sont les expérimentations in vivo et in vitro, ou encore les calculs in silico, l expérimentation in virtuo d un modèle numérique lui assure une véritable présence et ouvre de nouveaux champs d exploration, d investigation et de compréhension du réel RÉALITÉ VIRTUELLE ET COMPLEXITÉ Les systèmes complexes sont omniprésents, que ce soit en biologie la source d inspiration la plus importante, en physique, en informatique ou en économie. De nouvelles méthodes d analyse sont indispensables dès que l on souhaite les étudier en détail, sans faire appel à des simplifications qui les dénaturent. [...] Pour étudier les systèmes complexes, on pourrait tenter d utiliser les méthodes analytiques classiques : on écrirait un ensemble d équations censé décrire le comportement global du système et on

55 Introduction à la réalité virtuelle 25 résoudrait ces équations, mais, généralement, on ne sait pas les écrire. Zwirn H., La complexité, science du XXIème siècle?, in Pour la Science, décembre 2003 Les systèmes que l on cherche à modéliser sont de plus en plus complexes. Cette complexité provient essentiellement de la diversité des composants, de la diversité des structures et de la diversité des interactions mises en jeu. Un système est alors a priori un milieu ouvert (apparition/disparition dynamique de composants), hétérogène (morphologies et comportements variés) et formé d entités composites, mobiles et distribuées dans l espace, en nombre variable dans le temps. Ces composants, parmi lesquels l homme avec son libre arbitre joue souvent un rôle déterminant, peuvent être structurés en différents niveaux connus initialement ou émergeant au cours de leur évolution du fait des multiples interactions entre ces composants. Les interactions elles-mêmes peuvent être de natures différentes et opérer à différentes échelles spatiales et temporelles. Mais comme le suggère la citation placée en exergue de cette section, il n existe pas aujourd hui de théorie capable de formaliser cette complexité et de fait, il n existe pas de méthodes de preuves formelles a priori comme il en existe dans les modèles hautement formalisés. En l absence de preuves formelles, nous devons recourir à l expérimentation du système en cours d évolution afin de pouvoir effectuer des validations expérimentales a posteriori Le virtuoscope La réalité virtuelle fournit aujourd hui un cadre conceptuel, méthodologique et expérimental bien adapté pour imaginer, modéliser et expérimenter cette complexité. Selon les définitions fonctionnelle et technique de la réalité virtuelle donnée en section page 7, la simulation en réalité virtuelle autorise donc une véritable interaction avec le système modélisé. A l instar du biologiste qui réalise des expérimentations in vitro, cette simulation permet d observer le phénomène comme si l on disposait d un microscope virtuel déplaçable et orientable à volonté, et capable de mises au point variées. L utilisateur spectateur-acteur-créateur peut ainsi se focaliser sur l observation d un type de comportement particulier, observer l activité d un sous-système ou bien l activité globale du système. A tout moment, l utilisateur peut interrompre le phénomène et faire un point précis sur les corps en présence et sur les interactions en cours ; puis il peut relancer la simulation là où il l avait arrêtée. A tout moment, à l aide d interfaces comportementales sensori-motrices, l utilisateur peut perturber le système en modifiant une propriété d un élément (état, comportement), en retirant des éléments ou en ajoutant de nouveaux éléments ; il peut ainsi tester un comportement particulier, et plus généralement une idée, et immédiatement en observer les conséquences sur le système en fonctionnement. La réalité virtuelle place l utilisateur au cœur d un véritable laboratoire virtuel qui le rapproche ainsi des méthodes des sciences expérimentales tout en lui donnant accès aux méthodes numériques. Dépassant la simple observation de l activité du modèle numérique en cours d exécution sur un ordinateur, l utilisateur peut tester la réactivité et l adaptabilité du modèle en fonctionnement, tirant ainsi profit du caractère comportemental des modèles numériques. Nous appelons ce nouveau type d expérimentation : l expérimentation in virtuo [Tisseau, 2001]. Une expérimentation in virtuo est ainsi une expérimentation conduite dans un univers virtuel de modèles numériques en interaction et auquel l homme participe. La réalité virtuelle implique pleinement l utilisateur dans la simulation, rejoignant ainsi l approche de la conception participative (participory design) qui préfère

56 26 Le traité de la réalité virtuelle voir dans les utilisateurs des acteurs humains plutôt que des facteurs humains. Une telle simulation participative en réalité virtuelle met en œuvre des modèles de types différents (multi-modèles) issus de domaines d expertise différents (multi-disciplines). Elle est souvent complexe car son comportement global dépend autant du comportement des modèles eux-mêmes que des interactions entre modèles. Enfin, elle doit inclure le libre arbitre de l utilisateur humain qui exploite les modèles en ligne. L expérimentation in virtuo implique ainsi un vécu que ne suggère pas la simple analyse de résultats numériques. Entre les preuves formelles a priori et les validations a posteriori, il y a aujourd hui la place pour une réalité virtuelle vécue par l utilisateur qui peut ainsi franchir le cap des idées reçues pour accéder à celui des idées vécues. Nous proposons de placer cette expérimentation in virtuo au cœur du laboratoire du XXIème siècle afin de rendre intelligible la complexité inhérente aux systèmes, qu ils soient naturels ou artificiels. Microscope, téléscope : ces mots évoquent les grandes percées scientifiques vers l infiniment petit et vers l infiniment grand. [...] Aujourd hui, nous sommes confrontés à un autre infini : l infiniment complexe. Mais cette fois plus d instrument. Rien qu un cerveau nu, une intelligence et une logique désarmés devant l immense complexité de la vie et de la société. [...] Il nous faut donc un nouvel outil. [...] Cet outil, je l appelle le macroscope (macro, grand ; et skopein, observer). Le macroscope n est pas un outil comme les autres. C est un instrument symbolique, fait d un ensemble de méthodes et de techniques empruntées à des disciplines très différentes. Evidemment, il est inutile de le chercher dans les laboratoires ou les centres de recherche. Et pourtant nombreux sont ceux qui s en servent aujourd hui dans les domaines les plus variés. Car le macroscope peut être considéré comme le symbole d une nouvelle manière de voir, de comprendre et d agir. De Rosnay J., Le macroscope : vers une vision globale [de Rosnay, 1975] Les systèmes modélisés sont de plus en plus complexes, mais aujourd hui encore, il n existe pas de formalisme capable de rendre compte de cette complexité. Seule la réalité virtuelle permet de vivre cette complexité. Il nous faudra donc approfondir les relations entre la réalité virtuelle et les théories de la complexité pour faire de la réalité virtuelle un outil d investigation de la complexité, tel le macroscope que Joël de Rosnay imaginait dans les années Au terme de macroscope, nous préférons celui de virtuoscope qui rappelle que ces systèmes sont étudiées avant tout à travers les modèles que nous nous en faisons et que nous expérimentons au sein de nos laboratoires virtuels. Ce projet de virtuoscope doit permettre à terme de mettre à la disposition des scientifiques, toutes disciplines confondues, des méthodes et des outils leur permettant l étude de systèmes complexes au sein de laboratoires virtuels mettant en œuvre l expérimentation in virtuo telle que la propose la réalité virtuelle Les enjeux du virtuoscope Mieux vaut utiliser la possibilité neuve d un certain recul par rapport à l impérialisme intellectuel de la science, non pour nier son importance ou son intérêt et tenter son impossible occultation, mais, au contraire, pour essayer d enfin la voir, de loin, et lui assigner une place propre dans le paysage culturel. Il serait dérisoire de nier l efficacité et la portée du savoir scientifique, il serait absurde de refuser l utilisation de ses instruments de pensée. Encore faut-il décider qu en faire. Lévy-Leblond J.M., Aux contraires [Levy-Leblond, 1996] Décrire, expliquer, prédire et simuler les comportements de systèmes complexes, naturels ou artificiels, constituent pour les scientifiques le défi majeur du XXIème siècle. La réalité virtuelle contribuera à relever ce défi dont les enjeux associés sont tout autant scientifiques, méthodologiques et technologiques que sociétaux.

57 Introduction à la réalité virtuelle 27 Enjeux scientifiques La science moderne poursuit le désir de connaissance qui existait déjà au néolithique. C est évidemment plus approfondi, plus étendu, parce que nous avons d autres concepts à notre disposition, mais le désir de connaître notre environnement est le même. Auparavent, on pensait qu avec la loi de Newton et deux ou trois autres lois, on pouvait la comprendre. La nature était perçue comme fondamentalement simple, alors qu aujourd hui, on voit qu elle est fondamentalement complexe. [...] Je me rappelle avoir lu, il y a des années, un livre du physicien américain Richard Feynmann, La nature des lois physiques. Feynmann pensait que le monde était comparable à un énorme jeu d échecs où la complexité n était qu apparente et où chaque coup était simple ; la règle du jeu connue, on pourrait déchiffrer le monde. Or, quoi de plus complexe qu un proton? Un proton est formé de quarks, les quarks interagissent par des gluons et toutes sortes de choses. La nature a cessé d être simple. Prigogine I., Entretien avec Ilya Prigogine cité dans [Benkirane, 2002] La nature a cessé d être simple et les systèmes complexes qui la constituent systèmes ouverts composés de nombreuses entités en interaction sont des systèmes dynamiques en perpétuelle évolution. Leur compréhension passe par leur modélisation. La modélisation est l action d élaboration et de construction intentionnelle, par composition de symboles, de modèles susceptibles de rendre intelligible un phénomène perçu complexe, et d amplifier le raisonnement de l acteur projetant une intervention délibérée au sein du phénomène, raisonnement visant notamment à anticiper les conséquences de ces projets d actions possibles [Le Moigne, 1990]. La modélisation des systèmes complexes posent alors de nombreuses questions théoriques auxquelles il faudra répondre. Quelle démarche modélisatrice adopter? Comment expliciter dans le modèle l intention modélisatrice? Comment caractériser un système complexe, son organisation multi-niveaux? Comment aborder la notion d émergence de comportements d ensemble à partir des comportements individuels? Comment intégrer des modèles ayant des dynamiques spatio-temporelles différentes? Comment prendre en compte le libre arbitre de l homme participant à ces systèmes? Comment confronter la singularité d un système complexe aux exigences de reproductibilité de la démarche scientifique? Comment valider les modèles? Quels liens entre le réel et le virtuel?... En réalité virtuelle, l homme est dans la boucle en interaction multisensorielle avec des systèmes multi-modèles et multi-disciplines. Se posent alors 3 questions principales : 1. quelle est la place et le rôle de l homme dans ces environnements virtuels? (voir le volume 1 du traité de la réalité virtuelle) 2. quelle est la place et le rôle des entités virtuelles qui évoluent au sein de ces environnements? (voir le présent volume du traité de la réalité virtuelle) 3. quels dispositifs mettrent en œuvre pour assurer des interactions quasinaturelles entre l homme immergé dans l environnement et les entités qui peuplent cet environnement? (voir le volume 2 du traité de la réalité virtuelle) Les réponses à ces questions, dont la liste précédente n est pas exhaustive, nécessite de définir une nouvelle démarche méthodologique adaptée à l étude des systèmes complexes. Enjeux méthodologiques Plus une science est complexe, plus il importe, en effet, d en établir une bonne critique expérimentale, afin d obtenir des faits comparables et exempts de causes d erreur. [...] Pour être digne de ce nom, l expérimentateur doit être à la fois théoricien et praticien. S il doit posséder d une manière complète l art d instituer les faits d expérience, qui sont les matériaux de la science, il doit aussi se rendre compte clairement des principes scientifiques qui dirigent notre raisonnement au milieu

58 28 Le traité de la réalité virtuelle de l étude expérimentale si variée des phénomènes de la nature. Il serait impossible de séparer ces deux choses : la tête et la main. Une main habile sans la tête qui la dirige est un instrument aveugle ; la tête sans la main qui réalise reste impuissante. Bernard C., Introduction à l étude de la médecine expérimentale [Bernard, 1865] Afin d en établir une bonne critique expérimentale, l étude et la validation des modèles de systèmes complexes passent par leur simulation. Dans le cadre de la réalité virtuelle, la simulation devient participative et propose l expérimentation in virtuo des modèles numériques en cours d exécution. L expérimentation in virtuo doit être conduite à partir d une modélisation multi-modèles nécessitant une cohabitation/intégration de modèles différents, tout en autorisant une analyse multi-niveaux (local/global) du système expérimenté. Elle doit permettre la dialogique cognitivisme/constructivisme entre les approches formelles et les approches expérimentales afin de valider les modèles expérimentés. La réalité virtuelle, qui permet aux utilisateurs de vivre des activités sensorimotrices dans des mondes artificiels, vient instrumenter l approche énactive de Varela selon laquelle la cognition n est pas uniquement représentation mais également action incarnée : l intelligibilité d un système relève tout autant d une praxis en situation que d un pur traitement d informations [Varela e.a., 1993]. Enjeux technologiques Chaque programme d ordinateur est un modèle, forgé par l esprit, d un processus réel ou imaginaire. Ces processus, qui naissent de l expérience et de la pensée de l homme, sont innombrables et complexes dans leurs détails. A tout moment, ils ne peuvent être compris que partiellement. Ils ne sont que rarement modélisés d une façon satisfaisante dans nos programmes informatiques. Bien que nos programmes soient des ensembles de symboles ciselés avec soin, des mosaïques de fonctions entrecroisées, ils ne cessent d évoluer. Nous les modifions au fur et à mesure que notre perception du modèle s approfondit, s étend et se généralise, jusqu à atteindre un équilibre métastable aux frontières d une autre modélisation possible du problème. L ivresse joyeuse qui accompagne la programmation des ordinateurs provient des allers-retours continuels, entre l esprit humain et l ordinateur, des mécanismes exprimés par des programmes et de l explosion de visions nouvelles qu ils apportent. Si l art traduit nos rêves, l ordinateur les réalise sous la forme de programmes! Abelson H., Sussman G.J., Sussman J., Structure and interpretation of computer programs [Abelson e.a., 1985] Si l art traduit nos rêves, l ordinateur les réalise sous la forme de programmes et, afin de les expérimenter in virtuo, il faut les instrumenter. Le virtuoscope, qui vient instrumenter les modèles numériques de la réalité virtuelle, doit bien entendu disposer d une infrastructure informatique importante, véritable paillasse virtuelle du XXIème siècle. L élaboration de cette paillasse virtuelle doit assurer en temps réel, de manière fiable et quasi-naturelle, une interopérabilité des systèmes pour permettre la réalisation d expériences sensori-motrices crédibles sur des systèmes multi-modèles et multi-disciplines. Ainsi, nous pourrons disposer de nouveaux outils autorisant une activité collective en environnements virtuels, à moindre risque et à moindre coût. Les utilisateurs du virtuoscope pourront alors s extraire de leurs propres espaces spatiotemporels pour interagir et participer au sein d un même univers virtuel à une vie artificielle simulant le réel ou l imaginaire du modélisateur. Enjeux sociétaux Les mondes virtuels doivent être réalisés, c est-à-dire qu on doit s efforcer de mettre au jour ce qui est virtuellement présent en eux, à savoir les modèles intelligibles qui les structurent et les idées qui les animent. La vertu fondamentale des mondes virtuels est d avoir été conçus en vue d une fin. C est cette fin qu il faut réaliser, actualiser, que l application soit industrielle, spatiale, médicale ou artistique, ludique ou philosophique. Les images du virtuel doivent nous aider à révéler la réalité du virtuel, qui est d ordre intelligible, et d une intelligibilité proportionnée à la fin poursuivie, théorique ou pratique, utilitaire ou contemplative. Quéau Ph., Le virtuel, vertus et vertiges [Quéau, 1993] La vertu fondamentale des mondes virtuels est d avoir été conçus en vue d une fin. En effet, la compréhension des systèmes complexes et leur expéri-

59 Introduction à la réalité virtuelle 29 mentation instrumentée au sein du virtuoscope doivent permettre de maîtriser la complexité dans toutes ses dimensions sociétales. au niveau technologique (aide à la conception, maquette virtuelle, simulation...), l expérimentation in virtuo des maquettes virtuelles intervient à chaque étape de la vie d un nouveau produit du rasoir jetable à la centrale nucléaire : de l idée d un produit à son démantèlement éventuel en passant par sa conception, son prototypage, et sa maintenance ; au niveau culturel (musée virtuel, théâtre virtuel, fiction interactive, arts participatifs...), l expérimentation in virtuo place le spectateur au cœur de l œuvre, lui permettant de devenir acteur et créateur (cré-acteur) ; au niveau éducatif (environnements virtuels de formation, préparation de missions en milieux hostiles...), l expérimentation in virtuo redonne toute leur place aux apprentissages des savoir-faire et des savoir-être ; au niveau de la santé (actes chirurgicaux, thérapies, bio feedback...) l expérimentation in virtuo autorise une participation active des patients, en pleine coopération avec les soignants ; au niveau politique (aide à la décision pour l urbanisme, pour la sécurité civile, pour la protection de l environnement...), l expérimentation in virtuo permet aux décideurs de mieux appréhender les différents scénarii envisagés, et de tester différentes possibilités en agissant dans l environnement virtuel. En réalité virtuelle, la décision devient ainsi simulation de l action comme le propose le neurophysiologiste Alain Berthoz. La décision n est donc pas seulement raison, elle est aussi action. Ce n est jamais un processus purement intellectuel, un jeu logique que l on peut mettre en équation. Une décision implique une réflexion, bien sûr, mais elle porte déjà en elle, tout en intégrant les éléments du passé, l acte sur lequel elle débouche. Berthoz A., La décision [Berthoz, 2003] Ces quelques exemples, choisis parmi d autres, et dont certains seront largement développés dans le volume 4 du présent traité, illustrent clairement l importance des enjeux liés à la compréhension, à l étude, à l expérimentation, à l instrumentation et à la maîtrise des systèmes complexes. L expérimentation in virtuo en réalité virtuelle apparaît alors comme un des moyens de mieux appréhender cette complexité. 1.5 RÉFÉRENCES BIBLIOGRAPHIQUES [Abelson e.a., 1985] [Arnaldi, 1988] [Arnaldi, 1994] [Arnaldi e.a., 2003] [Barto e.a., 1981] [Beer, 1990] H. Abelson, G. Sumangerssman, and J. Sussman. Structure and interpretation of computer programs. traduction française : InterEditions (1985). B. Arnaldi (1988). Conception du noyau d un système d animation de scènes tridimensionnelles intégrant les lois de la mécani que. Thèse de doctorat, Université de Rennes I. B. Arnaldi (1994). Animation de systèmes physiques. mémoire d habilitation à diriger les recherches, université de Rennes I. B. Arnaldi, P. Fuchs, and J. Tisseau. Chapitre 1 du volume 1 du traité de la réalité virtuelle. Les Presses de l Ecole des Mines de Paris (2003). A. Barto and R. Sutton. Landmark learning : an illustration of associative search. Biological Cybernetics, 42 :1 8 (1981). R. Beer. Intelligence as adaptive behavior : an experiment in computational neuroethology. Academic Press, San Diego (1990).

60 30 Le traité de la réalité virtuelle [Benkirane, 2002] R. Benkirane. La complexité, vertiges et promesses. Le Pommier (2002). [Bernard, 1865] C. Bernard. Introduction à l étude de la médecine expérimentale. Garnier-Flammarion, 1966 (1865). [Berthoz, 2003] A. Berthoz. La décision. Odile Jacob (2003). [Bouatouch e.a., 1996] K. Bouatouch, P. Guitton, B. Péroche, and F. Sillion. Simulation de la lumière en synthèse d images : aspects algorithmiques. TSI, 14(10) (1996). [Cook e.a., 1982] R. Cook and K. Torrance. A reflectance model for computer graphics. ACM Transactions on Graphics, 1(1) :7 24 (1982). [CRTRV, 2004] CRTRV (2004). Le comité de rédaction du traité de la réalité virtuelle. dossier de présentation du TRV3. [D. Cliff e.a., 1993] I. H. D. Cliff and P. Husbands. Explorations in evolutionary robotics. Adaptive Behavior, 2(1) : (1993). [de Rosnay, 1975] J. de Rosnay. La macroscope : vers une vision globale. Le Seuil (1975). [Donikian, 1994] S. Donikian. Les modèles comportementaux pour la génération du mouvement d objets dans une scène. Revue Internationale de CFAO et d Infographie, numéro spécial AFIG-GROPLAN, 9(6) (1994). [Dumont, 1990] G. Dumont (1990). Animation de scènes tridimensionnelles : la mécanique des solides comme modèle de synthèse du mouvement. Thèse de doctorat, Université de Rennes 1. [Foley e.a., 1982] J. Foley and A. V. Dam. Fundamentals of Interactive Computer Graphics. Addison Wesley Publishing Company, London (1982). [Foley e.a., 1995] J. Foley, A. V. Dam, S. K. Feiner, and J. Hugues. Computer graphics Principles and practice in C. Addison Wesley Publishing Company, London (1995). [Fuchs, 1996] P. Fuchs. Les interfaces de la réalité virtuelle. Les Presses de l Ecole des Mines de Paris (1996). ISBN [Fuchs e.a., 1999] P. Fuchs, F. Nashashibi, and D. Lourdeaux. A theoretical approach of the design and evaluation of a virtual reality device. In Virtual Reality and Prototyping 99 (1999), pages 11 20, Laval, France. [Guillot e.a., 2000] A. Guillot and J. Meyer. From sab94 to sab2000 : What s new, animat? In Proceedings From Animals to Animats 00, volume 6 (2000), pages [Harrouet, 2000] F. Harrouet (2000). oris : s immerger par le langage pour le prototypage d univers virtuels à base d entités autonomes. Thèse de doctorat, Université de Bretagne Occidentale, Brest. [Hégron, 1985] G. Hégron. Synthèse d Image : algorithmes élémentaires. DUNOD informatique (1985). [Hégron e.a., 1992] G. Hégron and B. Arnaldi. Computer Animation : Motion and Deformation Control. Eurographics Technical Report Series. Eurographics 92 Tutorial Notes, Cambridge (GB) (1992). [Hégron e.a., 1995] G. Hégron, B. Arnaldi, and C. Lecerf (1995). Computer Animation, chapter Dynamic Simulation and Animation. Prentice Hall. [Herrmann e.a., 1998] H. Herrmann and Luding. Review article : Modeling granular media on the computer. Continuum Mechanics and Thermodynamics, 10(4) : (1998). [Kajiya, 1983] J. Kajiya. New techniques for ray tracing procedurally defined objects. ACM Computer Graphics, 17(3) : (1983). [Kochanek, 1984] D. H. Kochanek. Interpolating splines with local tension, continuity, and biais control. Computer Graphics, 18(3) : (1984).

61 Introduction à la réalité virtuelle 31 [Kodjabachian e.a., 1998] J. Kodjabachian and J. M. J.A. Evolution and development of neural controllers for locomotion, gradient-following, and obstacle-avoidance in artificial insects. IEEE Transactions on Neural Networks, 9 : (1998). [Le Moigne, 1997] [Le Moigne, 1990] [Levy-Leblond, 1996] [Luciani, 2000] J. Le Moigne. La théorie du système général : théorie de la modélisation. Presses Universitaires de France, Paris (1997). J.-L. Le Moigne. La modélisation des systèmes complexes. Collections AFCET Systèmes. Bordas, Paris (1990). J.-M. Levy-Leblond. Aux contraires. L exercice de la pensée et la pratique de la science. NRF Essais. Gallimard (1996). A. Luciani. From granular avalanches to fluid turbulences through oozing pastes : a mesoscopic physically-based particle model. In Proceedings of Graphicon 00, volume 10 (2000), pages [Meyer e.a., 1991] J. Meyer and A. Guillot. Simulation of adaptive behavior in animats : review and prospect. In Proceedings From Animals to Animats 91, volume 1 (1991), pages [Meyer e.a., 1994] [Morin, 1977] [Piaget e.a., 1979] [Péroche e.a., 1998] [Quéau, 1993] [Rabardel, 1995] [Reeves, 1981] J. Meyer and A. Guillot. From sab90 to sab94 : four years of animat research. In Proceedings of From Animals to Animats 94, volume 3 (1994), pages E. Morin. La méthode, Tome 1 : la nature de la nature. Editions du Seuil, Paris (1977). J. Piaget and N. Chomsky. Théories du langage, théories de l apprentissage. Seuil (1979). B. Péroche, D. Ghazanfarpour, D. Michelucci, and M. Roelens. Informatique graphique, 2ème édition. Hermes (1998). P. Quéau. Le virtuel, vertus et vertiges. Collection Milieux. Champ vallon, Seyssel (1993). P. Rabardel. Les hommes et les technologies, approche cognitive des instruments contemporains. Armand Colin (1995). ISBN X. W. T. Reeves. Inbetweening for computer animation utilizing moving point constraints. Computer Graphics, 15(3) : (1981), In proceedings of SIGGRAPH 81. [Roth, 1982] S. Roth. Ray casting for modeling solids. Computer Graphics and Image Processing, 18(2) : (1982). [Sillion e.a., 1998] [Sims, 1994] [Steketee e.a., 1985] [Thalmann, 1996] [Tisseau, 2001] [Varela e.a., 1993] F. Sillion and C. Puech. Radiosity and Global Illumination. Morgan Kaufmann Publishers, San Francisco (1998). K. Sims. Evolving 3d morphology and behavior by competition. Artificial Life, 4 :28 39 (1994). S. N. Steketee and N. I. Badler. Parametric keyframe interpolation incorporating kinetic adjustement and phrasing control. Computer Graphics, 19(3) : (1985), In proceedings of SIGGRAPH 85. D. Thalmann. A new generation of synthetic actors : the interactive perceptive actors. In Proceedings of Pacific Graphics 96 (1996), pages J. Tisseau (2001). Réalité virtuelle : autonomie in virtuo. Habilitation à diriger des recherches, Université de Rennes I, Rennes. F. Varela, E. Thomson, and E. Rosch. L inscription corporelle de l esprit. Seuil (1993). [Vidal, 1984] F. Vidal. L instant créatif. Flammarion (1984).

62 32 Le traité de la réalité virtuelle [Whitted, 1980] [Wilson, 1985] T. Whitted. An improved illumination model for shaded display. Communications of the ACM, 23 : (1980). S. Wilson. Knowledge growth in an artificial animal. In Proceedings Genetic Algorithms and their Applications 85 (1985), pages Adresses des sites d entreprises et d institutions : [http1] [http2] [http3] [http4] [http5] [http6] [http7] [http8] [http9] [http10] [http11] [http12] [http13] [http14] [http15] [http16] [http17] [http18] [http19] [http20] [http21] [http22] http ://www-sop.inria.fr/epidaure/gt-rv/gt-rv.html http :// http :// http :// http :// http :// et http :// http :// revico http ://birp.com/micad http ://lsc.cemif.univ-evry.fr :8080/dea http ://www-caor.ensmp.fr/ http :// http :// http :// http :// http :// http :// http :// http :// grumbach/cognition-virtuelle/ http :// http :// http :// http ://

63 2 MODÈLES GÉOMÉTRIQUES DES ENVIRONNEMENTS VIRTUELS Guillaume Moreau 2.1 INTRODUCTION Dans un environnement virtuel, l observateur évolue dans un monde qui est une représentation d une partie de la réalité ou d un environnement imaginaire [Fuchs, 1996]. Dans la plupart des cas, la représentation qui est faite à l observateur est en premier lieu visuelle. Cette représentation visuelle est formée par la projection d un modèle géométrique 3D de l environnement virtuel sur une ou plusieurs images planes 2D par l intermédiaire de caméras virtuelles dont le mouvement peut être lié à celui de l observateur. Cet environnement n est bien sûr pas uniquement constitué d éléments de nature géométrique ; prenons l exemple de ce qu on appelle la ville virtuelle. Une ville virtuelle se compose au moins d une représentation du bâti et du réseau routier ainsi que d acteurs évoluant dans cette ville (cf. figure 2.1 représentant une simulation de tramway dans un carrefour nantais [Donikian e.a., 1998]). Les représentations géométriques du bâti et du réseau routier sont insuffisantes pour permettre cette simulation [Donikian, 1997]. La seule intégration d un tramway dans le cadre de cette étude a nécessité la création d un modèle géométrique et cinématique d un tramway, mais aussi la définition du comportement du couple conducteur-tramway au passage de certains éléments remarquables du réseau routier (feux, intersections, arrêts de tramway). Dès lors, la modélisation du réseau routier devient non seulement géométrique, mais aussi topologique (orientation dans un réseau) et sémantique (signification du feu rouge) [Thomas, 1999]. Figure 2.1 : Etude d impact sur l intégration d un tramway dans un carrefour nantais (image IRISA/Siames). Si nous avons rapidement montré que la modélisation d un environnement virtuel n est pas uniquement géométrique, celle-ci constitue néanmoins une étape importante du

64 34 Le traité de la réalité virtuelle processus de construction d un environnement virtuel. Ce chapitre et le chapitre suivant y seront consacrés. Dans un premier temps, nous ferons un tour des modèles théoriques associés à la description géométrique, puis nous aborderons les outils de la modélisation. Les aspects non géométriques seront abordés ensuite dans les parties II «Modèles pour les rendus sensori-moteurs» et III «Modèles pour le rendu comportemental» TYPES D OBJETS Avant de modéliser des objets géométriques, il faut pouvoir répondre à la question : que cherche-t-on à modéliser? il est évident que la modélisation d un solide indéformable est différente de celle d un fluide compressible. L objet le plus simple est bien sûr le solide rigide non déformable. Cet objet ne peut subir que des transformations solides T = (R,t), où R est une rotation dans l espace et t une translation. Le cube de la figure 2.2 est un exemple de solide rigide indéformable. Le principal avantage des solides rigides est de n avoir à calculer que leur position solide dans l espace avant d effectuer leur rendu. Les modèles non-rigides peuvent se décomposer quant à eux en plusieurs catégories : les solides articulés : ce sont des solides rigides indéformables reliés entre eux par des liaisons mécaniques (par exemple une liaison pivot). Ils sont utilisés pour représenter par exemple le mouvement d un bras relié à un tronc ou les roues d une voiture qui sont liées au chassis, en première approximation bien sûr. C est aussi le cas du pendule de la figure 2.3. Les liaisons entre les solides sont représentées par leurs paramètres (ici les angles θ 1 et θ 2 ) ; les solides déformables dont les déformations suivent les lois de la mécanique (ou pas, dans un monde imaginaire). Ce peut être la peau d un être vivant, une balle se déformant au contact du sol. Ces modèles sont régis par leurs paramètres mécaniques. Il est donc nécessaire de calculer l évolution de leur forme avant d effectuer leur rendu visuel. Les vignettes de la figure 2.4 présentent l évolution de la lampe Luxo se déformant sous l effet de son propre poids [Cozot, 1996] ; en dernier les modèles non-solides, qui représentent tout ce qu on ne peut pas associer à la notion d objet. On peut citer les fluides, les modèles particulaires qui associent plusieurs sous-modèles associés mécaniquement entre eux. La création d un jet de lave par exemple utilise des modèles particulaires. Ces différents type de modèles seront étudiés plus largement dans les chapitres suivants : les modèles physiques seront l objet du chapitre 7 et le chapitre 11 reviendra sur l utilisation des modèles à particules pour la modélisation des environnements naturels. Il existe par ailleurs des modèles qui ne rentrent pas en compte dans le cadre de la réalité virtuelle à utilisation professionnelle ; ils sont associés aux techniques dites de rendu non photo-réaliste [Gooch e.a., 2001]. Ces techniques ont des résultats souvent spectaculaires mais elles ne peuvent être classées en familles simples comme celles que nous venons de citer. De plus leur utilisation en réalité virtuelle reste aujourd hui marginale. Elles ne seront donc pas abordées dans cet ouvrage. La contrainte majeure de la réalité virtuelle en terme de rendu graphique porte naturellement sur la nécessité absolue d un rendu temps réel du modèle 3D. Il est donc évident qu on cherche à privilégier dans les environnements virtuels les objets les plus simples (solides rigides et articulés) au détriment des plus complexes (fluides visqueux

65 Modèles géométriques des environnements virtuels 35 Figure 2.2 : Solide rigide : un cube. θ 1 θ 2 Figure 2.3 : Solide articulé : un bi-pendule. Figure 2.4 : Objet déformable : la lampe Luxo se déformant sous son propre poids (image IRISA/Siames).