1 LA MODÉLISATION DE L HUMAIN VIRTUEL ET SON EXPLOITATION

Transcription

1 1 LA MODÉLISATION DE L HUMAIN VIRTUEL ET SON EXPLOITATION Stéphane Donikian, Philippe Fuchs et Claude Andriot 1.1 LA MODÉLISATION DE L HUMAIN VIRTUEL LE BESOIN D HUMAINS VIRTUELS EN RÉALITÉ VIRTUELLE Avant de se focaliser sur le besoin d humains virtuels en réalité virtuelle, il faut d abord repréciser la finalité de la réalité virtuelle que partage tous les acteurs du domaine. Comme expliqué en détail dans les autres volumes du traité 1, la finalité commune de toute application de réalité virtuelle [Fuchs, 1996, CRTRV, 2004] est de : «permettre à une personne (ou à plusieurs) une activité sensori-motrice et cognitive dans un monde artificiel, créé numériquement, qui peut être imaginaire, symbolique ou une simulation de certains aspects du monde réel.» Pour atteindre ce but, les techniques de réalité virtuelle offrent un environnement virtuel dans lequel l utilisateur est immergé et avec lequel il peut interagir. Le troisième volume du traité 2 «Les outils et les modèles informatiques des environnements virtuels» expose la conception et la réalisation des environnement virtuels interactifs, mais sans développer en détail la modélisation de l humain virtuel dans toutes ses composantes. C est donc l objectif de ce cinquième volume, sachant que cette problématique est très vaste et fortement interdisciplinaire. Nous sommes bien conscients qu un seul livre ne peut être exhaustif sur un sujet aussi étendu, ambitieux, voire utopique : modéliser l être humain dans sa globalité. Mais bien des applications demandent des environnements virtuels peuplés d humains virtuels. Ce volume fait donc modestement le point des possibilités actuelles et d un futur proche. La vingtaine de chapitres sera utile à tout concepteur d une application de réalité virtuelle qu il souhaiterait peupler d humains virtuels et, par extension, d animaux virtuels (mais ce cas n est pas traité spécifiquement dans ce livre). Schématiquement, un humain virtuel a trois usages différents : être un avatar, c est-à-dire une représentation de l utilisateur immergé dans l environnement virtuel ; être un personnage virtuel figuratif dans l environnement virtuel ; être un personnage virtuel qui va interagir avec l utilisateur. Dans ce troisième cas d usage, l interaction entre l utilisateur réel et l humain virtuel peut être sensorimotrice et(ou) cognitive. Au niveau sensorimoteur, l utilisateur et l humain virtuel peuvent participer ensemble à une tâche physique : par exemple, ils manipulent ensemble un objet virtuel, l utilisateur pouvant ressentir les efforts physiques de l humain virtuel via une interface à retour d effort. Au niveau cognitif, l utilisateur 1 Pour une présentation du domaine de la réalité virtuelle, le lecteur peut consulter les premiers chapitres identiques des quatre autres volumes du Traité de la Réalité Virtuelle (www-caor.ensmp.fr/interlivre). 2 Voir les annexes pour le contenu des quatre premiers volumes.

2 4 Le traité de la réalité virtuelle et l humain virtuel peuvent dialoguer : par exemple, lors d une séance de formation en environnement virtuel, un tuteur virtuel explique à l utilisateur/apprenant comment faire une tâche. Différents usages des humains virtuels sont donc envisageables avec des difficultés techniques de niveaux extrêmement variés. Pour préciser les usages de ces humains virtuels, la troisième partie de ce volume présente un ensemble non exhaustif d applications professionnelles exploitant les humains virtuels réalisables actuellement. Tout concepteur d application rêve d avoir un modèle numérique d humain virtuel capable de répondre à tous ses besoins de simulation. Mais soyons réaliste : il est utopique de croire, même après des années d effort de recherche et de développement, que l on puisse trouver "sur étagère" (en bibliothèque) des humains virtuels universels, capables de répondre à tous les usages OBJECTIF DU VOLUME Ce livre traite de la modélisation du comportement humain pour réaliser des modèles numériques qui doivent être programmables. Quelles que soient l analyse et la réflexion sur le comportement humain, il faut pouvoir les transcrire, grâce aux outils mathématiques et informatiques, en programmes de simulation donnant l illusion de percevoir et d interagir avec un être humain. Mais si, dans cet ouvrage, on a besoin de comprendre les comportements humains en vue de les modéliser, ce n est pas, toutefois, un livre du domaine des sciences humaines. Il s adresse avant tout aux spécialistes en informatique et en sciences de l ingénieur. Bien sûr, ceux-ci doivent travailler en collaboration étroite avec les chercheurs des sciences cognitives pour établir des modélisations réalistes et efficaces. Comme pour les autres problématiques en réalité virtuelle (voir les autres volumes du traité), il existe déjà et doit encore se développer des travaux interdisciplinaires entre différentes communautés des sciences humaines et des sciences de l informatique, permettant des avancées significatives pour la modélisation de l humain virtuel. Comment aborder cette vaste problématique de modélisation? Si l être humain est un tout, il faut bien se résoudre à le modéliser suivant différentes approches : la plus évidente est de considérer l homme en fonction de ces actions sensorimotrices et de ses actions cognitives. Cette approche est celle qui a été aussi exploitée pour la problématique de l interfaçage "comportemental" de l utilisateur avec le monde virtuel. Dans ce cas spécifique, il faut modéliser les actions sensorimotrices et cognitives de l utilisateur face au monde virtuel pour en déduire les interfaces matérielles et les techniques d interaction avec le monde virtuel. Nous avons fait le choix fondamental d analyser ce processus d interfaçage à trois niveaux. Au premier niveau, on peut schématiser l interfaçage entre l homme et le monde virtuel au niveau physique. Nous parlons dans ce cas d immersion et d interaction sensori-motrices, puisque physiquement l ordinateur est connecté au corps de l utilisateur au niveau de ses sens et de ses réponses motrices. A un deuxième niveau, nous devons analyser les processus cognitifs que le sujet va mettre en œuvre et qu il faudra assister dans son interfaçage avec l environnement virtuel : c est le niveau de l immersion et de l interaction cognitives. Un troisième niveau est nécessaire pour compléter notre démarche. Ce troisième niveau concerne l application de réalité virtuelle, dont l objectif est de s attacher à réaliser une immersion de l homme dans un monde artificiel. Nous parlons dans ce cas d immersion et d interaction fonctionnelles. Nous détaillons cette approche dans une annexe de ce chapitre. Le paragraphe suivant développe un schéma hiérarchique plus complet

3 La modélisation de l humain virtuel et son exploitation 5 et complexe dans ses différentes activités de contrôle pour la modélisation de l humain virtuel SCHÉMAS HIÉRARCHIQUES DES DIFFÉRENTES ACTIVITÉS DE CONTRÔLE Il existe un certain nombre de classifications des comportements humains en fonction de leurs niveaux de complexité. L objectif ici n est pas de les énumérer mais d introduire les notions à modéliser. Considérons l être humain comme composé de capacités de perception, de traitement, d action et de mémorisation. Il s agit d une vision simplificatrice mais néanmoins illustrative de l architecture comportementale de l être humain. En effet, l être humain est de toute évidence doté d une part de capacités de perception extéroceptives, lui permettant d appréhender à travers ses sens le monde extérieur et d autre part de capacités proprioceptives lui permettant d être à l écoute de son propre corps : le mouvement du corps, sa position dans l espace et les forces exercées sur les muscles. D autres récepteurs sensoriels, répartis dans tout notre organisme, renseignent sur l état du corps et sur sa sensibilité générale (somesthésie), en prenant en compte des sensations telles que la faim, la soif ou encore la fatigue. L être humain est aussi doté de capacités de décision en faisant appel aux données perçues mais aussi à ses connaissances et à ses facultés de raisonnement. Enfin, il est à même d agir sur lui-même et sur son environnement. On peut classifier les comportements humains en fonction de leur niveau de complexité [Mallot, 1999] : comportements réflexes de type attraction, répulsion pouvant être défini simplement par une interconnexion entre des capteurs et des effecteurs ; comportements de type manœuvres nécessitant une intégration spatio-temporelle ; comportements nécessitant la mémoire à long terme pour l apprentissage des notions telles que l habileté, la dextérité, ou l adresse, mais aussi pour l apprentissage de procédures ; comportements plus complexes appelés cognitifs nécessitant, en plus des stimuli sensoriels, la prise en compte d un but courant poursuivi par la personne. Le mot cognition se réfère généralement à des processus mentaux variés tels que l attention, la reconnaissance des lieux et des objets, la planification et le raisonnement. Les architectures cognitives visent à unifier au sein d un même modèle un ensemble de propriétés communément admises au sein d une communauté scientifique sur la cognition humaine. A. Newell affirme que l architecture cognitive humaine est constituée d une hiérarchie de systèmes de contrôle stables et bien que ces niveaux soient liés par transport d information, ils opèrent indépendamment les uns des autres, sans avoir de connaissances détaillées sur le fonctionnement interne des autres niveaux. Pour Lord et Levy[Lord e.a., 1994], la généricité des boucles de rétro-action pour la description du comportement provient de la nature hiérarchique des systèmes de contrôle, même si la nature des activités de contrôle peut être très différente en fonction des niveaux : par exemple, au niveau le plus haut, on traitera de planification d action, tandis qu au niveau le plus bas, il s agira, par exemple, d une boucle d asservissement d un muscle ou d un ensemble de muscles. Les registres sensoriels correspondent aux différents sens dont la vue et l ouïe. La mémoire à court terme est éphémère et réduite dans le temps tandis que la mémoire à long terme est plus ou moins permanente et a une capacité potentielle très importante. Le processeur central est l élément le plus important de cette architecture [Baddeley, 1990]. Il est en charge du mécanisme attentionnel de sélection d action décrit par Shallice [Shallice, 1982]. Selon A. Berthoz[Berthoz, 2003],

4 6 Le traité de la réalité virtuelle le cerveau contient plusieurs schèmes (mécanismes de simulation d action) du corps indépendants du corps réel. Les organes supérieurs qui prennent les décisions ne fonctionnent pas nécessairement en disposant directement des informations sensorielles (pas le temps pour cela). Ces centres ne connaissent que l état des niveaux d exécution inférieurs qui contiennent des modèles des niveaux qu ils contrôlent et surtout qui évaluent les erreurs entre ce qu ils ont imposé et ce qui est exécuté. Le schéma de la figure1.1 rend compte de l ensemble de ces concepts 3 et les assemblent dans une vue unifiée. Figure 1.1 : Une architecture unifiée d humain virtuel LA PROBLÉMATIQUE DE LA CRÉDIBILITÉ DES HUMAINS VIRTUELS Masahiro Mori, chercheur en robotique, a introduit en 1970 le concept d Uncanny Valley [Mori, 1970], que l on peut traduire en français par «La vallée de l étrange». Il s agissait de chercher à comprendre pourquoi lorsque l on cherche à réaliser un robot de plus en plus proche de l être humain, le spectateur adhère jusqu à un certain point de rupture à partir duquel une chute brutale d adhésion s opère. Ceci est bien connu des studios d animation qui ont en règle générale tendance à doter des animaux ou des monstres d expressions humaines, afin de créer une distance assurant de ne pas rentrer dans cette zone d étrange ressemblance. Des expériences ont néanmoins été réalisées dans le passé cherchant à créer des humains virtuels hyper réalistes, comme dans le film Final Fantasy réalisé en 2001 et qui a été un immense fiasco notamment parce que les personnages anthropomorphes mettaient le public mal à l aise : ils se trouvaient précisément dans cette vallée de l étrange. Depuis, les technologies ont extrêmement évolué et il est possible de réaliser des images de synthèse de personnages synthétiques 3 Pour plus de détails, lire par exemple [Clancey, 1997, Berthoz, 2003, Donikian, 2004]

5 La modélisation de l humain virtuel et son exploitation 7 extrêmement ressemblants à des personnes réelles. Certaines sociétés de jeu vidéo ambitionnent de créer des humains virtuels les plus réalistes possibles, copies numériques d acteurs ou de sportifs connus. Il s agit d un réel challenge qui nécessite le développement de moyens techniques considérables car il faut capturer à la fois le mouvement global de l individu, mais aussi son regard, et ses mimiques faciales. Il faut disposer d un modèle corporel intégrant l ensemble des détails allant du grain de la peau à la musculature, car plus un humain virtuel approche de la perfection plus le spectateur se focalise sur les détails créant le trouble (regard fixe, chevelure trop statique,...). De plus, ces travaux ne visent qu à créer une copie numérique d un humain réel et à rejouer ses comportements, mais la réelle difficulté réside dans la génération de mouvements et de comportements purement synthétiques créés de façon autonome par l humain virtuel qui soient non différentiables de ceux qu aurait réalisés un humain réel dans la même situation. 1.2 RECHERCHES ACTUELLES : L EXEMPLE DE LA PLATE-FORME PERF-RV ORGANISATION DE LA PLATE-FORME En parallèle aux développements sur la représentation de l homme dans le domaine des jeux vidéo, des recherches et de développements sont en cours pour la création d humains virtuels exploitables dans des applications professionnelles, aux niveaux national et international. En France, au cours des années , les travaux réalisés dans le cadre d un premier projet de plate-forme nationale en réalité virtuelle, projet RNTL PERF-RV ( ont démontré les capacités de la réalité virtuelle interactive et immersive pour des applications professionnelles. Les résultats obtenus au cours de ce premier projet ont motivé la plupart des partenaires académiques et industriels à poursuivre avec d autres le développement des technologies de la réalité virtuelle, au sein de la plate-forme PERF-RV2 (http :// afin d introduire dans les mondes virtuels la présence et le contrôle d humains virtuels. Cette avancée doit permettre ainsi l étude de l humain au travail dans l usine du futur et dans d autres secteurs professionnels. Les démonstrations répondent à des problèmes concrets posés par les industriels partenaires du projet. Les ruptures technologiques portent sur le réalisme du comportement de l humain virtuel avec son environnement (fatigue, gestion de l équilibre, manipulation des objets, comparaison humain réel-humain virtuel), son niveau d autonomie dans la réalisation des tâches qui lui sont confiées (compréhension sémantique des tâches et des objets de l environnement, exécution de scénarios) et l amélioration de la communication entre l humain virtuel et son opérateur (langage naturel, immersion à échelle 1, communication multi-modale, modes de représentation mentale en situation d immersion). Labellisé fin 2005 par le réseau RNTL, et soutenu financièrement par l ANR (Agence Nationale de la Recherche), le projet d une durée de 3 ans est découpé en 5 sousprojets : le premier sous-projet porte sur la modélisation du niveau de motricité de l humain virtuel ; le deuxième sous-projet porte sur la modélisation des niveaux de comportement de l humain virtuel ; le troisième sous-projet porte sur l interaction entre l opérateur et l humain virtuel ;