Modélisation, contrôle et animation d agents virtuels autonomes évoluant dans des environnements informés et structurés

Transcription

1 HABILITATION À DIRIGER DES RECHERCHES présentée devant L Université de Rennes 1 Institut de Formation Supérieure en Informatique et en Communication par Stéphane Donikian Modélisation, contrôle et animation d agents virtuels autonomes évoluant dans des environnements informés et structurés soutenue le 26 août 2004 devant le jury composé de M. Herman Président Mme Pelachaud Rapporteur MM Badler Rapporteur Thalmann Rapporteur MM Guitton Examinateur Denis Examinateur

2

3 Acteurs autonomes dans des environnements informés et structurés 1 A Rosanne, Pierre et Esther,

4 2 S. Donikian

5 Remerciements Je remercie très chaleureusement Norman Badler, Daniel Thalmann et Catherine Pelachaud d avoir accepté de rapporter sur mon travail. Leurs travaux font référence dans le domaine depuis de bien nombreuses années et ont fortement influencé mes propres activités de recherche. Je remercie Pascal Guitton d avoir accepté d examiner ce travail : il apporte un autre éclairage de par ses connaissances très larges en informatique graphique et en réalité virtuelle. Du fait de sa grande expertise du domaine des sciences cognitives, dont mes travaux se sont nourris depuis un certain nombre d années, je remercie Michel Denis d avoir accepté d examiner ce travail et j espère qu il aura trouvé matière intéressante dans ce document. Un grand merci aussi à Daniel Herman qui, après avoir suivi régulièrement les travaux de l équipe en présidant le jury d un certain nombre de thèses, m a fait le plaisir d accepter de présider le jury de cette habilitation à diriger les recherches. Les travaux présentés dans ce document sont le résultat d un travail fortement collectif, non seulement bien sûr avec les personnes dont j ai assuré la direction scientifique, mais aussi avec d autres membres du projet dont les contributions scientifiques ont permis grâce à leur complémentarité de mener à bien ces recherches. Je tiens ici à remercier : Guillaume Moreau, Gwenola Thomas, Frédéric Devillers, Fabrice Lamarche, Romain Thomas, Marwan Badawi, Sébastien Paris, Richard Kulpa, Jean-François Taille, Claudie Fourn, Olivier Filangi, Guillaume Bataille, Frantz Degrigny, Michaël Rouillé, Jean-Marie Houssay avec qui j ai eu et pour certains j ai encore plaisir à travailler ; Bruno Arnaldi et Georges Dumont pour les modèles mécaniques de véhicules et bien sûr pour tout le temps passé à travailler ensemble au sein du projet SIAMES ; Christophe Lecerf pour ses conseils sur les lois de commande ; Franck Multon, Richard Kulpa et Stéphane Ménardais pour les différentes générations de modèles de mouvement d humanoïdes et l investissement sans compter sur les applications que nous avons pu réaliser ensemble ; Joe Kearney et Jean-Noël Portugal avec qui j ai eu plaisir à travailler sur les sujets de la scénarisation interactive et de la fiction interactive ; Alain Chauffaut avec qui je partage un bureau depuis de si nombreuses années et qui supporte mon mode de rangement un peu envahissant ; les Siamois en général pour l ambiance chaleureuse de travail au quotidien ; sans oublier Pascale Laurent, Anne Jaigu et les autres personnes du centre de documentation qui se sont souvent démenées pour trouver des références bibliographiques exotiques et qui m ont maintes fois demandé à quoi cela pouvait bien me servir et 3

6 4 S. Donikian surtout où les classer dans la nomenclature.

7 Table des matières 1 Introduction Contexte Les acteurs virtuels autonomes Domaines d application Conclusion Le comportement humain Introduction L humain : un être en continuelle interaction avec son environnement La théorie du contrôle La mémoire Introduction Mémoire implicite et explicite Théorie de l activité et coordination attentive La cognition incarnée située Approche écologique de la perception Centralisme vs. parallélisme La psychologie sociale Navigation et cognition spatiale Introduction La navigation Repérages égocentriques et allocentriques Les représentations mentales sous-jacentes Distorsion des représentations mentales Planification de chemin Comportement du conducteur de véhicule Comportement du piéton La locomotion Comportement de foules Conclusion

8 6 S. Donikian 3 Modélisation des comportements d humanoïdes autonomes Introduction Les architectures cognitives Introduction Soar ACT-R Conclusion Systèmes multi-agent Introduction PECS Brahms Conclusion Animation comportementale Introduction Les premiers travaux Mécanismes de sélection de l action Approches cognitives Cartes cognitives spatiales Animation de foules Conclusion De GASP à OpenMASK : une plate-forme logicielle fédératrice Introduction Objectifs de la plate-forme Etat de l art GASP : une plate-forme d animation et de simulation OpenMASK Introduction Les concepts-clés d OpenMASK Le noyau L objet de simulation L application Conclusion Comportements réactifs et cognitifs Introduction HPTS : un outil de spécification de comportements réactifs Introduction Présentation synthétique du modèle HPTS Langage de spécification de comportements Schéma d exécution Compilation et interprétation du langage Applications Conclusion HPTS++ : la coordination de comportements Introduction

9 Acteurs autonomes dans des environnements informés et structurés Un nouveau langage Un algorithme de coordination automatique Exemple Conclusion Deux exemples dimensionnants : le musée virtuel et la rencontre à l épicerie Introduction MKM : contrôle et mélange des mouvements Cinématographie virtuelle Le musée virtuel Rencontre à l épicerie BCOOL : comportements cognitifs Conclusion Les environnements urbains informés Introduction Les besoins liés à l animation comportementale : topologie et sémantique VUEMS : un outil de modélisation d environnements urbains informés Introduction Première génération dédiée à la circulation automobile Simulation de conduite Le projet européen DIATS Seconde génération : le cas des piétons Un premier modèle de piéton synthétique Le projet Dynamicité Introduction Un nouveau modèle de représentation Résultats Conclusion Structuration de l environnement informé par analyse de sa géométrie Introduction Subdivision spatiale Navigation Résultats Cartes cognitives spatiales Introduction Carte cognitive spatiale Communication d information entre agents Conclusion Scénarios adaptatifs : le paradoxe du contrôle d agents autonomes Introduction Le langage SLuHrG Introduction Langage de scénario Grammaire du langage Gestion des acteurs

10 8 S. Donikian Ordonnancement Conclusion Exemple de scénario Conclusion La fiction interactive ou le paradoxe de fusionner interactivité et narration Introduction Structure d un récit linéaire Introduction La structure narrative L aventure du héros Sémantique structurale La grammaire du décaméron La logique du récit Conclusion La fiction interactive Introduction Etat de l art Les outils d aide à l écriture Le projet DraMachina Introduction Une méthode d écriture Architecture logicielle Les objets manipulés dans DraMachina Structure narrative Description des acteurs Dialogues et interactivité Données produites par DraMachina Conclusion Conclusion Conclusion et perspectives Bilan des activités Perspectives Introduction La langue naturelle comme moteur d animation Entre la perception et l action : un modèle d actualisation pour acteurs virtuels autonomes Simulation de foule Apprentissage Les émotions Arts et Sciences

11 Table des figures 2.1 Les différentes boucles de rétro-action Les quatre niveaux de complexité dans les comportements selon Mallot [152] La nature hiérarchique des activités de contrôle Le modèle modal de la mémoire La mémoire de travail selon Baddeley Relations médiatisées d artefacts au sein d activités Le triangle sémiotique de Steels et sa correspondance Peircienne Le PAE, ou triple moi Les transactions possibles Repères allocentrique et égocentrique Représentation mentale hiérarchique pour la navigation [271] Un modèle hiérarchique de risque pour les participants au trafic routier La zone de sécurité selon Goffman Architecture d ACT-R La structure d un agent PECS Mécanismes de sélection de l action Flux de piétons à base de particules [110] Les trois règles de base de Reynolds : séparation, alignement, cohésion [209] Cône de vision limité et animation de foules au sein du projet MAGS [173] La salle Avalon (Photo A. Eidelman) Schéma conceptuel d OpenMASK OpenMASK : bus logique ou machine virtuelle L objet de simulation Diagramme des états possibles d un objet de simulation Le modèle du conducteur en Signal Simulation du comportement d un train de véhicule Un état d HPTS Les différents statuts d un état Exemple de fonction d intégration sous forme de diagrammes-blocs Comportement de déplacement d un objet Coordination de plusieurs comportements L outil de traitement des différents mouvements capturés

12 10 S. Donikian 5.9 Adaptation morphologique et contrôle des empreintes de pas Différents placements possibles de caméras pour filmer une conversation entre deux personnes face à face Dialogue entre deux personnages Montage virtuel La carte du musée Structure de l application «Musée virtuel» Images du musée virtuel Structure de l application Structure de la fiction non linéaire Vision globale de l histoire Le prologue La rencontre Quelques illustrations de la fiction Architecture générale de BCOOL Vue nord-ouest du centre ville (Downtown) de Los Angeles Carrefour existant à proximité du campus de Beaulieu Les différents types de tronçons d un réseau routier Une axiale et son codage associé Graphe de tronçons définissant la structure du réseau routier Signalisation verticale du réseau routier VUEMS : première génération Architecture du conducteur virtuel Automate de gestion des feux Intégration du tramway dans le carrefour de la Croix-Bonneau à Nantes Architecture d une simulation type Insertion de véhicules dans un trafic dense Validation croisée : vitesse à 1000m Comparaison de différents AICC : temps de traversée Plan du site de test et restitution visuelle Vitesse et distance relative au sein d une file de cinq véhicules avec l AICC en mode Stop&Go VUEMS : seconde génération Les quatre types d espaces axiaux Graphe de circulation De la position à l espace Navigation de deux piétons dans l espace urbain Comportements de plusieurs piétons sur un trottoir Trajectoires de différents piétons sur un trottoir Trajectoire et activité d un piéton sur un trottoir Architecture générale de DynamiCité Editeur de maquettes numériques de villes et ajout manuel de panneaux de signalisation Zone d expérimentation dans la ville de Rennes

13 Acteurs autonomes dans des environnements informés et structurés Edition globale de la zone traitée Modèle 3D texturé de la zone reconstruite et détail du modèle Les trois niveaux de détail d un véhicule Configuration de l objet de simulation «bdd» Configuration de l objet de simulation «modulecreation» Vue aérienne d un bloc et de son trafic au cours du temps Navigation d un piéton dans la maquette Le quartier de la Cathédrale de Rennes et le plan 2D filtré obtenu (a) Carte de l environnement. (b) Triangulation de Delaunay contrainte originale. (c) Calcul des plus courtes distances. (d) Triangulation de Delaunay intégrant les plus courtes distances Subdivision en cellules convexes de l environnement de la figure Carte de cheminement dans l environnement de la figure Calcul d intersection des cônes de visibilité jusqu à la limite de visibilité. Les trois niveaux de gris représentent les trois intersections successives Un exemple de trajectoire suivie par un piéton dans le modèle 3d de la ville de Rennes Graphe de voisinage issu d une triangulation de Delaunay filtrée Navigation intérieure et extérieure Structuration hiérarchique de l environnement au sein de la carte cognitive spatiale Evolution de la carte cognitive d un agent au cours d une navigation La carte cognitive spatiale comme filtre dynamique de la carte topographique Navigation d un piéton dans la ville Scénario adaptatif pour l étude du comportmeent d un conducteur Architecture globale du gestionnaire de scénario Notations du modèle d automates utilisé Traduction de A; wait(d), Instructions if, repeat and switch Instruction random choice Traduction de l instruction waitfor Traduction de l instruction aslongas Traduction de l instruction eachtime Traduction de l instruction every L instruction join Exemple d appel à un sous-scénario Un exemple de composition et de simplification d automates Les relations d Allen entre deux intervalles Exemple d un scénario possédant des contraintes d ordonnancement Compilation d un scénario : du langage dédié au code C Architecture logicielle générale de l exemple du musée interactif Ordonnancement des sous-scénarios Images extraites d une expérimentation interactive Schéma narratif canonique

14 12 S. Donikian 8.2 Lien entre les fonctions et les personnages Le schéma actanciel Schéma actanciel du conte : Le petit chaperon rouge Le carré sémiotique Classification des énoncés narratifs Schéma dichotomique d une séquence Les rôles narratifs principaux Architecture d une Fiction Interactive Image extraite de Facade [159] Structure hiérarchique des objets manipulés dans DraMachina Répercussions d une action dramatique Fenêtre d édition des formules logiques Fenêtre d édition des «strokes» La fenêtre d édition des proto-dialogues La fenêtre d édition des dialogues Extrait de la structure d un fichier XML produit par DraMachina Traitement d une action dramatique Des images de la simulation AVA correspondante Vers une architecture unifiée d agent autonome Ouverture de deux types de portes Position du spectateur dans un environnement virtuel immersif ou non Complexité d une œuvre chorégraphique interactive

15 Liste des tableaux 2.1 Types de mémoire Types de représentation Activation des différents comportements au cours du temps Caractéristiques de la zone couverte Les différentes configurations matérielles Les résultats des différentes configurations Benchmark du calcul de planification hiérarchique vs classique Le modèle de Propp appliqué au Hobbit de Tolkien Statut des règles dans la fiction et le jeu vidéo

16 14 S. Donikian

17 Chapitre 1 Introduction 1.1 Contexte Mes travaux de recherche ont été effectués, pendant toutes ces années, au sein de l IRISA 1 (UMR 6074), à Rennes, dans le projet de recherche SIAMES 2 dirigé par le professeur Bruno Arnaldi. Ce projet réunit de multiples compétences dans la modélisation, la synthèse d images, l animation, la simulation et la réalité virtuelle. La réalité virtuelle peut être définie comme un ensemble de techniques matérielles et logicielles destinées à permettre à un ou plusieurs utilisateurs d interagir de la façon la plus naturelle possible avec des données numériques ressenties par le biais de canaux sensoriels. Les applications des technologies de la réalité virtuelle sont nombreuses et prometteuses. Néanmoins, leur usage reste à ce jour encore relativement limité, pour plusieurs raisons. Il y a tout d abord la complexité d intégration de tous les composants logiciels et matériels nécessaires. En effet, pour une application donnée, il est nécessaire d assembler le savoirfaire, et donc les programmes informatiques, provenant de différentes spécialités, sans nuire à la performance globale. Ensuite, le coût d équipement, même si une démocratisation est actuellement engagée, reste très élevé, provoquant une limitation naturelle au déploiement de ces technologies. L usage à plus grande échelle des technologies de la réalité virtuelle doit aussi passer par la mise à disposition d outils logiciels prêts à l emploi, permettant une intégration et une expérimentation rapide et efficace des composants logiciels et matériels nécessaires à leur mise en œuvre. Les travaux de recherche de l équipe visent à proposer des solutions logicielles génériques permettant d aborder les différents domaines d application de la réalité virtuelle, en faisant abstraction des problèmes matériels, traités au cas par cas en fonction des besoins. L ensemble des travaux de recherche menés dans l équipe sur les thèmes de l animation, la simulation et la réalité virtuelle étant fortement complémentaires, nous avons décidé dès 1994 de mettre en chantier le développement d une plate-forme d animation simulation modulaire. Cette plate-forme avait dès l origine plusieurs objectifs : 1 Institut de Recherche en Informatique et Systèmes Aléatoires 2 Synthèse d Images, Animation, Modélisation Et Simulation 15

18 16 S. Donikian Factoriser les développements logiciels, permettant ainsi à chacun de se focaliser sur sa propre activité de recherche tout en bénéficiant des résultats des autres membres de l équipe ; Pérenniser les développements logiciels, permettant ainsi à quelqu un, démarrant son activité de recherche dans l équipe, de pouvoir s appuyer sur les travaux de recherches antérieurs réalisés dans sa thématique de recherche ; Fournir le même environnement logiciel pour le développement sur une station de travail et la simulation lourde sur une machine parallèle ou sur un réseau de machines hétérogènes ; Gérer la visualisation graphique en temps réel et interactive. J ai pris dès le début une part très active dans ce projet d équipe [76]. Je suis à l origine avec Alain Chauffaut des spécifications détaillées de la première version de cette plateforme intitulée GASP (acronyme de General Animation and Simulation Platform). J ai depuis participé au développement logiciel et au suivi scientifique des personnes travaillant sur la plate-forme. Après une phase de maturation de plusieurs années, nous sommes arrivés à stabiliser une version intitulée GASP V2.6 qui a servi de base à un certain nombre de travaux dans l équipe et qui a surtout permis la réalisation d applications dimensionnantes et ceci au sein de partenariats académiques et industriels. Cette version de la plate-forme nous a aussi permis de réaliser une application illustrant un certain nombre de nos travaux de recherche sur les acteurs autonomes : il s agit d un musée virtuel présenté depuis fin juin 2001 au sein de l exposition permanente sur l image de la Cité des Sciences et de l Industrie de la Villette. Afin de répondre à plusieurs demandes de mise à disposition tant en France qu à l étranger, et fort du retour d expérience de la version 2.6, nous avons décidé de mettre en chantier la version 3.0 avec pour objectifs : Amélioration des fonctionnalités ; Anglicisation de l API pour une diffusion internationale ; Documentation complète en ligne et hors ligne en anglais ; Diffusion en open source. Cette dernière version, rebaptisée OpenMASK 3 pour la circonstance, a été déposée à l APP, a fait l effet d un dépôt de marque et est disponible en open source, depuis février 2002, sur le site suivant : Un effort de communication important est réalisé pour présenter la plate-forme à la communauté internationale. Ce bref historique sur la plate-forme GASP/OpenMASK a pour objectif d expliquer le contexte dans lequel ont été réalisés mes travaux de recherches : il y a toujours en fil conducteur l évolution de la plate-forme et la réalisation au cours des années d un ensemble d outils prototypes produisant du code ou des données pour cette plate-forme. Nous avons aussi cherché à illustrer l état de l avancée collective de nos travaux de recherche à travers des applications dimensionnantes fédérant au fur et à mesure des années de plus en plus de résultats de recherche du projet. La volonté de placer cet environnement logiciel en Open Source a été motivée par la conviction qu un tel outil est aussi adapté à une communauté de chercheurs et industriels qui, soit sous la forme d utilisateurs, soit sous la forme de contributeurs, veulent participer à l émergence de cette nouvelle forme de développement. 3 Open Modular Multithreaded Animation and Simulation Kit Kernel

19 Acteurs autonomes dans des environnements informés et structurés Les acteurs virtuels autonomes Mon domaine de recherche au sein de l équipe concerne le développement de technologies permettant de concevoir des Acteurs Virtuels Autonomes, capables de jouer un rôle et d interagir entre eux sous le contrôle d un scénariste et d un metteur en scène virtuels. Ces acteurs sont dotés d une incarnation (squelette et enveloppe corporelle), de capacités de perception (principalement visuelle), de traitement de l information et de prise de décision (réaction et cognition) et d action (motricité, dialogue). Pour cela, plusieurs briques logicielles fonctionnent en étroite relation, notamment au sein de la plate-forme OpenMASK : 1. Au niveau le plus bas les acteurs se déplacent, utilisent des objets, interagissent entre eux et avec les éléments du décor. Il s agit de générer des modèles de mouvement à partir d analyses biomécaniques [174] et de captures de mouvements, et de coordonner de manière réaliste les différents mouvements possibles. C est la couche motrice. Une chaîne logicielle intitulée MKM a été développée par Stéphane Ménardais et Richard Kulpa afin de réaliser l animation d humanoïdes synthétiques à partir d animations par images clé, de capture de mouvement et de cinématique inverse. Une méthode automatisant le traitement des mouvements, issus d un système d acquisition opto-électronique Vicon, a été proposée, permettant ainsi de diminuer le temps de production [166]. Lors de l animation, en temps réel, il est possible d adapter chaque posture à l environnement et à la morphologie du personnage [168]. Ce travail est le résultat d une coopération entre notre équipe et le Laboratoire de Physiologie et Biomécanique de l Exercice Musculaire de l Université de Rennes 2. Une de ces applications concerne la simulation cinématique du tir au handball et l animation de joueurs de handball dans une expérience de réalité virtuelle avec de vrais gardiens de but [33]. 2. Au niveau intermédiaire les acteurs jouent la scène qui doit permettre l accomplissement de l action. Leur comportement, leur gestuelle, leur expression physique au sens large doivent être en adéquation avec l atmosphère, les dialogues, le décor... C est la couche théâtrale. Concernant le comportement des acteurs, nous avons proposé un formalisme pour les modéliser à base de systèmes de transition parallèles hiérarchiques (HPTS), et une manière d automatiser leur mélange en respect de leur importance relative. Pour illustrer la problématique, prenons un exemple concret : une personne lit tout en buvant un café et en fumant une cigarette. Cette phrase décrit un comportement relativement simple pour un être humain, cependant en terme d animation comportementale, il pose des problèmes. D une part, il est constitué de comportements indépendants qui se déroulent en simultané : lire, boire et fumer. Dans les modèles classiques, simuler ce type de comportement est relativement complexe : il faut pouvoir les agencer de manière à respecter un certain nombre de contraintes telles que ne pas boire le café tandis que l on avale la fumée. D autre part, il faut éviter de devoir réécrire un modèle spécifique pour la réalisation conjointe de comportements décrits séparément. Notre modèle permet de lancer et de laisser s agencer automatiquement les comportements en fonction des circonstances, des envies et des contraintes physiques de l acteur. Un modèle de sélection d action a aussi été proposé afin de déterminer l enchaînement des actions d un acteur au cours du temps. Le déplacement des personnages étant un des comportements les plus cou-

20 18 S. Donikian rants, les modèles de perception de l environnement, de planification de chemin et de navigation ont été particulièrement étudiés. Nous proposons aussi des modèles de mémoire et de carte cognitive spatiale, permettant de passer d une vision omnisciente du monde à une représentation partiale et individualisée. 3. Au niveau le plus haut, bénéficier des avantages de l autonomie des agents et du contrôle partiel de ceux-ci nécessite de définir la notion de chef d orchestre qui va suivre l évolution de l animation et influer sur celle-ci. Il détermine, par exemple, les rôles et les actions que doivent effectuer les acteurs, ainsi que le choix de la prise de vue à partir d un scénario. Ce dernier est interactif et doit notamment être capable de réagir aux actions humaines : c est la couche orchestrale. Un langage informatique a été proposé, permettant d écrire des scénarios interactifs pour la réalité virtuelle. Afin de tenter de reproduire le comportement humain 4, nous nous intéressons à la réalisation d outils de spécification et de simulation du comportement d entités dynamiques, autonomes mais néanmoins contrôlables, ainsi qu à la modélisation de l environnement dans lequel ces personnages vont évoluer. Pour le comportement individuel ou collectif, nous devons prendre en compte plusieurs niveaux d abstraction allant du niveau réactif continuellement connecté au système sensori-moteur à des niveaux proactifs plus symboliques en relation avec le système cognitif : il s agit de développer des systèmes hybrides. En ce qui concerne la modélisation de l environnement, il s agit de gérer non seulement les caractéristiques géométriques, mais aussi toutes les informations pertinentes pour les modèles comportementaux (nature topologique et sémantique de l environnement géométrique) Domaines d application Historiquement, le premier domaine d application a été celui de la simulation de trafic multimodal (voitures, piétons, transports en commun) en environnements urbains ou autoroutiers. Tout en continuant à appliquer nos travaux de recherche à ce domaine, nous avons cherché ces dernières années à ouvrir le champ applicatif à d autres secteurs comme les domaines du jeu vidéo, la formation et plus récemment l art numérique. Transport Le simulateur reproduisant finement le comportement du couple véhicule et conducteur en interaction avec son environnement est, à la fois, un outil d entraînement à la conduite de véhicules et un outil d étude et de recherche permettant une meilleure connaissance du système conducteur-véhicule-environnement. Les années quatre-vingt-dix ont vu une évolution très rapide des simulateurs haut de gamme dédiés à la recherche. La mobilisation sur le thème de la sécurité routière et les grands programmes de recherche sur les véhicules et l assistance à la conduite n ont fait qu accentuer le développement de tels moyens d essais. Ces simulateurs sont centrés sur un véhicule réel instrumenté dans lequel un conducteur va permettre de fermer la boucle de simulation en réagissant à chaque instant aux résultats du calcul qui lui seront rendus perceptibles. Pour ce faire, ces simulateurs sont composés 4 lors de tâches spécifiques au préalable bien étudiées par des psychologues, sociologues, ergonomes,...

21 Acteurs autonomes dans des environnements informés et structurés 19 de plusieurs sous-systèmes : dynamique du véhicule, retour d efforts aux commandes, restitution visuelle, sonore et du mouvement, modèle d environnement et de trafic. De tous ces sous-systèmes, le moins réaliste à l heure actuelle est le modèle d environnement et de trafic. Notre objectif était de pouvoir effectuer des simulations de conduite dans des environnements urbains réels et dotés d un trafic dense et multimodal (poids-lourds, voitures, deux-roues, piétons). Les différents constituants de telles simulations sont le modèle mécanique des moyens de locomotion, le modèle de comportement des conducteurs et le modèle du réseau routier. Art et science La fiction interactive est une extension de la fiction classique, en ce sens qu elle suppose une participation active du spectateur avec pour objectif d influencer le déroulement de l histoire. La fiction est, par essence, linéaire. Elle est une progression ordonnée d événements, dont le mouvement est toujours ordonné vers l avant, même si des flash-back ou des ellipses sont autorisés. Dans la fiction interactive, le spectateur n est pas passif comme dans les œuvres littéraires, cinématographiques, théâtrales ou chorégraphiques classiques, mais actif et peut ainsi influer sur l évolution de l histoire : il n y a pas une mais une infinité d histoires pouvant se dérouler sur la base de la trame définie par l auteur. Cela impose un niveau de complexité supplémentaire pour celui-ci, car il doit envisager l ensemble des hypothèses requises pour qu une action dramatique se produise et il doit aussi formuler l impact de celle-ci sur le déroulement de la suite de l histoire. Les moyens informatiques dont le scénariste dispose aujourd hui sont encore assez rudimentaires (essentiellement des outils de traitement de texte et de représentation graphique d un scénario décomposé en une arborescence de scènes) au regard de l évolution des techniques. L outil d aide à l écriture de fictions interactives, intitulé DraMachina, développé en partenariat avec la société Dæsign 5, contribue à corriger cette situation. La méthode d écriture que nous avons mise au point permet à l auteur, en plus de l écriture textuelle, de manipuler des objets logiques (tels que acteurs, rôles, unités dramatiques) ayant chacun une fonction bien précise dans le scénario. L art numérique comme les jeux vidéos est le résultat d un travail commun d artistes et de scientifiques. La difficulté de ce travail résulte dans l absence de langage commun. Il est nécessaire d établir des ponts à la fois entre personnes d univers différents et l outil informatique peut être un bon vecteur de communication. Nous sommes donc fortement intéressé par le développement d outils dédiés à la création artistique d œuvres numériques interactives pluridimensionnelles Conclusion Afin de montrer le chemin qu il reste à franchir pour atteindre la complexité du comportement humain, deux états de l art sont tout d abord présentés, dans les deux prochains chapitres, l un sur la psychologie du comportement et l autre sur la modélisation du comportement. Nous abordons ensuite, dans les chapitres suivants, les travaux qui ont été réalisés au sein du projet SIAMES, visant à réaliser un atelier de modélisation d acteurs vir- 5

22 20 S. Donikian tuels autonomes, allant jusqu à leur mise en situation à travers une plate-forme d animation/simulation et la réalisation d applications dimensionnantes.

23 Chapitre 2 Le comportement humain 2.1 Introduction Si l on s intéresse au comportement humain, il est nécessaire de s intéresser à un certain nombre de sujets tels que la compréhension des mécanismes sous-tendant les fonctionnements du langage (production et perception), de la mémoire, de la perception, du contrôle musculaire ou encore des émotions. En résumé, il faut s intéresser au fonctionnement des différentes facultés qui constituent ensemble l esprit humain, sans oublier leur relation avec le corps. En complément de l étude de ces mécanismes généraux sous-tendant tout comportement humain, des travaux portent aussi sur l étude des facultés humaines dans des circonstances beaucoup plus circonscrites telles que lors de l exercice d un métier ou d une activité comme, par exemple, la conduite automobile, activité partagée par un grand nombre de personnes. Il existe plusieurs courants en ce qui concerne l étude du comportement humain : le premier, très systémique, consiste à partir des travaux menés par les sciences neuronales et à regarder ainsi à l intérieur de l activité cérébrale de patients soumis à des stimuli divers, selon des protocoles opératoires bien définis. Les techniques utilisées sont l imagerie cérébrale : PET (Positron-Emission Tomography), fmri (Functional Magnetic Neuro Imaging) ou encore la mesure de l activité électrique : ERP (Event Related Potentials) [196] ; le second, plus symbolique, consiste à modéliser le comportement humain de manière plus abstraite sous la forme de modules, éventuellement structurés hiérarchiquement, décrivant chacun un mécanisme et des relations de séquencialité ou de parallélisme existant entre eux [26]. Nous avons été plus intéressé par la seconde approche, à la fois par sa vision plus macroscopique et par sa proximité d une architecture de type composants logiciels. En effet, notre problématique n est pas de reproduire l intelligence humaine mais de proposer une architecture permettant de modéliser des comportements crédibles d acteurs virtuels anthropomorphes évoluant en temps réel dans des mondes virtuels. Ces derniers peuvent représenter des situations particulières étudiées par des psychologues du comportement ou encore correspondre à un univers imaginaire décrit par un scénariste. L étude bibliographique que nous présentons montre la diversité, voire l antagonisme, des approches et l absence de modèles fédérateurs. Nous avons donc été amené à faire des choix, discutables et complètement personnels, quant à l assemblage de théories 21

24 22 S. Donikian et de modèles différents et incomplets. 2.2 L humain : un être en continuelle interaction avec son environnement La compréhension des comportements humains nécessite des compétences dans des domaines aussi variés que les neurosciences, la psychologie ou la biologie comportementale. Dans les théories sur les fonctions cérébrales et sur le comportement, deux types d approches peuvent être distinguées. La première que nous appelons approche symbolique cherche à décrire les processus mentaux sous la forme de symboles, de jugements et de mécanismes d inférence logique. La seconde, que nous dénommons approche systémique, se focalise plus sur des notions de transmission de signal dans des réseaux, de contrôle et de retour d état. Les deux approches ont des avantages différents : la première permet de s abstraire des processus biophysiques présents au sein du cerveau et de proposer une modélisation du comportement basée sur les compétences, tandis que la seconde approche plus proche des données neurophysiologiques sera plus adaptée à la modélisation des activités neuronales. Les deux approches peuvent être utilisées pour la modélisation de l ensemble des fonctions cérébrales. Nous allons essayer dans cette section de rendre compte d un certain nombre de résultats issus des travaux de recherche des psychologues du comportement, principalement au sein de l approche symbolique, dans le but de pouvoir définir ce que pourrait être un modèle crédible du comportement d humanoïdes synthétiques. Von Uexküll [262] a défini l environnement comme la partie du monde extérieur avec laquelle un organisme peut naturellement interagir. L organisme humain est en interaction constante avec son environnement par le biais de capteurs et d effecteurs, comme l illustre la figure 2.1 [153]. Il existe plusieurs types de retour des effecteurs vers les capteurs : 1. l homéostasie : boucle de régulation interne de l organisme correspondant au maintien des paramètres biologiques face aux variations du milieu ambiant ; 2. le comportement d acquisition : partie du comportement utilisée pour améliorer la perception ; 3. les interactions avec l environnement : boucle de retour la plus importante. Dans un premier temps, de façon simplificatrice et abstraite, considérons l être humain comme composé de capacités de perception, de traitement, d action et de mémorisation. Il s agit d une vision simplificatrice mais néanmoins illustrative de l architecture comportementale de l être humain. En effet, l être humain est de toute évidence doté d une part de capacités de perception extéroceptives, lui permettant d appréhender à travers ses cinq sens le monde extérieur et d autre part de capacités proprioceptives lui permettant d être à l écoute de son propre corps en prenant en compte des sensations telles que la faim, la soif, ou encore la fatigue. Il est aussi doté de capacités de décision en faisant appel aux données perçues mais aussi à ses connaissances et à ses facultés de raisonnement. Enfin, il est à même d agir sur lui-même et sur son environnement. H. Mallot [152] classifie les comportements humains en différents niveaux de complexité et en illustre quatre (cf figure 2.2) :

25 Acteurs autonomes dans des environnements informés et structurés 23 Unité de traitement Capteurs Homéostasie Effecteurs Comportement d acquisition Interaction avec l environnement Environnement FIG. 2.1 Les différentes boucles de rétro-action. Le premier niveau représente des comportements réflexes de type attraction, répulsion et peut être défini simplement par une interconnexion entre des capteurs et des effecteurs ; Le niveau suivant représente des comportements qui nécessitent une intégration interneuronale sur des couches cachées et qui permet de décrire des comportements de type manœuvre, nécessitant une intégration spatio-temporelle ; Le troisième niveau traite de la plasticité de l intégration spatio-temporelle, mais ce comportement d apprentissage reste complètement déterminé par l état des données sensorielles ; Le quatrième niveau, appelé cognitif, ne dépend plus seulement des stimuli sensoriels, mais aussi d un but courant poursuivi par la personne. En psychologie comportementale, les deux écoles les plus fréquemment référencées sont : l école américaine qui s intéresse aux processus cognitifs comme le raisonnement symbolique, et plus particulièrement aux représentations mentales qui leurs sont associées ; l école allemande qui étudie plus particulièrement la volonté et la formation de la volonté. D après H. Mallot [153], le mot cognition se réfère généralement à des processus mentaux variés tels que l attention, la reconnaissance des lieux et des objets, la planification et le raisonnement. Traditionnellement, l étude de ces processus se fait en se focalisant sur les états mentaux et leurs représentations plutôt que sur des critères comportementaux. H. Mallot constate que la plupart des fonctions cérébrales servent à organiser le comportement d un organisme vis-à-vis de son environnement. À partir de ce constat, il définit une théorie de la cognition qu il nomme théorie de la cognition orientée comportement. Cette théorie diffère de l approche purement biologique de stimulus-réponse parce qu elle reconnaît l existence de représentations mentales. Cette théorie tente de répondre aux deux questions suivantes : 1. Quels sont le mécanisme et la représentation les plus simples requis pour expliquer un comportement observé?

26 24 S. Donikian FIG. 2.2 Les quatre niveaux de complexité dans les comportements selon Mallot [152]. 2. Quel est le comportement le plus simple qui requiert un type donné de représentation mentale? Le comportement qui repose sur les représentations mentales est très proche des vues classiques de neuro-éthologie développées pour des comportements simples. Cependant il a été montré que des comportements apparemment complexes comme la navigation ou l orientation visuelle peuvent s expliquer de façon simple en termes de stimulus-réponse, ce qui souligne l importance de la première question. 2.3 La théorie du contrôle La théorie du contrôle provient directement des biologistes qui ont étudié les comportements des êtres vivants dans des situations d asservissement. Les notions de régulation et de contrôle proviennent de celles développées dans les théories proposées par l automatique. Le concept de base en est l asservissement qui signifie que lorsque le comportement (i.e. la sortie) d un système (ici d un organisme) est quelque peu différent de celui (i.e. celle) désiré, le système (ici l organisme) va modifier l action (i.e. l entrée), déclenchant ce comportement (i.e. la sortie), via un système de contre-réaction de la sortie sur l entrée,

27 Acteurs autonomes dans des environnements informés et structurés 25 de manière à minimiser cet écart. D une manière plus générale, l existence d une boucle de rétroaction de la sortie du système sur son entrée permet, dans certaines conditions bien étudiées dans le cas de systèmes artificiels traités par l automatique, le contrôle et la régulation des comportements de ce système. La théorie du contrôle en psychologie comportementale, telle que la décrivent R. Lord et P. Levy [145] reprend le principe des boucles de rétro-action, tout en l étendant à l ensemble des processus comportementaux de la tâche d asservissement à la régulation des comportements sociaux. Pour Lord et Levy, la généricité des boucles de rétro-action pour la description du comportement provient de la nature hiérarchique des systèmes de contrôle, même si la nature des activités de contrôle peut être très différente en fonction des niveaux : par exemple, au niveau le plus haut, on traitera de planification d action, tandis qu au niveau le plus bas, il s agira, par exemple, d une boucle d asservissement d un muscle ou d un ensemble de muscles. Le point commun entre tous ces niveaux réside dans la comparaison entre un état perçu et un état attendu et dans le maintien de l erreur dans des limites acceptables. L organisation hiérarchique des systèmes de contrôle de l organisme comprend différents niveaux. Il existe beaucoup de travaux sur l identification de ces niveaux [145, 199]. Dans l ensemble, ils donnent une classification à deux axes : l abscisse donne le niveau de complexité, tandis que l ordonnée représente l unité de temps. Par exemple, Frese et Zapf [93] ont proposé un modèle hiérarchique impliquant quatre niveaux de régulation : heuristique, intellectuel, motif d actions flexibles et sensorimoteur. Dans Unified theories of cognition, A. Newell [178] présente un résumé de ces travaux en regroupant certains niveaux de la hiérarchie en domaines (biologique, cognitif, rationnel et social). Il affirme que l architecture cognitive humaine est constituée d une hiérarchie de systèmes de contrôle stables et bien que ces niveaux soient liés par transport d information, ils opèrent indépendamment les uns des autres, sans avoir de connaissances détaillées sur le fonctionnement interne des autres niveaux (cf figure 2.3). La décomposition proposée par A. Newell est intéressante puisqu elle fournit à la fois les niveaux de complexité du comportement et les échelles de temps nécessaires à chaque processus. FIG. 2.3 La nature hiérarchique des activités de contrôle.