L humain virtuel à l IRISA Stéphane Donikian donikian@irisa.fr
L IRISA Unité Mixte de Recherche (~470 personnes) : personnels de l unité de recherche INRIA de Rennes chercheurs et ITA CNRS enseignants-chercheurs en informatique de l Université de Rennes I enseignants-chercheurs en informatique de l INSA
Le Projet SIAMES S I A M E S Synthèse d Images Animation Modélisation Et Simulation 30 personnes : Professeurs, chercheurs, doctorants, post-docs et ingénieurs Responsable : Pr. Bruno Arnaldi bruno.arnaldi@irisa.fr
Qu est-ce qu un Acteur Virtuel Autonome? Géométrie Corps rigide articulé Corps déformable Contrôle du mouvement Images clés Cinématique directe et inverse Dynamique Comportement Réactif Cognitif Rationnel Social
Intégration logicielle Les travaux sur les humains virtuels autonomes nécessite des architectures complexes Il faut faire coopérer plusieurs types de fonctionnalités au sein d une même application
Open Modular Animation and Simulation Kit (Open Multi-threaded Animation and Simulation Kernel) Version Open source de GASP, la plate-forme développée dans notre équipe depuis 1994. Plate-forme pour le développement et l exécution d applications modulaires. http://www.openmask.org
Une chaîne logicielle VUEMS Etat du monde Acteur OpenMASK S P D A SLURGH Génération de code HPTS Génération d un squelette articulé bibliothèque de mouvements GFMC
Traitements et mélanges de mouvements acquis pour l animation d humanoïdes
Une fabrique de mouvements [Menardais03] Capture de mouvement Visualisation Traitement Motion Reconstruction Morphological Adaptation Motion Encoding Base de données Animation Motion Blending Real time Synchronization Adaptation to environment Spécification Utilisation
Animation (cf présentation de R. Kulpa) Synchronisation temps-réel Adaptation morphologique temps-réel Nouvel algorithme de mélange Adaptation à l environnement Utilisateur Visualisation Adaptation aux contraintes principales Synchronisation Actions Posture Mélange Mélange Mélange Adaptation aux contraintes secondaires
Modélisation du comportement humain
Animation comportementale Agent autonome perçoit décide agit
Types de comportements [Mallot99]
Théorie du contrôle Boucle de rétroaction (automatique) Nature hiérarchique du système de contrôle de l organisme [Lord &Levy 94] Décomposition en plusieurs niveaux Différentes échelles de temps 1 sem 10 min. 1 s 1 ms cognitif biologique rationnel social
Vision structurelle Stimuli Actions Système de perception social rationnel cognitif Système d action Biomécanique ou physique réactif
Perception endogène [Courty02] Utilisation des cartes de saillance [Itti98]
De la perception à la décision décision1 perception décision2 perception1 décision1 décision3 perception2 décision2 perception1 fusion perception3 décision3 perception2 décision perception3
Mécanisme de sélection de l action Mécanisme de coordination décision1 décision2 décision3 coopératif Σ, Π, min, max, moyenne, seuillage action Choix d une décision parmi les trois compétitif
HPTS [Donikian95, Moreau98, Donikian01] Hiérarchie d automates parallèles : paramétrables gestion du temps et des fréquences flot de données et événementiels gestion du parallélisme et de la concurrence mécanisme de préemption modèle dynamique non déterminisme In Agent Events Out In Events Out Agent CP In... Agent Events Out CP CP
Perception / Décision / Action Objet à voler individus à éviter voler la sculpture sans me faire voir
Comportement collectif
Approche coopérative [Lamarche01,02] Resources Eyes Behaviour 1 Behaviour n Automatic scheduling Priority function 1 Priority function n Priority Mouth Left hand Time Right hand Legs Internal state Environment
Fonctionnalités Spécifier les ressources utilisées par chaque comportement Mécanisme de priorité dynamique, lié aux intentions Ordonnancement d actions Boire, lire et fumer
Peupler les environnements virtuels
Environnement informé Un humanoïde de synthèse n est rien sans l environnement dans lequel il peut évoluer Nécessité d informer le modèle géométrique de la scène Donner du sens aux objets Panneau de signalisation Sens interdit
Théorie de la perception visuelle Théorie : de Gibson sur les affordances [Gibson79] percevoir ce qu un objet fournit comme comportements possibles à l individu se focalise sur la nature de l observateur plutôt que sur celle de l observé Exploitation en animation : Visual Perception System [Widyanto91] Affordances spatiales [Thomas00]
Le piéton synthétique Modèle bio-mécanique [Multon98] Utilisation de la base de données urbaine [Donikian & Thomas 99] Suivi de voie et règles sociales [Lee&Watson 92] Ovale de Sécurité [Goffman71] Affordances spatiales positives et négatives [Relieu98] Discrimination urbaine pour l attention visuelle (Perception endogène) [Relieu97] Traversée de rue [Wagner 81, Firth 82] 50% 50%
La notion de point de vue Distinction entre la position de l agent dans l espace celle qu il suppose avoir dans sa propre représentation de l espace. Notion de carte mentale ou cognitive [Hochmair00]
Modèle de mémoire
Carte Cognitive Gestion de deux structures complémentaires IHT-Graph: filtre sur la base de données Graphe de «Landmarks» Trois niveaux
Evolution de la carte cognitive Mécanismes de rappel, de renforcement et d oubli
Scénariser les mondes virtuels
Introduction It turns out that it is at least as difficult to control an intelligent autonomous agent as it is to control a real actor. They don t necessarily do what you want them to do. So tools for choreography are just as important as anything else. Jon Labrie, CTO at WETA responsable animation pour le film «Lord of the Ring»
Langages de scénario Reprendre partiellement le contrôle sur les acteurs autonomes [Perlin96, Badler97] Contrôler l interaction de l utilisateur [Kearney97] Créer et reproduire des situations [Donikian99] Langage de spécification de haut niveau [Devillers01] gain de temps contrôle de cohérence génération de code
De l outil auteur au langage informatique Interactive Drama Authoring Tool (Natural Language + Narrative Structure) DraMachina [Donikian03] XML Analysis & Synthesis Process (to be done) Internal Scenario Language SLuHrG [Devillers01,03] 3D Informed Environment [Donikian97, Thomas00] Character Specification
Architecture globale du gestionnaire de scénario [Devillers01] events start, Scheduler ended, Simulation Observation triggers and sensing functions function call Scenarios requests results events Actors Manager action request action termination C o m m u n i c a t i o n
Compilation Sluhrg code Sluhrg Compiler HPTS code gecomp Scenario module = Classes for GASP for Sluhrg C++ Sluhrg C++ gecomp for HPTS Already compiled Already compiled C++ compiler Already compiled Lib. GASP Lib. Sluhrg Lib. / scenario Lib. HPTS
The end Illustration 3 2 4 1 2 3 4 5 6 4 5 6
Fiction Interactive [Courty2002] Parallèle Points de vue Externe Choisi Interne
Partenariats académiques et industriels sur l humain virtuel
ATIP Jeunes chercheurs «Évaluer les aptitudes locomotrices des Hominidés fossiles. Modélisation et simulation 3D de la bipédie de Lucy, Australopithecus afarensis» Laboratoires impliqués Laboratoire de Dynamique de l'évolution Humaine : Individus, Populations, Espèces, UPR 2147, Paris Laboratoire de Physiologie et Biomécanique de l'exercice Musculaire, Université de Rennes 2 Laboratoire d'anthropologie des Populations du Passé UMR 5809, Bordeaux SIAMES/IRISA UMR 6074
Travaux en cours Objectifs Proposition d un outil de validation d hypothèses de marches Contexte Anthropologie Modèle et simulation de marche humaine
Approche : adaptation de mouvement Capture de mouvements Adaptation morphologique : Influence géométrique Influence de la posture Méthode : Construction du squelette Choix du mouvement le plus proche Construction du mouvement adapté
Résultats Le modèle de squelette Poulaine : cheville par rapport à la hanche (DEA Nicolas Pronost : poursuite en thèse)
Projet RIAM AVA Motion juillet 2002 juin 2004 Objectif : réalisation d un humanoïde virtuel : doué de mouvements coordonnables et paramétrables capable de planifier ses mouvements dans l espace extensible Partenaires :
Architecture A P I D A E S I G N Comportements IRISA Objets réactifs DAESIGN Squelette + Scène DAESIGN Mouvements IRISA + RII Planification de chemins Kineo Cam
Conclusion Complexité due à la nécessité de développer des environnements et des modèles complets Un nécessaire travail pluridisciplinaire Avoir une approche outils dédiés : l outil doit s adapter à l utilisateur surtout lorsqu il n est pas informaticien