HUMAN ACTION MODELING AND RECOGNITION FOR VIRTUAL ENVIRONMENTS

Transcription

1 HUMAN ACTION MODELING AND RECOGNITION FOR VIRTUAL ENVIRONMENTS POUR L'OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES PAR Luc EMERING lngenieur informaticien diplôme EPF de nationalité luxembourgeoise acceptee sur proposition du jury: Prof. D. Thalmann, directeur de thèse Prof. M. Bergarnasco, rapporteur Dr R. Boulic, rapporteur Prof. P. Coiffet, rapporteur Dr D. Floreano, rapporteur Prof. M. Kunt, rapporteur Lausanne, EPFL 1999

2 Abstract The goals of this work are the modeling and recognition of human actions for synthetic actors, basically humanoids. Combining both components allows exploring new communication channels between virtual and real worlds. Concerning the action modeling, we present a motion ititegratiot~fiamew~ork that permits the mixing and blending of heterogeneous motion generators issued from various animation techniques such as key-framing, motion capture, prtxedural, dynamics, heuristics based, sensor based and inverse kinematics. It is an Agetzt and Actionoriented framework providing real-tirne character animation. Activity properties such as action simultaneity and blending, automatic initialisation, motion-flow update schemes, agent attachments, and spatial coherence corrections, are treated in details. Conceming the action recognition, we developed an hierarchical model of human actions. An action is a posture, a gesture, constraints or a combination of thern. In order to achieve real-time performance of the action recognition we distinguish three layers of data: center of mass, end effectors and skeleton joints. By the means of a motion tracker system, the live participant is projected into the virtual environment. The autonomous inhabitants of the virtual environment use action recognition for analyzing the performer's actions and react through body expressions implemented with the motion-integration framework.

3 Version abrégée Les buis de ce travail de recherche sont la modélisation et la reconnaissance d'actions humaines pour des acteurs de syiiilièse. en particulier pour des humains virtuels. La combinaison de ces deux composantes permet d'explorer de riouvclles voies de communication entre le monde réel et des mondes virtuels. Eii cc qui concerne la modélisation d'actions, nous présentons un système d'intégration de mouvements qui pcniict tle niélanger et de fusionner des moteurs d'animation issus de diverses techniques d'animation telles que I'iriierpol;iiiori de postures clefs, la capture de mouvement, l'animation procédurale, la cinématique inverse et I'uiiirii;iiioii basée sur la dynamique, des heuristiques etlou des senseurs. Le système introduit le concept d'agetzts ei tl':\c~rioir.\. Il est optimisé pour I'animation en temps réel d'acteurs de synthèse. Nous traitons les car;icit.rihtiques de l'activité humaine telles que la simultanéité, le mélange et I'initialisation automatique tl'nciioii\. le flux de mise à jour des modèles de squelettes, les liens entre agents et la cohérence spatiale du iiiouvcnierit. ri ce qui concerne la reconnaissance d'actions, nous présentons un modèle hiérarchique de description d'actions Iiuiiiaiiich. Une action est une posture, un geste, une contrainte ou encore une combinaison de ces composantes. D;iiih le but de respecter des contraintes de temps réel, la reconnaissance d'actions exploite trois niveaux de donii6es: le centre de masse, les effecteurs et les degrés de libertés du modèle de squelette. A l'aide d'un système de capture de mouvement, le participant est intégré dans l'environnement virtuel. Les agents autonomes de l'environnent vinuel utilisent la reconnaissance d'action pour analyser l'activité du participant réel. Leurs coiiiporternents et réactions sont réalisés à l'aide du système d'intégration de mouvements.

4 Contents Acknowledgment... 5 Abstract... 7 Version abrégée... 9 Contents Introduction lMotivation Contribution Document Structure List of Abbreviutions Virtual Reality peripherals Body motion capture Hand Motion Capture Virtual Reality Display system Manipulation Device State of the Art Animated environments IMPROV JACK Humarz Athletics L-systems Humun motion capture Interactive Environments ALIVE Virtuul PAT Conversutionul Charucters Conclusion... 30

5 Animation Framework Virtual Humans Agents. Activity. Perception Human Models Global Structure Actiona Scope Priority modes Local Datahase Mixing Blended Mode Transitions Motion Flow Schemes Agent Attachment Spatial Coherence A utomatic parameter determination Floor-contact enforcement Action sequencing artefact IIActioncloning Conclusion Action Synthesis Body-posture actions Re-initializing (SA- RESET) Key-fr-aming (SA-KEYFRAME) Body-gesture actions Positioning (SA-SPIN) Walking (SA- WALK) lmitating (SA-IMITATE) Breathing (SABREATHE) Looking (SA- LOOK I Falling (SA- FALL) End-effector actions... 79

6 5.3.1 In~~erse Kinematics (SA-INVKIN) Reaching (SA- REACH) Object inter-actions.., Object Grasping (SA-GRASP) Multi-Agent Object Grasping (SA- MGRASP) Carrying (SA- PASTE) Real-time motion capture Human motion capture (SA- HMC) Hand motion capture (SA- GLOVE) External provider actions Motion-import (SA-VLNET) Conclusion Action Analysis Motivation Application Fields PreviousWork Recognition mode Recognizahle Actions Relevant Recognition Data Action Primitives Action Database ActionRecognition Recognition algorithms Recognition Conclusion Implementation Libraries Animation Testbed Conclusion Facial Expressions 125

7 8.2 Perceptions Real-time Shadows Object Flattening Object projection Results Conclusion Case Studies Guided Walk4hrough Meet Mary at the virtual shop No Smoking, please Interactive fighting Interactivedancing Discussion Event 1 Action associations Reulistic behavior Need of Head Mounted Displuy (HMD) Time Systern setup Feedbuck Y. 6.7 User- Sensitiidy to details References Matrix and vector conventions Articulated chain modelling Joint DOF to Matrix transformation Color Illustrations Curriculum Vitae