Chapitre 10 INTRODUCTION À L ANIMATION DU VISAGE Olivier Vaillancourt, Olivier Godin Université de Sherbrooke
PLAN DU CHAPITRE Structure anatomique du visage Modèles de représentation du visage É FACS É Points caractéristiques P. Ekman, W. Friesen, Facial Action Coding System, 1978 Animation du visage É Par modèle paramétrique É Par combinaison de formes É Par simulation du modèle musculaire Animation du visage et parole Ron Fedwik, 2007 2
STRUCTURE ANATOMIQUE DU VISAGE Le visage est une des composantes anatomiques les plus caractéristique de notre corps. D un point de vu d animation, les structures qui nous intéressent principalement sont les articulations et les muscles car ce sont ces derniers qui caractérisent le mouvement. Globalement, le visage est constitué de 2 articulations rigides et de 98 muscles. Afin de simplifier l animation du visage, les animateurs simplifient habituellement l anatomie. 3
STRUCTURE ANATOMIQUE DU VISAGE Les deux articulations rigides sont les suivantes: É Articulation de la mâchoire É Articulation du socle oculaire Au niveau des muscles, la tendance est de simplifier leur représentation en représentant leur effet sur la peau plutôt que de les modéliser individuellement. Ces effets sont séparés selon les régions motrices du visage. Gray s Anatomy, 32e edition Gray s Anatomy, 32e edition Gray s Anatomy, 35e edition 4
MODÈLES DE REPRÉSENTATION DU VISAGE Système d encodage d actions faciales FACS (Facial Action Coding System) Élaboré par Ekman et Friesen (1978), ce système décompose les différentes expression faciales en une série de mouvements faciaux de base. Ces mouvement faciaux sont appellés unités d action (action units). Afin de trouver les différentes unités d action du visage, Ekman et Frisen se sont basé sur une configuration par défaut du visage et ont observé les différents mouvements musculaires possibles à partir de cette configuration. 5
MODÈLES DE REPRÉSENTATION DU VISAGE Il existe en tout 46 unités d action différentes observées cliniquement qui fournissent une base pour construire un système d animation faciale. Les unités d actions sont en quelque sorte des primitives pour construire des expressions complexes. Il est donc possible de combiner plusieurs unités d action pour former une expression. Ekman, Friesen, 1978 6
MODÈLES DE REPRÉSENTATION DU VISAGE Pour terminer, notons que les unités d action FACS couvrent la totalité du visage et constituent parfois de réelles actions. (Par exemple, l unité 18 qui est sortir la langue.) Les différentes unités d actions possèdent aussi certaines règles qui dictent des exclusions entre les combinaisons qui sont impossibles. On note une exclusion avec le symbole @. É Par exemple, (45@46), 45 étant cligner d un oeil et 46 étant fermer les deux yeux. Une unité d action n est finalement pas parfaitement définie. Pour gérer les subtiles différences qui peuvent entourer une unité action, on marque les différentes variantes avec des lettres. (6A, 5B, etc.) Une description de chaque lettre est fournie dans le manuel de FACS. 7
MODÈLES DE REPRÉSENTATION DU VISAGE FACS et l animation É Il faut noter que les unités d action FACS servent à décrire une expression statique du visage. É Il n existe pas de lien logique ou progressif entre les différentes unités d action. Il n y a donc pas de façon simple d effectuer une transition efficace entre deux expressions simplement en se basant sur FACS. É FACS est donc un excellent point de départ pour modéliser une expression faciale en animation mais n a pas été conçu pour l animation du visage en soit. 8
MODÈLES DE REPRÉSENTATION DU VISAGE Représentation par points caractéristiques. La représentation par points caractéristiques vise à décrire le visage en quantifiant, à l aide de paramètres, la position ou la configuration de points significatifs sur celui-ci. Parmi les approches par points caractéristiques, on considère habituellement les suivantes: É Modèle de Parke (1972) É Points caractéristiques du standard MPEG-4 9
MODÈLES DE REPRÉSENTATION DU VISAGE Modèle de Parke Le modèle décrit le visage de deux points de vu. É Point de vu conformationnel. (Soit la forme du visage en soit, qui permet de différencer une personne d une autre.) É Point de vu expressif (Permet de définir les expressions du visage.) 10
MODÈLES DE REPRÉSENTATION DU VISAGE Modèle de Parke Les paramètres (au nombre de 22) pour définir le visage d un point de vu conformationnel sont: É Paramètres de physiologie : Ð Front, os de la joue, joue, menton, cou É Paramètres de translation : Ð Menton (x,z), bout du nez (x,z),sourcils (z) É Paramètres de dimensions/distance : Ð Taille de la tête (x,y,z), distance menton/bouche, distance mentons/yeux, distance yeux/front, yeux (x,y), largeur de la machoire, largeur des joues, largeur de l arcade nasale, largeur des narines. 11
MODÈLES DE REPRÉSENTATION DU VISAGE Points caractéristiques MPEG-4 É Le standard MPEG-4 propose différents outils pour l encodage de scènes multimédias. Parmi ces outils, on compte les outils de définition de paramètres faciaux (FDPs) servant principalement à l animation faciale dans le cadre de la vidéo conférence. É Le standard MPEG-4 contient 68 paramètres d animation faciale (FAPs). É De façon générale, les paramètres d animation faciale caractérisent des transformations marquées du visages. Par exemple la rotation de la tête, des globes oculaires, de la machoires, etc. É Certains paramètres plus précis servent quant à eux à décrire la translation de certains points caractéristiques du visage par rapport à un visage sans expression dit neutre. 12
MODÈLES DE REPRÉSENTATION DU VISAGE Le modèle MPEG-4 est représenté dans l illustration suivante: Parent, R. : Computer Animation : Algorithms and techniques, 1 st edition, Morgan Kaufmann, 2002, p.346 13
CRÉATION DU MODÈLE 3D DU VISAGE Avant de poursuivre, notons que la méthode de création du modèle 3D du visage varie selon les objectifs de l application. Pour des animations moins réalistes, un modèle de visage simplifié sera habituellement utilisé, ce dernier possédant seulement les articulations principales (machoires/yeux). Le visage sera habituellement modélisé manuellement par un artiste. Dans le cadre d animations plus réalistes,on utilise souvent des scans 3D du visage qui sont ensuite nettoyés par un artiste. Certaines méthodes ont aussi été développées pour construire des visages à partir de photographies 2D prises sous divers angles de vue. (Parke, Waters, Computer facial animation 1996) 14
ANIMATION DU VISAGE L animation du visage est un type d animation particulièrement difficile à réaliser car les différents mouvements et expressions qu elle implique sont intuitivement connus de l être humain, qui est donc plus critique à cet égard. On note trois méthodes employées dans l animation du visage: É Méthode paramétrique É Méthode par combinaison de formes É Méthode par simulation du modèle musculaire 15
ANIMATION DU VISAGE Méthode paramétrique Comme nous l avons vu précédemment, la forme et l expression d un visage peut être décrite à l aide d une série de paramètres servant à situer les différents points caractéristiques du visage. Animer un visage défini par plusieurs paramètres revient à faire varier la valeur des dits paramètres dans le temps. Par exemple, il est possible de prendre le modèle de Parke et de faire varier les paramètres qui définissent la hauteur des coins de la bouche pour faire passer un personnage d une expression neutre à un sourire. 16
ANIMATION DU VISAGE L important pour ce type d animation du visage est de respecter certains principes généraux qui garantiront un contrôle suffisant pour animer correctement le visage: É Éviter d avoir des paramètres qui ont des effets trop diversifiés. (Par exemple, la hauteur du menton ne devrait pas (ou peu) modifier l expression de la bouche.) É Éviter d avoir un nombre de paramètres trop élevé. (Un modèle trop complexe avec des paramètres trop isolés ne permet pas d animer suffisamment rapidement pour que le gain de précision soit un avantage réel.) É S assurer que l espace de valeurs possibles des paramètres permet de couvrir toutes les formes et expression possibles. 17
ANIMATION DU VISAGE Méthode par combinaison de formes La méthode par combinaison de formes consiste à modéliser plusieurs versions d un même visage, chaque version ayant une expression extrême du visage. Puisque chaque expression est issue du même modèle, on peut combiner, au prorata d un certain poids, les différentes versions du visage. En modifiant graduellement les poids,on peut passer d un visage ayant une expression à un visage en ayant une autre. Cette méthode s apparente très fortement aux méthodes de métamorphose de formes par topologies correspondantes vues au chapitre 5. Notons qu il est aussi possible d utiliser la même méthodes mais avec des parties du visage plutôt que des visages complets. Maya blog:3d, 2009 Andrew Cledenen, 2009 18
ANIMATION DU VISAGE Méthode par simulation du modèle musculaire Comme son nom l indique, cette méthode consiste à simuler le modèle musculaire du corps humain et d y associer la peau qui sera déformée par le mouvement des muscles. Le tout revient donc à modéliser un faux système musculaire sous le modèle 3D et d associer le muscle au modèle 3D avec des méthodes de skinning (la peau par exemple). Cette méthode s apparente beaucoup aux méthodes de skinning étudiées au chapitre 4, le skinning entre un muscle et le modèle 3D étant très similaire à celui entre un squelette et le modèle 3D. 19
ANIMATION DU VISAGE Pour bien simuler la déformation de la peau par rapport au muscle, on tente habituellement de fournir des points d attache entre la peau et le muscle qui correspondent à la réalité. Pour la représentation de la peau en soit, la méthode la plus courante consiste à construire un maillage de masses-ressorts. La déformation appliquée à une partie de la peau étant ainsi propagée sur le reste du réseau, simulant l étirement. De façon analogue, on modélise parfois les muscles selon un réseau de masses-ressorts-amortisseurs. Notons cependant que ce type de représentation est relativement lourd et qu il crée parfois des rebondissements dû à l effet combiné des ressorts. 20
ANIMATION DU VISAGE Pour terminer, observons une représentation d un tel modèle, tel que suggéré par Arun Somasundaram (2006) Somasundaram, 2006 21
ANIMATION DU VISAGE Avant de poursuivre, notons que des méthodes d animation du visages moins complexes sont aussi très populaires. Ces dernières ne seront pas vues en détails car elles ont déjà été couvertes indirectement dans le cours ou ne sont simplement pas de l animation 3D. On compte notamment É Utilisation d un squelette d animation standard où le skinning est effectué sur le visage. É Utilisation d une texture 2D animée plaquée sur le modèle 3D du visage. 22
ANIMATION DU VISAGE ET PAROLE L animation du visage dans le cadre de la parole est un problème à part entière. Sans élaborer sur le sujet de la parole (cours IMN317), rappellons simplement que les enjeux principaux dans l animation de la parole sont: É La synchronisation entre le son et le mouvement de la bouche. É Associer le bon phonème au son. (En animation on anime chaque phonème individuellement puis on les combines.) É Tenir compte de la coarticulation (Comment la bouche se transforme pour effectuer la transition d un phonème à l autre.) É Tenir compte de la prodosie. (Comment la bouche/langue modifie la production du son en fonction de l émotion, de l accent, etc.) 23
ANIMATION DU VISAGE EN PRATIQUE La très grande majorité de l animation du visage est effectuée au cinéma ou à la télévision. Le temps de rendu n étant pas limité, des simulations réalistes et précise d un visage animé peuvent être effectuée. (Utilisation de modèles musculaires faciaux complexes.) Ratatouille, Pixar, 2007 L animation du visage commence à faire son apparition dans l industrie du jeu vidéo. Notons que contrairement aux méthodes vues précédemment, la majeure partie de l animation de visage dans le jeu vidéo s effectue à l aide de squelettes d animation standards tel que vu au chapitre 4. Team Fortress 2, Valve Software, 2007 24
RÉFÉRENCES Parent,Rick : Computer Animation, Algorithms and techniques, 2nd edition, Morgan Kaufmann, 2007 (pp.,369-392) P. Ekman et W. Friesen, Facial Animation Coding System, Consulting Psychologist Press, Palo Alto, Californie, 1978. FAP specifications, http://www-dsp.com.dist.unige.it/~pok/research/mpegfapspec.htm, Janvier 2001 F. Parke, Computer-Generated Animation of Faces, Proceedings of the ACM annual conference (août 1972) F. Parke, A parametric Model for Human Faces, Ph.D. Dissertation, Université de l UTAH, 1974. A. Somasundaram, A Facial Animation Model for Expressive Audio-visual speech, Ph.D. Dissertation, Université d état de l Ohio, 2006. 25