ESTIMATION DENSE DU MOUVEMENT EN IMAGERIE FLUIDE

ESTIMATION DENSE DU MOUVEMENT EN IMAGERIE FLUIDE T. CORPETTI, E. MEMIN, P. PEREZ IRISA/Université de Rennes I Microsoft Research Campus universitaire de Beaulieu St George House, 1 Guildhall Stree t 35042 Rennes Cedex, France Cambridge, CB2 3NH, UK e-mail: tcorpett,memin @irisa.fr pperez@microsoft.com Tel : 33-2.99.84.73.59 Tel : 44-0.1223.724.818 http://www.irisa.fr/vista/ http://research.microsoft.com/users/pperez/ Résumé Nous traitons dans cet article le problème de l estimation et de l analyse du mouvement dans le cas de séquences d images représentant des phénomènes fluides. Dans ce contexte, la luminance des images fait parfois apparaˆıtre de fortes distorsions spatiales et temporelles, rendant délicate l utilisation de techniques standard issues de la Vision par Ordinateur, originalement conçues pour des mouvements rigides et reposant sur une hypothèse d invariance de la fonction de luminance. Dans cette étude, nous proposons un estimateur de mouvement modélisé au moyen d une formulation énergétique et spécialement dédié à l estimation de mouvement fluide. La fonctionnelle considérée est composée d un terme d attache aux données original issu de l équation de continuité de la mécanique des fluides. Ce nouveau modèle de données est associé à une régularisation de type Div-Curl. Les performances de cet estimateur sont expérimentalement démontrées sur des images synthétiques et réelles (météorologiques). 1. Introduction Dans un grand nombre de domaines, l analyse de séquences d images représentant des phénomènes dynamiques de nature fluide est d une importance capitale. Ainsi, dans le cas de sciences environnementales telle que l océanographie [1], la météorologie [2, 3, 4, 5] et la climatologie [6], l analyse des différentes sources d images satellitaires permet de caractériser la manière dont évolue l océan ou l atmosphère, en terme de température et de courant par exemple. Dans le domaine de la mécanique des fluides expérimentale, les expériences aéro et hydrodynamiques produisent une grande quantité de données vidéo dont l analyse permet une meilleure visualisation de certains types d écoulements fluides [7, 8, 9, 10]. L analyse du mouvement des séquences mettant en jeu des phénomènes fluides est particulièrement délicate, en raison des grandes distorsions spatiales et temporelles de la fonction de luminance, et dans ce contexte, les techniques standard issues de la vision par ordinateur sont mal adaptées. La conception de méthodes alternatives dédiées aux mouvements fluides constitue dès lors un vaste et riche domaine d investigation. Notre travail est une contribution dans cette direction, en proposant ici un estimateur dense de mouvement dédié aux séquences d images impliquant des phénomènes fluides. Après avoir présenté brièvement le principe des méthodes standards d estimation de mouvement, nous définissons, en premier lieu, un terme d attache aux données qui ne s appuie plus sur une hypothèse de conservation de la luminance entre deux instants, mais sur l équation de continuité de la mécanique des fluides. En second lieu, pour appréhender les zones de fortes concentrations de divergence ou de vorticité, qui sont incompatibles avec une régularisation standard du premier ordre, nous introduisons un nouveau terme de régularisation de type Div-Curl. 1.1. Estimateur de mouvement générique Les techniques usuelles d estimation de champs denses de mouvement les plus génériques en terme d application (i.e. n imposant aucune contrainte stricte sur le mouvement observé) et en terme de précision s appuient en général sur un modèle proposé par Horn et Schunck en 1981

# # [11]. Ces techniques reposent sur la minimisation d une fonction d énergie composée de deux termes. Le premier traduit l invarience photométrique d un point le long de sa trajectoire, et conduit à une équation usuellement connue sous le nom d ÉQUATION DE CONTRAINTE DU MOUVEMENT APPARENT (ECMA). Le respect de cette contrainte en tout point est exprimé comme la minimisation globale de: "!$# %&, (1) où est l opérateur de gradient spatial, %' ( la vitesse inconnue au point et à l instant, % ( est la luminance de l image, et ) son domaine de définition. La fonction est une norme robuste permettant d atténuer l influence des points où le modèle de données n est pas défini. Le second terme est usuellement constitué d un lissage au premier ordre de la solution. Ce terme encourage une continuité spatiale du champ des vecteurs vitesses. Il pénalise l apparition de gradients spatiaux trop importants: % *,+ -. /(01 ' 2/, (2) où +4365 est un paramètre contrôlant l importance relative du terme de régularisation par rapport au terme d observation. La fonction robuste permet ici de considérer de façon implicite les discontinuités spatiales du champ des vitesses [12]. La fonction d énergie globale à minimiser % 7 est alors : % 7 7 8 9 :! %. 2. Hypothèse de l équation de continuité Un fluide peut subir, au cours de son évolution temporelle, de fortes variations de densité, qui se traduisent, du point de vue image, par des variations d intensité. Les séquences d images représentant des phénomènes fluides font ainsi apparaître des zones où la fonction de luminance possède de fortes variations temporelles. Ces zones sont souvent le centre de mouvements tridimensionnels, responsables de l apparition ou de la disparition de matière dans le plan de visualisation bidimensionnel. Les mouvements divergents associés influencent grandement l allure du champ de vitesses aux alentours et se doivent d être estimés de la manière la plus fiable possible. Cette estimation ne peut être menée sur la base d une invariance de la fonction de luminance. Comme proposé dans [13, 14, 15], nous proposons de considérer un modèle de données s appuyant sur la loi de conservation de la masse d un fluide, également connue sous le nom de l équation de continuité: #<;! div ;= 7>5, (3) où ; représente la densité du fluide et = sa vitesse. L usage de l équation de continuité pour l analyse de séquences d images repose sur l hypothèse que l image retranscrit les principales propriétés physiques du fluide observé. Cette hypothèse est en fait double. En premier lieu, il est supposé que la fonction de luminance est liée à une certaine quantité passive transportée par le fluide. En second lieu, que la représentation 2D d un fluide respectant la conservation de la masse suit une forme 2D de l équation de continuité. Cette dernière hypothèse a été vérifiée théoriquement dans le cas d images de densités par Fitzpatrick [18] et étendu dans [15], sous condition qu aucune matière ne disparaît ou n apparaît dans les bords de l image, au cours de la séquence. Le fait que l intensité de l image est relative à une densité du fluide est quant à lui plus difficile à prouver théoriquement, spécialement dans un contexte d imagerie météorologique. En effet, la complexité des phénomènes physiques sous-jacents rend une expression de l intensité en fonction d une quantité physique impossible. Néanmoins,

l équation de continuité à déjà été utilisée dans ce contexte, ou dans un contexte de mouvements déformables, et son utilisation s est révélée très attirante dans nombre de situations [13, 17, 19, 16, 20]. Dans ce travail, nous proposons donc d utiliser cette contrainte comme base de notre modèle, même si elle ne correspond pas au modèle exact. Nous pensons néanmoins qu elle constitue une bonne alternative, plus proche de la réalité physique que la contrainte classique de conservation de la luminance (qui est violée dans presque tous les cas d images météorologiques). Ceci conduit à une alternative de l ECMA:! div 5 (4) Considérons maintenant un déplacement infinitésimal : (! d un élément de fluide rejoignant la position à l instant à la position!7 %' à l instant!. Nous assumons que la vitesse le long de cet incrément de trajectoire est constante. Ceci implique que 7 %' ( et div : div7 (!. L intégration de l équation différentielle (4) se fait donc aisément, et nous obtenons:!7 %' (:! * '!#" div7 %' %$& (5) Cette équation peut maintenant servir comme base pour notre nouvel estimateur dédié aux mouvements fluides. Une version robuste du modèle de données résultant est: ' )("!7 (! div7 %' *" % (,+ - (6) Le terme div % compense la variation d intensité exprimée par le fluide aux endroits où le mouvement est divergent. Ainsi, un mouvement avec une divergence positive est accompagné d une perte d intensité d autant plus importante que div* %' est grand. Nous pouvons remarquer que si div7 & 5 (comme dans le cas des fluides incompressibles), nous retrouvons le terme de conservation de la luminance!* %!." % des techniques de flot-optique standard. Cette version intégrée de l équation de continuité possède l avantage de mettre en jeu explicitement des déplacements et non des vitesses. Cependant, la dépendance de cette fonction vis-à-vis du champ de vitesses inconnu est fortement non linéaire. Une approche pour traiter ce problème de minimisation consiste à le ré-écrire dans le cadre d une stratégie multi-résolution descendante comme une succession de problèmes linéaires. Étant donné une estimation grossière / obtenue à une résolution supérieure, le problème est ramené à l estimation d un incrément 0 visant à affiner l estimation de /!1 0. Par un développement de Taylor au premier ordre de (6), et en omettant les indices de temps de la fonction de luminance pour une meilleure clarté, cette linéarisation s écrit: 2 0 * ' )(34 div/ 7 6537 / div/ * "! % / 28:9; 07 "! / %<=" >+ où nous avons introduit la notation compacte / luminance recalée par le champ /. Passons maintenant à la définition du terme de lissage à utiliser conjointement à ce nouveau terme d énergie. (7) @? %! / %! de la fonction de 3. Régularisation Div-Curl En utilisant les conditions d optimalité d Euler-Lagrange, il est facile de démontrer que la minimisation de A 8 9 est équivalente à la minimisation de 2* B.! +DC div 2.! curl 2 [22]. Une régularisation du premier ordre pénalise donc l amplitude de la divergence et de la

vorticité du champ à estimer. Dans le domaine de l analyse du mouvement fluide, ceci ne semble pas approprié dans la mesure où le champ des vitesses apparentes fait apparaître de fortes concentrations de vorticité et/ou de divergence, correspondant à des vortex ou à des mouvements 3D non parallèles au plan image. Une sous estimation de la divergence dans notre cas est particulièrement préjudiciable, puisque notre modèle de données inclus explicitement cette quantité. Il semble plus intéressant d introduire un lissage adaptatif de la divergence et du rotationnel. A cet effet, nous introduisons un nouveau terme de lissage: A ;? / div " /!. / 0 /! / curl " /! / 0 :/ # (8) où les fonctions scalaires et sont respectivement des estimations des fonctions de divergence (div) et de rotationnel (curl), étant un paramètre positif. Ce terme se ramène à une régularisation du premier ordre lorsque les estimées de la divergence et du rotationnel se rapprochent mutuellement de zéro. A l inverse, lorsque ces quantités sont significativement non nulles, la divergence et le rotationnel du champ doivent se conformer à leur estimations et (sous l effet du terme quadratique), elles mêmes lissées par le second terme (robuste) de chacun des deux lissages composant ce terme de régularisation. La fonction de pénalisation robuste utilisée dans ces second termes permet de gérer les variations brutales de la divergence et du rotationnel susceptibles d apparaître. Ce terme de régularisation simule de façon simple un lissage de type div-curl du second ordre ( C 0 div! 0 curl ) qui conduit à un problème d estimation extrêmement difficile. La minimisation de la fonction d énergie associée est conduite au moyen d une estimation hiérarchique très efficace [22, 21]. 4. Résultats expérimentaux Nous présentons des résultats obtenus sur des exemples synthétiques et réels. 4.1. Résultats sur une séquence synthétique Dans un premier temps, nous avons testé notre méthode sur une séquence synthétique, obtenue en appliquant un mouvement connu à une image Météosat réelle (voir Fig. 1). Nous avons ici un mouvement spiralé synthétique (mélange de divergence et de rotation, la divergence et la vorticité étant constantes et ayant pour valeurs 5 et " 5 respectivement sur toute l image), avec une perte d intensité (dûe au mouvement divergent) simulée. Plus précisément, la seconde image a été multipliée par le coefficient théorique de perte d intensité " div 2 & " 5 5. La Figure 1 ( ) présente le résultat de l estimation de mouvement obtenue avec un estimateur robuste basé sur l équation de contrainte du mouvement apparent et un lissage du premier ordre [12], tandis que la Figure 1 ( ) représente le champ de vecteurs obtenu en appliquant notre méthode adaptée reposant sur l hypothèse de l équation de continuité associée à une régularisation Div-Curl. Nous pouvons observer qu un estimateur générique (même équipé de fonctions robustes) est incapable de recouvrir correctement le mouvement divergent/rotationnel réel. Les cartes correspondantes de vorticité et de divergence sont également visibles sur les Figures 1 ( ). Ces visualisations confirment le fait que notre méthode semble plus efficace, dans ce type de situation, qu une technique standard. Comme indiqué dans la légende de la Figure 1, les valeurs estimées de la divergence et du rotationnel sont plus proches des valeurs réelles dans le cas de l estimateur dédié. Des résultats plus complets, étudiant la sensibilité aux paramètres sur cette même séquence, sont visibles dans [23]. Regardons maintenant les résultats de cette méthode sur une séquence réelle.

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) FIG. 1 ( ) Image réelle Météosat (canal visible); ( ) mouvement spiralé synthétique (combinaison de rotation et de divergence) appliqué à l image ( ) avec une perte d intensité; ( ): Champs de vecteurs, cartes de divergence et de vorticité correspondantes estimées avec un estimateur composé de l ECMA associé à une régularisation robuste du premier ordre (div et curl estimés sont et ); ( ): idem avec l estimateur composé de l équation de continuité associé au lissage div-curl proposé (div et curl estimés sont et ). 4.2. Résultats sur une séquence réelle La séquence satellitaire choisie pour évaluer notre méthode est issue du canal vapeur d eau de Météosat (Figure 2), et a été acquise le août! #". Cette séquence représente une zone de basse pression sur la partie gauche, et un ensemble de cellules convectives actives sur la partie droite. Les images vapeur d eau contiennent de nombreuses informations pertinentes pour les spécialistes. Néanmoins, en raison de leur faible gradient photométrique, leur analyse par traitement d image constitue un problème délicat. Les Figures 2 ( ) présentent les champs de vecteurs estimés sur deux images consécutives de la séquence avec l estimateur de mouvement générique et avec la technique dédiée. Les champs de vitesse obtenus montrent clairement la différence entre les deux approches. La technique générique lisse de manière trop importante le champ et occasionne une perte totale du mouvement tourbillonnaire dû à la zone de basse pression. A l inverse, le modèle dédié démontre ici toutes ses capacités à recouvrir de tels mouvements dans des situations faiblement contrastées. Les zones de vorticité et de divergence calculées avec les deux approches sont présentées sur la figure 2( ). ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) FIG. 2 Séquence issue du canal vapeur d eau Deux images consécutives (a,b); champs de vecteurs estimés avec la technique générique robuste (c) et avec notre méthode dédiée (d); cartes de divergence ( ) et de vorticité ($ % ) estimées avec la technique générique ( ) et et dédiée ( % ) 5. Conclusion Dans ce papier, nous avons présenté une nouvelle méthode pour estimer le flot optique dans le cas de mouvements fluides. Cette technique est une extension des modèles génériques robustes

formalisés comme la minimisation d une fonctionnelle (comme celui introduit dans [12]). Cette méthode est caractérisée par la prise en compte de l équation de continuité de la mécanique des fluide dans le terme d observation, et par un terme de régularisation div-curl original. Cette nouvelle technique a été validée sur une séquence synthétique et réelle. Cette technique d estimation de mouvement a obtenu des performances supérieures vis-à-vis d un modèle standard utilisé en vision par ordinateur, pour des mouvements fluides. Elle s est avérée particulièrement efficace pour recouvrir les mouvements locaux de divergence et de rotation, qui sont d une importance majeure dans l analyse, la compréhension et la prédiction des phénomènes fluides. Références [1] Simpson J. et Gobat J., Robust velocity estimates, stream functions, and simulated Lagrangian drifters from sequential spacecraft data, IEEE trans. on Geosciences and Remote sensing, vol 32, pp 479-492, 1994. [2] Cohen I. et Herlin I., Non Uniform Multiresolution Method for Optical Flow and Phase Portrait Models: Environmental Applications, Int. J. Computer Vision, vol 33, pp 29-49, 1999. [3] Maurizot M., Bouthemy P. et Delyon B., 2D fluid motion analysis from a single image, IEEE Int. Conf. on Computer Vision and Pattern Recognition, Santa Barbara, 1998. [4] Mémin E. et Pérez P., Fluid motion recovery by coupling dense and parametric motion fields, Proc. Int. Conf. Computer Vision, Corfou, Grece, 1999. [5] Ottenbacher A., Tomasini M., Holmund K. et Schmetz J., Low-level cloud motion winds from Meteosat high-resolution visible imagery, Weather and Forecasting, vol 12, pp 175-184, 1997. [6] Papin C., Bouthemy P., Mémin E. et Rochard G., Tracking and Characterization of Highly Deformable Cloud Structures, Proc. Europ. Conf. Computer Vision, Dublin, 2000. [7] Ford R.M., Critical point detection in fluid flow images using dynamical system properties, Pattern Recognition, vol 30, pp 1991-2000, 1997. [8] Ford R.M et Strickland R., Representing and visualizing fluid flow images and velocimetry data by nonlinear dynamical systems, Graph. Mod. Image Proc., vol 57, pp 462-482, 1995. [9] Ford R.M, Strickland R. et Thomas B., Image models for 2-D flow visualization and compression, Graph. Mod. Image Proc., vol 56, pp 75-93, 1994. [10] Nogawa H., Nakajima Y., et Sato Y., Acquisition of symbolic description from flow fields: a new approach based on a fluid model, IEEE Trans. Pattern Anal. Machine Intell., vol 19, pp 58-63,1997. [11] Horn B. et Schunck B., Determining Optical Flow, Artificial Intelligence, vol 17, pp 185-203, 1981. [12] Mémin E. et Pérez P., Dense estimation and object-based segmentation of the optical flow with robust techniques, IEEE Trans. Image Processing, vol 7, pp 703-719, 1998. [13] Béréziat D., Herlin I. et Younes L., A generalized optical flow constraint and its physical interpretation, Proc. Conf. Comp. Vision Pattern Rec., vol 2, pp 487-492, Hilton Head Island, South Carolina, USA, 2000. [14] Schunk B., The motion constraint equation for optical flow, Proc. Int. Conf. Pattern Recognition, pp 20-22, Montreal Canada, 1984. [15] Wildes R., Amabile A., Lanzillotto A.-M., et Leu T.-S., Physically based fluid flow recovery from image sequences, Proc. Conf. Comp. Vision Pattern Rec., pp 969-975, Porto-Rico, 1997. [16] Wildes R., Amabile A., Lanzillotto A.-M., et Leu T.-S., Recovering estimates of fluid flows from image sequence data, Computer Vision and Image Understanding, vol 80, pp 246-266, 2000. [17] Fitzpatrick J.-M., A Method For Calculating Velocity In Time Dependent Images Based On The Continuity Equation, Proc. Conf. Comp. Vision Pattern Rec., pp 78-81, San Francisco, USA, 1985. [18] Fitzpatrick J.-M., The Existence of Geometrical Density-Image Transformations Corresponding to Object Motion,Comput. Vision, Graphics, Image Proc., vol 44, pp 155-174, 1988. [19] Fitzpatrick J.-M. et Pederson C.-A., A method for calculating fluid flow in time dependant density images, Electronic Imaging, vol 1, pp 347-352, 1988. [20] Zhou L., Kambhamettu C. et Goldgof D., Fluid structure and motion analysis from multi-spectrum 2D cloud images sequences, Proc. Conf. Comp. Vision Pattern Rec., vol 2, pp 744-751, Hilton Head Island, South Carolina, USA, 2000. [21] Mémin E. et Pérez P., A multigrid approach for hierarchical motion estimation, Proc. Int. Conf. Computer Vision, pp 933-938, Bombay, Inde. [22] Corpetti T., Mémin E. et Pérez P., Dense fluid flow estimation, rapport interne IRISA 1352, septembre 2000. [23] Corpetti T., Mémin E. et Pérez P., Estimation de mouvement fluide basée sur l équation de continuité associée à une régularisation Div-Curl, Actes des journ ées francophones des jeunes chercheurs en analyse d images et perception visuelle, ORASIS, Cahors, 2001.