Introduction au GVF (Gradient Vector Flow) et ses applications par Antonio Moreno Ingelmo
Plan Introduction Les contours actifs Définition de GVF Force externe traditionnelle vs. GVF Limites du GVF Un exemple d application Applications des snakes Références
Introduction Modèles déformables : paramétriques : représentation par une courbe (ou surface) élastique qui évolue vers les formes de l'objet par réponse aux forces internes et externes. On doit connaître la topologie. Avantages : moins chers en temps de calcul, facile d'intégrer données sur les images (estimations initiales, propriétés particulières des contours et contraintes a priori), assez robustes contre le bruit et discontinuités des contours. Inconvénients : très sensibles aux conditions initiales, bonne initialisation nécessaire, difficulté à traiter objets avec concavités. géométriques (type level sets): représentation implicite du modèle. Ils permettent changements topologiques.
Les contours actifs Objectif des contours actifs : segmentation d images On veut une méthode qui cherche n importe quel forme dans l image qui est lisse (smooth) et qui forme un contour fermé. Contraintes : présence de bruit et d artefacts de rééchantillonnage (ex. images médicales). [EE-264, Amyn A. Poonawala] contours actifs = snakes = balloons = modèles déformables
Les contours actifs Les modèles de contours actifs ont été introduits en 1987 par Kass et al. et utilisés largement depuis. Ils représentent les bords d un objet ou d une région de l image comme une courbe paramétrique. Une fonction d énergie E est associée à cette courbe. E snake =E interne +E externe +E contraintes Le problème de trouver les bords de l objet est modélisé comme un problème de minimisation d énergie.
Les contours actifs Limites des snakes traditionels (modèle de Kass) : Très sensibles aux paramètres. Aucune force externe agit sur les points qui sont loin du bord de l objet. [EE-264, Amyn A. Poonawala]
Les contours actifs Limites des snakes traditionels (modèle de Kass) : La convergence dépend de la position initial. Ils ne peuvent pas détecter les concavités. [EE-264, Amyn A. Poonawala]
Définition de GVF C est une nouvelle force externe pour les snakes introduite par Chenyang Xu et Jerry L. Prince en 1997. Avantages : Elle détecte les formes avec des bords convaves. Large capture range.
Définition de GVF Le GVF est un champ de vecteurs : V(x,y) = ( uxy (, ), vxy (, )) V(x,y) est défini tel qu il minimise la fonction d énergie : 2 2 2 2 2 2 E = µ u + u + v + v + f V f dxdy ( x y x y) où f(x,y) est la carte de bords (edge map) de l image et µ est le poid du terme de régularisation.
Définition de GVF Le champ GVF peut être obtenu en résolvant les équations d Euler : 2 2 2 µ u ( u fx)( fx + fy ) = 0 2 2 2 µ v ( v fy)( fx + fy ) = 0 ( 2 est l opérateur Laplacien) Les équations ci-dessus sont résolues itérativement en utilisant la dérivée temporelle de u et v.
Force externe traditionnelle vs. GVF [Xu and Prince, 97]
Force externe traditionnelle vs. GVF Traditional snake GVF snake Antonio Moreno Ingelmo [EE-264, Amyn A. Poonawala] 28/01/2005
Force externe traditionnelle vs. GVF GVF snake [Xu and Prince, 98]
Limites du GVF Très sensible aux paramètres. Lent. Trouver le champ du GVF est cher en temps de calcul.
Un exemple d application Application médical : amélioration de la segmentation des poumons en CT. Dans ce cas f(x) edge map = détecteur de contours de Canny-Deriche + seuillage par hystéresis. La force externe est la somme pondérée de la force du GVF et force de la région d intérêt (ROI) (contrainte) : F externe = λ*f GVF + µ*f ROI où F ROI est une force de potentiel de distance.
Un exemple d application Original image Edge detection (Deriche) GVF + External force Fuzzy force Snake t_simplexevolution Final result Segmented image Mesh Simplex mesh
Un exemple d application
Un exemple d application [Camara, 03] + =
Un exemple d application
Un exemple d application
Applications des snakes Segmentation d images, par exemple pour la comunauté d imagerie médicale. Animation. Suivi de contours ou de mouvement (tracking). Modélisation géométrique et de forme. Mise en correspondance stéréo (stereo matching - Kass, Witkin-). Reconnaissance des formes. Segmentation et reconnaissance des formes en 3D.
Applications des snakes [Xu and Prince, 98]
Applications des snakes [Hernandez and Schmitt, 3DIM 03]
Applications des snakes Antonio Moreno Ingelmo [Xu and Prince, 98] 28/01/2005
Applications des snakes [Xu and Prince, 2000]
Références ENST : O. Camara, "Recalage non linéaire d'images TDM et TEP dans des régions thoraciques et abdominales : étude méthodologique et application en routine clinique, Thèse de doctorat, ENST Paris, décembre 2003. C. Hernandez Esteban and F. Schmitt, Silhouette and Stereo Fusion for 3D Object Modeling, 3DIM 2003, 4th International Conference on 3D Digital Imaging and Modeling, Banff, Alberta, Canada, October 2003, pp. 46-53. C. Hernandez Esteban and F. Schmitt, A Snake Approach for High Quality Image-based 3D Object Modeling, 2 nd IEEE Workshop on Variational, Geometric and Level Set Methods in Computer Vision, Nice, France, October 2003, pp. 241-248.
Références Contours actifs : M. Kass, A. Witkin, and D. Terzopoulos, "Snakes: Active contour models., International Journal of Computer Vision, v. 1, n. 4, pp. 321-331, 1987. GVF : C. Xu and J.L. Prince, Gradient Vector Flow: A New External Force for Snakes, Proc. IEEE Conf. on Comp. Vis. Patt. Recog. (CVPR), Los Alamitos: Comp. Soc. Press, pp. 66-71, June 1997. C. Xu and J.L. Prince, Snakes, Shapes, and Gradient Vector Flow, IEEE Transactions on Image Processing, 359-369, March 1998. C. Xu and J. L. Prince, Gradient Vector Flow Deformable Models, Handbook of Medical Imaging, Edited by Isaac Bankman, Academic Press, September 2000.
Références GGVF : C. Xu and J. L. Prince, Generalized Gradient Vector Flow External Forces for Active Contours, Signal Processing - An International Journal, 71(2), pp. 131-139, December 1998. Sur le web : http://www.soe.ucsc.edu/classes/ee264/winter02/amyn.ppt, Active Contour Models (Snakes) by Amyn A. Poonawala (amyn@cse.ucsc.edu), EE-264, Instructor: Dr. Peyman Milanfar. GVF : http://iacl.ece.jhu.edu/projects/gvf/ Chenyang webpage at the Johns Hopkins University: http://iacl.ece.jhu.edu/~chenyang/research/pubs/p084t/node5.html And some movies at: http://iacl.ece.jhu.edu/~chenyang/research/levset/movie/index.html