Méthode de Fast Marching pour des équations de HJB: - dépendance en u, - fonction coût de signe arbitraire, - Application au Shape From Shading. Emmanuel Prados SÉMINAIRE DE CALCUL SCIENTIFIQUE DU CERMICS 07 Mars 2006, Champs sur Marne 1
Plan de la présentation I. Introduction II. Equations considérées III. Causalité IV. Schéma numérique V. Algorithme VI. Application au Shape From Shading 2
Méthode de Fast Marching (FMM) Résolution numérique d'edp (différences finies), Méthode à passage unique méthodes itératives: schéma d'approximation => mise à jour des valeurs de la solution Chemin => ordre de balayage des points. méthode Iterative method iterative 3
Méthode de Fast Marching (FMM) Résolution numérique d'edp (différences finies), Méthode à passage unique méthodes itératives: schéma d'approximation => mise à jour des valeurs de la solution Chemin => ordre de balayage des points. méthode Iterative method iterative FMM 4
Méthode de Fast Marching (FMM) Résolution numérique d'edp (différences finies), Méthode à passage unique méthodes itératives: schéma d'approximation => mise à jour des valeurs de la solution Chemin => ordre de balayage des points. méthode Iterative method iterative FMM 5
Méthode de Fast Marching (FMM) Résolution numérique d'edp (différences finies), Méthode à passage unique méthodes itératives: schéma d'approximation => mise à jour des valeurs de la solution Chemin => ordre de balayage des points. méthode Iterative method iterative FMM 6
Méthode de Fast Marching (FMM) Résolution numérique d'edp (différences finies), Méthode à passage unique méthodes itératives: schéma d'approximation => mise à jour des valeurs de la solution Chemin => ordre de balayage des points. méthode Iterative method iterative FMM 7
Méthode de Fast Marching (FMM) Résolution numérique d'edp (différences finies), Méthode à passage unique méthodes itératives: schéma d'approximation => mise à jour des valeurs de la solution Chemin => ordre de balayage des points. méthode Iterative method iterative FMM Avantages de la FMM: Absence de seuil (critère d'arrêt) Nombre de mises à jour optimal coût CPU faible Directement reliée à la propagation de front. 8
Méthode de Fast Marching (FMM) Applications (initiales déjà) nombreuses: Planification de trajectoires [KimmelSethian:01] Optique géométrique [WenwangBenamou:03] Traitement d'images et vision par ordinateur [L.Cohen:05] Liste exhaustive [Sethian:99]. 9
Plan de la présentation I. Introduction II. Equations considérées III. Causalité IV. Schéma numérique V. Algorithme VI. Application au Shape From Shading 10
Equations considérées Méthode basique [Sethian:99, Dijkstra:59] u = g(x), (équation eikonale) Récente extension: OUM [Sethian-Vladimirsky:03] supa { f(x,a) a. u -1} = 0, (2) Nouvelle extension [Prados-Soatto:RFIA'06-VLSM'05] λ u +sup { f(x,a). u -l(x,a)} = 0, (3) a avec l(x,a) de signe quelconque; λ F(u) + H(x, u) = 0, (4) avec F strictement croissante* et H convexe*. Transformée de Legendre 11
Equations considérées Nouvelle extension [Prados-Soatto:RFIA'06-VLSM'05] λ u +supa { f(x,a). u -l(x,a)} = 0 [Sethian-Vladimirsky:03] supa { f(x,a) a. u -1} = 0, λ=0. l(x,a)=1 ne dépend pas de a et est positive. Positivité de l(x,a) H(x,0) 0. comportement de monotonie de la solution: croissance le long des trajectoires optimales. 12
Equations considérées Nouvelle extension [Prados-Soatto:RFIA'06-VLSM'05] λ u +supa { f(x,a). u -l(x,a)} = 0 [Sethian-Vladimirsky:03] supa { f(x,a) a. u -1} = 0, λ=0.... e é ax l e r l(x,a)=1 ne dépend pas de a et est positive. e t n i a Positivité detrl(x,a) n o C H(x,0) 0. comportement de monotonie de la solution: croissance le long des trajectoires optimales. 13
Equations considérées Nouvelle extension [Prados-Soatto:RFIA'06-VLSM'05] λ u +supa { f(x,a). u -l(x,a)} = 0. Élargissement des applications potentielles: Finance [Trojani-Vanini:02,Naicker-Andriopoulos:05], Animation [Amos:02], Vision par ordinateur: Shape From Shading [Prados-Soatto:RFIA'06]. 14
Plan de la présentation I. Introduction II. Equations considérées III. Causalité IV. Schéma numérique V. Algorithme VI. Application au Shape From Shading 15
Description de la méthode [Prados-Soatto:RFIA'06] 1. Nouvelle causalité 2. Schéma numérique 3. Algorithme 16
Nouvelle causalité et réinterprétation Point clé : Distinction entre la causalité : propagation théorique de l'information solution calculée = solution de viscosité l'intégration simultanée stabilité numérique. 17
Causalité: L' information se propage le long de courbes spécifiques: les trajectoires optimales (1) A- Fonction valeur EDP λ u +supa { f(x,a). u -l(x,a)} = 0, u(x)= (x), x x Une dynamique : y'(t) = f(y(t), (t)), t>0, yx = trajectoire solution (x, )= 1ere instant où la trajectoire atteinte y(0)= x, Proposition: (x, ) u(x) = 0 l(yx(t), (t)) e-λt dt + (yx( (x, ))) est solution de l'équation (1). ( cas singularités + (x ) : cf. [Prados-Camilli-Faugeras:M2AN'06] ) 18
Causalité: L' information se propage le long de courbes spécifiques: les trajectoires optimales A- Trajectoires optimales: Proposition: (x, ) u(x) = inf 0 l(yx (t), (t)) e-λt dt + (yx ( (x, ))) (2) est solution de l'équation (1). Notations: * contrôle réalisant l'inf de (2) y*x = trajectoire associée à * contrôle optimal trajectoire optimale Solution calculable par une intégration directe le long de ces courbes: u(x) = 0 (x, *) l(y*x (t), *(t)) e-λt dt + (y*x( (x, *))) 19
Causalité: L' information se propage le long de courbes spécifiques: les trajectoires optimales Solution calculable par une intégration directe le long de ces courbes: (x, *) u(x) = 0 l(y*x (t), *(t)) e-λt dt + (y*x( (x, *))) Idée suggérée: intégration de la solution courbe après courbe [Horn:85] instabilités numériques Idée: intégration simultanée... 20
Intégration simultanée: garanti la stabilité numérique 21
Intégration simultanée: garanti la stabilité numérique Propagation de fronts ; 22
Intégration simultanée: garanti la stabilité numérique 23
Intégration simultanée: garanti la stabilité numérique Problèmes: 1) Plusieurs front de propagation suivent les trajectoires optimales. Comment choisir ce front? 24
Intégration simultanée: garantit la stabilité numérique Problèmes: 2) Comment définir ces fronts de propagation? 25
Intégration simultanée: garantit la stabilité numérique Problèmes: 2) Comment définir ces fronts de propagation? introduction d'un coût C tel que les lignes de niveaux de C correspondent au front propagé. 26
Trajectoire optimale Méthodes précédentes de FMM C=u ( u = solution) incohérent avec la causalité pour solution non croissante le long des trajectoires optimales! Ligne de niveau de u Nous montrons comment définir un coût approprié C : - toujours cohérent avec les trajectoires optimales, - induit un ordre de mise à jour efficace et simple... Coût C basé sur la notion de sous solutions: ψ 27
Soit une sous-solution de l'équation (x, *) u(x) = (x) + 0 où (p,q) 0 (yx(t), *(t)) dt + (yx( (x, *)))- (yx( (x, *))) c.f. [prados-soatto:rfia'06] C(x) = u(x) - (x) (x, *) = 0 (yx(t), *(t)) dt. + (yx( (x, *)))- (yx( (x, *))). C(x) est donc croissant le long des trajectoires optimales. 28
Plan de la présentation I. Introduction II. Equations considérées III. Causalité IV. Schéma numérique V. Algorithme VI. Application au Shape From Shading 29
Schéma numérique Approximation t u(x) si {+1, -1} Choix des (s1,..,sn) : simplexe qui contient la trajectoire optimale si = si(x,a) := sign fi(x,a), Schéma numérique: λ F(t) + 30
Schéma numérique Schéma consistent (cohérent) et monotone, Peut être aussi retrouvé par: [Prados:PhD'04] Programmation dynamique... Monotonie... Dépendance en u. 31
Plan de la présentation I. Introduction II. Equations considérées III. Causalité IV. Schéma numérique V. Algorithme VI. Application au Shape From Shading 32
Méthode de Fast Marching Divise l'espace en trois sous ensembles: F = points éloignés C = points considérés A = points acceptés 33
Initialisation Algorithme A = points acceptés F = points éloignés C = points considérés (V est une super-solution; cf. article). numérique., 34
Initialisation Algorithme A = points acceptés F = points éloignés C = points considérés (V est une super-solution; cf. article). Lié à la présence du terme en u dans l'équation! numérique., 35
Initialisation Algorithme A = points acceptés F = points éloignés C = points considérés (V est une super-solution; cf. article). Aussi lié à la présence du terme en u... numérique., 36
Initialisation Algorithme A = points acceptés F = points éloignés C = points considérés (V est une super-solution; cf. article). numérique. Corrige la causalité quand, la fonction coût est de signe arbitraire. 37
Méthode de Fast Marching Choix du pixel causalité points adjacents + points éloignés et V Calcul des valeurs de mise à jour schéma numérique Domaine où la solution est connue 38
Plan de la présentation I. Introduction II. Equations considérées III. Causalité IV. Schéma numérique V. Algorithme VI. Application au Shape From Shading 39
Problème du «Shape From Shading» Données: une seule image. Données minimales, Problème mal posé. Information utilisée: Surface 3D observée l ombrage. Difficultés liées à la Image 2D Surface 3D reconstruite modélisation: illumination, réflectance, caméra. 40
Problème du «Shape From Shading» Ambiguités! Exemple: Changement d'éclairage... Belhumeur Et al. Ambiguité de bas-relief. Hypothèses: cadre expérimental connu: éclairage, réflectance. Problème: reconstruire la géométrie de la scène. 41
Exemple concret: Équation de Rouy/Tourin Modèle associé: [Prados:PhD'04] Réflectance Lambertienne et homogène, Source de lumière unique, éloignée et oblique Projection orthographique. EDP: I(x) = image. Fonction coût associée est de SIGNE ARBITRAIRE Solutions non croissantes le long des trajectoires optimales, Les FMM classiques ne s'appliquent pas! Sous solution: 42
Focus sur l'amélioration due à la nouvelle causalité Reconstruction avec la causalité classique Reconstruction avec la nouvelle causalité Image originale Vue oblique Vue oblique Vue de profil Vue de profil groundtruth Solution calculée groundtruth 43
SFS avec atténuation de éclairage / distance Modèle associé : [Prados-Faugeras:CVPR'05] Réflectance Lambertienne et homogène, Unique source de lumière placée au centre optique, avec atténuation de l'intensité / distance de l'objet Projection en perspective. EDP résultante: I(x) = image et f = focale. et 44
SFS avec atténuation de éclairage / distance Modèle associé : [Prados-Faugeras:CVPR'05] Réflectance Lambertienne et homogène, Unique source de lumière placée au centre optique, avec atténuation de l'intensité / distance de l'objet Projection en perspective. EDP résultante: I(x) = image et f = focale. et 45
SFS avec atténuation de éclairage / distance Modèle associé : [Prados-Faugeras:CVPR'05] Réflectance Lambertienne et homogène, Unique source de lumière placée au centre optique, avec atténuation de l'intensité / distance de l'objet Projection en perspective. EDP résultante: I(x) = image et f = focale. et Méthodes de Fast Marching classiques ne s'appliquent pas... 46
SFS avec atténuation de éclairage / distance [Prados-Faugeras:CVPR'05] Modèle associé : Réflectance Lambertienne et homogène, Unique source de lumière placée au centre optique, avec atténuation de l'intensité / distance de l'objet Projection en perspective. EDP résultante: I(x) = image et f = focale. et Méthodes de Fast Marching classiques ne s'appliquent pas... Nos résultats: image reconstruction 47
Conclusion 1) Extension des méthodes de Fast Marching à une large classe EDP: - dépendant de u, - solutions non croissantes le long des trajectoires optimales, λ F(u) + H(x, u) = 0 2) Nouvelle causalité + nouvelle interprétation, 3) Application de la méthode au SFS. Perspectives et extensions prévues 1) Preuve de convergence, 2) Présence de singularités, 3) Extension à l'équation d'isaacs. 48
Références [Kimmel-Sethian:01] R. Kimmel and J.A. Sethian. Optimal algorithm for shape from shading and path planning. JMIV, 14(2):237 244, May 2001. [L.Cohen:05] L. Cohen. Minimal paths and fast marching methods for image analysis. In Mathematical Models in Computer Vision: The Handbook, Springer, 2005. [Sethian:99] J.A. Sethian. Level Set Methods and Fast Marching Methods. Cambridge University Press,1999. [Sethian-Vladimirsky:03] J.A. Sethian and A. Vladimirsky. Ordered upwind methods for Hamilton Jacobi equations:theory and algorithms. SIAM J. on Num. Ana. 41(1), 2003 [Prados:PhD'04] E. Prados. Application of the theory of the viscosity solutions to the Shape From Shading problem. PhD thesis, 2004. [Prados-Faugeras:CVPR'05] E. Prados, O. Faugeras. Shapoe From Shading: a well-posed problem. CVPR, 2005. [Tsitsiklis:95] J.N. Tsitsiklis. Efficient algorithms for globally optimal trajectories. IEEE Trans. on Automatic Control, 40 :1528 1538, 1995. [Rouy-Tourin:92] E. Rouy and A. Tourin. A Viscosity Solutions Approach to Shape-from-Shading. SIAM Journal of Numerical Analysis, 29(3) :867 884, June 1992. POUR LES AUTRES REFERENCES, VOIR L'ARTICLE: [Prados-Soatto:RFIA06] E. Prados et S. Soatto, Méthode de ``Fast Marching'' générique pour le ``Shape From Shading'', Actes du 15ème Congrès de Reconnaissance des Formes et Intelligence Artificielle, Tours, France - RFIA 2006 49