Formes et Optimisation en Vision par Ordinateur Renaud Keriven Ecole des Ponts / ENS Journées Images et Modélisations Mathématiques Rennes, décembre 2006-1-
Contexte (i) Snakes [Kass et al. 88] Contours Actifs Géodésiques [Caselles et al. 97] -2-
Contexte (ii) Régions actives géodésiques [Paragios/Deriche 01] -3-
Parfois, dépendances globales Contexte (iii) Du terme de contour par rapport à Γ: e.g. stéréovision multi caméras [Keriven/Faugeras 97] Des termes de régions par rapport à Γ: e.g. segmentation non supervisée [Brox et al. 03] -4-
Contexte (iv) Autres cas Dépend du paramètre (eg landmarks [Maurel/Keriven 06]) A priori de forme (eg [Leventon et al. 00]) -5-
Contexte (v) Minimisation par descente de gradient Inconvénients: Lenteur de convergence Minimum local -6-
Contexte (vi) Méthode des ensembles de niveau -7-
Contexte (vii) Ensembles de niveau («level sets») Avantages istable i Dimensions supérieures i Gestion des changements de topologie Inconvénients ilent, consommateur de mémoire iextension de la vitesse à tout le domaine i Suivi des points impossible ivitesse normale uniquement -8-
Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -9-
Extension 1: Level sets stochastiques Thèses de G.Postelnicu et O.Juan [VLSM03, IJCV06] Mouvement stochastique Level sets (EDP Stochastique) -10-
Itô Choix de l intégrale stochastique Non intrinsèque: évolution dépendante du choix de la représentation implicite initiale Φ 0 Stratonovitch Intrinsèque Etude mathématique de convergence [Lion/Souganidis 98] (viscosité stochastique) -11-
En pratique Plusieurs sources de bruit modulées par Schéma explicite (Itô + terme correctif): -12-
-13-
Application: Contours Actifs Stochastiques -14-
Application: Contours Actifs Stochastiques -15-
Application: Contours Actifs Stochastiques -16-
Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -17-
Extension 2 Suivi de points et/ou vitesse tangentielle Thèse de J-P Pons [ICCV03, JCP06] Ψ pointe vers la position initiale -18-
Système couplé Implémentation stable -19-
1 0.75 0.5 0.25 0 1 0.75 0.5 0.25 0 0 0.25 0.5 0.75 1 0 0.25 0.5 0.75 1 1 0.75 0.5 0.25 0 1 0.75 0.5 0.25 0 0 0.25 0.5 0.75 1 0 0.25 0.5 0.75 1 1 0.75 0.5 0.25 0 1 0.75 0.5 0.25 0 0 0.25 0.5 0.75 1 0 0.25 0.5 0.75 1-20-
1 0.75 0.5 0.25 0 1 0.75 0.5 0.25 0 0 0.25 0.5 0.75 1 0 0.25 0.5 0.75 1 1 0.75 0.5 0.25 0 1 0.75 0.5 0.25 0 0 0.25 0.5 0.75 1 0 0.25 0.5 0.75 1 1 0.75 0.5 0.25 0 0 0.25 0.5 0.75 1 1 0.75 0.5 0.25 0 0 0.25 0.5 0.75 1-21-
Application -22-
Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -23-
Extension 3: Gradients généralisés Thèse de J-P Pons et G. Charpiat [ICCV05, IJCV07] Dérivée de Gâteaux Gradient: avec: En va noter plutôt: -24-
Nouveaux gradients (i) Autre espace de déformations autre gradient Autre gradient autre trajectoire de descente -25-
Exemples Favoriser les mouvements rigides: changer juste le produit scalaire, eg: Traiter des déformations non régulières: changer aussi l espace, eg Sobolev: Garantit une minimisation de l énergie -26-
Nouveaux gradients (ii) On a aussi: Autre régularisation autre gradient -27-
Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -28-
Formes (i): statistiques Thèse de G. Charpiat [IWOR03, ICIP03, ICCV05, FOCM05, ICASSP06] Moyennes des représentations implicites? [Leventon et al. 00] Utilisation d une distance entre formes E.g. Hausdorff -29-
Calcul de le moyenne Descente de gradient Hausdorff n est pas dérivable ( Diracs aux points où les extrema sont atteints) Approximations régulières par des intégrales de surface -30-
Résultats -31-
Résultats -32-
Modes de déformation Analyse en Composantes Principales des déformations de la moyenne vers les échantillons -33-
Modes de déformation Analyse en Composantes Principales des déformations de la moyenne vers les échantillons -34-
Segmentation avec a priori [G. Charpiat] -35-
Segmentation avec a priori [G. Charpiat] -36-
Segmentation avec a priori [G. Charpiat] -37-
Segmentation avec a priori [G. Charpiat] -38-
Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -39-
Formes (ii) Déformations et mises en correspondance Thèses de G. Charpiat et P. Maurel [idem + ICPR06] Passer d une forme à l autre: descente de gradient -40-
Level sets étendus: mise en correspondance possible minima locaux? pertinence de la mise en correspondance obtenue? Gradients étendus (i): «Rigidification» globale Gradients étendus (i) Sobolev: points d amers («landmarks») Gradients étendus (ii): rigidification par morceaux -41-
Rigidification globale -42-
Landmarks -43-
Rigide par morceaux -44-
Rigide par morceaux -45-
Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -46-
Stéréo Multi caméras Hier Photo-consistance + visibilité (itérative) [Keriven/Faugeras 98] -47-
-48-
Terme de contour dans les images [Keriven et al. 03] -49-
Aujourd hui Thèse de J-P. Pons [ICCV03, IJCV07] Energie intégrée dans les images i Tient compte de la forme exacte de S i Plusieurs mesures de photo-consistance (eg. Information mutuelle) i Efficace, projections effectuées par OpenGl, toutes les paires de cam. -50-
Aujourd hui Thèse de P. Labatut [ICCS06, 3DPVT06] i Utilisation des GPUs i Recherche d autres méthodes d optimisation i Visibilité non itérative? Challenge CVPR06 i Méthode la plus complète i La plus rapide (10mn vs 1h à 200h) i Pas besoin d enveloppe visuelle i Précision équivalente -51-
Graphical Processing Units (GPUs) Parallélisme SIMD/CREW Aujourd hui: 128 pipelines, 768 MoRAM pour 600-52-
Exemples P. Labatut [ICCS06, 3DPVT06]: stéréo multi caméras J. Mairal [3DPVT06]: stéréo tri-caméras F.Bernhard [ICCS06], A. Chariot [NeuroComp06]: réseaux de neurones spikant 250 ms 250000 neurones 3 ème approche: géométrie discrète? 250 conn./neurone 10ms/pas de temps -53-
Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -54-
Optimisation discrète Champs de Markov et échantillonneurs de Gibbs [Geman/Geman 84] Segmentation binaire par coupe dans un graphe [Greig et al. 89] -55-
s Coupes minimales t -56-
-57-
Avantages Rapide (Graph cuts: [Boykov et al. 99] (dix ans!) ) Minimum global Extensions: i Autres énergies i Autres étiquettes i Parfois perte du minimum global i Incrémental (en énergie et en forme) Level Sets vs Graph Cuts (googlefight) 1 000 000 vs 100 000-58-
Thèse d O. Juan [VLSM05] Modèle: Trimap: Application 1: matting Segmentation avec apprentissage modèle paramétrique (GMM) pour le fond et l objet et un modèle induit pour la zone intermédiaire 3 étiquettes ordonnées [Ishikawa] -59-
-60-
Application 2: Extraction de couches Thèse de R. Dupont [EMMCVPR05, ICPR06] Modèle i Un mouvement par couche (affine, projectif) i Pour chaque couche, en chaque pixel: Itératif: i Visible, Caché par une autre couche, Inexistant i Mouvements à segmentation donnée [Odobez/Bouthemy] i Segmentation à mouvements donnés Energie discrète tenant compte des disparitions/apparitions sur la séquence complète Minimisation par graph cuts (alpha-expansions) -61-
Résultat -62-
Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -63-
Géométrie discrète [JP Pons] -64-
Géométrie discrète [JP Pons] -65-
Géométrie discrète [JP Pons] -66-
Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -67-
Magnéto-electro encéphalographie Direct Activité cérébrale Potentiel électrique Champ magnétique Inverse -68-
Liens avec l image? Thèse de G. Adde [ISBI05] i Régularisation du problème inverse: restauration d image sur une variété Thèse de M. Péchaud (sept. 06) i Approche formes -69-