Formes et Optimisation en Vision par Ordinateur. Renaud Keriven Ecole des Ponts / ENS

Dimension: px

Commencer à balayer dès la page:

Download "Formes et Optimisation en Vision par Ordinateur. Renaud Keriven Ecole des Ponts / ENS"

Florentin Jean
il y a 8 ans
Total affichages :

1 Formes et Optimisation en Vision par Ordinateur Renaud Keriven Ecole des Ponts / ENS Journées Images et Modélisations Mathématiques Rennes, décembre

2 Contexte (i) Snakes [Kass et al. 88] Contours Actifs Géodésiques [Caselles et al. 97] -2-

3 Contexte (ii) Régions actives géodésiques [Paragios/Deriche 01] -3-

4 Parfois, dépendances globales Contexte (iii) Du terme de contour par rapport à Γ: e.g. stéréovision multi caméras [Keriven/Faugeras 97] Des termes de régions par rapport à Γ: e.g. segmentation non supervisée [Brox et al. 03] -4-

5 Contexte (iv) Autres cas Dépend du paramètre (eg landmarks [Maurel/Keriven 06]) A priori de forme (eg [Leventon et al. 00]) -5-

6 Contexte (v) Minimisation par descente de gradient Inconvénients: Lenteur de convergence Minimum local -6-

7 Contexte (vi) Méthode des ensembles de niveau -7-

8 Contexte (vii) Ensembles de niveau («level sets») Avantages istable i Dimensions supérieures i Gestion des changements de topologie Inconvénients ilent, consommateur de mémoire iextension de la vitesse à tout le domaine i Suivi des points impossible ivitesse normale uniquement -8-

Inconvénients ilent, consommateur de mémoire iextension de la vitesse

9 Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -9-

correspondance Plan Application à la stéréo Autre approche:

10 Extension 1: Level sets stochastiques Thèses de G.Postelnicu et O.Juan [VLSM03, IJCV06] Mouvement stochastique Level sets (EDP Stochastique) -10-

11 Itô Choix de l intégrale stochastique Non intrinsèque: évolution dépendante du choix de la représentation implicite initiale Φ 0 Stratonovitch Intrinsèque Etude mathématique de convergence [Lion/Souganidis 98] (viscosité stochastique) -11-

implicite initiale Φ 0 Stratonovitch Intrinsèque Etude

12 En pratique Plusieurs sources de bruit modulées par Schéma explicite (Itô + terme correctif): -12-

13 -13-

14 Application: Contours Actifs Stochastiques -14-

15 Application: Contours Actifs Stochastiques -15-

16 Application: Contours Actifs Stochastiques -16-

17 Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -17-

18 Extension 2 Suivi de points et/ou vitesse tangentielle Thèse de J-P Pons [ICCV03, JCP06] Ψ pointe vers la position initiale -18-

19 Système couplé Implémentation stable -19-

22 Application -22-

23 Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -23-

24 Extension 3: Gradients généralisés Thèse de J-P Pons et G. Charpiat [ICCV05, IJCV07] Dérivée de Gâteaux Gradient: avec: En va noter plutôt: -24-

25 Nouveaux gradients (i) Autre espace de déformations autre gradient Autre gradient autre trajectoire de descente -25-

26 Exemples Favoriser les mouvements rigides: changer juste le produit scalaire, eg: Traiter des déformations non régulières: changer aussi l espace, eg Sobolev: Garantit une minimisation de l énergie -26-

27 Nouveaux gradients (ii) On a aussi: Autre régularisation autre gradient -27-

28 Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -28-

29 Formes (i): statistiques Thèse de G. Charpiat [IWOR03, ICIP03, ICCV05, FOCM05, ICASSP06] Moyennes des représentations implicites? [Leventon et al. 00] Utilisation d une distance entre formes E.g. Hausdorff -29-

30 Calcul de le moyenne Descente de gradient Hausdorff n est pas dérivable ( Diracs aux points où les extrema sont atteints) Approximations régulières par des intégrales de surface -30-

31 Résultats -31-

32 Résultats -32-

33 Modes de déformation Analyse en Composantes Principales des déformations de la moyenne vers les échantillons -33-

34 Modes de déformation Analyse en Composantes Principales des déformations de la moyenne vers les échantillons -34-

35 Segmentation avec a priori [G. Charpiat] -35-

36 Segmentation avec a priori [G. Charpiat] -36-

37 Segmentation avec a priori [G. Charpiat] -37-

38 Segmentation avec a priori [G. Charpiat] -38-

39 Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -39-

40 Formes (ii) Déformations et mises en correspondance Thèses de G. Charpiat et P. Maurel [idem + ICPR06] Passer d une forme à l autre: descente de gradient -40-

41 Level sets étendus: mise en correspondance possible minima locaux? pertinence de la mise en correspondance obtenue? Gradients étendus (i): «Rigidification» globale Gradients étendus (i) Sobolev: points d amers («landmarks») Gradients étendus (ii): rigidification par morceaux -41-

42 Rigidification globale -42-

43 Landmarks -43-

44 Rigide par morceaux -44-

45 Rigide par morceaux -45-

46 Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -46-

47 Stéréo Multi caméras Hier Photo-consistance + visibilité (itérative) [Keriven/Faugeras 98] -47-

48 -48-

49 Terme de contour dans les images [Keriven et al. 03] -49-

50 Aujourd hui Thèse de J-P. Pons [ICCV03, IJCV07] Energie intégrée dans les images i Tient compte de la forme exacte de S i Plusieurs mesures de photo-consistance (eg. Information mutuelle) i Efficace, projections effectuées par OpenGl, toutes les paires de cam. -50-

51 Aujourd hui Thèse de P. Labatut [ICCS06, 3DPVT06] i Utilisation des GPUs i Recherche d autres méthodes d optimisation i Visibilité non itérative? Challenge CVPR06 i Méthode la plus complète i La plus rapide (10mn vs 1h à 200h) i Pas besoin d enveloppe visuelle i Précision équivalente -51-

52 Graphical Processing Units (GPUs) Parallélisme SIMD/CREW Aujourd hui: 128 pipelines, 768 MoRAM pour

53 Exemples P. Labatut [ICCS06, 3DPVT06]: stéréo multi caméras J. Mairal [3DPVT06]: stéréo tri-caméras F.Bernhard [ICCS06], A. Chariot [NeuroComp06]: réseaux de neurones spikant 250 ms neurones 3 ème approche: géométrie discrète? 250 conn./neurone 10ms/pas de temps -53-

54 Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -54-

55 Optimisation discrète Champs de Markov et échantillonneurs de Gibbs [Geman/Geman 84] Segmentation binaire par coupe dans un graphe [Greig et al. 89] -55-

56 s Coupes minimales t -56-

57 -57-

58 Avantages Rapide (Graph cuts: [Boykov et al. 99] (dix ans!) ) Minimum global Extensions: i Autres énergies i Autres étiquettes i Parfois perte du minimum global i Incrémental (en énergie et en forme) Level Sets vs Graph Cuts (googlefight) vs

59 Thèse d O. Juan [VLSM05] Modèle: Trimap: Application 1: matting Segmentation avec apprentissage modèle paramétrique (GMM) pour le fond et l objet et un modèle induit pour la zone intermédiaire 3 étiquettes ordonnées [Ishikawa] -59-

60 -60-

61 Application 2: Extraction de couches Thèse de R. Dupont [EMMCVPR05, ICPR06] Modèle i Un mouvement par couche (affine, projectif) i Pour chaque couche, en chaque pixel: Itératif: i Visible, Caché par une autre couche, Inexistant i Mouvements à segmentation donnée [Odobez/Bouthemy] i Segmentation à mouvements donnés Energie discrète tenant compte des disparitions/apparitions sur la séquence complète Minimisation par graph cuts (alpha-expansions) -61-

62 Résultat -62-

63 Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -63-

64 Géométrie discrète [JP Pons] -64-

65 Géométrie discrète [JP Pons] -65-

66 Géométrie discrète [JP Pons] -66-

67 Extensions des level sets i Stochastique i Suivi de points Extension du gradient usuel Formes i Statistiques i Mise en correspondance Plan Application à la stéréo Autre approche: Optimisation discrète Efficacité? GPU Mesure de l activité cérébrale: formes? -67-

68 Magnéto-electro encéphalographie Direct Activité cérébrale Potentiel électrique Champ magnétique Inverse -68-

69 Liens avec l image? Thèse de G. Adde [ISBI05] i Régularisation du problème inverse: restauration d image sur une variété Thèse de M. Péchaud (sept. 06) i Approche formes -69-

Documents pareils

Coup de Projecteur sur les Réseaux de Neurones

Coup de Projecteur sur les Réseaux de Neurones Les réseaux de neurones peuvent être utilisés pour des problèmes de prévision ou de classification. La représentation la plus populaire est le réseau multicouche