Contributions pour les applications

Transcription

1 Contributions pour les applications de Réalité Augmentée Suivi visuel et recalage 2D Suivi d objets 3D représentés par des modèles par points Christophe DEHAIS 21 Mai 2008 Directeur de thèse: Alain AYACHE Encadrants: Géraldine MORIN, Vincent CHARVILLAT Équipe VORTEX

2 Deux parties : Réalité Augmentée, recalage 2D Suivi visuel 3D utilisant des modèles par points 2 / 54

3 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Vue d ensemble de la RA Définition Applications de la RA Dispositifs matériels Suivi d arrière plan Augmentation interactive de gravures préhistoriques Mise en valeur des gravures Recalage non-rigide Mise en oeuvre Bilan de la partie 3 / 54

4 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Définition Applications de la RA Dispositifs matériels Suivi d arrière plan Définition Définition (Réalité Augmentée (RA) [Azuma, 1997]) Domaine des applications qui combinent le réel et le virtuel fonctionnent en temps réel font cohabiter les objets virtuels et réels dans le même monde 3D Vue d ensemble de la RA Définition 4 / 54

5 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Définition Applications de la RA Dispositifs matériels Suivi d arrière plan Définition Définition (Réalité Augmentée (RA) [Azuma, 1997]) Domaine des applications qui combinent le réel et le virtuel fonctionnent en temps réel font cohabiter les objets virtuels et réels dans le même monde 3D Assistance de l utilisateur via annotations graphiques / textuelles objets réels cachés transfert d information recalée vers la modalité visuelle Vue d ensemble de la RA Définition 4 / 54

6 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Un spectre de domaines Définition Applications de la RA Dispositifs matériels Suivi d arrière plan Continuum Réalité-Virtualité [Milgram and Kishino, 1994] Vue d ensemble de la RA Définition 5 / 54

7 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Définition Applications de la RA Dispositifs matériels Suivi d arrière plan Un spectre de domaines Continuum Réalité-Virtualité [Milgram and Kishino, 1994] Notre positionnement Composition/recalage 2D possibles sous conditions particulières Contrainte temps réel / latence RA = un mécanisme d IHM Vue d ensemble de la RA Définition 5 / 54

8 Applications Médicales Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Définition Applications de la RA Dispositifs matériels Suivi d arrière plan Sources : [Azuma, 1997] [Sielhorst et al., 2004] [Marchand, 2004] Boeing, Sony, Sportsvision Vue d ensemble de la RA Applications de la RA 6 / 54

9 Applications Médicales Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Maintenance Assemblage Définition Applications de la RA Dispositifs matériels Suivi d arrière plan Sources : [Azuma, 1997] [Sielhorst et al., 2004] [Marchand, 2004] Boeing, Sony, Sportsvision Vue d ensemble de la RA Applications de la RA 6 / 54

10 Applications Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Définition Applications de la RA Dispositifs matériels Suivi d arrière plan Médicales Maintenance Divertissement Assemblage Sources : [Azuma, 1997] [Sielhorst et al., 2004] [Marchand, 2004] Boeing, Sony, Sportsvision Vue d ensemble de la RA Applications de la RA 6 / 54

11 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Définition Applications de la RA Dispositifs matériels Suivi d arrière plan Exemple : essayage virtuel de lunettes Cohérence géométrique photométrique spatio-temporelle Société FittingBox Vue d ensemble de la RA Applications de la RA 7 / 54

12 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Différents dispositifs spécialisés Définition Applications de la RA Dispositifs matériels Suivi d arrière plan Systèmes de visualisation Head Mounted Display : Video/Optical See-Through Projecteurs Capteurs de position et de mouvement Capteurs mécaniques Systèmes magnétiques Systèmes ultrasons Capteurs inertiels Caméra + Vision par ordinateur Interfaces haptiques Bras à retour d efforts Gants Vue d ensemble de la RA Dispositifs matériels 8 / 54

13 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Différents dispositifs spécialisés Définition Applications de la RA Dispositifs matériels Suivi d arrière plan Systèmes de visualisation Head Mounted Display : Video/Optical See-Through Projecteurs Capteurs de position et de mouvement Capteurs mécaniques Systèmes magnétiques Systèmes ultrasons Capteurs inertiels Caméra + Vision par ordinateur Interfaces haptiques Bras à retour d efforts Gants Vue d ensemble de la RA Dispositifs matériels 8 / 54

14 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Définition Applications de la RA Dispositifs matériels Suivi d arrière plan Première application : suivi d arrière plan vue panoramique comme connaissance a priori de l arrière plan séquence vidéo avec personnages / objets au premier plan Vue d ensemble de la RA Suivi d arrière plan 9 / 54

15 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Définition Applications de la RA Dispositifs matériels Suivi d arrière plan Première application : suivi d arrière plan vue panoramique comme connaissance a priori de l arrière plan séquence vidéo avec personnages / objets au premier plan Solution : suivi de motif plan avec occultations [Douze, 2004] Mise à jour des prédicteurs linéaires d une approche de type [Jurie and Dhome, 2002] Suivi et séléction de motifs non occultés de l arrière plan Vue d ensemble de la RA Suivi d arrière plan 9 / 54

16 Application Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Définition Applications de la RA Dispositifs matériels Suivi d arrière plan Augmentation Incrustation Vue d ensemble de la RA Suivi d arrière plan 10 / 54

17 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Mise en valeur des gravures Recalage non-rigide Mise en oeuvre Vue d ensemble de la RA Définition Applications de la RA Dispositifs matériels Suivi d arrière plan Augmentation interactive de gravures préhistoriques Mise en valeur des gravures Recalage non-rigide Mise en oeuvre Bilan de la partie Gravures préhistoriques 11 / 54

18 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Mise en valeur des gravures Recalage non-rigide Mise en oeuvre Objectif Préservation du Patrimoine (Cultural Heritage) Protection du site Accessibilité Attractivité Gravures préhistoriques Mise en valeur des gravures 12 / 54

19 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Mise en valeur des gravures Recalage non-rigide Mise en oeuvre Données disponibles Une série de photos haute résolution Gravures préhistoriques Mise en valeur des gravures 13 / 54

20 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Mise en valeur des gravures Recalage non-rigide Mise en oeuvre Données disponibles Une série de photos haute résolution Relevés de préhistorien (C. Barrière) Gravures préhistoriques Mise en valeur des gravures 13 / 54

21 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Mise en valeur des gravures Recalage non-rigide Mise en oeuvre Données disponibles Une série de photos haute résolution Relevés de préhistorien (C. Barrière) Gravures préhistoriques Mise en valeur des gravures 13 / 54

22 Vue d ensemble de la RA Gravures pre historiques Bilan de la partie Mise en valeur des gravures Recalage non-rigide Mise en oeuvre Recalage non rigide De formation non rigide calcule e hors-ligne I Segmentation des releve s I Points de contro le place s manuellement I Mode le de splines de type ((plaque mince)) (Thin-Plate Spline) I Contro le de la complexite de la de formation par se lection de mode le Gravures pre historiques Recalage non-rigide 14 / 54

23 Vue d ensemble de la RA Gravures pre historiques Bilan de la partie Mise en valeur des gravures Recalage non-rigide Mise en oeuvre Recalage non rigide De formation non rigide calcule e hors-ligne I Segmentation des releve s I Points de contro le place s manuellement I Mode le de splines de type ((plaque mince)) (Thin-Plate Spline) I Contro le de la complexite de la de formation par se lection de mode le Gravures pre historiques Recalage non-rigide 14 / 54

24 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Mise en valeur des gravures Recalage non-rigide Mise en oeuvre Le dispositif interactif Gravures préhistoriques Mise en oeuvre 15 / 54

25 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Mise en valeur des gravures Recalage non-rigide Mise en oeuvre Composition des tracés partiellement révélés par l utilisateur Gravures préhistoriques Mise en oeuvre 16 / 54

26 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Mise en valeur des gravures Recalage non-rigide Mise en oeuvre Différents scenarios Borne interactive Support de commentaires pour guide professionnel Interaction enseignant/élève Gravures préhistoriques Mise en oeuvre 17 / 54

27 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Les solutions et approches abordées Dans le cadre de la RA, des problèmes de recalage 2D le suivi de motifs plans, le suivi de fond (1 e application) l estimation des déformations non rigides (2 e application) Bilan de la partie 18 / 54

28 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Les solutions et approches abordées Dans le cadre de la RA, des problèmes de recalage 2D le suivi de motifs plans, le suivi de fond (1 e application) l estimation des déformations non rigides (2 e application) La composition 2D est possible et suffisante Bilan de la partie 18 / 54

29 Vue d ensemble de la RA Gravures préhistoriques Bilan de la partie Les solutions et approches abordées Dans le cadre de la RA, des problèmes de recalage 2D le suivi de motifs plans, le suivi de fond (1 e application) l estimation des déformations non rigides (2 e application) La composition 2D est possible et suffisante Cependant... Bilan de la partie 18 / 54

30 Suivi visuel 3D Introduction Motivations Formalisation État de l art Reconstruction d une surface continue Rendu par splatting Déplacements inter images Évaluation des prédicteurs de mouvements Stabilisation du suivi Résultats 19 / 54

31 Introduction Motivations Introduction Séquence d images {I 0,..., I t } Problème Trouver la pose relative de l objet à chaque instant t. Suivi visuel 3D Introduction 20 / 54

32 Introduction Motivations Formalisation du problème Modèle sténopé Matrice de projection P K[R t] Pose paramétrée par β R 6 : m = Φ(β, p) Suivi visuel 3D Introduction 21 / 54

33 Introduction Motivations Suivi basé modèle Séquence d images {I 0,..., I t } Le modèle permet de relier le mouvement (2D) apparent observé dans les images le mouvement (3D) de l objet relativement à la caméra Suivi visuel 3D Introduction 22 / 54

34 Introduction Motivations Suivi basé modèle Séquence d images {I 0,..., I t } Quel modèle? Le modèle permet de relier le mouvement (2D) apparent observé dans les images le mouvement (3D) de l objet relativement à la caméra Suivi visuel 3D Introduction 22 / 54

35 Introduction Motivations Ce que je défends Question : quel modèle pour le suivi? Réponse : un modèle par points, dense, sans topologie Suivi visuel 3D Introduction 23 / 54

36 Introduction Motivations Ce que je défends Question : quel modèle pour le suivi? Réponse : un modèle par points, dense, sans topologie Question : est-ce nouveau? Réponse : non en synthèse d image, OUI! pour le suivi 3D Suivi visuel 3D Introduction 23 / 54

37 Introduction Motivations Ce que je défends Question : quel modèle pour le suivi? Réponse : un modèle par points, dense, sans topologie Question : est-ce nouveau? Réponse : non en synthèse d image, OUI! pour le suivi 3D Question : quels avantages? Réponse : simple (GPU), flexible, généralisable au cas déformable Suivi visuel 3D Introduction 23 / 54

38 Introduction Motivations Motivations Vision : les primitives 2D à suivre Points d intérêt Contours Texture Suivi visuel 3D Motivations 24 / 54

39 Introduction Motivations Motivations Vision : les primitives 2D à suivre Points d intérêt Contours Texture échantillonnage ponctuel! Suivi visuel 3D Motivations 24 / 54

40 Introduction Motivations Motivations Vision : les primitives 2D à suivre Points d intérêt Contours Texture échantillonnage ponctuel! Informatique Graphique : représentations par points Pas de maillage Pas de phase d assemblage des primitives Pas de topologie à maintenir Pas de prétraitement (reconstruction par scanner 3D ou par Structure-from-motion) Suivi visuel 3D Motivations 24 / 54

41 Introduction Motivations Motivations Vision : les primitives 2D à suivre Points d intérêt Contours Texture échantillonnage ponctuel! Informatique Graphique : représentations par points Pas de maillage Pas de phase d assemblage des primitives Pas de topologie à maintenir Pas de prétraitement (reconstruction par scanner 3D ou par Structure-from-motion) également intéressantes en vision! Suivi visuel 3D Motivations 24 / 54

42 État de l art Reconstruction d une surface continue Rendu par splatting Suivi visuel 3D Introduction Motivations Formalisation État de l art Reconstruction d une surface continue Rendu par splatting Déplacements inter images Évaluation des prédicteurs de mouvements Stabilisation du suivi Résultats 25 / 54

43 État de l art Reconstruction d une surface continue Rendu par splatting Différentes primitives points Points purs État de l art 26 / 54

44 État de l art Reconstruction d une surface continue Rendu par splatting Différentes primitives points Points purs Points orientés État de l art 26 / 54

45 État de l art Reconstruction d une surface continue Rendu par splatting Différentes primitives points Points purs Points orientés Splats isotropes État de l art 26 / 54

46 État de l art Reconstruction d une surface continue Rendu par splatting Différentes primitives points Points purs Points orientés Splats isotropes Splats anisotropes État de l art 26 / 54

47 État de l art Reconstruction d une surface continue Rendu par splatting Différentes primitives points Points purs Points orientés Splats isotropes Splats anisotropes État de l art 26 / 54

48 État de l art Reconstruction d une surface continue Rendu par splatting Différentes primitives points Points purs Points orientés Splats isotropes Splats anisotropes Détermination de la normale et du rayon : Analyse statistique du voisinage (ACP) Structure de données kd-tree pour les requêtes de voisinage Ré-orientation des normales État de l art 26 / 54

49 État de l art Reconstruction d une surface continue Rendu par splatting Reconstruction d une surface continue Objectif : remplir les trous. Reconstruction d une surface continue 27 / 54

50 État de l art Reconstruction d une surface continue Rendu par splatting Reconstruction d une surface continue Objectif : remplir les trous. Reconstruction d une surface continue 27 / 54

51 État de l art Reconstruction d une surface continue Rendu par splatting Reconstruction d une surface continue Objectif : remplir les trous. Nécessaire pour : Rendu Raffinage Reconstruction d une surface continue 27 / 54

52 État de l art Reconstruction d une surface continue Rendu par splatting Approches de reconstruction Définition de la surface sous-jacente : Surface implicite, fonctions à base radiale S = {x R 3, f (x) = 0} Point fixe d un projecteur local (Moving Least Squares, MLS) S = {x R 3, Ψ P (x) = x} Approches par projection des primitives points QSplat [Rusinkiewicz and Levoy, 2000] Surface splatting [Zwicker et al., 2001] Reconstruction d une surface continue 28 / 54

53 État de l art Reconstruction d une surface continue Rendu par splatting Splatting Surface splatting Reconstruction dans l espace image par projection de noyaux de reconstruction gaussiens Intégration d un filtrage passe-bas Adaptation à nos besoins en vision de mises en œuvre sur GPU [Botsch et al., 2005], [Guennebaud, 2005] Généralité Efficacité Rendu par splatting 29 / 54

54 État de l art Reconstruction d une surface continue Rendu par splatting Splatting (suite) Projection approchée par le morphisme inversible M i : y i x. Rendu par splatting 30 / 54

55 État de l art Reconstruction d une surface continue Rendu par splatting Splatting (suite) Splat p i, attributs {A i 1, Ai 2,...} Fonction approximante dans le plan de paramétrage local du splat : Pi A : R 2 R n A Noyau de reconstruction dans l espace objet : r i Expression de la reconstruction dans l espace image : r i (x) = r i(m 1 i (x)) et P A i (x) = Pi A (M 1 i (x)). S A (x) = i r i (x)p A i (x) i r i (x). Rendu par splatting 31 / 54

56 État de l art Reconstruction d une surface continue Rendu par splatting Splatting (suite) Intégration d un filtre passe-bas h(x) : S A (x) = (S A h)(x) Lorsque : i (r i h)(x)p A i (x) i (r i h)(x) Mi est linéaire ri est gaussien h est gaussien Alors ρ i est gaussien : empreinte elliptique. = i ρ i(x)p A i (x) i ρ. i(x) Il suffit de déterminer la matrice de covariance V ρi Rendu par splatting 32 / 54

57 État de l art Reconstruction d une surface continue Rendu par splatting Illustration dans le cas de la couleur Rendu par splatting 33 / 54

58 État de l art Reconstruction d une surface continue Rendu par splatting Interpolation générique pour le suivi Dans notre cas, les attributs de surface : Couleur modèle d apparence Prédicteurs de mouvements modèle de mouvement Rendu par splatting 34 / 54

59 Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Suivi visuel 3D Introduction Motivations Formalisation État de l art Reconstruction d une surface continue Rendu par splatting Déplacements inter images Évaluation des prédicteurs de mouvements Stabilisation du suivi Résultats 35 / 54

60 Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Adaptation des travaux de [Vacchetti et al., 2004] Caractéristiques de l algorithme (original) Modèles par facettes Suivi de points d intérêts Modèle d apparence : patches texturés Modèle de mouvement Transfert homographique Lancer de rayons Stabilisation du suivi par images clés 36 / 54

61 Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Adaptation des travaux de [Vacchetti et al., 2004] Caractéristiques de l algorithme (proposé) Modèles par points Suivi de points d intérêts Modèle d apparence : splats colorés Modèle de mouvement Algèbre de Lie Interpolation dense Stabilisation du suivi par images clés 36 / 54

62 Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Estimation itérative : Fonction de transfert Déplacements inter images 37 / 54

63 Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Estimation itérative : Fonction de transfert Déplacements inter images 37 / 54

64 Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Estimation itérative : Fonction de transfert Déplacements inter images 37 / 54

65 Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Estimation itérative : Fonction de transfert Déplacements inter images 37 / 54

66 Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Estimation itérative : Fonction de transfert Déplacements inter images 37 / 54

67 Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Estimation itérative : Fonction de transfert Déplacements inter images 37 / 54

68 Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Estimation itérative : Fonction de transfert β t = argmin β k i=1 Ψ( β t 1, β, m w(i) t 1 ) mi t 2 Déplacements inter images 37 / 54

69 Formulation symétrique Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats β t = argmin β k i=1 Prise en compte des erreurs sur m i t 1? Ψ( β t 1, β, m w(i) t 1 ) mi t 2 Déplacements inter images 38 / 54

70 Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Formulation symétrique β t = argmin β k i=1 Prise en compte des erreurs sur m i t 1? Ψ( β t 1, β, m w(i) t 1 ) mi t 2 Approche Orthogonal Distance Regression (ODR) Approche par ajustements de faisceaux Déplacements inter images 38 / 54

71 Adaptation aux nuages de points Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Recherche de la transformation euclidienne inter-images [ ] δr δt P t = P t 1 δe δe = 0 1 Algèbre de Lie δe I + 6 α j G j j=1 Relier le mouvement d amplitude αj selon G j d un point 3D m le mouvement du point m dans l image Déplacements inter images 39 / 54

72 Résolution Suivi visuel 3D Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Fonction de transfert m = Ψ(β t 1, β t, m) = m + Problème d optimisation linéaire : min 6 α j l j j=1 k i=1 6 j=1 α jl i j + d i 2 (α 1,..., α 6 ) d i = m w(i) t 1 mi t = (d i x, d i y ) Déplacements inter images 40 / 54

73 Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Évaluation des préditeurs de mouvements 6 Prédicteurs de mouvements 41 / 54

74 Robustesse aux données aberrantes Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Sources des aberrations occultations de l objet d intérêt échec de la mise en correspondance Prise en compte dans la résolution critères robustes (M-estimateurs) résolution par Moindres Carrés Repondérés (IRLS) Prédicteurs de mouvements 42 / 54

75 Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Problème : accumulation d erreurs Le processus en boucle ouverte. Solutions : Autre modalité : contours, etc. Couplage avec un autre capteur Connaissances a priori : images clés Stabilisation du suivi 43 / 54

76 Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Images clés : ensemble de vues à pose référencée Pose déterminée hors ligne Précalcul des points d intérêt Reprojection des PI sur le modèle nuage de points 3D Stabilisation du suivi 44 / 54

77 Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Appariements image courante / image clé Critère de mise en correspondance adapté : SIFT, Harris-*, approche par apprentissage,... Stabilisation du suivi 45 / 54

78 Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Appariements image courante / image clé Critère de mise en correspondance adapté : SIFT, Harris-*, approche par apprentissage,... Synthèse de l image clé dans la pose courante : encore du splatting Stabilisation du suivi 45 / 54

79 Intégration à l algorithme Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Approche 1 : Une à deux passes d estimation linéaire Splatting de prédicteurs de mouvement en la solution du problème itératif Approche 2 : β t = argmin β Φ(β, m j clé ) mj t 2 j Résolution par l algorithme de Levenberg-Marquardt Initialisation = solution du problème itératif Stabilisation du suivi 46 / 54

80 Évaluation quantitative Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Séquence de synthèse Exemple rotation R y Résultats 47 / 54

81 Retour sur l exemple précédent Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Résultats 48 / 54

82 Performances Suivi visuel 3D Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Core2 Duo 2.4Ghz, Nvidia 8800 GT (G80) Modèle léopard : points Opérations temps (ms) Rendu texturé (GPU) 2 Reconstruction des champs de mouvements (GPU) 17 2 Extraction des points (GPU) 1.5 Mise en correspondance des points (I t 1 et I t et entre I t et I clé ) 15 2 Estimation itérative de la pose 7 Estimation de la pose avec l image clé 7 total 81.5 (12 ips) Résultats 49 / 54

83 Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Performances (2) Environ 80% des calculs effectués par le GPU (en bleu ci-contre) Théoriquement vert et bleu peuvent se chevaucher Résultats 50 / 54

84 Démonstrations Suivi visuel 3D Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Résultats 51 / 54

85 Démonstrations Suivi visuel 3D Déplacements inter images Prédicteurs de mouvements Stabilisation du suivi Résultats Résultats 51 / 54

86 Conclusion Ce que j ai défendu Question : quel modèle pour le suivi? Un modèle par points, dense, sans topologie, souple Rôle clé de la technique de splatting Question : est-ce nouveau? Pas d approche similaire à notre connaissance Question : quels avantages? Mise en œuvre sur GPU qui amène généralité efficacité Conclusion 52 / 54

87 Conclusion Ce que je défendrai(s) Intégration d un suivi de contours Labélisation des points contour/texture Calcul dynamique de la silhouette Conclusion 53 / 54

88 Conclusion Ce que je défendrai(s) Intégration d un suivi de contours Labélisation des points contour/texture Calcul dynamique de la silhouette Suivi de surfaces déformables Modélisation par surface moyenne et modes de déformation Ajout des prédicteurs de mouvements correspondants Conclusion 53 / 54

89 Conclusion Ce que je défendrai(s) Intégration d un suivi de contours Labélisation des points contour/texture Calcul dynamique de la silhouette Suivi de surfaces déformables Modélisation par surface moyenne et modes de déformation Ajout des prédicteurs de mouvements correspondants Conclusion 53 / 54

90 Conclusion Merci de votre attention! Conclusion 54 / 54

91 Conclusion Azuma, R. (1997). A survey of augmented reality. Presence : Teleoperators and Virtual Environments 6, 4 : Botsch, M., Hornung, A., Zwicker, M., and Kobbelt, L. (2005). High-quality surface splatting on today s gpus. In Eurographics Symposium on Point-Based Graphics 2005, pages Douze, M. (2004). Estimation d homographies inter-images- Cas des mosaïques et du suivi en temps réel-applications en réalité augmentée. Thèse de doctorat, Institut National Polytechnique de Toulouse, Toulouse, France. Guennebaud, G. (2005). Conclusion 54 / 54

92 Conclusion Algorithmes pour le rendu temps-réel de haute qualité des géométries basées points. PhD thesis, Université Paul Sabatier Toulouse 3. Jurie, F. and Dhome, M. (2002). Hyperplane approximation for template matching. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(7) : Milgram, P. and Kishino, F. (1994). A taxonomy of mixed reality visual displays. IEICE Transactions on Information Systems, E77-D(12). Rusinkiewicz, S. and Levoy, M. (2000). QSplat : A multiresolution point rendering system for large meshes. Conclusion 54 / 54

93 Conclusion In Akeley, K., editor, Siggraph 2000, Computer Graphics Proceedings, pages ACM Press / ACM SIGGRAPH / Addison Wesley Longman. Sielhorst, T., Obst, T., Burgkart, R., Riener, R., and Navab, N. (2004). An augmented reality delivery simulator for medical training. In Workshop AMI-ARCS 04. Vacchetti, L., Lepetit, V., and Fua, P. (2004). Stable real-time 3D tracking using online and offline information. IEEE Transactions on Pattern Analysis and Machine Intelligence, 26(10) : Zwicker, M., Pfister, H., van Baar, J., and Gross, M. (2001). Surface splatting. Conclusion 54 / 54

94 Conclusion In Fiume, E., editor, SIGGRAPH 2001, Computer Graphics Proceedings, pages ACM Press / ACM SIGGRAPH. Conclusion 54 / 54