Caractérisation de la projection du squelette d une surface canal 3D : Application à la reconstruction 3D à partir de deux images

Transcription

1 Caractérisation de la projection du squelette d une surface canal 3D : Application à la reconstruction 3D à partir de deux images Bastien Durix 1, Géraldine Morin 1, Sylvie Chambon 1, Céline Roudet 2, Lionel Garnier 2 1 Université de Toulouse - IRIT - Équipe Vortex 2 Université de Bourgogne - Le2i - Équipe MGSI 27 Mai 2015 Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 1 / 25

2 Qu est-ce qu un squelette? Centre d une boule maximale Axe médian interne Boule maximale Frontière de la forme Squelette [Blum1967 ] Centres des boules maximales (Axe médian interne) Rayons associés Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 2 / 25

3 Qu est-ce qu un squelette? Centre d une boule maximale Axe médian interne Boule maximale Frontière de la forme Squelette [Blum1967 ] Permet de caractériser la forme : Connaissance du squelette Connaissance de la forme Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 2 / 25

4 Problématique Comment reconstruire le squelette d un objet 3D à partir de deux images? Images de référence Surface reconstruite Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 3 / 25

5 Plan 1 État de l art 2 Estimation de la projection d un squelette 3 Triangulation d un squelette 3D 4 Conclusion/Perspectives Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 4 / 25

6 État de l art Reconstruction 3D multi-vues Stéréovision, Structure-from-Motion [Hartley2004 ] Shape-from-Silhouette [Laurentini1994, Cheung2003 ] Squelette [Blum1967 ] Squelettisation facile [Lam1992, Amenta2001a ] Habillage discret [Edelsbrunner1995, Delame2012 ] Pourquoi utiliser une surface canal? Habillage simple [Peternell1997, Xu2006 ] Reconstruction mono-image [Caglioti2006, Caglioti2009 ] Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 5 / 25

7 Pourquoi reconstruire des squelettes? Hypothèse Reconstruction de surfaces canal sans auto-intersection Avantages Habillage d un squelette C 1 facile Donne la topologie de l objet Facilite l animation de l objet Inconvénients Niveau de détail faible (à combiner avec une reconstruction multi-vues!) Valable uniquement pour les squelettes curvilignes Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 6 / 25

8 Chaîne de traitements 1 Extraction du contour de la forme Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 7 / 25

9 Chaîne de traitements 1 Extraction du contour de la forme 2 Estimation de la projection du squelette Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 7 / 25

10 Chaîne de traitements 1 Extraction du contour de la forme 2 Estimation de la projection du squelette 3 Triangulation du squelette 3D Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 7 / 25

11 Chaîne de traitements 1 Extraction du contour de la forme 2 Estimation de la projection du squelette 3 Triangulation du squelette 3D 4 Habillage du squelette 3D (surfcanal.u3d) Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 7 / 25

12 Plan 1 État de l art 2 Estimation de la projection d un squelette 3 Triangulation d un squelette 3D 4 Conclusion/Perspectives Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 8 / 25

13 Projection orthogonale d un squelette Idée Squelette : décrit l ensemble des boules maximales de la forme Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 9 / 25

14 Projection orthogonale d un squelette Idée Projection orthogonale de la forme : projection orthogonale des boules maximales Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 9 / 25

15 Projection orthogonale d un squelette Idée Projection orthogonale du squelette : Squelette de la projection Utilisation d une technique classique d extraction du squelette : Voronoï [Ogniewicz1992 ] Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 9 / 25

16 Problème du cas perspectif Cas orthographique Projection orthogonale d une sphère : cercle Cas perspectif Projection centrale d une sphère : ellipse Projection du squelette Squelette de la projection Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 10 / 25

17 Projection perspective d un squelette Cas perspectif Recherche des ellipses maximales dans la projection de la forme On ne peut pas utiliser de technique classique Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 11 / 25

18 Projection perspective d un squelette Cas perspectif Recherche des ellipses maximales dans la projection de la forme On ne peut pas utiliser de technique classique Contribution Algorithme d estimation de la projection perspective d un squelette, à partir de la projection de la forme Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 11 / 25

19 Estimation d un squelette perspectif Projection d une sphère sur un plan : Intersection d un cône tangent à la sphère avec le plan O 3 C Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 12 / 25

20 Projection perspective d un squelette Transformation des données du problème Projection de l ellipse sur la sphère unité centrée en O 3 : cercle O 3 C Équivalence entre la recherche d ellipses maximales dans le plan, et la recherche de cercles maximaux sur la sphère Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 13 / 25

21 Projection perspective d un squelette Entrée Contour 2D discrétisé de l objet Calibrage caméra Algorithme 1 Projection des points du contour sur la sphère unité 2 Tétraédrisation de Delaunay 3 Calcul d une ellipse pour chaque tétraèdre obtenu Sortie Squelette perspectif de l objet, avec sa topologie Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 14 / 25

22 Plan 1 État de l art 2 Estimation de la projection d un squelette 3 Triangulation d un squelette 3D 4 Conclusion/Perspectives Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 15 / 25

23 Recherche du squelette 3D de la forme Hypothèses Deux images Points de vue calibrés Pour chaque image Extraction du squelette projectif (orthographique ou perspectif) Approximation par une B-Spline Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 16 / 25

24 Recherche du squelette 3D de la forme Appariement des courbes Association des points des courbes, pour trianguler l emplacement des sphères (par minimisation des distances entre les droites) Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 17 / 25

25 Recherche du squelette 3D de la forme Problème rencontré Existence d une ambiguïté sur l appariement (bs3.u3d) Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 18 / 25

26 Recherche du squelette 3D de la forme Problème rencontré Existence d une ambiguïté sur l appariement (bs3.u3d) Solution possible Ajout d une contrainte sur la longueur de la courbe Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 18 / 25

27 Tests sur données de synthèse (Projection orthogonale) Comparaison entre la forme originale (en bleu) et la reconstruction (en rouge) Erreur : 7, 6% Erreur : 7, 3% Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 19 / 25

28 Tests sur données de synthèse (Projection perspective) Comparaison entre la forme originale (en bleu) et la reconstruction (en rouge) Erreur : 2, 5% Erreur : 6, 7% Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 20 / 25

29 Tests sur images réelles Deux projections de l objet Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 21 / 25

30 Tests sur images réelles Deux projections de l objet Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 21 / 25

31 Tests sur images réelles (sourisrec.u3d) Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 22 / 25

32 Tests sur images réelles Image originale Reconstruction par squelette Durix, Morin, Chambon, Roudet et Garnier Reconstruction par Structure-from-Motion Projection du squelette d une surface canal 3D 23 / 25

33 Plan 1 État de l art 2 Estimation de la projection d un squelette 3 Triangulation d un squelette 3D 4 Conclusion/Perspectives Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 24 / 25

34 Conclusion/Perspectives Contributions Estimation du squelette projectif d un forme Appariement des squelettes sur deux images Futurs travaux Appariement automatique des différentes parties des squelettes Utilisation de plusieurs images pour affiner la reconstruction Reconstruction de squelettes surfaciques Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 25 / 25

35 Conclusion/Perspectives Contributions Estimation du squelette projectif d un forme Appariement des squelettes sur deux images Futurs travaux Appariement automatique des différentes parties des squelettes Utilisation de plusieurs images pour affiner la reconstruction Reconstruction de squelettes surfaciques Merci de votre attention! Durix, Morin, Chambon, Roudet et Garnier Projection du squelette d une surface canal 3D 25 / 25