Présentation de quelques techniques de shape-from-x

Transcription

1 Présentation de quelques techniques de shape-from-x Jean-Denis DUROU IRIT - Toulouse Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

2 Introduction Scannage 3D, reconstruction 3D et shape-from-x Scannage 3D = reconstruction 3D + mesure de l albédo Quelques applications du scannage 3D Architecture Métrologie Réalité augmentée Sauvegarde du patrimoine Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

3 Introduction Scannage 3D, reconstruction 3D et shape-from-x Scannage 3D = reconstruction 3D + mesure de l albédo Quelques applications du scannage 3D Architecture Métrologie Réalité augmentée Sauvegarde du patrimoine Différents procédés de scannage 3D Palpeurs mécaniques Palpeurs optiques Scanners à laser Techniques photographiques shape-from-x Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

4 Introduction Principales techniques de shape-from-x Géométriques Photométriques n = 1 image X = texture X = shading X = shadow (ombrage) (ombres) X = shadow X = structured-light (lumière structurée) n > 1 images Stéréoscopie Stéréophotométrie X = silhouettes X = defocus (flou de mise au point) Structure-from-motion Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

5 Introduction Principales techniques de shape-from-x Géométriques Photométriques n = 1 image X = texture X = shading X = shadow (ombrage) (ombres) X = shadow X = structured-light (lumière structurée) n > 1 images Stéréoscopie Stéréophotométrie X = silhouettes X = defocus (flou de mise au point) Structure-from-motion Techniques qui seront présentées dans cet exposé Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

6 Introduction Travaux de recherche présentés dans cet exposé Shape-from-texture Shape-from-texture en vision mono-oculaire non calibrée Toby COLLINS, Adrien BARTOLI (ISIT, Clermont-Ferrand) Pierre GURDJOS (IRIT) Shape-from-shadow Reconstruction 3D de bâtiments par ombres chinoises Xavier DESCOMBES (INRIA Sophia-Antipolis) Pavel LUKASHEVISH, Aliaxandr KRAUSHONAK (UIIP, Minsk) Shape-from-shading Reconstruction 3D photométrique par apprentissage Maxime DARAMY, Vincent CHARVILLAT, Pierre GURDJOS (IRIT) Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

7 Plan de l exposé Introduction 1 Introduction 2 Shape-from-texture en vision mono-oculaire non calibrée 3 Reconstruction 3D de bâtiments par ombres chinoises 4 Reconstruction 3D photométrique par apprentissage 5 Conclusion et perspectives Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

8 Shape-from-texture en vision mono-oculaire non calibrée Plan de l exposé 1 Introduction 2 Shape-from-texture en vision mono-oculaire non calibrée 3 Reconstruction 3D de bâtiments par ombres chinoises 4 Reconstruction 3D photométrique par apprentissage 5 Conclusion et perspectives Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

9 Shape-from-texture en vision mono-oculaire non calibrée Shape-from-texture (SFT) : deux approches Approche fréquentielle Exemple : surface recouverte de points de peinture à l aérographe On estime la densité de points dans l image Formulation analogue à celle du shape-from-shading [Horn 1975] Approche textons Notre approche Exemple : tissu imprimé On estime les homographies entre un motif plan et des textons Formulation analogue à celle du calcul de pose d une caméra à partir d une scène plane [Sturm 2000] Avantages comparés des deux approches Approche fréquentielle : estimation dense du relief Approche textons : estimation des profondeurs et des normales Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

10 Shape-from-texture en vision mono-oculaire non calibrée Shape-from-texture (SFT) : hypothèses de travail Une seule image : vision mono-oculaire Plusieurs projections (textons) d un motif plan de forme connue Caméra non calibrée Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

11 Shape-from-texture en vision mono-oculaire non calibrée Modèles de projection exact et modèle approché Projection perspective Projection orthographique Images d un cube Projection réelle : projection perspective Limite de la projection perspective lorsque l objet s éloigne de l appareil photographique : projection orthographique Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

12 Shape-from-texture en vision mono-oculaire non calibrée Transformations géométriques correspondantes Transformation affine Homographie Motif carré Quadrilatère quelconque Parallélogramme Images d un motif carré (exemple : face d un cube) Projection perspective : quadrilatère quelconque (parallélogramme pour un motif carré et fronto-parallèle) Projection orthographique : parallélogramme Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

13 Shape-from-texture en vision mono-oculaire non calibrée Un seul texton : ambiguïté si caméra non calibrée Théorème de Poncelet Le point principal O est sur la ligne des centres, calculable par estimation de l homographie [Gurdjos 2002] Pour chaque point O, il existe une distance focale f et une pose qui procurent le même texton : reconstruction 3D mal posée Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

14 Shape-from-texture en vision mono-oculaire non calibrée Pourquoi le SFT non calibré semble bien posé Rappels des hypothèses de travail Une seule image : vision mono-oculaire Plusieurs projections (textons) d un motif plan de forme connue Caméra non calibrée Conséquence Bilan Pour chaque texton, estimation de l homographie détermination d une ligne des centres Si au moins deux motifs non coplanaires : au moins deux lignes des centres s intersectent car l appareil photographique est le même pour tous les motifs (vision mono-oculaire) On sait estimer la position de O, donc f : auto-calibrage On connaît la profondeur et la normale en chaque texton : SFT non calibré = problème bien posé? Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

15 Shape-from-texture en vision mono-oculaire non calibrée Pourquoi le SFT non calibré n est pas bien posé Exemple d image réelle Pourquoi cela ne marche pas en pratique Textons trop petits parallélogrammes Motifs fronto-parallèles! Homographies transformations affines Estimation des homographies mal conditionnée Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

16 Shape-from-texture en vision mono-oculaire non calibrée Informations sur la normale fournies par un texton Ñ Ñ 1 Projection perspective Projection orthographique Ñ 2 Détermination de la normale (Ñ = projection de la normale sur l image) Inconvénient : normale calculable à une ambiguïté près (N 1 et N 2 ) Avantage 1 : N 1 et N 2 indépendants des paramètres de la caméra Avantage 2 : estimation de N 1 et N 2 bien conditionnée Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

17 Shape-from-texture en vision mono-oculaire non calibrée Informations sur la profondeur fournies par un texton Z f Texton C O z Motif G N 2 e z N 1 aire du texton aire du motif x = f 2 Z 2 (N e z) Détermination de la profondeur Z du centre de gravité G du motif Avantage : (N 1 e z ) = (N 2 e z ) Inconvénient : la profondeur Z dépend de f, les autres coordonnées 3D de G dépendent de la position de O Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

18 Shape-from-texture en vision mono-oculaire non calibrée Comment retrouver le 3D sans calibrage préalable? Première idée : intégration des normales Avantage : on n a pas besoin des paramètres de la caméra Inconvénient 1 : en chaque texton, deux normales possibles Inconvénient 2 : champ de normales non dense Deuxième idée : utiliser la redondance entre normales et points 3D Les normales N 1 et N 2 ne dépendent ni de f ni de O Les coordonnées des points 3D reconstruits dépendent de f et O Utilisation de la redondance d informations entre normales et points 3D pour estimer ces paramètres Notre approche Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

19 Shape-from-texture en vision mono-oculaire non calibrée Redondance entre normales et points 3D Équation de l intégration perspective des normales Z = [r, ( s] T, avec Z = ln Z et : N (r, s) = x (x x O ) N x +(y y O ) N y +f N z, ) N y (x x O ) N x +(y y O ) N y +f N z Équation valide si la surface est différentiable et sans occultation Estimation des paramètres de la caméra Critère à minimiser : C(f, x O, y O ) = textons Z [r, s]t 2 Pour estimer Z en G 1, on approche la surface par le plan passant par 3 points G 1, G 2 et G 3 voisins G 2 G 1 G3 Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

20 Shape-from-texture en vision mono-oculaire non calibrée Reconstruction 3D : données de synthèse y Grille à mailles carrées plaquée sur un cylindre x Positions des coins des mailles dans l image Reconstruction 3D sans bruit Reconstruction 3D avec bruit additif gaussien (σ = 2% taille image) Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

21 Shape-from-texture en vision mono-oculaire non calibrée Reconstruction 3D et auto-calibrage : données réelles Image réelle Relief et normales reconstruits Estimation de la distance focale Focale estimée par calibrage préalable : f = 1274, 99 pixels Focale estimée par auto-calibrage : f = 1660 pixels Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

22 Shape-from-texture en vision mono-oculaire non calibrée Conclusion et perspectives Conclusion Reconstruction 3D non calibrée mono-oculaire par SFT Estimation des paramètres internes de la caméra Perspectives Détection automatique des points d intérêt des textons Généralisation à un motif plan de forme inconnue Remise en question de la démarche suivie Démarche classique en trois étapes : modélisation du problème, analyse mathématique (problème bien/mal posé), résolution Autres démarches envisageables Suite de l exposé Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

23 Reconstruction 3D de bâtiments par ombres chinoises Plan de la présentation 1 Introduction 2 Shape-from-texture en vision mono-oculaire non calibrée 3 Reconstruction 3D de bâtiments par ombres chinoises 4 Reconstruction 3D photométrique par apprentissage 5 Conclusion et perspectives Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

24 Reconstruction 3D de bâtiments par ombres chinoises Reconstruction 3D par shape-from-shadow Problème : reconstruire des bâtiments à partir de leurs ombres Hypothèses de travail Une seule image : vision mono-oculaire Position de la caméra et position du Soleil connues Bâtiments parallélépipédiques à toit bi-plan symétrique sur sol plat h H (x, y) v L 7 inconnues par bâtiment : x, y, v = [a, b], H, h et L Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

25 Reconstruction 3D de bâtiments par ombres chinoises Si l on suivait la démarche classique... Exemple d image réelle Détection des ombres à analyser sous la forme d hexagones On devrait, pour chaque bâtiment : Détecter l hexagone qui colle le mieux à l ombre Résoudre 12 équations non linéaires à 7 inconnues Encore plus compliqué quand une ombre se projette sur un bâtiment! Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

26 Reconstruction 3D de bâtiments par ombres chinoises Autre démarche : ombres chinoises Principe des ombres chinoises Application à l image précédente Recherche de coïncidence entre ombres des bâtiments et de l image Avantage 1 : pas de détection de points d intérêt Avantage 2 : ni modélisation, ni analyse du problème Avantage 3 : résolution non par inversion, mais par essais/erreurs Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

27 Reconstruction 3D de bâtiments par ombres chinoises Premier algorithme : résultat sur image de synthèse Image de synthèse Configuration optimale (60000 tirages) Premier algorithme proposé Le nombre n de bâtiments est fixé (ici n = 2). On effectue en boucle : Modification des paramètres d un bâtiment : configuration ω nouv Simulation de l image de ω nouv par OpenGL Mémorisation de ω nouv si meilleure coïncidence entre ombres Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

28 Reconstruction 3D de bâtiments par ombres chinoises Premier algorithme : résultat sur image réelle Image réelle Configuration optimale (30000 tirages) Évaluation du premier algorithme Avantage : algorithme très simple à mettre en œuvre Inconvénient 1 : nombre de bâtiments n fixé a priori Inconvénient 2 : beaucoup de calculs inutiles (algorithme glouton) Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

29 Reconstruction 3D de bâtiments par ombres chinoises Deuxième algorithme : résultat sur image réelle Image réelle Deuxième algorithme proposé Configuration optimale (3000 cycles naissances/morts) Recherche de coïncidence entre ombres et entre contours Naissances/morts multiples [Descombes et al. 2007] Hybride entre algorithme génétique et recuit simulé Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

30 Reconstruction 3D photométrique par apprentissage Plan de la présentation 1 Introduction 2 Shape-from-texture en vision mono-oculaire non calibrée 3 Reconstruction 3D de bâtiments par ombres chinoises 4 Reconstruction 3D photométrique par apprentissage 5 Conclusion et perspectives Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

31 Reconstruction 3D photométrique par apprentissage Shape-from-shading : équations de base Loi de Lambert I = ρ S N S vecteur d éclairage ρ albédo et N normale en un point P de la scène 3D I niveau de gris de l image de P (normalisé entre 0 et 1) Shape-from-shading : hypothèses de travail Une seule image : vision mono-oculaire Albédo ρ connu et éclairage de face Shape-from-shading : modèles usuels Modèle non différentiel : I = ρ S N Problème mal posé Modèle différentiel : z 2 = 1 1 Équation eikonale I2 Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

32 Reconstruction 3D photométrique par apprentissage Résolution de l équation eikonale Exemple unidimensionnel avec niveau de gris uniforme I = 2/2 Équation eikonale : z = 1 Conditions au bord : z(±1) = 0 1 z 1 z 1 O 1 Solution de viscosité x 1 O 1 N est pas une solution de viscosité («pointes vers le bas» interdites) x Analyse du problème Pas de solution différentiable Unique solution de viscosité Problème bien posé Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

33 Reconstruction 3D photométrique par apprentissage Résolution de l équation eikonale (suite) Exemple unidimensionnel avec niveau de gris I = 1 x 2 Équation eikonale : z = x / 1 x 2 Conditions au bord : z(±1) = 0 1 z 1 z x x 1 O 1 1 O 1 Solution différentiable Solution de viscosité Analyse du problème Deux solutions différentiables : ambiguïté concave/convexe Infinité de solutions de viscosité Problème mal posé! Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

34 Reconstruction 3D photométrique par apprentissage Autre démarche : apprentissage Hypothèses de travail Deux images prises dans les mêmes conditions opératoires L image d apprentissage I a est celle d un objet de relief connu Image d apprentissage I a Image de test I t Algorithme proposé On découpe les deux images en imagettes de même taille Imagette de I a normale du pixel central Imagette de I t normale de l imagette de I a la plus semblable Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

35 Reconstruction 3D photométrique par apprentissage Algorithme proposé : premiers résultats Image de test Évaluation de l algorithme proposé Deux images simulées à partir du champ de normales estimé par apprentissage Avantage 1 : ni modélisation, ni analyse du problème Avantage 2 : matériau quelconque, éclairage quelconque Inconvénient 1 : S doit être le même en tout point des deux objets Inconvénient 2 : les deux objets doivent avoir la même réflectance Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

36 Conclusion et perspectives Plan de la présentation 1 Introduction 2 Shape-from-texture en vision mono-oculaire non calibrée 3 Reconstruction 3D de bâtiments par ombres chinoises 4 Reconstruction 3D photométrique par apprentissage 5 Conclusion et perspectives Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

37 Conclusion Conclusion et perspectives Techniques et démarches présentées dans cet exposé Shape-from-texture : modélisation + analyse + résolution (MAR) Shape-from-shadow : résolution par essais/erreurs (REE) Shape-from-shading : résolution par apprentissage (RA) Avantages des démarches REE et RA Ni modélisation, ni analyse du problème : plus facile Se généralisent beaucoup plus facilement que la démarche MAR Inconvénients des démarches REE et RA Moins de mathématiques et plus d informatique : plus grossier Un problème mal posé reste mal posé : cf. résultats de RA Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36

38 Conclusion et perspectives Perspectives Shape-from-texture (déjà citées) Détection automatique des points d intérêt des textons Généralisation à un motif plan de forme inconnue Shape-from-shadow Réduire le nombre de paramètres à régler Utiliser la démarche REE avec des paires stéréoscopiques Shape-from-shading Tester REE : OpenGL permet de choisir la réflectance, etc. Généraliser RA à la stéréophotométrie [Hertzmann et Seitz 2003] Jean-Denis DUROU (IRIT - Toulouse) ISIS - 12 avril / 36