Indexation 3D à partir de vues 2D

Transcription

1 Indexation 3D à partir de vues 2D Thibault Napoléon 1 Télécom ParisTech - TSI

2 Qu est ce que l indexation 3D? Recherche dans une grande base de donnée 3D Recherche par le contenu (la forme, la couleur...) Requête Thibault Napoléon 2

3 Qu est ce que l indexation 3D? Objectifs de l indexation 3D : Bonne discrimination Automatique Robuste face à : Translation, changement d échelle, rotation Changement de topologie Bruit, déformation Rapidité de calcul Thibault Napoléon 3

4 Pourquoi l indexation 3D? Limites des approches 2D : Sensible à la pose Occlusion Conditions d illumination... Thibault Napoléon 4

5 Pourquoi l indexation 3D? Croissance des bases de données 3D : Scanners Logiciels de synthèse d images Reconstruction 3D... Thibault Napoléon 5

6 Pourquoi l indexation 3D? Méthodes existantes encore imprécise : Difficultés pour les très grandes bases de données Temps de calculs importants Difficultés pour se rapprocher de la sémantique... Thibault Napoléon 6

7 Plan Etat de l art Motivations Contributions Estimation de la pose Descripteurs multi-vues de convexités/concavités Mise en correspondance et élagage Expérimentations Conclusion et perspectives Thibault Napoléon 7

9 Etat de l art Approches 3D : Transformée de Hough 3D [Zaharia & Prêteux, 2002] 3D Hough f.v. = Graph de Reeb [Tung & Schmitt, 2005] Densité probabiliste [Akgul et Schmitt, 2007] Thibault Napoléon 9

10 Etat de l art Approches 2.5D : Images de profondeur [Chaouch & Verroust- Blondet, 2007] Thibault Napoléon 10

11 Etat de l art Approches 2D : Approche par Lightfields et moments de Zernike [Chen & al, 2003] Thibault Napoléon 11

13 Motivations Complémentarité des approches globales et locales Rapide Compact Robuste face aux variations intra/ inter classes. Globales Locales Thibault Napoléon 13

14 Motivations Flexibilité de l approche 2D : Requêtes 3D (classique) Et requêtes 2D multi-vues ou non Thibault Napoléon 14

16 Contributions Nouvelle méthode d alignement des objets 3D : Rotation : Calcul de plusieurs ACP Recherche de l enveloppe visuelle minimale Translation/Echelle : Utilisation de la sphère minimale englobante Thibault Napoléon 16

17 Contributions Extraction d un descripteur multi-vues 2D : Extraction de plusieurs silhouettes (3, 9,...) Descripteur de convexités/concavités multi-échelles Signatures globale et locale Thibault Napoléon 17

18 Contributions Mise en correspondance élastique et rapide : Sélection automatique des objets les plus proches (descripteur global) Programmation dynamique contrainte et élastique (descripteur local) Thibault Napoléon 18

19 Contributions Framework d alignement et d extraction : Objet Translation Echelle Multi PCA Silhouettes Signature globale Aire minimum Signature locale Thibault Napoléon 19

20 Contributions Framework de mise en correspondance et d élagage : Résultats globaux Résultats locaux k meilleurs Résultats Thibault Napoléon 20

22 Estimation de la pose Normalisation en translation et en échelle : Problèmes liés à la capture des silhouettes (centre, échelle,...) Utilisation de la sphère minimale englobante Thibault Napoléon 22

23 Estimation de la pose Normalisation en rotation : Supposons : Le but est de trouver le paramètre critère d enveloppe visuelle : qui minimise le avec et les projections 3D vers 2D Thibault Napoléon 23

24 Estimation de la pose Normalisation en rotation : Recherche du paramètre optimale impossible Calcul de 4 alignements : Pose Initiale ACP ACP «Continue» ACP par normales Choix de celui qui minimise le critère Thibault Napoléon 24

25 Estimation de la pose Normalisation en rotation : Initiale ACP ACPC ACPN Thibault Napoléon 25

26 Estimation de la pose Ordonnancement des axes de rotation : Thibault Napoléon 26

27 Estimation de la pose Normalisation en réflexion : Thibault Napoléon 27

28 Estimation de la pose Framework d alignement : Objet Translation Echelle Multi PCA Aire minimum Thibault Napoléon 28

30 Descripteurs 2D Extraction d une information concernant la forme permettant une recherche efficace Thibault Napoléon 30 Passage en 2D

31 Descripteurs 2D Extraction de silhouettes 2D : Permet des requêtes en 2D Intérêt de la sphère minimale englobante Choix de 3 ou 9 silhouettes (couverture suffisante de l espace) Extraction des 48 groupes possibles pour la requête Thibault Napoléon 31

32 Descripteurs 2D Informations de convexités/concavités : Extraction de l information de convexité/ concavité des contours Thibault Napoléon 32

33 Descripteurs 2D Informations de convexités/concavités : Extraction du contour par suivi Rééchantillonnage (100 points flottants) Normalisation en échelle et en position Thibault Napoléon 33

34 Descripteurs 2D Informations de convexités/concavités : Filtrage du contour de taille croissante par un noyau gaussien Thibault Napoléon 34

35 Descripteurs 2D Informations de convexités/concavités : L information de convexité/concavité correspond au déplacement entre les différents contour avec Normalisation par la norme euclidienne Thibault Napoléon 35

36 Descripteurs 2D Signature globale : Un histogramme par échelle représentant sur 10 niveaux l information de convexité/concavité Thibault Napoléon 36

37 Descripteurs 2D Signature locale : Correspond à l intégralité de l information de convexité/concavité pour chaque niveau Version avec une DCT sur les niveaux Classique DCT Thibault Napoléon 37

39 Mise en correspondance et élagage Comment mettre en correspondance les descripteurs issus de deux silhouettes? Thibault Napoléon 39

40 Mise en correspondance et élagage Distance associée à la signature globale : Calcul de la distance L2 entre les 10 histogrammes des silhouettes (requête et base) La distance correspond à la somme de ces distances pour chaque silhouette Thibault Napoléon 40

41 Mise en correspondance et élagage Distance associée à la signature locale : Meilleure mise en correspondance entre deux silhouettes grâce à une programmation dynamique contrainte La distance correspond à la somme de ces distances pour chaque silhouette Thibault Napoléon 41

42 Mise en correspondance et élagage Mise en correspondance élastique : Thibault Napoléon 42

46 Mise en correspondance et élagage Alignement entre deux objets : Nécessité de trouver le bon alignement Calcul des distances (globales) entre l objet de la base et les 48 groupes de silhouettes de la requête La bon alignement correspond à celui avec la distance minimale Thibault Napoléon 46

47 Mise en correspondance et élagage Framework de recherche avec élagage : On sélectionne les k objets les plus proches de la requête avec la signature globale On calcul la distance élastique en utilisant la signature locale sur les k plus proches objets On concatène la liste des k meilleures avec le reste la liste Thibault Napoléon 47

48 Mise en correspondance et élagage Framework de mise en correspondance et d élagage : Résultats globaux Résultats locaux k meilleurs Résultats Thibault Napoléon 48

50 Expérimentations Précision et rappel pour l estimation de la pose sur la base Watertight 07 : Classic PCA Our pose estimation Thibault Napoléon 50

51 Expérimentations Précision et rappel pour 3 et 9 vues sur la base Watertight 07 : views 9 views Thibault Napoléon 51

52 Expérimentations Evolution des résultats en fonction du paramètre k d élagage sur la base Watertight 07 : NN FT ST DCG Thibault Napoléon 52

53 Expérimentations Evaluation des résultats en fonction du nombre de vues, du paramètre k d élagage et de l alignement : NN (%) FT (%) ST (%) DCG (%) Temps par requête (s) 3 vues, ACP, k = 50 3 vues, notre alignement, k = 50 9 vues, notre alignement, k = 50 3 vues, notre alignement, k = min (0) 3 vues, notre alignement, k = max (400) Thibault Napoléon 53

54 Expérimentations Résultats de Shrec 09 - Generic retrieval : Thibault Napoléon 54

56 Conclusion Nouveau framework de recherche d objets 3D à partir de vues 2D Méthode d alignement par minimisation de l'enveloppe visuelle Combinaison de signatures globales et locales Mise en correspondance élastique Sélection des objets les plus proches Bonne performance : robustesse et temps de calcul Programmation dynamique lourde Requête à partir de photos Elagage limité Thibault Napoléon 56

57 Perspectives Recherche à partir de photos Technique d élagage améliorée Remplacement de la programmation dynamique Thibault Napoléon 57

58 Démonstration Thibault Napoléon 58