Indexation 3D à partir de vues 2D Thibault Napoléon 1 Télécom ParisTech - TSI
Qu est ce que l indexation 3D? Recherche dans une grande base de donnée 3D Recherche par le contenu (la forme, la couleur...) Requête Thibault Napoléon 2
Qu est ce que l indexation 3D? Objectifs de l indexation 3D : Bonne discrimination Automatique Robuste face à : Translation, changement d échelle, rotation Changement de topologie Bruit, déformation Rapidité de calcul Thibault Napoléon 3
Pourquoi l indexation 3D? Limites des approches 2D : Sensible à la pose Occlusion Conditions d illumination... Thibault Napoléon 4
Pourquoi l indexation 3D? Croissance des bases de données 3D : Scanners Logiciels de synthèse d images Reconstruction 3D... Thibault Napoléon 5
Pourquoi l indexation 3D? Méthodes existantes encore imprécise : Difficultés pour les très grandes bases de données Temps de calculs importants Difficultés pour se rapprocher de la sémantique... Thibault Napoléon 6
Plan Etat de l art Motivations Contributions Estimation de la pose Descripteurs multi-vues de convexités/concavités Mise en correspondance et élagage Expérimentations Conclusion et perspectives Thibault Napoléon 7
Plan Etat de l art Motivations Contributions Estimation de la pose Descripteurs multi-vues de convexités/concavités Mise en correspondance et élagage Expérimentations Conclusion et perspectives Thibault Napoléon 8
Etat de l art Approches 3D : Transformée de Hough 3D [Zaharia & Prêteux, 2002] 3D Hough f.v. = Graph de Reeb [Tung & Schmitt, 2005] Densité probabiliste [Akgul et Schmitt, 2007] Thibault Napoléon 9
Etat de l art Approches 2.5D : Images de profondeur [Chaouch & Verroust- Blondet, 2007] Thibault Napoléon 10
Etat de l art Approches 2D : Approche par Lightfields et moments de Zernike [Chen & al, 2003] Thibault Napoléon 11
Plan Etat de l art Motivations Contributions Estimation de la pose Descripteurs multi-vues de convexités/concavités Mise en correspondance et élagage Expérimentations Conclusion et perspectives Thibault Napoléon 12
Motivations Complémentarité des approches globales et locales Rapide Compact Robuste face aux variations intra/ inter classes. Globales Locales Thibault Napoléon 13
Motivations Flexibilité de l approche 2D : Requêtes 3D (classique) Et requêtes 2D multi-vues ou non Thibault Napoléon 14
Plan Etat de l art Motivations Contributions Estimation de la pose Descripteurs multi-vues de convexités/concavités Mise en correspondance et élagage Expérimentations Conclusion et perspectives Thibault Napoléon 15
Contributions Nouvelle méthode d alignement des objets 3D : Rotation : Calcul de plusieurs ACP Recherche de l enveloppe visuelle minimale Translation/Echelle : Utilisation de la sphère minimale englobante Thibault Napoléon 16
Contributions Extraction d un descripteur multi-vues 2D : Extraction de plusieurs silhouettes (3, 9,...) Descripteur de convexités/concavités multi-échelles Signatures globale et locale Thibault Napoléon 17
Contributions Mise en correspondance élastique et rapide : Sélection automatique des objets les plus proches (descripteur global) Programmation dynamique contrainte et élastique (descripteur local) Thibault Napoléon 18
Contributions Framework d alignement et d extraction : Objet Translation Echelle Multi PCA Silhouettes Signature globale Aire minimum Signature locale Thibault Napoléon 19
Contributions Framework de mise en correspondance et d élagage : Résultats globaux Résultats locaux k meilleurs Résultats Thibault Napoléon 20
Plan Etat de l art Motivations Contributions Estimation de la pose Descripteurs multi-vues de convexités/concavités Mise en correspondance et élagage Expérimentations Conclusion et perspectives Thibault Napoléon 21
Estimation de la pose Normalisation en translation et en échelle : Problèmes liés à la capture des silhouettes (centre, échelle,...) Utilisation de la sphère minimale englobante Thibault Napoléon 22
Estimation de la pose Normalisation en rotation : Supposons : Le but est de trouver le paramètre critère d enveloppe visuelle : qui minimise le avec et les projections 3D vers 2D Thibault Napoléon 23
Estimation de la pose Normalisation en rotation : Recherche du paramètre optimale impossible Calcul de 4 alignements : Pose Initiale ACP ACP «Continue» ACP par normales Choix de celui qui minimise le critère Thibault Napoléon 24
Estimation de la pose Normalisation en rotation : Initiale ACP ACPC ACPN 82441 89248 91446 82441 91175 81082 81077 91174 Thibault Napoléon 25
Estimation de la pose Ordonnancement des axes de rotation : Thibault Napoléon 26
Estimation de la pose Normalisation en réflexion : Thibault Napoléon 27
Estimation de la pose Framework d alignement : Objet Translation Echelle Multi PCA Aire minimum Thibault Napoléon 28
Plan Etat de l art Motivations Contributions Estimation de la pose Descripteurs multi-vues de convexités/concavités Mise en correspondance et élagage Expérimentations Conclusion et perspectives Thibault Napoléon 29
Descripteurs 2D Extraction d une information concernant la forme permettant une recherche efficace Thibault Napoléon 30 Passage en 2D
Descripteurs 2D Extraction de silhouettes 2D : Permet des requêtes en 2D Intérêt de la sphère minimale englobante Choix de 3 ou 9 silhouettes (couverture suffisante de l espace) Extraction des 48 groupes possibles pour la requête Thibault Napoléon 31
Descripteurs 2D Informations de convexités/concavités : Extraction de l information de convexité/ concavité des contours Thibault Napoléon 32
Descripteurs 2D Informations de convexités/concavités : Extraction du contour par suivi Rééchantillonnage (100 points flottants) Normalisation en échelle et en position Thibault Napoléon 33
Descripteurs 2D Informations de convexités/concavités : Filtrage du contour de taille croissante par un noyau gaussien Thibault Napoléon 34
Descripteurs 2D Informations de convexités/concavités : L information de convexité/concavité correspond au déplacement entre les différents contour avec Normalisation par la norme euclidienne Thibault Napoléon 35
Descripteurs 2D Signature globale : Un histogramme par échelle représentant sur 10 niveaux l information de convexité/concavité Thibault Napoléon 36
Descripteurs 2D Signature locale : Correspond à l intégralité de l information de convexité/concavité pour chaque niveau Version avec une DCT sur les niveaux Classique DCT Thibault Napoléon 37
Plan Etat de l art Motivations Contributions Estimation de la pose Descripteurs multi-vues de convexités/concavités Mise en correspondance et élagage Expérimentations Conclusion et perspectives Thibault Napoléon 38
Mise en correspondance et élagage Comment mettre en correspondance les descripteurs issus de deux silhouettes? Thibault Napoléon 39
Mise en correspondance et élagage Distance associée à la signature globale : Calcul de la distance L2 entre les 10 histogrammes des silhouettes (requête et base) La distance correspond à la somme de ces distances pour chaque silhouette Thibault Napoléon 40
Mise en correspondance et élagage Distance associée à la signature locale : Meilleure mise en correspondance entre deux silhouettes grâce à une programmation dynamique contrainte La distance correspond à la somme de ces distances pour chaque silhouette Thibault Napoléon 41
Mise en correspondance et élagage Mise en correspondance élastique : Thibault Napoléon 42
Mise en correspondance et élagage Mise en correspondance élastique : Thibault Napoléon 43
Mise en correspondance et élagage Mise en correspondance élastique : Thibault Napoléon 44
Mise en correspondance et élagage Mise en correspondance élastique : Thibault Napoléon 45
Mise en correspondance et élagage Alignement entre deux objets : Nécessité de trouver le bon alignement Calcul des distances (globales) entre l objet de la base et les 48 groupes de silhouettes de la requête La bon alignement correspond à celui avec la distance minimale Thibault Napoléon 46
Mise en correspondance et élagage Framework de recherche avec élagage : On sélectionne les k objets les plus proches de la requête avec la signature globale On calcul la distance élastique en utilisant la signature locale sur les k plus proches objets On concatène la liste des k meilleures avec le reste la liste Thibault Napoléon 47
Mise en correspondance et élagage Framework de mise en correspondance et d élagage : Résultats globaux Résultats locaux k meilleurs Résultats Thibault Napoléon 48
Plan Etat de l art Motivations Contributions Estimation de la pose Descripteurs multi-vues de convexités/concavités Mise en correspondance et élagage Expérimentations Conclusion et perspectives Thibault Napoléon 49
Expérimentations Précision et rappel pour l estimation de la pose sur la base Watertight 07 : 1 0.9 Classic PCA Our pose estimation 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Thibault Napoléon 50
Expérimentations Précision et rappel pour 3 et 9 vues sur la base Watertight 07 : 1 0.9 3 views 9 views 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Thibault Napoléon 51
Expérimentations Evolution des résultats en fonction du paramètre k d élagage sur la base Watertight 07 : 1 0.95 0.9 NN FT ST DCG 0.85 0.8 0.75 0.7 0.65 0.6 0.55 0 50 100 150 200 250 300 350 400 Thibault Napoléon 52
Expérimentations Evaluation des résultats en fonction du nombre de vues, du paramètre k d élagage et de l alignement : NN (%) FT (%) ST (%) DCG (%) Temps par requête (s) 3 vues, ACP, k = 50 3 vues, notre alignement, k = 50 9 vues, notre alignement, k = 50 3 vues, notre alignement, k = min (0) 3 vues, notre alignement, k = max (400) 95.5 60.7 71.2 86.3 1.1 95.5 61.4 73.3 86.7 1.1 94.5 64.3 74.3 87.8 3.2 89 56.1 71.3 83.4 0.003 95.5 62.4 74.3 87 8.2 Thibault Napoléon 53
Expérimentations Résultats de Shrec 09 - Generic retrieval : Thibault Napoléon 54
Plan Etat de l art Motivations Contributions Estimation de la pose Descripteurs multi-vues de convexités/concavités Mise en correspondance et élagage Expérimentations Conclusion et perspectives Thibault Napoléon 55
Conclusion Nouveau framework de recherche d objets 3D à partir de vues 2D Méthode d alignement par minimisation de l'enveloppe visuelle Combinaison de signatures globales et locales Mise en correspondance élastique Sélection des objets les plus proches Bonne performance : robustesse et temps de calcul Programmation dynamique lourde Requête à partir de photos Elagage limité Thibault Napoléon 56
Perspectives Recherche à partir de photos Technique d élagage améliorée Remplacement de la programmation dynamique Thibault Napoléon 57
Démonstration Thibault Napoléon 58