Vision par ordinateur : Un tour d horizon Adrien Bartoli LASMEA CNRS/UBP Clermont-Ferrand
Séance II : Panoramas en environnement déformable
Panoramas en environnement rigide Représentation minimale d un ensemble d images Images prises du même point de vue (la caméra effectue un mouvement de rotation pure) Images d une surface plane (le mouvement de la caméra est quelconque) Dans ces deux cas,, les images sont reliées es par des homographies 2D x 0 y 0 1 H 11 H 12 H 13 x H 21 H 22 H 23 y H 31 H 32 H 33 1
Images prises du même point de vue
Détection de points d intérêt
Création du panorama
Alignement sur une vue globale
Panoramas en environnement déformable Peut-on créer un panorama lorsque la scène est dynamique? Cas n 1 1 : Caméra en rotation pure observant une scène 3D partiellement rigide (contenant des parties rigides et déformables) Cas n 2 2 : Caméra en mouvement quelconque observant une surface déformable Les autres combinaisons sont des cas particuliers Rotation pure et surface déformable Mouvement quelconque et scène 3D partiellement rigide
Cas n 1 1 : Rotation pure et scène 3D partiellement rigide
Représentation en panoramas de mouvement Deux couches Panorama rigide pour le fond (les gradins, etc.) Partie dynamique de chaque image pour le premier plan (l athl( athlète) Angles de rotation de la caméra
Construction automatique Difficultés Le calcul direct des homographies 2D n est pas possible à cause de la partie dynamique La segmentation du fond et du premier plan nécessite les homographies Algorithme Calcul robuste des homographies 2D (on utilise des correspondances de points et RANSAC, et on suppose l homographie 2D dominante liée au fond rigide) Segmentation grossière re des images Construction du panorama rigide du fond Segmentation fine des images
Estimation initiale des homographies 2D bons appariements 1. Détection de points d intérêt 3. Estimation robuste de l homographie 2D 2. Appariement par corrélation mauvais appariements
Segmentation initiale «locale» On aligne les deux images voisines sur l image courante La (norme( de la) différence d intensité est interprétée comme une probabilité d un pixel d être d sur le premier plan
Construction du panorama rigide du fond Algorithme classique Seul le fond sur les images segmentées es est utilisé
Segmentation fine des images L image courante est alignée avec le panorama de fond La (norme( de la) différence d intensité est interprétée comme une probabilité d un pixel d être d sur le premier plan
Premier plan pour chaque image
Raffinement du panorama basé sur l intensité
Panorama de mouvement
Un exemple de visualisation
Cas n 2 2 : Mouvement quelconque et surface déformable
Calcul de transformations denses
Alignement sur une image de référencer rence
Plan Alignement de deux images Résultats expérimentaux Alignement de séquences s quences d imagesd Résultats expérimentaux
Différentes approches Flot optique régularisr gularisé Contrainte de faible rang Apprentissage d une d base linéaire Transformation paramétr trée Transformations rigides (affine, homographie) Transformations non-rigides (à( base radiale, FFD) Méthodes d alignement d : Directes, basée e sur l intensitl intensité Correspondances de primitives (points, courbes)
Approche proposée Transformation non-rigide paramétr trée Flot optique régularisr gularisé de manière non-lin linéaire Utilisation d une d transformation à base radiale MATLAB demo
Transformations à base radiale m x x x = m(x) Paramètres : Nombre de centres l Position des centres q (2l paramètres) Jeu de coefficients w (2l paramètres)
Hypothèse de constance d intensitd intensité m x x m
Estimation directe m min l,q,w E(l,q,w)
Stratégie pour la minimisation Problème : on doit minimiser sur l N q R 2l w R 2l Stratégie (nombre de centres) (position des centres) (jeu de coefficients) Minimiser de manière indépendante sur l et (q,w)( Fixer l, puis minimiser sur (q,w)
Insertion dynamique de centres Idée e : si l alignement n est pas satisfaisant, alors le nombre de centres est insuffisant Les centres sont insérés là où l alignement est le plus mauvais Initialisation Estimer une transformation affine Pas de centre : l 0 Répéter jusqu à convergence Insérer un centre : l l + 1 Résoudre : min q,w E(l,q,w)
Simulation δ R = 3 pixels δ NR = 2 pixels σ = 1 (sur( 256 niveaux de gris) rigide δ R non-rigide δ NR illumination + bruit σ
Résultats
Alignement de séquences s d imagesd Image de référence, r rence, n o 80 m 1 m 25 m 224 m 200 m 175 m 150
Problèmes L alignement de deux images converge lorsque : La déformation d n est n pas «trop» forte L apparence change peu (illumination, ) Idées : Initialiser m i+1 par m i Mettre à jour l apparence l au cours de l alignementl
Mise à jour de l apparencel m i m i m i+1
Transfert de grille
Alignement sur l image l de référencer rence
Augmentation (1)
Augmentation (2)
Séquence originale
Alignement sur l image de référence
Alignement Transformation affine
Augmentation
Conclusions Vision 3D en environnement rigide mature Vision en environnement déformable pose des problèmes non résolus,, en particulier pour le 3D