Reconstruction 3D générique et temps réel. Generic and Real-Time Structure from Motion

Transcription

1 Reconstruction 3D générique et temps réel Generic and Real-Time Structure from Motion E. Mouragnon 1,2, M. Lhuillier 1, M. Dhome 1, F. Dekeyser 2, P. Sayd 2 1 LASMEA-UMR 6602, Université Blaise Pascal/CNRS, Aubière 2 CEA, LIST, Laboratoire Systèmes de Vision Embarqués, Boite Courrier 94, Gif-sur-Yvette, F France ; Résumé Nous introduisons une méthode de reconstruction 3D générique et incrémentale. Par générique, on entend que la méthode proposée ne dépend pas d un modèle de caméra spécifique. Pendant la reconstruction 3D incrémentale, les paramètres des points 3D et les poses des caméras sont raffinés simultanément par un ajustement de faisceaux local qui minimise une erreur angulaire entre des rayons. Cette méthode a trois avantages : elle est générique, rapide et précise. On l expérimente sur des séquences réelles avec plusieurs types de caméras calibrées : une paire stéréo, une caméra perspective et une caméra catadioptrique. Mots Clef Méthode générique, ajustement de faisceaux, matrice essentielle généralisée, reconstruction 3D automatique, SLAM. Abstract We introduce a generic and incremental Structure from Motion method. By generic, we mean that the proposed method is independent of any specific camera model. During the incremental 3D reconstruction, parameters of 3D points and camera poses are refined simultaneously by a local bundle adjustment that minimizes an angular error between rays. This method has three main advantages : it is generic, fast and accurate. The proposed method is evaluated by experiments on real sequences with many calibrated cameras : stereo rig, perspective and catadioptric cameras. Keywords Generic Method, Bundle Adjustment, Generalized Essential Matrix, Automatic Structure from Motion, SLAM. 1 Introduction L estimation automatique du mouvement d une caméra et de points 3D d une scène à partir d une séquence d images ( structure from motion ou SfM) a déjà été beaucoup étudiée. Plusieurs modèles de caméras ont été utilisés : perspectifs, fish-eyes, catadioptriques, systèmes de multicaméras (par exemple : une paire stéréo rigide) etc. Beaucoup d algorithmes spécifiques (c est à dire spécifiques à un modèle de caméra donné) ont été développés avec succès et sont maintenant couramment utilisés pour les modèles perspectifs et stéréo [18, 16, 9]. Les cas des caméras omnidirectionnelles centrales (catadioptriques et fisheye) ou non centrales (multi-caméras) qui offrent un grand champ de vue ont aussi été examinés [2, 12, 17]. C est un défi intéressant que de développer des outils génériques pour le SfM qui sont exploitables pour tout type de caméras. D autres auteurs ont commencé à examiner cela en introduisant des modèles de caméra génériques [22, 8]. Dans un modèle de caméra générique, chaque pixel définit un rayon dans le système de coordonnée des caméras qui peut intersecter ou non un point unique appelé centre de projection. Dans les travaux récents sur le SfM générique, le mouvement de caméra peut être estimé à l aide de la généralisation de la matrice essentielle classique [17, 19] donnée par l équation de Pless [17] ou avec des méthodes minimales d estimation de pose relative [21]. Une méthode est nécessaire pour le raffinement des points 3D et des poses de la caméra. La meilleure solution pour la précision est l ajustement de faisceaux (AF) [23] appliqué sur tout les paramètres (AF global) de la séquence d image entière. Cependant, il est clair qu une telle méthode ne peut être temps réel. En général, les méthodes rapides de SfM ou de SLAM basées vision [3, 15] ( simultaneous localization and mapping ) sont moins précises que les méthodes hors lignes où la solution optimale est calculée à l aide d un AF global [23]. Dans cet article, nous présentons une méthode qui a une précision similaire à celle de l AF global dans un contexte générique et temps réel. Ceci est possible car nous avons développé une méthode incrémentale qui ne raffine pas la structure 3D entière, mais seulement les paramètres estimés en fin de séquence courante. Dans le cas générique où plusieurs types de caméras sont possibles (perspective, stéréo, catadioptrique...), l AF est différent de l AF classique utilisé pour les caméras perspectives. Notre méthode générique est basé sur les rayons s échappant de la caméra et minimise une erreur d angle entre des rayons. Naturel-

2 lement, le premier avantage est la possibilité d échanger facilement un modèle de caméra par un autre. Le second avantage est que la méthode reste efficace même si la fonction de projection n est pas explicite (comme dans le cas catadioptrique non-central). Comparaisons avec les travaux précédents : Pour résumer, les plus proches travaux sont génériques mais pas temps réel [8, 19, 10] (et seulement central dans le cas de [8]) temps réels mais pas génériques [3, 15] (et sans ajustement de faisceau, même local) génériques grâce à l équation de Pless [17, 19] (généralisation de la contrainte épipolaire), mais aucun détail sur la résolution de cette équation n est donné dans les situations courantes incrémentale avec ajustement de faisceaux local mais pas génériques [13, 4] (et ne sont pas validés dans un système sur des séquences d images réelles dans le cas de [4]). Contributions : La première contribution de notre travail est une méthode de SfM générique et temps réel basée sur une méthode d ajustement de faisceaux local qui minimise une erreur angulaire. La seconde contribution est une méthode détaillée pour résoudre l équation de Pless (contrairement à ce qui est suggéré dans [17, 19] cela n est pas un simple problème linéaire). Nous comparons aussi nos résultats avec la vérité terrain (un GPS différentiel) et avec des résultats obtenus avec la méthode la plus précise connue (mais non générique et non temps réelle) : un ajustement de faisceaux spécifique et global. La suite de l article est organisée de la façon suivante : la partie 2 résume notre approche et donne le modèle de caméra générique. La méthode d initialisation et l ajustement de faisceau modifié sont présentés dans les parties 3 et 4. Finalement, les expériences sont données dans la partie 5. Cet article est la traduction en français de [14]. 2 Résumé de l approche 2.1 Modèle de caméra Pour tout pixel p d une image générique, la fonction de calibration f (connue) de la caméra définit un rayon optique r = f(p). Ce rayon est une droite orientée r = (s, d) avec s le point de départ ou origine et d la direction du rayon dans le repère de la caméra (avec d = 1). Pour une caméra centrale, s est un point unique (le centre) pour tout pixel p. Dans le cas général, s peut être n importe quel point donné par f. L ensemble des points de départs s est appelé la surface des rayons [1]. On note que plusieurs surfaces sont possibles car l origine d un rayon peut être choisie n importe où sur ce rayon. Un choix judicieux de la surface des rayons (par exemple pour une précision maximale de la géométrie estimée) dépasse le cadre de cet article. 2.2 Résumé La méthode est basée sur la détection et la mise en correspondance de points d intérêts (Figure 1). Dans chaque nouvelle image, des points de Harris [6] sont détectés et appariés avec des points détectés dans une image précédente en utilisant un score de corrélation ZNCC (Zero Mean Normalized Cross Correlation) dans une région d intérêt, et cela quelque soit le type de caméra. Les paires de points avec les meilleurs scores sont alors retenues. Pour assurer une estimation stable de la 3D, un sous ensemble d images appelées images clefs sont sélectionnées. Le critère de sélection est basé sur un nombre de points appariés entre deux images clefs consécutives, qui doit être supérieur à une constante. L initialisation de la géométrie est obtenue à l aide d une méthode basée sur la résolution de l équation de Pless (partie 3). Ensuite, l algorithme est incrémental. Pour chaque nouvelle image de la vidéo, (1) des points d intérêts sont détectés et appariés avec ceux de la dernière image clef (2) la pose de la caméra de la nouvelle image est estimée de façon robuste (partie 3.4) (3) on regarde si la nouvelle image est sélectionnée comme image clef (4) si c est le cas, de nouveaux points 3D sont estimés et un ajustement de faisceaux est appliqué localement en fin de sequence (partie 4). 3 Initialisation générique 3.1 Équation de Pless Étant donnée une liste de points mis en correspondance entre deux images génériques, on souhaite estimer la pose relative (R, t) des deux caméras génériques correspondantes. Pour chaque couple de point appariés, on a une correspondance entre des rayons optiques (s 0, d 0 ) et (s 1, d 1 ). Un rayon (s, d) est défini par ses coordonnées de Plücker (q, q ) telles que q = d et q = d s, qui sont utiles pour notre calcul. Choisissons pour système de coordonnées global le système de coordonnées liées à la caméra 0 et (R, t) la pose de la caméra 1 dans ce repère. Les deux rayons devant s intersecter, ils vérifient la contrainte épipolaire généralisée (ou équation de Pless [17]) q 0 Rq1 q 0 [t] Rq 1 + q 0 Rq 1 = 0 (1) avec [t] la matrice antisymétrique du produit vectoriel par le vecteur 3D t (autrement dit, [t] x = t x). Nous avons identifié deux cas où cette équation a une infinité de solutions. Le premier cas est évident : il y a une infinité de solution si la caméra est centrale (on a le choix du facteur d échelle pour la 3D). On note que l équation 1 est la contrainte épipolaire habituelle définie par la matrice essentielle E = [t] R si le centre de la caméra est à l origine du repère caméra. Le second cas est moins évident mais il se produit fréquemment en pratique. Dans nos expériences, nous supposons que nous avons seulement des mises en correspondance simples : tous les rayons (s i, d i ) d un point 3D donné passent par un même centre de caméra (dans le repère local

3 à la caméra générique). Autrement dit, on a q 0 = q 0 c 0 et q 1 = q 1 c 1 avec c 0 = c 1. Pour un système composé de plusieurs caméras centrales (par exemple la paire stéréo rigide), cela signifie que les points 2D sont seulement mis en correspondance avec d autres points de la même sous image. Ceci est fréquemment le cas en pratique pour deux raisons : des régions d intérêt peu étendues pour une mise en correspondance fiable, et des intersections de champs de vue vides pour deux caméras composantes du système multi-caméras. Si le mouvement de la caméra générique est une translation pure (R = I 3 ), l équation 1 devient q 0 [t] q 1 = q 0 q1 + q 0 q 1 = 0 avec pour inconnue t. Dans ce contexte, l échelle de t ne peut être estimée. On supposera dans cet article que le mouvement de caméra n est pas une translation pure au début de la séquence d images. 3.2 Résolution de l équation de Pless On re-écrit l équation 1 sous la forme q 0 Rq 1 q 0 Ẽq 1 + q 0 Rq 1 = 0 (2) avec les deux matrices ( R, Ẽ) de dimensions 3 3 comme nouvelles inconnues. On peut ranger les coefficients de ( R, Ẽ) dans un vecteur x à 18 dimensions et on voit que chaque valeur du 4-uplet (q 0, q 0, q 1, q 1 ) donne une équation linéaire a x = 0. Si on a 17 valeurs de ce 4-uplet pour chaque couple de points appariés, on a 17 équations a k x = 0. Cela suffit pour déterminer x à un facteur d échelle près [19]. On construit la matrice A 17 contenant les 17 mises en correspondance telles que A 17 x = 0 avec A 17 = [a 1 a 2 a 17 ]. La résolution dépends de la dimension du noyau de A 17, qui dépends lui-même du type de caméra utilisée. Nous déterminons Ker(A 17 ) et sa dimension par une décomposition en valeur singulière de A 17. On distingue plusieurs cas dans cet article : (1) caméra centrale à un seul centre optique (2) caméra axiale où les centres sont alignés (ce qui inclus la paire stéréo) et (3) les caméras non axiales. Il n est pas surprenant que la dimension du noyau du système linéaire à résoudre soit plus grand que 1. En effet, l équation linéaire 2 a plus d inconnues (18 inconnues) que l équation non-linéaire 1 (6 inconnues). Des dimensions possibles sont données dans la table 1 (sous notre hypothèse de mise en correspondance simple ) et sont justifiées dans les paragraphes qui suivent. Les travaux précédents [17, 19] ignorent ces dimensions, bien qu une méthode (éventuellement linéaire) devrait en tenir compte. Caméra Centrale Axiale Non axiale dim(ker(a 17 )) TAB. 1 dim(ker(a 17 )) dépends du type de caméra Caméra centrale. Pour les caméras centrales (par exemple perspectives), tout les rayons optiques convergent sur le centre optique c. Puisque q i = q i c = [ c] q i, l équation 2 devient q 0 ([c] R Ẽ R[c] )q 1 = 0. On note que ( R, Ẽ) = ( R, [c] R R[c] ) est une solution de l équation 2 pour toute matrice R. De telles solutions sont exactes : l équation 2 est exactement égale à 0 (à la précision de la machine près) quelque soit (q 0, q 1 ). Notre vraie solution est ( R, Ẽ) = (0, [t] R) si c = 0, et l égalité n est pas exacte à cause du bruit dans les images. Donc, la dimension de Ker(A 17 ) est au moins Des expériences confirment que cette dimension est 10 (au bruit près). Dans ce cas, on résout simplement la contrainte épipolaire habituelle q 0 [t] Rq 1 = 0 comme cela est décrit dans [7]. Caméra axiale. Ce cas inclus la paire stéréo habituelle composée de deux caméras perspectives rigidement liées. Soient c a et c b deux points sur l axe de la caméra (contenant tous les centres). L annexe montre que des solutions exactes sont définies par Ẽ = [c a ] R R[c a ] et R V ect{i 3 3, [c a c b ], (c a c b )(c a c b ) } avec nos hypothèses d appariements simples (partie 3.1). La vraie solution n est pas exacte à cause du bruit dans les images, et donc la dimension de Ker(A 17 ) est au moins Des expériences confirment que cette dimension est 4 (au bruit près). Nous construisons une base de 3 solutions exactes x 1, x 2, x 3 et une solution non exacte y avec les vecteurs singuliers correspondants aux 4 plus petites valeurs singulières de A 17. Les valeurs singulières associées à x 1, x 2, x 3 sont 0 à la précision de la machine près et celle de y est 0 au bruit image près. Nous recherchons la solution réelle ( R, Ẽ) par combinaison linéaire de y, x 1, x 2 et x 3 telle que la matrice résultante R vérifie R R = λi 3 3 ou Ẽ est une matrice essentielle. Soit l un vecteur tel que l = [λ 1 λ 2 λ 3 ]. On note alors R(l) et Ẽ(l) les matrices R et Ẽ extraites de la solution y [x 1 x 2 x 3 ]l. Avec ces notations, on a R(l) = R 0 3 i=1 λ ir i et Ẽ(l) = E 0 3 i=1 λ ie i avec (R i, E i ) extraites de x i. Une fois la base x 1, x 2, x 3 calculée, nous calculons les coordonnées de la solution par minimisation non linéaire de la fonction (λ, l) λi 3 3 R(l).R(l) 2 pour obtenir l et donc Ẽ. Une décomposition SVD est appliquée sur Ẽ et on obtient 4 solutions [7] pour ([t], R). La solution avec une contrainte épipolaire minimale A 17 x est choisie. Enfin, on raffine le facteur d échelle k en minimisant k i (q 0i Rq 1i q 0i k.[t] Rq 1i + q 0i Rq 1i )2 et on applique t kt. Caméra non axiale. Pour les caméras non axiales (par exemple un système de trois caméras perspectives rigidement liées dont les centres ne sont pas alignés), le problème est encore différent. L annexe montre que des solutions exactes sont ( R, Ẽ) V ect{(i 3 3, )} avec notre hypothèse d appariements simples (partie 3.1). La vraie solution n est pas exacte à cause du bruit dans les

4 images, et donc la dimension de Ker(A 17 ) est au moins Des expériences confirment que cette dimension est 2 (au bruit près). Nous n avons pas encore expérimenté ce cas sur des séquences réelles. 3.3 Initialisation robuste pour trois vues La première étape de la méthode est la reconstruction 3D du premier triplé d images clefs {0, 1, 2} avec une méthode de type RANSAC. On effectue plusieurs tirages aléatoires de 17-uplets de couples de points appariés. Pour chaque tirage, la pose relative entre les vues 0 et 2 est calculée avec la méthode qui précède et les points appariés sont reconstruits par triangulation. La pose de la caméra 1 est estimée par des mises en correspondances 3D/2D par raffinements itératifs en minimisant une erreur angulaire définie dans la partie 4.2 (plus de détails dans la partie 3.4). La même erreur est minimisée pour trianguler les points. Finalement, la solution (parmi celles obtenues avec tous les tirages) qui donne le maximum de points consistants avec la géométrie des points de vues 0, 1, et 2 est retenue. Le j-ème point 3D est consistant avec la i-ème vue si l erreur angulaire ɛ i j est inférieure à un seuil ɛ (ɛ = 0.01 radians dans nos expériences). 3.4 Estimation robuste de pose Le calcul de pose générique est utile pour les deux étapes de notre méthode (initialisation et processus incrémental). On suppose que la i-ème pose P i = (R i, t i ) de la caméra est proche de la i-1-ème pose P i 1 = (R i 1, t i 1 ). P i est estimé par optimisation non linéaire initialisée à P i 1 avec 5 mises en correspondance 3D/2D, en conjonction avec la méthode robuste RANSAC (une mise en correspondence 3D/2D est un point suivi sur 3 images et reconstruit sur 2 d entre elles). Pour chaque tirage aléatoire, la pose est estimée en minimisant une erreur angulaire (partie 4.2) et nous comptons ensuite le nombre de points 3D consistants avec cette pose. La pose avec le maximum de points consistants est retenue, et un raffinement de cette pose est effectué avec tous les points qui ont été déclarés consistants à l étape précédente. 4 Ajustement de faisceaux local et générique 4.1 Définitions L ajustement de faisceaux global (AF global) est le raffinement simultanés de tous les points 3D et toutes les poses de la caméra par minimisation d une fonction de coût. Le nombre de paramètres est 3 pour chaque points 3D et 6 pour chaque pose (3 pour la translation et 3 pour la rotation). Soit P j = [x j, y j, z j, t j ] les coordonnées homogènes du j-ème point dans le repère de la scène. Soient R i et t i l orientation (une matrice rotation) et l origine du repère de la i-ème caméra dans le repère de la scène. Si (s i j, di j ) est le rayon optique correspondant à l observation de P j par la i-ème caméra, la direction de la droite définie par s i j et P j est D i j = Ri [I 3 t i ]P j t j s i j dans le repère de la i-ème caméra. Dans le cas idéal, les directions d i j et Di j sont parallèles (ce qui est équivalent à une erreur de reprojection de zéro pixel). 4.2 Choix de l erreur générique L approche classique [23, 13] consiste à minimiser une somme de carrés ɛ i j 2 avec ɛ i j une erreur spécifique dépendante du modèle de la caméra : l erreur de reprojection en pixels. Dans notre cas, il faut minimiser une erreur générique. Nous définissons ɛ i j comme l angle entre les directions d i j et Di j définies précédemment. Des expériences de synthèse ont montré que la convergence de l AF est mauvaise avec ɛ i j = arccos(di j. D i j D i ). j Une explication theorique est donnee dans [11] : on peut montrer que cet ɛ i j n est pas de classe C1 lorsque d i j et D i j sont égaux une fois normalisés (i.e. au point de la solution exacte). Une fonction de classe C 2 au voisinage de ce point est souhaitable afin d obtenir une convergence rapide (quadratique) de l algorithme de Levenberg-Marquardt impliqué dans l AF. La convergence est satisfaisante avec ɛ i j défini comme on le décrit maintenant. Nous choisissons ɛ i j = π(ri jd i j ) avec R i j une matrice rotation telle que R i jd i j = [0 0 1] et π la fonction R 3 R 2 telle que π([x y z] ) = [ x y z z ]. On note que ɛ i j est un vecteur 2D dont la norme euclidienne ɛ i j est égale à la tangente de l angle entre di j et Di j. La tangente est une bonne approximation de l angle si celui ci est petit, et c est le cas dans ce contexte. On note que cette fonction ɛ i j est de classe C2. s i j d i j ɛ i j D i j Camera i(r i, t i ) P oint j(x j, y j, z j, t j ) FIG. 2 Angle entre le rayon correspondant à l observation (s i j, di j ) et le rayon passant par si j et le points 3D P j. L ajustement de faisceaux générique minimise une somme de carrés de tels angles. 4.3 Ajustement de faisceaux local Lors de la reconstruction 3D incrémentale, lorsqu une nouvelle image clef I i est sélectionnée, de nouveaux points appariés sont triangulés. Ensuite, une étape d optimisation est effectuée : un ajustement de faisceaux. Il s agit d une minimisation par la méthode de Levenberg-Marquardt d une

5 fonction de coût f i (C i, P i ), avec C i et P i des paramètres de la caméra générique (paramètres extrinsèques) et les paramètres de points 3D choisis pour cette i-ème étape. Comme il bien connu qu un ajustement de faisceaux global (global à la séquence entière) est coûteux en temps, notre idée [13] est de réduire le nombre de paramètres calculés et d éviter les redondances dans les calculs. Dans notre AF modifié, on n optimise pas tout les paramètres des caméras, mais seulement les paramètres des n dernières poses (d images clefs). Les coordonnées de tout les points 3D vus dans les n dernières images clefs sont raffinés (ce qui inclus aussi les nouveaux points 3D). Pour assurer la consistance du processus incrémental (c est à dire assurer que les nouveaux paramètres sont compatibles avec ceux estimés avant), nous tenons compte des reprojections de points dans les N dernières images clefs avec N > n, typiquement n = 3 and N = 10. Ainsi, C i est la liste des poses {C i n+1... C i } de la caméra et P i contient tous les points 3D qui ont été détectés dans les images correspondantes à C i. La fonction de coût f i est la somme des erreurs angulaires au carré pour toutes les observations obtenues dans les dernières images clefs C i N+1... C i de tout les points 3D dans P i : f i (C i, P i ) = ɛ k j 2. p j P i C i 3 C k {C i N+1... C i } C i 2 FIG. 3 Ajustement de faisceaux local et angulaire appliqué lorsque la i-ème image clef (de pose C i ) est sélectionnée. Seuls les points P i et poses C i entourées sont optimisées. La fonction de coût minimisée tient compte des projections des points 3D dans les N dernières images clefs. 4.4 Remarques Chaque optimisation par ajustement de faisceaux local comporte en fait deux étapes d optimisation par la méthode de Levenberg-Marquardt, séparées par une mise à jour des points 3D et 2D satisfaisant la géométrie (le j-ème point 3D et la i-ème pose clef sont consistants si l erreur angulaire ɛ i j est inférieure à un seuil ɛ = 0.01 radians). Une étape est stoppée si l erreur ne décroît pas assez vite ou bien si un nombre maximal d itérations est atteint (5 dans P i N C i 1 C i C i n notre cas). En pratique, le nombre d itérations est vraiment faible ; cela est du au fait que, excepté pour la dernière pose, celles d avant ont déjà été raffinées lors de l ajustement de faisceaux précédant. On remarque aussi que la condition N > n énoncée dans le paragraphe précédant ne suffit pas dans le cas où la caméra est centrale. En effet, prendre N = n + 1 ne permet pas de fixer le facteur d échelle relatif entre les n dernières poses clefs de la caméra (les poses raffinées) et le début de la séquence (les poses fixées). La condition N n + 2 est donc nécessaire dans ce cas, et elle suffit en pratique dans nos expérimentations. 5 Expérimentations La méthode de reconstruction 3D générique et incrémentale a été expérimentée sur des séquences réelles avec trois caméras différentes : une caméra perspective, une caméra catadioptrique, et une paire stéréo. Des exemples d images sont montrées dans la figure 1 et les caractéristiques des séquences sont données dans la table 2. Les temps de calculs sont dans la table 3. Dans les expériences qui suivent, la trajectoire obtenue avec notre méthode générique est comparée à la vérité terrain (fournie par un GPS différentiel) ou bien par un AF global et spécifique. Une transformation rigide (rotation, translation, et facteur d échelle) est appliquée sur la trajectoire pour recoler au mieux avec la trajectoire de référence [5]. Ensuite, l erreur 3D moyenne (ou 2D moyenne dans le plan horizontal) est calculée entre la trajectoire de référence et la trajectoire estimée par notre méthode. 5.1 Comparaison avec la vérité terrain Les résultats suivants sont obtenus avec une caméra perspective embarquée sur un véhicule expérimental équipé d un GPS différentiel (de précision environ 2.5 cm). La trajectoire du véhicule est un S de 88 m de long (Séquence 1). Le mouvement obtenu avec notre algorithme est comparé à celui donné par le GPS, et la figure 4 montre les deux trajectoires recalées. Comme la trajectoire obtenue par GPS est donnée dans un repère métrique, on peut mesurer l erreur de positionnement en mètres : l erreur moyenne 3D est 1.57 m et l erreur moyenne 2D dans le plan horizontal est 1.16 m. On a noté que la précision de la pose est difficile à obtenir pour cet exemple. Il y a deux raisons : la majorité des points 3D reconstruits sont distants, et il y a deux demi-tours serrés. Le temps de calcul est 2 min. 32 s pour la séquence entière, et 6.55 images sont traitées par seconde (en moyenne). 5.2 Comparaison avec un ajustement de faisceaux global et spécifique Dans les exemples qui suivent, la vérité terrain est inconnue. On compare donc nos résultats avec ceux de la meilleure méthode connue : un AF global et spécifique (tous les paramètres de la séquence complète sont raffinés en minimisant la somme des carrés des erreurs de repro-

6 jection en pixels). Les caractéristiques et résultats sur les séquences sont donnés dans la table 2. La séquence 2 est prise dans un environnement intérieur avec une caméra perspective tenue à la main. Un résultat très précis est obtenu : l erreur 3D moyenne est inférieure à 6.5 cm pour une trajectoire d environ 15 m. L erreur relative est 0.45%. La séquence 3 est prise dans un environnement extérieur avec une caméra catadioptrique centrale tenue à la main (le miroir avec la caméra Sony HDR-HC1E en utilisant le format DV, visibles dans la figure 5). La partie utile de l image rectifiée est contenue dans un disque dont le diamètre est de 458 pixels. Le résultat est également précis : l erreur 3D moyenne est inférieure à 9.2 cm pour une trajectoire (d environ) 40 m. L erreur relative est 0.23%. La séquence 4 est prise avec une paire stéréo (la baseline est de 40 cm) dans un couloir (Figure 5). L image est composée de deux sous-images de dimensions La trajectoire (longue de 20 m) est comparée avec les résultats obtenus avec un AF global appliqué sur la caméra de gauche/droite. L erreur 3D moyenne est 2.7/8.4 cm comparée à la caméra de gauche/droite, et l erreur relative est de 0.13%/0.42%. 6 Conclusion Nous avons proposé et expérimenté une méthode générique pour l estimation robuste et temps réel de la géométrie d une séquence d images. Elle comporte deux étapes : une initialisation générique, et une reconstruction 3D incrémentale de la scène et du mouvement de la caméra. La précision est obtenue grâce à un ajustement de faisceaux local qui minimise une erreur angulaire. Les expériences ont montré qu il est facile de changer une caméra avec une autre. De plus, des résultats prometteurs ont été obtenus avec trois différentes caméras (perspective, catadioptrique, stéréo) sur des séquences d images réelles. On souhaite maintenant étendre notre méthode à des systèmes multi-caméras plus complexes, mais aussi (d un point de vue purement technique), améliorer l implémentation pour l accélérer. Enfin, il faudrait étudier l influence du choix des surfaces de rayon sur la précision de la reconstruction. Annexe : solutions exactes à l équation de Pless (version linéaire) Dans cette partie, on exhibe des solutions à l équation de Pless (version linéaire) qui ne sont pas la solution que l on recherche. La i-ème paire de rayons est définie par les coordonnées de Plücker (q 0i, q 0i ) et (q 1i, q 1i ) telles que q 0i = q 0i c 0i = [c 0i ] q 0i et q 1i = q 1i c 1i = [c 1i ] q 1i. Si les rayons de la i-ème paire s intersectent, alors ils satisfont l équation de Pless et donc sa version linéaire : 0 = q 0i Rq 1i q 0iẼq 1i + q 0i Rq 1i = q 0i ([c 0i ] R Ẽ R[c 1i ] )q 1i (3) avec les deux matrices ( R, Ẽ) de taille 3 3 comme inconnues. Dans cette partie, on souhaite trouver ( R, Ẽ) tel que i, Ẽ = [c 0i ] R R[c 1i ]. On recherche alors R R 3 3 tel que Ẽ soit indépendant de toutes les paires de centres possibles (c 0i, c 1i ). La conséquence est que l équation 3 est exactement égale à 0 (à la précision de la machine près) pour tout (q 0i, q 1i ). On considère plusieurs cas. Cas 1 : appariements simples ( i, c 0i = c 1i ) Comme cela a été dit dans la partie 3.1, ce cas particulier est important en pratique. Caméra Centrale Soit c le centre. Ce cas est simple : on a c 0i = c 1i = c et Ẽ = [c] R R[c]. Tout R R 3 3 est possible. Paire stéréo Soient c a et c b les deux centres. On a (c 0i, c 1i ) {(c a, c a ), (c b, c b )} et Ẽ = [c a ] R R[c a ] = [c b ] R R[c b ]. La contrainte sur R est donc [c a c b ] R R[c a c b ] = 0. Tout R dans l espace vectoriel des polynômes en [c a c b ] est possible. De plus, il est simple de prouver que cette contrainte ne permet pas d autres R en changeant le système de coordonnées de sorte que c a c b = ( ). On en déduit que Ẽ = [c a ] R R[c a ] et R V ect{i 3 3, [c a c b ], (c a c b )(c a c b ) } Caméra axiale Tous les centres de la caméra sont alignés : il existe c a et c b tels que c 0i = c 1i = (1 λ i )c a + λ i c b avec λ i R. Donc, Ẽ(λ) = [(1 λ)c a + λc b ] R R[(1 λ)c a + λc b ] = [c a ] R R[c a ] + λ([c b c a ] R R[c b c a ] ) ne doit pas dépendre de λ. On voit que [c b c a ] R R[c b c a ] = 0. Ce cas est le même que celui qui précède. Caméra non axiale Il existe alors trois centres c a, c b, c c non alignés. Maintenant, la contrainte sur R est 0 = [c a c b ] R R[c a c b ] = [c b c c ] R R[c b c c ] = [c c c a ] R R[c c c a ]. Cette contrainte est trois fois celle de la paire stéréo. Changeons le système de coordonnées de sorte que {c a c b, c b c c, c c c a } soit la base canonique et écrivons les solutions des trois cas stéréo. On voit alors que seul R V ect{i 3 3 } est possible. Cas 2 : appariements quelconques Maintenant, les appariements sont simples ou pas. Caméra Centrale Ce cas ne peut se produire ici.

7 Paire stéréo Dans ce cas, on a (c 0i, c 1i ) {(c a, c a ), (c b, c b ), (c a, c b ), (c b, c a )} et Ẽ = [c a ] R R[c a ] = [c b ] R R[c b ] = [c a ] R R[c b ] = [c b ] R R[c a ]. La contrainte sur R est donc 0 = [c a c b ] R = R[c a c b ]. Cette contrainte est plus forte que dans le cas de la caméra stéréo avec des appariements simples. On voit alors que seul R V ect{(c a c b )(c a c b ) } est possible. Caméra axiale Il existe c a et c b tels que c 0i = (1 λ 0i )c a + λ 0i c b et c 1i = (1 λ 1i )c a + λ 1i c b avec λ 0i R et λ 1i R. Donc, Ẽ(λ 0, λ 1 ) = [(1 λ 0 )c a + λ 0 c b ] R R[(1 λ 1 )c a + λ 1 c b ] = [c a ] R R[c a ] + λ 0 [c b c a ] R λ 1 R[c b c a ] ne doit pas dépendre de λ 0 et λ 1 : on a 0 = [c b c a ] R = R[c b c a ]. Ce cas est le même que le précédent. Caméra non axiale Il existe trois centres non alignés c a, c b, c c et la contrainte sur R est trois fois celle du cas stéréo : 0 = [c a c b ] R = R[c a c b ] = [c b c c ] R = R[c b c c ] = [c c c a ] R = R[c c c a ]. Changeons le système de coordonnées de sorte que {c a c b, c b c c, c c c a } soit la base canonique et écrivons les solutions des trois cas stéréo induits. On obtient R = 0. Aucune solution exacte n est obtenue avec cette méthode dans ce cas. Références [1] M. Grossberg and S.K. Nayar. A general imaging model and a method for finding its parameters. ICCV 01. [2] P. Chang and M. Hebert. Omni-directional structure from motion. IEEE Workshop on Omnidirectional Vision, [3] A. Davison. Real-Time Simultaneous Localization and Mapping with a Single Camera. ICCV 03. [4] C. Engels, H. Stewenius, D. Nister. Bundle Adjustment Rules. Photogrammetric Computer Vision, [5] O.D. Faugeras and M. Hebert. The representation, recognition, and locating of 3d objects. IJRR, 5 :27-52, [6] C. Harris and M.Stephens. A combined corner and edge detector. 4th Alvey Vision Conference, [7] R.I. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, [8] J. Kannala and S.S Brandt. A generic camera model and calibration method for conventional, wide angle, and fish-eye lens. PAMI, 28 : , [9] M. Lhuillier and L. Quan. A Quasi-Dense Approach to Surface Reconstruction from Uncalibrated Images. PAMI, 27(3) : , [10] M. Lhuillier. Effective and Generic Structure from Motion using Angular Error. ICPR 06. [11] M. Lhuillier. Automatic Scene Structure and Camera Motion using a Catadioptric Camera System. CVIU 08, doi : /j.cviu (à paraitre). [12] B. Micusik and T. Pajdla. Autocalibration and 3D reconstruction with non-central catadioptric camera. CV- PR 04. [13] E. Mouragnon, M. Lhuillier, M. Dhome, F. Dekeyser and P. Sayd. Real Time localization and 3D reconstruction. CVPR 06. [14] E. Mouragnon, M. Lhuillier, M. Dhome, F. Dekeyser and P. Sayd. Generic and Real-Time Structure from Motion. BMVC 07. [15] D. Nister. An efficient solution to the five-point relative pose problem. PAMI, 26(6) : , [16] D. Nister, O. Naroditsky and J. Bergen. Visual Odometry. CVPR 04. [17] R. Pless. Using many camera as one. CVPR 03. [18] M. Pollefeys, R. Koch, M. Vergauwen and L. Van Gool. Automated reconstruction of 3D scenes from sequences of images. ISPRS Journal of Photogrammetry and Remose Sensing, 55(4) : , [19] S. Ramalingam, S. Lodha and P. Sturm. A generic structure from motion framework. CVIU, 103(3) : , [20] E. Royer, M. Lhuillier, M. Dhome and T. Chateau. Localization in Urban Environment : monocular vision compared to a differential GPS sensor. CVPR 05. [21] H. Stewenius, D. Nister, M. Oskarsson and K. Astrom. Solutions to minimal generalized relative pose problems. OMNIVIS Workshop, [22] P. Sturm and S. Ramalingam. A generic concept for camera calibration. ECCV 04. [23] B. Triggs, P. McLauchlan, R. Hartley and A. Zisserman. Bundle Adjustment A modern synthesis. Vision Algorithms : Theory and Practice, 2000.

8 FIG. 1 Suivi de points pour une image de caméra générique dans trois cas : caméra perspective (en haut a gauche), caméra catadioptrique (en haut a droite) et paire stéréo (en bas). La méthode de mise en correspondance est la même quelque soit le type de caméra utilisée. FIG. 4 A gauche : décalage de la trajectoire estimée (méthode générique locale) avec la trajectoire vérité terrain (GPS différentiel). A droite : l erreur 3D le long de la trajectoire. Les lignes continues sont pour le GPS et les points représentent les positions estimées des images clefs.

9 Séquence Caméra #images #images clefs #3D Pts #2D Pts Traj. long. Séquence 1 perspective m Séquence 2 perspective m Séquence 3 catadioptrique m Séquence 4 paire stéréo m TAB. 2 Caractéristiques des séquences vidéo. Caméra Image Détection+Matching images images clefs fréquence Perspective fps Catadioptrique fps Paire stéreo fps TAB. 3 Temps de calculs en secondes pour les trois caméras. FIG. 5 Trajectoires et vues de dessus des reconstructions 3D (trajectoires en bleu et points 3D en noir). En haut : caméra catadioptrique (séquence 2). En bas : paire stéréo (séquence 3).