Modélisation 3D d objets par un capteur visuel déplacé par un opérateur. 3D Modelling of objects from a visual sensor moved manually by an operator.

Transcription

1 Modélsaton 3D d objets par un capteur vsuel déplacé par un opérateur 3D Modellng of objects from a vsual sensor moved manually by an operator. Benjamn COUDRIN 1,2 Mchel DEVY 1 Ludovc BRETHES 2 Jean-José ORTEU 3 1 CNRS ; LAAS ; 7 avenue du colonel Roche, F Toulouse, France Unversté de Toulouse ; UPS, INSA, INP, ISAE ; LAAS ; F Toulouse, France 2 NOOMEO ; 10 av. de l Europe, Ramonvlle Sant-Agne, France 3 Unversté de Toulouse, Ecole Mnes Alb, CROMeP, Campus Jarlard, ALBI, France mal : bcoudrn@laas.fr, mchel@laas.fr, ludovc.brethes@noomeo.eu, jean-jose.orteu@enstmac.fr Résumé Nous évouons dans cet artcle, la problématue de la modélsaton 3D d un objet par un capteur vsuel déplacé manuellement par un opérateur. L objet est posé sur un plan : l opérateur déplace le capteur sur une dem-sphère centrée sur l objet. Pluseurs fonctons dovent être développées pour construre un modèle par ce procédé : acustons 2D et 3D, estmaton des déplacements du capteur à partr des ponts suvs dans la séuence d mages 2D et recalage des données 3D acuses en chaue pont-devue 3D, contructon du mallage et placage de texture. Cet artcle focalse sur le len suv-recalage lorsue le capteur est déplacé en contnu, avec deux approches, recalages par ICP ou SLAM. Mots Clef Modélsaton 3D, ajustement de fasceaux, estmaton du déplacement, recalage, ICP, SLAM, suv de ponts d ntérêt. Abstract Ths paper descrbes problems to be solved when modellng a 3D object from mages acured by a vsual sensor moved manually by an operator. The object s set on a plane ; the sensor s moved on a semsphere centered on the object. In order to buld a 3D model from such a protocol, several functons must be developped : 2D and 3D data acuston, moton estmaton from nterest ponts traced on the seuence of 2D mages, regstraton of 3D data acured from every 3D vew pont, constructon of a geometrcal model and texture mappng. Ths paper focuses only on the relatonshps tracng-regstraton from contnuous data acustons when movng the sensor around the object, consderng two regstraton methods, ICP or SLAM. Keywords 3D modellng, bundle adjustment, moton estmaton, regstraton, ICP, SLAM, Interest pont tracng. 1 Introducton Le problème de la modélsaton 3D à partr d un capteur moble a trat à l acuston de données 3D à partr de postons dstnctes de ce capteur, à leur agencement cohérent avec la réalté de la scène à modélser, pus à leur représentaton sous une forme géométrue (ponts, arêtes, surfaces,... ) dépendante de l explotaton prévue pour le modèle fnal. La phase d acuston est une étape sensorelle permettant d obtenr une représentaton partelle et brutée de la scène réelle à modélser. On explote généralement des méthodes basées sur des capteurs télémétrues lasers ou vson (avec ou sans projecton de lumère). Dans notre cas, l s agt de travaller sur le capteur OptNum TM de la socété NOOMEO TM, capteur basé vson doté d un système opto-électronue de numérsaton u permet l acuston de la géométre et de la texture d une scène sous la forme de nuages de ponts 3D. Ce capteur, sommarement décrt en secton 2, est conçu pour être déplacé à la man. Une acuston 3D consttue donc une représentaton parcellare de l espace u l faudra combner avec d autres acustons, prses sous d autres ponts de vue. Fournr une modélsaton réalste passe donc par une étape de recalage de ces vues décorrelées. Cela mpose de détermner la poston du capteur dans le repère monde au moment de chaue prse de vue. Cette poston peut ête détermnée faclement s l on dspose d nformatons proproceptves, dans un contexte robotue par exemple [10]. Dans notre cas, le capteur étant porté à la man, nous ne dsposons pas d estmée a pror de sa poston ; nous avons donc éupé OptNum TM d une caméra et d une centrale nertelle. L explotaton de ces capteurs pour estmer l atttude du capteur, est décrte en secton 3. A partr de cette estmée, les tâches de localsaton du capteur et de recalage des nuages de ponts 3D seront à terme tratées par l une ou l autre des méthodes suvantes. La premère, décrte en secton 4, se fonde sur des technues d optmsaton. Très classuement explotée pour le pro-

2 blème du recalage, la méthode ICP [2, 3] optmse la transformaton rgde entre deux modèles 3D en mnmsant un crtère SSD entre les ponts des modèles. Nous détallerons cette approche ans ue l explotaton de données vsuelles et nertelles pour amélorer et accélérer la convergence de l algorthme [8]. La seconde, décrte en secton 5, explote le fltrage stochastue pour l estmaton de mouvement du capteur. Il s agt de localser le système en assocant les données nertelles et des amers vsuels détectés dans les vues précédentes, pus de les confronter aux données courantes. Cette approche est répandue dans les problèmes de navgaton de robots mobles et est connue sous le nom de SLAM (Smultaneous Localzaton and Mappng) [7]. Les autres étapes de la modélsaton ne seront pas détallées dans cet artcle. Elles seront seulement rappelées en secton 6, dans nos futurs travaux. 2 Le capteur Comme nous l avons vu, le capteur OptNum TM est un système de numérsaton porté à la man développé par la socété NOOMEO TM. Basé vson, l permet, à chaue prse de vue, l acuston 3D dense de la scène dans le champ. Doté d une caméra de localsaton et d une centrale ntertelle, l est optmsé pour la numérsaton d objets contenus dans 1m 3. Comme le montre la fgure 1 OptNum TM se présente sous la forme d un pstolet mun d un smple bouton poussor utlsé pour le déclenchement de la numérsaton. Deux ponteurs lasers ont été postonnés dans le boîter pour converger à la dstance de traval optmale du capteur. et ans de réalser un suv de ponts d ntérêt. On dspose également à chaue nstant des données nertelles u permettent de connaître l atttude du capteur. C est l ensemble de ces données u sont explotées c pour permettre au numérseur de générer un ensemble de vues 3D recalées. 3 Estmaton de la poston du capteur par mesures nertelles Une centrale nertelle est un ensemble de capteurs permettant de mesurer le mouvement et la poston d un système dans l espace. Cela nclut typuement des mesures d accélératon et de vtesse angulare ans u une boussole 3D et éventuellement un capteur GPS. Nous avons ntégré au système une centrale du commerce. Il s agt de la centrale XSens MT. Elle ntègre un accéléromètre, un gyromètre et un magnétomètre tros axes, ans ue des fonctonnaltés de fltrage afn d estmer et recaler les bas nduts par la température et d assurer un calcul de pose. Cette centrale explote des technologes MEMS bas coût, permettant un fable encombrement mas souffrant partculèrement du brut. Cela va contrandre fortement les possbltés de son explotaton dans un système de localsaton. En effet, dédure les nformatons statues (poston, orentaton) des mesures dynamues (accélératon, vtesse angulare) nécesste l ntégraton de ces mesures dans le temps. On s expose à une dérve addtve du fat de l ntégraton de la composante de brut en plus de l ntégraton de l accélératon réelle mesurée. L explotaton de la trosème mesure (champ magnétue) permet cependant de calculer l orentaton du système à chaue nstant en composant mesure magnétue et accélérométrue. En effet, la mesure magnétue est statue, et l accéléromètre, comme tout corps sur terre, est soums à l accélératon due à la gravté, mesurable. De ce fat, le vecteur d accélératon mesuré s exprme : FIGURE 1 OptNum TM g = R. g 0 où g 0 = [0 0 g] T est le vecteur d accélératon dans le repère monde, et R est la matrce de rotaton assocée à l atttude actuelle du capteur, matrce à estmer. De manère smlare on peut exprmer la mesure magnétue relatvement à l atttude du système : En fonctonnement, l apparel de capture est postonné face à l objet. Le déclencheur est alors enfoncé, ce u provoue l allumage des ponteurs lasers et l affchage sur écran d un retour vsuel pour ader l utlsateur à ajuster la dstance. Le relâchement du déclencheur provoue l acuston d une mage 3D. Le mécansme de déclenchement peut être du type «one-shot», ou ben de type rafale, dans leuel pluseurs prses de vue sont effectuées successvement à ntervalles de temps prédétermnés. Pour ces deux modes, l est possble d effectuer une acuston 2D par la caméra de localsaton entre chaue prse d mage 3D l = R.l 0 où l 0 est la mesure du champ magnétue lorsue le capteur est algné avec le repère monde. Notre problème est donc de détermner la matrce R u mnmse le crtère suvant : S(R ) = x [ g l ] 2 où x = [a x a y a z m x m y m z ] T est le vecteur composé des mesures accélérométrues et magnétométrues à l nstant courant.

3 Afn de rendre plus robuste l estmaton l est possble de réalser la mnmsaton en tenant compte des mesures précédentes. Il s agt alors de trouver un comproms entre robustesse et réactvté. En observant les varatons du résdu l est possble de détecter les ncohérences entre les sources de mesures et donc les perturbatons de l estmaton. FIGURE 2 Mesures d atttude La fgure 2 montre l estmaton d atttude du capteur et l erreur assocée. On a réalsé tros rotatons sur un seul axe à la fos, pus un retour à la poston ntale. La trosème rotaton a été soumse à des vbratons fortes, on constate ue le système n est pas en mesure d estmer l atttude de manère fable durant le temps de la perturbaton mas retrouve rapdement une estmaton juste lorsue celle-c s arrête. On constate également ue, sur les précédents mouvements, le système a beson de uelues échantllons pour converger, provouant des pcs d erreur. Cela est lé au fat ue l on a réalsé l estmaton en explotant des mesures précédentes afn de rendre l estmée plus robuste. Exploter les mesures nertelles pour détermner le mouvement rectlgne est possble à condton de les coupler à d autres mesures permettant de recaler les dérves. Nous utlsons ce type de méthodes dans nos approches de recalage décrtes dans les sectons suvantes. Le capteur est couplé à un système de caméra. Nous calbrons la transformaton entre les repères de ces deux capteurs à l ade de la méthode de Mrzae and al. [9]. 4 Recalage par des technues d optmsaton L algorthme ICP (Iteratve Closest Ponts) a été ntrodut par Chen et Medon [3] et Besl et McKay [2] ; c est la méthode courante de recalage entre deux nuages de ponts 3D. Elle nécesste de fournr une estmée ntale de la transformaton rgde entre ces deux nuages et l affne tératvement en mnmsant la somme des dstances au carré entre un pont et son plus proche vosn dans l autre modèle. De nombreuses varantes ont depus été proposées [11] afn d amélorer la convergence de l algorthme. Les résultats de l algorthme ICP dépendent fortement de la ualté de l estmée ntale fourne. Celle-c peut être détermnée en estmant la poston spatale du capteur, en apparant des descrpteurs de surface [6], en explotant des entrées de l opérateur... L explotaton des données nertelles permet d obtenr une estmée de l orentaton du capteur au moment de la prse de vue et donc de la rotaton à appluer au nuage de ponts 3D à recaler. Dans ce cas, une pare de ponts 3D sufft pour estmer la composante translaton de la transformaton rgde entre les deux ponts de vue. En explotant un plus grand nombre de pares, l est possble auss de redétermner l orentaton afn de rendre plus robuste l estmée ntale. La séuence d mages 2D obtenue entre les deux acustons 3D fates aux nstants t et t +l, est explotée pour réalser le suv de N ponts d ntérêt, et donc une mse en correspondance entre N ponts 3D. A l nstant t, le pont d ntérêt, est assocé à un pont 3D p ; l est suv sur les l mages suvantes ; à l nstant t +l, sa poston +l est assocée à un pont 3D p +l. On en dédut l apparement 3D (p, p+l ). On dspose donc de pluseurs méthodes pour produre l estmée ntale. Sans la centrale nertelle, une méthode drecte n explote ue le résultat du suv de N ponts [1] (N>5). En utlsant les données nertelles, on peut exploter une méthode drecte avec 1 seul pont pour trouver la translaton, la rotaton étant détermnée par les données nertelles. Enfn on peut réalser une ntalsaton par une méthode drecte à 1 pont et exploter d autres apparements pour réalser une optmsaton. On dspose de N pares de ponts 3D (p, p+l ) ms en correspondance par suv et une premère estmaton de la rotaton R 0 entre les deux ponts de vue, obtenue par les mesures nertelles. En utlsant un des N apparements, on réalse une estmaton de la translaton t 0 entre les vues. Détermner (R, t) la transformaton rgde ntale à partr de ces données revent à mnmser le crtère suvant sur les N 1 ponts restants : N 1 S(R, t) = (p (Rp +l + t)) 2 (1) =1 On mnmse cette foncton en utlsant l algorthme de

4 Levenberg-Maruardt ue l on ntalse avec (R 0, t 0 ). 4.1 Suv de ponts Le problème du suv de ponts perçus depus une caméra moble, n est pas un problème trval. Le suv est complexe dans le sens où l on gnore les caractérstues des mouvements de l envronnement et de la caméra, ans ue la géométre de la scène observée. De plus le traval sur les ponts ne permet d exploter ue des caractérstues locales. Dans notre cas, l envronnement est statue. Les deux méthodes les plus courantes pour assurer un suv robuste sont basées l une sur l algorthme de Kanade- Lucas-Tomas [12] et l autre sur le fltrage stochastue. La méthode de Kanade-Lucas-Tomas cherche à mnmser un crtère de corrélaton en explotant l hypothèse de conservaton de lumnance au vosnage du pont. En consdérant un pont x de l mage I(x, t) acuse à l nstant t, cette hypothèse peut être formalsée de la façon suvante : I(x, t) = I(δ(x), t + τ) (x) W (2) où W est le vosnage du pont consdéré et δ(x) exprme la transformaton lnéare assurant le passage d une mage acuse au temps t à celle acuse au temps t + τ. Cette transformaton est supposée être une déformaton affne : δ(x) = Ax + d où d est la translaton du centre de la fenêtre et [ ] dxx d A = 1 + xy d yx d yy avec 1 la matrce dentté. Du fat du brut et de l mperfecton du modèle de mouvement, on ne peut satsfare l éuaton (2), A et d sont donc détermnés par la mnmsaton d une mesure de smlarté : ɛ = (I(δ(x), t + τ) I(x, t)) 2 (3) W Consdérant ue les déplacements sont fables, donc ue l acuston des mages est suffsamment rapde, on peut approxmer I(δ(x), t + τ) par un développement en sére de Taylor au premer ordre. En remplaçant son expresson dans l éuaton (3) et en dfférencant par rapport aux nconnues D et d, on obtent le système lnéare suvant : T z = a (4) avec z = [d xx d yx d xy d yy d x d y ] T, le vecteur collectant les nconnues de la déformaton D et du déplacement d et, en notant I t, I x, I y les gradents temporels et spataux calculés au pont x, T et a sont donnés par : a = τ I t [xi x xi y yi x yi y I x I y ] T W T = [ ] U V V T G W x 2 Ix 2 x 2 I x I y xyix 2 xyi x I y U = x 2 I x I y x 2 Iy 2 xyi x I y xyiy 2 xyix 2 xyi x I y y 2 Ix 2 y 2 I x I y xyi x I y xyiy 2 y 2 I x I y y 2 Iy 2 [ ] xi V T 2 = x xi x I y yix 2 yi x I y xi x I y xiy 2 yi x I y yiy 2 [ ] I 2 G = x I x I y I x I y Dans l éuaton (4), z est obtenu en utlsant un schéma tératf de Newton-Raphson. Le modèle affne est utlsé pour comparer le pont consdéré et son vosnage entre la premère mage et l mage courante afn de jauger la ualté du tracng. FIGURE 3 Exemple d erreur d occultaton La fgure 3 llustre un cas d occultaton du pont, les mages 300 et 369 sont représentées : avec le changement du pont de vue, le vosnage du pont devent très dfférent entre les deux mages et la corrélaton se dégrade fortement. Cette méthode peut être encore amélorée en utlsant le fltrage stochastue pour estmer le mouvement apparent de chaue pont suv dans la séuence d mages. Suvre un pont au long d une séuence revent à estmer l état caché x 0:n = {x 0, x 1,..., x n } d un processus Maroven, d éuaton de transton p(x x 1 ), condtonnellement à l ensemble z 1:n = {z 1, z 2,..., z n } des mesures de l état. Par conséuent, on cherche à détermner une approxmaton de la densté de probablté a posteror p(x z 1: ). Le fltrage résoud ce problème récursvement en réalsant une prédcton de l état en supposant p(x 1 z 1: 1 ) connue : p(x z 1: 1 ) = p(x x 1 )p(x 1 z 1: 1 )dx 1 pus en utlsant la nouvelle mesure z pour mettre à jour la prédcton : p(x z 1: ) = I 2 y p(z x )p(x z 1: 1 ) p(z x )p(x z 1: 1 )dx Le fltre de Kalman permet d obtenr la soluton optmale à ce problème dans le cas de modèles lnéares gaussens. Le modèle ue nous mettons en œuvre est formalsé par les relatons suvantes :

5 x = Φ x 1 + Γ w (5) z = H x + v (6) où w et v sont des bruts blancs gaussens ndépendants de moyennes nulles et de covarances respectves Q et R, et x = [ Ξ V ] T où Ξ représente la poston du pont dans l mage et V représente sa vtesse. On note P la covarance assocée à l erreur d estmaton de l état. A l nstant t nous propageons l estmaton du pas précédent afn de produre une extrapolaton a pror de l état et de sa covarance, notés ˆx et P : ˆx = Φ ˆx 1 P = Φ P 1 Φ T + Q On calcule le gan de Kalman, permettant de uantfer la croyance relatve entre la mesure z et la prédcton de l état ˆx : K = P HT ( H P HT + R ) 1 On réalse alors la mse à jour des prédctons pour obtenr l estmaton a posteror de l état et sa covarance assocée : ˆx = ˆx + K ( z H ˆx ) P = (I K H )P 4.2 Recalage ICP En supposant ue l on dspose, grâce au suv de ponts entre deux acustons 3D, d une bonne estmée ntale de la transformaton rgde entre deux vues 3D V et V +l, l algorthme ICP va chercher à mnmser un crtère de dstance nter-ponts pour rapprocher les modèles. Il s agt d un algorthme teratf utlsant un ensemble de ponts {p } sélectonnés dans la vue V. A chaue tératon on va chercher à : apparer les ponts p avec leur plus proche vosn dans la vue V +l. On utlse pour cela une structure -d tree, pondérer et rejeter des apparements, estmer la transformaton rgde par mnmsaton d un crtère SSD sur les ponts apparés. On applue alors la transformaton à la vue V +l pour la rapprocher de V. On tère à nouveau jusu à satsfacton d un crtère de convergence de dstance entre les vues ou en fxant une lmte sur le nombre d tératons. La sélecton des apparements se fat au moyen de deux fltres. Le premer assure l uncté d apparement [10]. Un pont de V +l ne peut être apparé u à un seul pont de V. La phase d apparement produt une lste de canddats dans V +l pour chaue pont p de V. Ces lstes sont ensute parcourues afn de garantr à la fos l uncté des apparements et le chox des pares optmales selon la dstance 3D. Le second fltre est un crtère statstue basé sur la dstrbuton des dstances entre les ponts apparés [14]. On met à jour tératvement un seul Dmax 1 et on supprme les apparements présentant une dstance supéreure à ce seul. La valeur ntale Dmax 0 est fxée à une valeur élevée. On modfe le seul en foncton de la moyenne µ des dstances et de l écart-type σ : s µ < Dmax 1 alors Dmax = µ + 3σ, snon s µ < 3Dmax 1 alors Dmax = µ + 2σ, snon s µ < 6Dmax 1 alors Dmax = µ + σ, snon Dmax = ξ. ξ est la valeur médane sur toutes les dstances. Nous dsposons donc d un ensemble de N pares de ponts (p, p+l ). Les apparements n étant pas parfats, estmer la transformaton rgde entre ces deux ensembles revent à mnmser une mesure de smlarté : ɛ = =1 [ p ( Rp +l + t )] 2 Arun et al. [1] proposent une méthode de mnmsaton au sens des mondres carrés basée sur la décomposton SVD d une matrce représentant l ensemble des apparements. La méthode propose de résoudre le problème en deux temps, en séparant la rotaton et la translaton. On peut se rendre ndépendant à la translaton en exprmant chaue pont par rapport au centre de masse du nuage dont l est ssu. p m = 1 N =1 p = p p m p +l m +l = 1 N = p +l =1 p +l p +l m Ans on peut exprmer l éuaton (7) en foncton de R unuement : ɛ = =1 [ + p m R +l Rp +l m t ] 2 Par constructon, p m ( Rp +l m + t ) = 0, donc on peut exprmer la uantté à mnmser par : ɛ = =1 (7) [ R +l ] 2 (8) La méthode permet de détermner R par mnmsaton du crtère (8). t est obtenu ensute par t = p m Rp +l m On développe l éuaton (8) : ɛ = = = =1 =1 =1 ( R +l ( T ) T ( R +l ) + +lt R T R +l T R +l ( T + +lt +l +lt R T ) 2 T R +l )

6 Par conséuent, mnmser ɛ est éuvalent à maxmser avec F = =1 = Trace T R +l ( N =1 H = R +l T =1 ) +l T Sot la décomposton SVD de H : H = UΛV T = Trace (RH) (9) (a) Dans cette égalté, les matrces U et V sont orthonormales et Λ est une matrce dagonale postve contenant les valeurs propres (ou sngulères). Sot X = V U T XH = V U T UΛV T = V ΛV T XH est symétrue postf. Or, pour toute matrce B orthonormale 3 3 : Trace (XH) Trace (BXH) Dans ces condtons, X maxmse la foncton 9. S det (X) = +1, X = R. S det (X) = 1, X est une réflexon et deux cas se prèsentent : une des valeurs sngulère de H est nulle. Dans ce cas, la rotaton recherchée est : X = V U T (b) FIGURE 4 Résultats de recalage ICP utlsant les dfférentes méthodes d estmée ntale. (a) Moyenne des dstances entre ponts apparés. (b) Ecart type de la dstrbuton des dstances. où V est obtenu en changeant le sgne de la trosème colonne de V. aucune des valeurs sngulères de H n est nulle. Dans ce cas, la méthode proposée ne convent pas, on préférera alors s orenter vers des solutons de type RANSAC, par exemple. La fgure 4 montre une comparason de recalages ICP en fasant varer la méthode de producton de l estmée ntale. Les données utlsées pour ce test sont consttuées de deux acustons 3D entre lesuelles ont enregstre une séuence d mages à 5Hz et une séuence de mesures nertelles à 100Hz. La séuence d mages est utlsée pour réalser un suv de ponts permettant d obtenr une lste de ponts 3D apparés. L estmée ntale est produte selon les méthodes décrtes plus haut : On utlse unuement les pares de ponts pour estmer la transformaton entre les nuages. (bleu) On utlse les données de la centrale pour estmer la rotaton entre les deux acustons 3D et une pare de ponts 3D pour trouver la translaton. (rouge) On utlse la méthode précédente pour ntalser une mnmsaton par la méthode de Levenberg-Maruardt. FIGURE 5 Deux nuages de ponts recalés par ICP On note ue les deux premères méthodes, n utlsant pas l ensemble des nformatons dsponbles produsent des es-

7 tmées ntales de mons bonnes ualté pour l algorthme ICP. En effet, en utlsant la trosème méthode le nombre d tératons de l algorthme d optmsaton est rédut et l erreur fnale est rédute. La fgure 5 est le résultat du recalage de la séuence de test en utlsant la trosème méthode d estmée ntale. 5 Recalage par une approche SLAM Le SLAM (Smultaneous Localzaton and Mappng) est un processus par leuel un système construt une carte de son envronnement et l utlse pour s y localser. Il s agt d une des grandes thématues de la robotue moble et un grand nombre de solutons ont été proposées pour résoudre le problème. Typuement on utlse un télémètre laser afn de localser un robot sur une carte 2D. Afn de dépasser cette lmtaton, on a vu se développer des solutons SLAM basé vson [4], permettant d exploter un capteur à coût rédut. Les travaux récents sur le SLAM basé vson proposent des solutons temps-réel mono caméra. secton 4.1, on réalse deux acustons successves 2D et 3D, en supposant un mouvement nul entre ces deux acustons. A l nstant t 0 on acuert un nuage de ponts 3D. Sur l mage 2D acuse ensute, on lance une détecton de ponts d ntérêt ben réparts dans l mage : on dvse l mage en sous-mages et on sélectonne un pont par sous-mage, en utlsant le crtère de Sh-Tomas [12] par exemple. Comme le mouvement entre les deux acustons est supposé nul, on a une assocaton d un pont d ntérêt (u, v ) détecté dans l mage 2D, avec un pont (X, Y, Z ) obtenu dans le nuage 3D. Pour chaue amer vsuel, on conserve donc sa poston 3D (X, Y, Z ), son apparence obtenue dans un vosnage autour du pont (u, v ) dans l mage 2D, et afn de réalser ultéreurement une détecton d occultatons, une approxmaton locale de la normale N = (α, β ), calculée dans un vosnage autour du pont (X, Y, Z ) dans le nuage 3D. La carte stochastue du processus SLAM est un ensemble [ ] T (x, P ) où x = ˆX y0 y 1... y n est le vecteur d état combnant l état de la caméra et l ensemble des états des amers détectés, et P est la matrce de covarance assocée détallant la croyance ue l on a dans l estmaton x. L état de la caméra donne une représentaton de la pose du système. A l nstant t 0, on suppose ue la caméra est en (0, 0, 0) avec une erreur nulle (ou très fable pour évter les problèmes numérues) ; les amers sont ntalsés comme décrt plus haut, l ncerttude ntale est lée à la précson nomnale du capteur 3D (fgure 7 gauche). On majore cependant cette ncerttude afn de prendre en compte un mcro-mouvement de l opérateur entre l acuston 3D et l acuston 2D, u ne sont pas garantes synchrones. FIGURE 7 Apport des dfférents types de mesures à la réducton de l ncerttude FIGURE 6 Le processus SLAM basé vson et nertel Dans notre cas, nous utlsons une approche SLAM afn d obtenr une estmaton de la pose de la caméra. Cette tâche est effectuée en explotant la caméra et la centrale nertelle. L ntalsaton de la procédure nécesste de fournr en entrée du système une connassance préalable de la poston de la caméra et un ensemble d amers vsuels. Pour défnr les amers vsuels, comme dans le cas du suv décrt en Le problème SLAM est un problème de fltrage Bayésen. Pluseurs méthodes d estmaton ont été proposées pour le résoudre ; dans notre cas nous utlsons le Fltre de Kalman Etendu (EKF). Les fgures 6 et 7 llustrent le processus. L état du capteur et son envronnement est observé par tros capteurs : un capteur nertel, une caméra 2D et un numérseur 3D. Chaue source d nformaton va permettre la mse à jour de tout ou parte de la carte SLAM. On commence par réalser une prédcton de l état de la caméra (fgure 7 centre). L explotaton des mesures nertelles permet d assurer la correcton du mouvement et de

8 la poston du capteur. On peut alors réalser une prédcton sur la vsblté des amers par la caméra du capteur. On explote l nformaton de normale en la comparant à la drecton de l axe optue afn de ne pas chercher à observer les amers supposés occultés. En explotant la poston prédte de la caméra, on détermne la projecton de chaue amer vsble sur le plan rétnen de la caméra ans ue l ncerttude de cette projecton. En réalsant un parcours dans cette zone d ncerttude on va chercher une assocaton entre cet amer avec un pont mage, par corrélaton de leurs apparences. La déformaton de fenêtre de corrélaton peut être faclement détermnée en utlsant la pose relatve entre la caméra et le pont. S l on arrve à corréler le pont on obtent une observaton. Chaue observaton obtenue par recherche des amers dans l mage courante est explotée afn de mettre à jour l état et sa covarance. Une acuston 3D donnera une nformaton drecte sur les amers (fgure 7 drote). Il nous faut tout d abord utlser l estmaton de la poston de la caméra afn de recaler cette mesure 3D avec le repère monde pus on cherche à assocer les amers de la carte avec un pont du nouveau nuage 3D, à l ade d un -d tree par exemple. L ncerttude apportée par la mesure est lée à la résoluton du capteur 3D. Ces tros types d acustons fonctonnant à des fréuences dfférentes, l faut mettre en place une geston de l état permettant de garder trace d nstants précédents afn ue chaue mesure pusse être explotée selon un état précédent cohérent avec son modèle. L étape de fuson permet d aggréger les estmatons et de fournr un état le plus précs possble au regard des nformatons dsponbles. L ncerttude sur les postons des amers et la poston de la caméra va avor tendance à crotre. La réobservaton d amers ancens de la carte, ou «fermeture de boucle»va permettre de rédure de façon mportante l ncerttude globale. Il est donc mportant ue l opérateur adopte une trajectore, lors de la numérsaton, permettant la réobservaton d amers ancens. 6 Conclusons Nous avons dans cet artcle, décrt nos travaux actuels sur la modélsaton 3D d objets par le nouveau capteur OptNum TM de la socété NOOMEO TM, capteur déplacé à la man par un opérateur, autour d un objet à numérser. Nous avons présenté nos résultats actuels sur l estmaton de l atttude du capteur et sur le recalage des données acuses depus dfférents ponts de vue par des technues classues ICP. Nous présentons, de plus, le prncpe d un recalage par approche SLAM. Par la sute, après recalage et fuson des vues, nous créerons un mallage entre les ponts du nuage afn de représenter la surface de l objet [5]. Un placage de texture permettra d enrchr le modèle fnal avec des nformatons photométrues. Comme le capteur est manpulé manuellement, l faut retourner à l opérateur, des ndcatons sur la ualté courante de la reconstructon. L explotaton de méthodes de planfcaton perceptuelle [10] et d une IHM mnmale permettra de le guder lors de l acuston pour chosr la prochane bonne vue afn d optmser la ualté et la complétude du modèle fnal. Références [1] K.S. Arun, T.S. Huang, and S.D. Blosten. Leastsuares fttng of two 3-d pont sets. volume 9, [2] P. Besl and N. McKay. A method for regstraton of 3-d shapes. In Trans. PAMI, volume 14, [3] Y. Chen and G. Medon. Object modelng by regstraton of multple range mages. In Proc. IEEE Conf. on Robotcs and Automaton, [4] A.J. Davson. Real-tme smultaneous localsaton and mappng wth a sngle camera. In ICCV, [5] H. Delngette. Smplex meshes : a general representaton for 3d shape reconstructon. Techncal report, INRIA, Sopha Antpols, France, [6] A. Johnson and M. Herbert. Surface regstraton by matchng orented ponts. In Proc. 3DIM, [7] J.J. Leonard and H.F. Durrant-Whyte. Smultaneous map buldng and localzaton for an autonomous moble robot. In IROS, [8] L.G.B. Mrsola, J. Lobo, and J. Das. 3d map regstraton usng vson/laser and nertal sensng. In ECMR, [9] F.M. Mrzae and S.I. Roumelots. A alman flterbased algorthm for mu-camera calbraton : Observablty analyss and performance evaluaton. volume 24, [10] J. A. Restrepo Specht. Modélsaton d objets 3D par constructon ncrémentale d un mallage trangulare, dans un contexte Robotue. Thèse de doctorat, Unversté Paul Sabater, Toulouse, France, [11] S. Rusnewcz and M. Levoy. Effcent varants of the ICP algorthm. In Proc. of the Thrd Internatonal Conference on 3D Dgtal Imagng and Modelng, [12] J. Sh and C. Tomas. Good features to trac. In CVPR, [13] J. Solà Ortega. Towards Vsual Localzaton, Mappng and Movng Objects Tracng by a Moble Robot : a Geometrc and Probablstc Approach. Thèse de doctorat, Insttut Natonal Polytechnue de Toulouse, Toulouse, France, [14] Z. Zhang. Iteratve pont matchng for regstraton of free-form curves and surfaces. volume 13, 1994.