Caméras virtuelles pour l étalonnage d un système de réalité augmentée sur affichage semi-transparent

Transcription

1 Caméras vrtuelles pour l étalonnage d un système de réalté augmentée sur affchage sem-transparent Jm Braux-Zn 1, Adren Bartol 2, Roman Dupont 1, Mohamed Tamaazoust 1 1. CEA, LIST Gf-sur-Yvette, France jm.braux-zn@cea.fr 2. ISIT, Unversté d Auvergne Clermont-Ferrand, France adren.bartol@gmal.com RÉSUMÉ. Nous proposons dans cet artcle une nouvelle méthode d étalonnage extrnsèque pour systèmes de réalté augmentée sur affchages sem-transparents. Cette méthode est applquée c à un système de type tablette augmentée composé d un écran sem-transparent, d un dspostf de suv de l utlsateur et d un dspostf de localsaton par rapport à la scène observée. Cette méthode reste cependant générque et applcable à la plupart des scénaros de réalté augmentée. Elle estme les poses relatves de ces tros composants en se basant sur les obervatons 2D à l écran de ponts de référence d un objet connu. Ces observatons sont fournes par l utlsateur, par exemple sous forme de clcs à la sours. Une ntalsaton convexe est d abord calculée grâce à l étalonnage de caméras vrtuelles. Un ajustement de fasceaux global raffne ensute le résultat. Des expérences sur données synthétques et réelles montrent le ben-fondé de cette approche. ABSTRACT. We present a novel extrnsc calbraton method for optcal see-through systems. It s prmarly amed at tablet-lke systems wth a sem-transparent screen, a user-trackng devce and a devce dedcated to the localzaton of the system n the envronment but easly generalzable to any optcal see-through setup. The proposed algorthm estmates the relatve poses of those three component based on the user ndcatng the projectons onto the screen of several reference ponts chosen on a known object. A convex estmaton s computed through the resectonng of vrtual cameras and used to ntalze a global bundle adjustment. Both synthetc and real experments show the vablty of our approach. MOTS-CLÉS : étalonnage, calbrage, réalté augmentée, écran sem-transparent, caméras à champs dsjonts. KEYWORDS: calbraton, augmented realty, optcal see-through, non-overlappng cameras, semtransparent screen. DOI: /TS c 2014 Lavoser Tratement du sgnal n o 1-2/2014,

2 176 TS. Volume 31 n o 1-2/2014 Extended abstract Optcal see-through augmented realty systems, usng sem-transparent dsplays, offer compellng advantages wth regard to standard vdeo-see-through systems. The more mportant one s the ablty to never solate the user from realty. Ths s crucal for the crtcal applcatons we envson such as drvng or surgery assstance, where lves are at stake. However, optcal see-through systems are challengng to calbrate, ensurng proper algnment between the vrtual augmentaton and realty. Indeed one needs to compute the relatve poses of the user, the observed scene and the sem-transparent screen for a correct dsplay. Wth no loss of generalty, we consder a system made of a sem-transparent screen rgdly ted to two localzaton devces (one trackng the user and the other one trackng the observed scene). The calbraton process nvolves estmatng the pose of those two devces wth regard to the screen and mnmzng the algnment error between the augmentatons and realty. To that end, the user s asked to ndcate the on-screen projecton of reference ponts of a known 3D object. The sought poses can be computed through non-lnear optmzaton, mnmzng the 2D dstance between the user-provded projectons and the ones computed by the system from the poses. However, wthout a pror knowledge about the geometry of the problem, the cost functon s hghly non-convex and dffcult to optmze. We propose n ths artcle a new framework allowng to get a drect ntal estmate of the poses by resectonng vrtual cameras. Those vrtual cameras are defned by ther optcal centers, concdng wth user postons, and ther focal planes, all concdng wth the physcal screen. The projectons ndcated by the user can then be seen as 2D observatons of the 3D reference ponts n those cameras, allowng calbraton by standard technques. A smlar reasonng allows us to defne vrtual cameras centered on the 3D reference ponts, lookng at the user postons. Synthetc and real experments demonstrate the valdty of ths approach. Moreover, t s a generc method makng no assumpton on the system geometry, the type of localzaton devces (cameras, electromagnetc trackng... ) or the dsplay technology used (LCD screen, beam-spltter... ). 1. Introducton Les systèmes de réalté augmentée classques (vdeo see-through) superposent des éléments vrtuels à un flux vdéo. Le fable coût du matérel nécessare et la smplcté de la technque (vor fgure 1, gauche) ont perms un essor mportant de cette technologe (Junper Research, 2012). Cependant, ces approches n affchent l mage qu après l avor tratée, ce qu ntrodut une latence (acquston, tratement et rendu graphque). De plus, les caméras actuelles ont une résoluton, un taux de rafraîchssement et un contraste très lmtés par rapport aux capactés vsuelles humanes. Enfn et surtout, de tels systèmes peuvent couper totalement l utlsateur de la réalté en cas de défallances matérelles ou logcelles.

3 Caméras vrtuelles pour la réalté augmentée 177 Ces problèmes, peu gênants pour les applcatons ludques, sont nacceptables pour les applcatons crtques telles que l assstance aux opératons chrurgcales ou l ade à la condute, qu ne peuvent tolérer aucune ndrecton entre la réalté et l utlsateur. Des systèmes utlsant un affchage sem-transparent sont plus adaptés : même s l augmentaton elle-même peut présenter des défauts, la réalté observée par transparence est toujours naltérée. On parle alors d optcal see-through. Le prncpe de fonctonnement de tels systèmes est schématsé fgure 1, montrant clarement la complexté ajoutée par rapport aux systèmes classques vdeo see-through. En partculer l affchage dépend alors de la pose de la scène observée et de la poston de l utlsateur par rapport à l écran. Jusqu à présent, ces systèmes sont cependant restés lmtés à des usages de nche (tels que l affchage tête haute dans les avons de chasse) car trop chers et encombrants. Par alleurs, un ntérêt ndustrel crossant s affche pour les lunettes sem-transparentes. Malgré des progrès ndénables, ces systèmes restent cependant trop ntrusfs et sujets aux rapdes mouvements de tête rendant l analyse de la scène dffcle. Acquston de l mage Pose dspostf de suv/écran Acquston poston utlsateur/dspostf de suv Calcul de la pose scène/caméra (SLAM...) Pose caméra/écran Calcul poston utlsateur/écran Superposton des augmentatons sur l mage Calcul pose scène/écran Calcul de l augmentaton algnée Affchage de l mage augmentée Vdeo See-Through Affchage de l augmentaton seule Optcal See-Through Fgure 1. Étapes prncpales des processus vdeo see-through (en grs) et optcal see-through (en blanc). On observe que ce derner est beaucoup plus complexe et nécesste notamment les poses relatves des dspostfs de localsaton par rapport à l écran (représentées par des ovales). Celles-c sont fxes pendant l exécuton Nous nous ntéressons c à une approche «tablette» utlsant un écran LCD semtransparent sur lequel sont fxés un dspostf de suv de l utlsateur et un dspostf de localsaton dans l envronnement (fgure 2). Cela permet de s affranchr de la plupart des nconvénents des systèmes ctés précédemment : l affchage sem-transparent est adapté aux applcatons crtques, le système est moble, capable de se localser dans l envronnement et n est pas soums à des mouvements auss rapdes que sur des lunettes. Cependant, les dspostfs opérant dans leurs repères respectfs, l estmaton de leurs poses par rapport à l écran est nécessare pour algner l affchage de l nformaton vrtuelle avec la réalté (vor fgure 1).

4 178 TS. Volume 31 n o 1-2/2014 (d) (e) (a) (b) Fgure 2. Représentaton schématque du système : (a) utlsateur, (b) dspostf de suv de l utlsateur, (c) dspostf de localsaton dans l envronnement, (d) écran sem-transparent, (e) scène (c) À notre connassance, le problème de l étalonnage extrnsèque d un tel système n est abordé dans la lttérature que dans le cas où les dspostfs de localsaton sont des caméras. Dans la confguraton décrte en fgure 2, les deux caméras ont des champs de vson dsjonts et aucune ne vot l écran. Les méthodes classques d étalonnage extrnsèque utlsant un motf connu (Zhang, 2000) sont donc napplcables. D autres méthodes ont des objectfs proches et peuvent être regroupées en deux famlles (fgure 3). D abord l étalonnage extrnsèque de deux caméras à champs dsjonts a été abondamment traté dans la lttérature : pluseurs méthodes se basent sur la localsaton des caméras mobles (Casp, Iran, 2002 ; Esquvel et al., 2007 ; Lébraly et al., 2011) ou statques (Rahm et al., 2004 ; Anjum et al., 2007). Ces méthodes permettent d obtenr les poses relatves des deux caméras mas ne permettent aucunement d estmer la pose de l écran. À notre connassance, les seules méthodes permettant d obtenr toutes les poses requses utlsent un mror pour calculer la pose d un objet hors du champ de vson d une caméra (Sturm, Bonfort, 2006 ; Kumar et al., 2008 ; Rodrgues et al., 2010 ; Takahash et al., 2012). En applquant ces méthodes pour estmer la pose de chaque caméra par rapport à l écran, l est théorquement possble d étalonner complètement le système. Le premer nconvénent de ces méthodes est le fat que les deux caméras sont étalonnées totalement ndépendamment, ce qu rend le processus plus lourd à mettre en œuvre et mons précs. De plus, ces méthodes mnmsent une erreur de reprojecton dans le plan mage de la caméra. Or pour l utlsateur, l mportant est de rédure l erreur d algnement, c est à dre la dstance à l écran entre l augmentaton vrtuelle et la scène réelle (représentée sur la fgure 4). Il s agt en effet de l objectf de la plupart des méthodes d étalonnage des systèmes de type lunettes (Tang, 2003). Nous proposons dans cet artcle une nouvelle méthode qu mnmse drectement l erreur d algnement grâce aux observatons ndquées par l utlsateur (fgure 4). En consdérant le système dans son ensemble l approche est ndépendante des capteurs et algorthmes utlsés pour le suv. Il est par exemple possble d utlser une caméra

5 Caméras vrtuelles pour la réalté augmentée 179 (a) Étalonnage extrnsèque de caméras à champs dsjonts : la pose de l écran est manquante (b) Méthodes utlsant un mror : deux étalonnages caméra/écran ndépendants sont nécessares Fgure 3. Illustraton des méthodes d étalonnage de l état de l art et leurs lmtes Fgure 4. Représentaton du problème d étalonnage : les poses des deux dspostfs de localsaton par rapport à l écran sont les nconnues, l erreur d algnement est l énerge à mnmser et les autres nformatons sont les données en entrées. A vsualser de préférence en couleur stéréoscopque 1 ou un système électromagnétque pour le suv de l utlsateur. De plus, à la dfférence des méthodes précédentes consdérant chaque caméra ndépendamment, les erreurs des capteurs ou de modélsatons peuvent être en parte compensées. Énoncé du problème et plan Le processus d étalonnage, formalsé en secton 2, dot mnmser l erreur de reprojecton perçue par l utlsateur. La foncton de coût assocée est non convexe. Pour 1. La soluton retenue pour le prototype est une caméra stéréoscopque bas coût assocée à un algorthme de détecton de puplle, vor secton 5.1.

6 180 TS. Volume 31 n o 1-2/2014 garder la méthode générque 2, aucune hypothèse n est fate sur les poses des dspostfs de localsaton et l ntalsaton est effectuée grâce à une approxmaton convexe robuste basée sur l ntroducton de caméras vrtuelles. Ce processus est explqué en secton 3 ans que l étape d ajustement de fasceaux qu sut. Enfn la secton 5 est dédée à l évaluaton de la précson de la méthode sur des données synthétques et réelles. 2. Formulaton du problème 2.1. Notatons et conventons Les notatons utlsées sont les suvantes : les ponts et vecteurs 3D sont représentés par des lettres majuscules X = (X x, X y, X z ) T, les ponts et vecteurs 2D par des lettres mnuscules x, les matrces par des lettres majuscules en gras M. Les matrces dagonales sont représentés par leurs coeffcents dagonaux sous la forme dag(x 1, x 2,... ). La même notaton sous forme de lettre callgraphée C est utlsée pour désgner un dspostf de localsaton et son repère assocé. Le repère monde est noté W. Un vecteur exprmé dans le repère C est notée X (C). Nous utlserons la norme de Mahalanobs notée x Σ = x T Σ 1 x. Le système vsble sur la fgure 2 est composé de tros composants fxés rgdement : l écran sem-transparent, le dspostf de suv utlsateur C u et et le dspostf de localsaton dans l envronnement C o. L écran transparent est utlsé comme référence et défnt le repère monde W où les axes sont llustrés en fgure 5 et où l orgne est un pont arbtrare de l écran. La pose de C u dans W s exprme par la transformaton M Cu W = [ R Cu W T Cu W] où RCu W est la matrce de rotaton 3 3 et T Cu W le vecteur translaton 3 1. De même, M Co W, R Co W, et T Co W décrvent la pose de C o dans W. Soent n ponts 3D de référence choss dans l envronnement dont les coordonnées O (Co) j=1...n dans C o sont connues. Depus m postons dstnctes, notées U (Cu) =1...m dans C u, l utlsateur ndque la poston des observatons 2D c j de ces ponts de référence dans l écran. Pour une poston utlsateur U (Cu) et un pont de référence O (Co) j, c j est l ntersecton du rayon (U (W), O (W) j ) avec le plan z = 0 (l écran) dans W : c j = f nt (U (W), O (W) j ) = f nt (M Cu WU (Cu), M Co WO (Co) j ) (1) où f nt est la foncton d ntersecton défne pour z 1 > 0 et z 2 < 0 par : f nt x 1, y 1 z 1 x 2 y 2 z 2 = ( ) x1 z 1 x2 x1 z 2 z 1. (2) y 1 z 1 y2 y1 z 2 z 1 2. Pluseurs généralsatons ntéressantes sont présentées en secton 4.

7 Caméras vrtuelles pour la réalté augmentée Modèle de brut En pratque, l estmaton des postons de l utlsateur et des ponts 3D de référence est sujette à du brut. Les observatons 2D fournes par l utlsateur sont également mprécses. En effet quelle que sot la méthode employée, ces observatons restent soumses à des facteurs technologques (flou ntrodut par l écran, précson du dspostf d acquston...) et humans (défauts de vson, tremblements...). Ces bruts sont modélsés par des varables gaussennes. Les versons brutées des varables d entrée du système sont notées surmontées d un tlde. Sot N (µ, Σ) une varable aléatore suvant la lo normale de moyenne µ et de matrce de covarance Σ : Ũ (Cu) Õ (Co) j = U (Cu) + N (0 3, Σ U ) (3) = O (Co) j + N (0 3, Σ O ) (4) c j = c j + N (0 2, Σ c ) (5) pour tout entre 1 et m et j entre 1 et n. 0 2 et 0 3 sont les vecteurs nuls de dmensons respectves 2 et 3. Les bruts varent peu pour une confguraton donnée du système et l est possble d estmer leurs covarances (vor secton 5.1 pour un exemple), et ans d amélorer la précson de l étalonnage. Il est nécessare de dstnguer les paramètres estmés de leurs vértables valeurs. Les estmatons sont notées avec un chapeau : M Cu W, M Co W, Û (Cu) =1...m, Ô(Co) j=1...n Problème d étalonnage L objectf de la méthode proposée est de trouver les melleures estmatons M Cu W et M Co W sachant Ũ (Cu) =1...m, Õ(Co) j=1...n et les c j correspondants, grâce à l équaton (1). En consdérant des bruts gaussens, la soluton optmale mnmse la foncton de coût suvante : f( M Cu W, M Co W, Û (Cu) =1...m, Ô(Co) j=1...n ) = =1...m j=1...n + =1...m c j f nt ( M Cu WÛ(Cu) Ũ (Cu) Û (Cu) 2 + Σ U, M Co WÔ(Co) j=1...n Õ(Co) j j ) 2 Σ c Ô(Co) j (6) 2 Σ O Il s agt d un ajustement de fasceaux (Trggs et al., 2000). On reconnaît dans le premer terme l erreur d algnement 2D, non convexe, alors que les autres sont les erreurs 3D sur les postons des ponts de référence et de l utlsateur. La secton suvante présente une méthode orgnale d ntalsaton convexe.

8 182 TS. Volume 31 n o 1-2/2014 U 1 U 2 U 3 C o C u c 11 c 12 c 13 W x z O 1 O 2 O 3 V 1 V 2 V 3 C u c 11 c 12 c 13 W z x C o O 1 O 2 O 3 Fgure 5. Notatons (les éléments de même couleur sont exprmés dans le même repère) Fgure 6. Caméras vrtuelles utlsateur (vor texte) 3. Étalonnage et caméras vrtuelles 3.1. Défnton des caméras vrtuelles L ntroducton de caméras vrtuelles permet de décomposer le problème en pluseurs sous-problèmes classques d étalonnage. Soent m caméras vrtuelles V centrées sur les postons utlsateurs et partageant toutes le plan de l écran (z = 0) comme plan focal. Leurs ponts prncpaux sont confondus avec l orgne de W. Cette défnton donne à ces caméras des proprétés ntéressantes : tous leurs axes optques sont parallèles et pontent dans la drecton de l axe z dans W. Les poses des caméras vrtuelles dans W sont donc défnes par : [ M = I U (W) où I est la matrce dentté 3 3 et U (W) ], 1, m (7) = M Cu WU (Cu) est la poston U (Cu) exprmée dans W. Comme les observatons c j sont exprmées en untés de W, les «pxels» des caméras vrtuelles sont parfatement carrés : les longueurs focales en x et y sont égales (f x = f y = f ), l oblquté est nulle (s = 0) et l n y a aucune dstorton. De plus, comme les caméras sont défnes par leur plan focal et pont prncpal dans W, leurs paramètres ntrnsèques (pont prncpal (u, v ) et focale f ) sont lés à la poston de leur centre optque U (W) = ([ U (W) ] x [, U (W) ] x [, U (W) paramètres ntrnsèques s écrt alors de la manère suvante : K = f x s u 0 f y v = f 0 u 0 f v [ ] [ U (W) 0 z [ ] [ = 0 U (W) z U (W) U (W) ] ] ] x y z ) T. La matrce des. (8)

9 Caméras vrtuelles pour la réalté augmentée 183 Les observatons 2D c j sont les projectons des ponts 3D de référence dans V, donc en coordonnées homogènes 1, m, j 1, n, λ j R : où c j = λ j K M 1 M Co WO (Co) j (9) c j = λ j H O (Co) j (10) H = K M (11) [ ] M = M 1 M Co W = R Co W T Co W U (W). (12) 3.2. Étalonnage des caméras vrtuelles Nous verrons que le calcul des paramètres extrnsèques et ntrnsèques d une caméra vrtuelle V permet d estmer la pose M Co W du dspostf de localsaton C o dans l envronnement. Ce processus d étalonnage est détallé par Hartley et Zsserman (2004). Nous utlsons l approche Drect Lnear Transform (DLT) (Abdel-Azz, Karara, 1971) pour estmer H à partr de l équaton (10). Le facteur scalare λ j est élmné grâce à un produt vectorel : c j = λ j H O (Co) j c j H O (Co) j = 0 1, m, j 1, n (13) Pour chaque poston utlsateur U (Cu), ces équatons vectorelles donnent 2 n équatons lnéares ndépendantes sur les coeffcents de H. Avec n 6 ponts de référence, l est possble de calculer une soluton aux mondres carrés, convexe hors des cas dégénérés (vor secton 3.6.1), pour les 12 coeffcents avec une décomposton en valeurs sngulères 3. L étape suvante est d extrare les paramètres ntrnsèques K et extrnsèques M vérfant l équaton (11) : H = K M. On part d une décomposton drecte avec l équaton H H T = K R Co WR T C o WK T = K K T (14) où H est la sous-matrce 3 3 de H. Dans le cas où les données sont brutées, cette décomposton donne une matrce de paramètres ntrnsèques générques ne respectant pas les proprétés de l équaton (8) : K nt = f x s u 0 f y v (15) La soluton obtenue mnmse la dstance algébrque et non la dstance eucldenne mas consttue une bonne ntalsaton. Vor Hartley et Zsserman (2004).

10 184 TS. Volume 31 n o 1-2/2014 Cette décomposton ntale est raffnée tératvement en utlsant l algorthme de Levenberg-Marquardt (Marquardt, 1963) pour mnmser : f( K, M, Ô(Co) j=1...n ) = c j λ j K M Ô (Co) 2 (16) Σ c j=1...n + j=1...n Õ(Co) j Ô(Co) j j 2 + w ( f x f y + s ) Σ O où w est un pods encourageant le matrce à prendre la forme désrée (f x = f y et s = 0) et qu dot d après Hartley et Zsserman (2004) augmenter lentement à chaque tératon. En pratque, nous avons observé qu l sufft d effectuer une optmsaton jusqu à convergence avec w = 1 σ mn, où σ mn est le plus pett coeffcent dagonal de Σ c et Σ O. Ce chox permet de s assurer que la contrante a un mpact ndépendant du nveau de brut Extracton de la pose du dspostf C o Il est mantenant possble d extrare Û (W) à partr de K grâce à l équaton (8). Nous construsons ensute M à partr de Û (W) en utlsant l équaton (7). Enfn M () C est extrat de M o W avec l équaton (12). Notons que ces estmatons sont effectuées ndépendamment pour chaque caméra vrtuelle, d où la présence de l ndce (). () Toutes ces estmatons M C dovent être agrégées en un seul M o W Co W pour ntalser l ajustement de fasceaux. Dans un premer temps les échecs manfestes sont élmnés : caméra vrtuelles pour lesquelles le raffnement non lnéare n a pas convergé ou dont les matrces de paramètres ntrnsèques sont nvaldes. Ensute, nous avons chos de sélectonner l estmaton dont l erreur (16) après raffnement est la plus fable. C est l heurstque qu donne les melleurs résultats selon notre expérence. Le lecteur ntéressé pourra se référer à la secton pour une dscusson à propos d une soluton optmale Extracton de la pose du dspostf C u Les caméras vrtuelles sont centrées sur les postons de l utlsateur et l étalonnage de chaque V donne une estmaton Û (W) de U (W) = M Cu WU (Cu). Il est ensute possble d estmer M Cu W en résolvant un problème d algnement 3D-3D (Horn, 1987). Il est auss possble de répéter la même approche d étalonnage avec des caméras vrtuelles centrées sur les ponts 3D de référence de l envronnement comme présenté en Annexe A. Nous proposons donc tros stratéges : Symétrque : estmer M Co W avec des caméras vrtuelles centrées sur l utlsateur et M Cu W avec des caméras vrtuelles centrées sur les ponts 3D de référence de l envronnement.

11 Caméras vrtuelles pour la réalté augmentée 185 Caméras centrées sur l utlsateur seulement : estmer M Co W avec des caméras vrtuelles centrées sur l utlsateur et M Cu W par algnement 3D-3D. Caméras centrées sur les ponts de référence seulement : estmer M Cu W avec des caméras vrtuelles centrées sur les ponts 3D de référence de l envronnement et M Co W par algnement 3D-3D. L étape la plus délcate de l étalonnage est la DLT. Elle est sensble au brut sur les observatons et non sur la poston du centre des caméras vrtuelles. Il est donc préférable de chosr comme centres les données les plus brutées (postons utlsateurs ou ponts 3D de référence de l envronnement). En pratque, l est plus dffcle de suvre l utlsateur que de localser un objet connu. Le bon condtonnement de la DLT est également lé à la contrante de non-planarté des ponts d étalonnage (vor la secton 3.6.1), dffclement applcable pour les postons utlsateurs lmtées par le champ de vson à travers l écran. Ces deux arguments montrent que centrer les caméras vrtuelles sur l utlsateur seulement est a pror la melleure stratége. Cependant pour obtenr la melleure estmaton possble ndépendamment de la confguraton du problème, l erreur de reprojecton est estmée avec chaque approche et le melleur résultat est conservé Ajustement de fasceaux Les estmatons M Cu W et M Co W et les mesures brutées Ũ (Cu) =1...m et Õ(Co) j=1...n permettent d ntalser l ajustement de fasceaux global avec covarances qu mnmse la foncton (6) en utlsant l algorthme de Levenberg-Marquardt (Marquardt, 1963). S l algorthme converge (ntalsaton proche de la soluton) et que les covarances des bruts sont correctement estmées, la soluton obtenue est optmale du pont de vue de l utlsateur : l erreur d algnement est mnmsée Dscussons Contrantes et cas dégénérés Les contrantes géométrques vennent de l étape DLT (secton 3.2). Nous avons déjà établ que le nombre de ponts 3D de référence devaent respecter la contrante m 6 pour obtenr une soluton unque. De plus, certanes confguratons des ponts 3D de référence peuvent amener à des cas dégénérés, tratés par Hartley et Zsserman (2004). Le cas le plus notable est le cas où les ponts sont coplanares. L objet de référence ne peut donc en partculer pas être plat n trop élogné de C o.

12 186 TS. Volume 31 n o 1-2/ Optmsaton mult-vue Le problème de l agrégaton des résultats (secton 3.3) provent du fat qu aucune contrante mult-vue n est utlsée. Le problème (10) peut être reformulé avec une matrce d observaton de la manère suvante : λ 11 c 11 λ 1n c 1n.. λ m1 c m1 λ mn c mn = K 1 [R Co W T Co W T 1 ]. K m [R Co W T Co W T m ] [ ] O (Co) 1 O n (Co) où les λ j sont les profondeurs projectves, calculables à partr des matrces fondamentales ou par des méthodes tératves (Trggs, 1996 ; Olenss, Hartley, 2005). Dans notre contexte, nous observons que l approche DLT gnore tros contrantes : le fat que R Co W et T Co W sont partagés par toutes les vues et que les U (W) sont lés aux K par l équaton (8). À notre connassance, l n y a aucun moyen de calculer une estmaton drecte en utlsant ces contrantes. Notons par alleurs que notre approche a l avantage de rendre le processus asément parallélsable pour une résoluton plus rapde. (17) 4. Scénaros envsageables et applcatons La méthode a été ntrodute dans le cadre d un système partculer mas nous nous sommes efforcé de ne pas utlser d nformaton a pror, ce qu permet pluseurs généralsatons. Les applcatons envsagées peuvent être classées en tros catégores Lunette augmentée Dans le cas des lunettes augmentées ou Head-Mounted Dsplays (HMD), l écran est rgdement fxé à l utlsateur. Avantages Il n y a pas beson de suv de l utlsateur C u. Il est asé d affcher un flux vdéo adapté à chaque œl pour que l affchage sot algné pour les deux yeux. Le système est moble et ne restrent pas les mouvements de l utlsateur. Inconvénents La localsaton par vson dans l envronnement est complexe à cause des mouvements rapdes de rotaton de la tête et des contrantes fortes sur la latence. Les solutons éprouvées sont basées sur une localsaton externe (systèmes électromagnétques, capture du mouvement avec marqueurs...). En l état actuel des technologes, les HMD ndusent une fatgue due aux ncohérences perçues par le cerveau (prncpalement la latence). Étalonnage La poston utlsateur U (W) est constante. L étalonnage peut être effectué en utlsant une seule caméra vrtuelle centrée sur l utlsateur. Ce derner devra connecter un matérel spécfque (sours...) pour entrer la poston des observatons 2D des ponts 3D de référence. Alternatvement, les ponts de référence peuvent être organsés en un motf spécfque et l utlsateur devra se

13 Caméras vrtuelles pour la réalté augmentée 187 déplacer pour fare coïncder le motf s affchant sur son écran avec le motf réel ; cela permet d effectuer l étalonnage en une seule étape Vtrne augmentée Dans la confguraton de vtrne augmentée, le système est fxe dans la scène. Avantages Il n y a dans ce cas pas beson du dspostf de localsaton dans l envronnement C o. L étalonnage fournt toutes les nformatons requses pour ajouter des nformatons en réalté augmentée sur l objet de référence. De plus, en restregnant la réalté augmentée à une fenêtre ben défne dans l espace, l nconfort pour l utlsateur est rédut car une grande parte de son champ de vson n est pas affecté. Inconvénents En l absense de dspostf de localsaton dans l envronnement, l étalonnage dot être actualsé à chaque déplacement du système ou modfcaton de la scène. Étalonnage Le repère C o est remplacé par le repère local de l objet. L étalonnage fournt la pose M Cu W permettant de localser l utlsateur par rapport à l écran ans que la pose M Co W qu est c drectement la pose de l objet dans W. Il s agt de la confguraton chose pour l évaluaton présentée en secton 5.3 car elle permet de s affranchr d un algorthme de localsaton dans l envronnement Tablette Augmentée Les vtrnes vrtuelles sont lmtées aux systèmes statques, et en l état actuel des technologes les HMD restent lmtés et trop ntrusfs. C est pourquo nous croyons au paradgme de la tablette augmentée, utlsé tout au long de cet artcle. Cette approche utlse un écran sem-transparent, un dspostf de localsaton dans l envronnement (pour que le système pusse être déplacé sans nouvel étalonnage) et un dspostf de suv de l utlsateur (pour que l utlsateur sot lbre de ses mouvements par rapport au système). Un tel système combne les avantages des deux approches précédentes. Il exste des solutons pour garder lbres les mans de l utlsateur (les applcatons vsées sont l ade à la chrurge et à la mantenance de systèmes complexes). Par exemple un bras artculé, déjà courant dans les envronnements médcaux, pourrat mantenr la tablette en place. 5. Évaluaton Cette secton est dédée à la démonstraton de la robustesse de notre méthode et de sa précson. L algorthme a été mplémenté en Python et les temps de calcul sont comprs entre 1 et 3 secondes par étalonnage.

14 188 TS. Volume 31 no 1-2/ Détals du prototype et estmaton du brut Fgure 7. Prototype utlsé pour les expérmentatons. Les ponts de référence utlsés sont ndqués par une crox. Le dspostf de localsaton de l utlsateur est c une caméra stéréo (au premer plan) Les étapes de raffnement non lnéare et d ajustement de fasceaux nécesstent une estmaton de la varance du brut sur les postons de l utlsateur ΣU, les ponts 3D de référence de l envronnement ΣO et les observatons 2D de l utlsateur Σc. Nous défnssons c la confguraton du prototype (fgure 7) utlsé pour l évaluaton. P OINTS 3D DE RÉFÉRENCE. Nous utlsons comme objet de référence une boîte rectangulare de dmensons mm, placée à envron 1 mètre de l écran. 10 ponts de référence sont choss : les 6 cons vsbles ans que 4 ponts addtonnels sur les côtés. L objet est statque (confguraton vtrne augmentée secton 4) et le repère Co est défn comme les coordonnées locales de l objet. Il n y a donc pas de dspostf de localsaton dans l envronnement et le brut sur les ponts de référence est donc unquement mputable aux erreurs du modèle 3D. En pratque ces dernères sont très fables, on fxe expérmentalement : ΣO = dag(12, 12, 12 ) en mllmètres. (18) P OSITIONS DE L UTILISATEUR. Il n y a aucune contrante sur la méthode de suv utlsée pour l utlsateur. Il est par exemple possble d utlser une soluton commercale monoculare telle que faceapi 4. Nous utlsons dans nos expérmentatons une caméra stéréoscopque USB Mnoru (deux mages de pxels). La puplle gauche de l utlsateur est détectée dans chaque caméra (Vola, Jones, 2001), pus un algorthme Mean-Shft (Comancu et al., 2000) permet de trouver le centre de la 4.

15 Caméras vrtuelles pour la réalté augmentée 189 puplle. Le prncpal avantage de cette méthode est d être basée détecton et donc plus robuste que les méthodes nécesstant un suv dans le temps. Cependant, l est dffcle de localser précsément la puplle avec une telle caméra et la poston obtenue est donc très brutée. Pour modélser le brut, nous avons observé le comportement de l estmaton pour des utlsateurs mmobles pendant pluseurs centanes d mages. La varance observée est : Σ U = dag(5 2, 5 2, 20 2 ) en mllmètres (19) Lors de la mse en œuvre de l étalonnage, l utlsateur dot théorquement rester parfatement mmoble pendant chaque sére de clcs, ce qu est mpossble. Pour lmter la perte de précson, sa poston est mesurée à chaque clc et la moyenne est calculée pour chaque sére. Pour une séquence de n clcs, la varance de la poston utlsateur est donc dvsée par n : Σ Uaverage = 1 n Σ U. Nous avons 10 clcs par séquence donc : Σ (n=10) U average = dag(5 2 /n, 5 2 /n, 20 2 /n) = dag(1.6 2, 1.6 2, ) en mllmètres (20) La caméra a un champ de vson restrent qu empêche le suv de l utlsateur hors de la zone défne par : U (Cu) [ 300, 300] [ 150, 150] [400, 1000] en mm (21) Cette zone est encore rédute par la contrante que tous les ponts 3D de référence dovent être vsbles à travers l écran. Le nombre de ponts de vue dfférents pour l évaluaton est fxé à 20. OBSERVATIONS 2D DE L UTILISATEUR. L écran transparent est un écran SAM- SUNG 22 pouces de référence LTI220MT02. La surface actve est de mm 2 avec une résoluton de pxels. La talle d un pxel est donc s px = mm/px. L utlsateur ndque la poston des observatons 2D des ponts de référence dans l écran par le bas de clcs de sours. Notons qu en pratque ces clcs sont mprécs à cause de pluseurs facteurs : flou ntrodut par l écran transparent, précson de la sours (un pxel), forme du curseur, tremblements de la man, défauts de vson, mpossblté de rester complètement mmoble et autres facteurs humans. Dans la confguraton chose, une étude sur pluseurs utlsateurs a montré que l erreur moyenne est d envron 3 pxels. Σ c = dag(3 2, 3 2 ) en pxels = dag( , ) en mllmètres (22) 5.2. Évaluaton sur données synthétques Pour étuder le comportement de l ntalsaton, une scène synthétque est générée avec une géométre et des nveaux de brut smlares au cas réel présenté en secton 5.1.

16 190 TS. Volume 31 n o 1-2/2014 À partr de cette référence réalste, l nfluence des dfférents paramètres est mesurée sur 50 trages aléatores avant de calculer la moyenne et l écart-type de l erreur. L erreur 3D de l étalonnage en rotaton et translaton est utlsée plutôt que l erreur 2D de reprojecton dans les caméras vrtuelles qu n est pas un bon ndcateur de la qualté de l ntalsaton. Les lgnes 1 et 2 de la fgure 8 montrent que le brut sur les postons utlsateur n affecte pas les caméras centrées sur ces dernères, et le brut sur les ponts 3D de référence n affecte pas les caméras centrées sur les ponts de référence. Le résultat le plus ntéressant de ces expérences est l mportance crucale de la géométre du problème (théorquement justfé en secton 3.6.1). En effet elle est mse en évdence par les courbes sur l échelle de l objet (lgne 3) : l erreur en translaton de la pose du dspostf de localsaton dans l envronnement est par exemple trplée lorsque la talle de l objet est dvsée par deux. La précson de l ajustement de fasceaux est évaluée sur la fgure 9. L erreur de reprojecton est presque constante à 3 pxels. Or l se trouve que 3 pxels est la valeur de l écart-type du brut sur les observatons 2D, c est donc l erreur mnmale attegnable. Après l ajustement de fasceaux, la soluton est ben optmale Évaluaton sur données réelles Le processus d étalonnage est ensute ms à l épreuve sur le prototype réel vsble sur la fgure 7. Un utlsateur clque à la sours sur 10 ponts précédemment repérés sur la boîte et répète l opératon depus 20 ponts de vue dfférents. Qualtatvement, l erreur d algnement est presque mperceptble comme le montrent les exemples de reprojectons de la fgure 10. Des résultats quanttatfs sont produts au moyen d une valdaton crosée : les poses de la caméra et de l objet sont estmées en utlsant 19 postons et l erreur d algnement est calculée du pont de vue de la poston restante. Les résultats sont répertorés sur la fgure 11. L erreur de reprojecton moyenne est d envron 10 pxels ce qu correspond à mons de 3 mm à l écran Comparason avec travaux smlares Il est ntéressant de comparer ce résultat d étalonnage aux méthodes utlsant un mror (Rodrgues et al., 2010 ; Takahash et al., 2012). Ces deux publcatons présentent des résultats en condtons réelles comparables et rapportent respectvement une erreur de 7 = rad (Rodrgues et al., 2010) et 3.26 = rad (Takahash et al., 2012). La fgure 12 montre que dans le cas d une erreur angulare α fable, pour un utlsateur à une dstance d U de l écran et un pont 3D à une dstance d O de l écran, l erreur de reprojecton mnmale résultante est e = αd U d O d U +d O. Dans le cas d un utlsateur à d U = 0.7 mètres de la caméra (poston moyenne dans notre confguraton) et d un pont de référence à d O = 1 mètre de l écran, une erreur angulare de 0.06 rad se tradut par une erreur d algnement de mètres (25 mm). Cette borne nféreure de l erreur, sans prendre en compte l erreur en translaton et les erreurs

17 Caméras vrtuelles pour la réalté augmentée 191 erreur en translaton (%) erreur en translaton (%) erreur en translaton (%) erreur en translaton (%) σ U (cm) σ O (cm) Échelle de l objet Postons utlsateur σ U (cm) σ O (cm) Échelle de l objet Postons utlsateur T Co W estmé avec caméras sur l utlsateur T Cu W estmé avec caméras sur ponts de référence R Co W estmé avec caméras sur l utlsateur R Cu W estmé avec caméras sur ponts de référence erreur en rotaton (deg) erreur en rotaton (deg) erreur en rotaton (deg) erreur en rotaton (deg) Fgure 8. Comparason de la robustesse au brut sur les postons utlsateur, postons des ponts 3D de référence de l envronnement, échelle de l objet et nombre de postons utlsateur. Les ponts correspondent à la valeur moyenne sur 50 échantllons et les barres correspondent à l écart-type. L échelle en y est logarthmque

18 192 TS. Volume 31 n o 1-2/2014 erreur de reprojecton (pxels) σ U (cm) σ c (pxels) Fgure 9. Ajustement de fasceaux sur données synthétques Clcs utlsateur Poston calculée Fgure 10. Exemples d algnement sur les données de valdaton crosée ntrodutes par les méthodes de localsaton, est plus de 7 fos supéreure à nos résultats expérmentaux (3 mm). Cette erreur est beaucoup trop mportante pour des applcatons de réalté augmentée. De plus, comme précsé en ntroducton, ces méthodes ne sont applcables qu à des caméras alors que notre méthode est ndépendante des dspostfs de localsaton utlsés.

19 Caméras vrtuelles pour la réalté augmentée 193 erreur de reprojecton (pxels) Poston utlsateur Moy. = 10.56px Fgure 11. Valdaton crosée U mesure α C u D α d U e D d O d U +d O U 0 O 2 d U d O Fgure 12. Étude de l mpact d une erreur angulare pour les méthodes estmant la pose du dspostf de localsaton par rapport à l écran. Ces relatons sont unquement valables pour de fables valeurs de l erreur angulare α mas permettent d estmer l erreur d algnement mnmale e 6. Concluson Cet artcle présente une soluton à l étalonnage des systèmes de réalté augmentée utlsant un affchage sem-transparent et deux dspostfs de localsaton (utlsateur et envronnement). Notre premère contrbuton consste en la formalsaton du problème de calbraton d un tel système, menant à la formulaton d un ajustement de fasceaux pour obtenr la soluton optmale. Notre deuxème contrbuton consste en l ntroducton d un nouveau formalsme autour de caméras vrtuelles afn d obtenr une ntalsaton convexe à cet ajustement de fasceaux. Les expérences ont démontré la précson et la robustesse de l approche, ans que sa généralsaton à d autres confguratons. Nous envsageons par la sute d étuder dfférents types de solutons de localsaton afn de mettre en place une chaîne complète de réalté augmentée. Il est

20 194 TS. Volume 31 n o 1-2/2014 également envsageable d adapter la méthode à des surfaces non planes telles que les pare-brse de voture. Remercements Ce traval a été fnancé en parte par la bourse de recherche ERC FLEXABLE du programme FP7 de l unon européenne. Bblographe Abdel-Azz Y., Karara H. (1971). Drect lnear transformaton from comparator to object space coordnates n close-range photogrammetry. In ASP symposum on close-range photogrammetry, p Amercan Socety of Photogrammetry. Anjum N., Taj M., Cavallaro A. (2007). Relatve poston estmaton of non-overlappng cameras. In Internatonal Conference on Acoustcs, Speech and Sgnal Processng, vol. 2, p. II-281 II-284. IEEE Sgnal Processng Socety. Casp Y., Iran M. (2002). Algnng non-overlappng sequences. Internatonal Journal of Computer Vson, vol. 48, n o 1, p Comancu D., Ramesh V., Meer P. (2000). Real-tme trackng of non-rgd objects usng mean shft. In Computer Vson and Pattern Recognton, vol. 2, p IEEE Computer Socety. Esquvel S., Woelk F., Koch R. (2007). Calbraton of a mult-camera rg from non-overlappng vews. In F. Hamprecht, C. Schnörr, B. Jähne (Eds.), Pattern recognton, vol. 4713, p Berln / Hedelberg, Sprnger. Hartley R. I., Zsserman A. (2004). Multple vew geometry n computer vson (Seconde éd.). Cambrdge Unversty Press. Horn B. K. (1987). Closed-form soluton of absolute orentaton usng unt quaternons. Journal of the Optcal Socety of Amerca A, vol. 4, n o 4, p Junper Research. (2012). Over 2.5 bllon moble augmented realty apps to be nstalled per annum by Press Release. Consulté sur vewpressrelease.php?pr=334 Kumar R. K., Ile A., Frahm J.-M., Pollefeys M. (2008). Smple calbraton of non-overlappng cameras wth a mrror. In Computer Vson and Pattern Recognton, p IEEE Computer Socety. Lébraly P., Royer E., At-Ader O., Deymer C., Dhome M. (2011). Fast calbraton of embedded non-overlappng cameras. In Internatonal Conference on Robotcs and Automaton, p IEEE Robotcs & Automaton Socety. Marquardt D. W. (1963). An algorthm for least-squares estmaton of nonlnear parameters. Journal of the Socety for Industral & Appled Mathematcs, vol. 11, n o 2, p Olenss J., Hartley R. (2005). Iteratve extensons of the Sturm/Trggs algorthm: Convergence and nonconvergence. Pattern Analyss and Machne Intellgence, vol. 29, n o 12, p

21 Caméras vrtuelles pour la réalté augmentée 195 Rahm A., Dunagan B., Darrell T. (2004). Smultaneous calbraton and trackng wth a network of non-overlappng sensors. In Computer Vson and Pattern Recognton. IEEE Computer Socety. Rodrgues R., Barreto J., Nunes U. (2010). Camera pose estmaton usng mages of planar mrror reflectons. In European Conference on Computer Vson, p Sprnger. Sturm P., Bonfort T. (2006). How to compute the pose of an object wthout a drect vew? In Asan Conference on Computer Vson, vol. 2, p Sprnger. Takahash K., Nobuhara S., Matsuyama T. (2012). A new mrror-based extrnsc camera calbraton usng an orthogonalty constrant. In Computer Vson and Pattern Recognton. IEEE Computer Socety. Tang A. (2003). Evaluaton of calbraton procedures for optcal see-through head-mounted dsplays. In 2nd IEEE/ACM Internatonal Symposum on Mxed and Augmented Realty, p IEEE Computer Socety. Trggs B. (1996). Factorzaton methods for projectve structure and moton. In Computer Vson and Pattern Recognton, p IEEE Computer Socety. Trggs B., McLauchlan P. F., Hartley R. I., Ftzgbbon A. W. (2000). Bundle adjustment a modern synthess. In Vson algorthms: theory and practce, p Sprnger. Vola P., Jones M. (2001). Rapd object detecton usng a boosted cascade of smple features. In Computer Vson and Pattern Recognton, p. I-511 I-518. IEEE Computer Socety. Zhang Z. (2000). A flexble new technque for camera calbraton. Pattern Analyss and Machne Intellgence, vol. 22, n o 11, p Annexe A. Caméras vrtuelles centrées sur les ponts de référence Artcle reçu le 25/09/2013 Accepté le 12/05/2014 Il est possble d effectuer l étalonnage de caméras vrtuelles (vor secton 3.2) centrées sur les ponts 3D de référence de l envronnement. Le problème est symétrque avec quelques changements. Comme leurs axes optques sont dans la drecton z, les poses des caméras vrtuelles sont défnes par M O(Co) j dag( 1, 1, 1) et O (W) j = M Co WO (Co) [ K O j = j. L équaton (8) devent : ] [ ] 0 O (W) j z [ ] [ ] x 0 O (W) j O (W) j z y O (W) j et les projectons des ponts U (Cu) =1...m dans la caméra vrtuelle j sont = [R O O (W) j ] où R O = (23) c O j = ( (c j ) x, (c j ) y ) T. (24) Le reste du processus de résoluton est dentque et permet d obtenr une estmaton M Cu W de la pose de C u.