Master Recherche I.V.R.

Transcription

1 Master Recherche I.V.R. Raort de stage Jun 24 Calbrage d un système d acquston mult-caméras. Par NOTARANGELO Salvatore Sous la tutelle de M. Edmond BOYER Jury : M. Augustn LUX M. Peter STURM Me. Sabne COQUILLART 19

2 2

3 Table des matères Table des matères TABLE DES MATIERES... 3 REMERCIEMENTS INTRODUCTION LA PROBLEMATIQUE LES SOLUTIONS EXISTANTES NOTRE APPROCHE LE CONTENU DE CE RAPPORT ETAT DE L ART RAPPEL : LES CARACTERISTIQUES D UNE CAMERAS LES MIRES DE CALIBRAGE 3D LES MIRES DE CALIBRAGE 2D LES MIRES DE CALIBRAGE 1D L AUTO-CALIBRAGE L APPROCHE PROPOSEE DEFINITIONS LES SILHOUETTES LES CONES DE VUE L ENVELOPPE VISUELLE UNE PREMIERE MESURE DE COHERENCE UNE AMELIORATION DE CETTE METHODE L IMPLEMENTATION LES DONNEES DU PROBLEME LES FICHIERS DE SEQUENCE LES FICHIERS DE CALIBRAGE MESURE DE COHERENCE COMPTER LES PIXELS OPTIMISATION TESTS ET RESULTATS AMELIORATION DE LA METHODE UN POIDS A CHAQUE PIXEL OPTIMISATION TESTS ET RESULTATS UNE METHODE CONTINUE INTRODUCTION TESTS ET RESULTATS L INTERFACE

4 Table des matères LA LECTURE DES FICHIERS LA VISUALISATION ET LA MODIFICATION OPTIMISATION TRAVAIL A SUIVRE LES MESURES DE COHERENCES L INTERFACE CONCLUSION INDEX BIBLIOGRAPHIE

5 Remercements Remercements Je tens à remercer mon maître de stage M. Edmond BOYER qu a su fare reuve d une atence mressonnante tout au long de mon stage. Il faut dre que j a ms sa atence à rude éreuve avec une successon de roblèmes qu ont beaucou ralent nos travaux, sans arler des bugs, de la mse au ont de mes algorthmes, etc. Je tens vrament à le remercer our son souten ermanent, ses consels et tout le tems qu l a rs our m ader durant mon stage. M. Peter STURM a été lus qu un rofesseur our mo cette année. Il a su me rêter une orelle attentve à chaque fos que j en a eu beson. J ameras donc auss le remercer our son ade et ces consels judceux. Enfn, j ameras remercer tous mes ams our leur ade et leurs encouragements. Et lus artculèrement mon ett coeur Melle Anne-Gaëlle BENOIT our son souten ermanent tout au long de cette année qu s est avérée très dffcle. Sans elle, je n en seras certanement as là. 5

6 Chatre 1 - Introducton 1 Introducton Ce stage de Master Recherche en Imagere Vson et Robotque (ex. D.E.A.) s est déroulé au sen de l éque MOVI (modélsaton our la vson ar ordnateur) de l unté mxte de recherche GRAVIR (grahsme, vson, robotque), sous la tutelle de M. Edmond BOYER. 1.1 La roblématque Le roblème traté c est celu du calbrage des systèmes mult-caméras. C'est-àdre, un système où luseurs caméras flment smultanément une même scène. Un exemle de ce tye de système est consttué ar la late-forme GRIMAGE (vor la fgure 1.1). Celle-c consttue un dôme d'acquston d'mages numérques ermettant, ar exemle, de flmer une acton quelconque de luseurs angles de vue, de créer des modèles 3-D hoto-réalstes en tems réel et d'ncruster l'acton observée dans une scène vrtuelle quelconque (Réalté Augmentée). Il est mortant que cette late-forme d'acquston sot la lus flexble ossble. Par exemle, l'utlsateur dot ouvor lacer les caméras lbrement avant une séance d'acquston, afn d'obtenr les melleures séquences d'mages de l'acton à enregstrer. Le bon fonctonnement de cette late-forme reose sur une étae rélmnare à tous les rocessus de reconstructon, d'ncrustaton, etc., à savor le calbrage des caméras. Cette étae fondamentale sert à détermner les caractérstques des caméras (la dstance focale ar exemle). FIG. 1.1 La late-forme d acquston vdéo de L INRIA Rhône-Ales. 6

7 Chatre 1 - Introducton 1.2 Les solutons exstantes Le calbrage de caméras est un roblème qu a déjà suscté beaucou de recherches dans les domanes de la hotogrammétre et de la vson. Un nombre mortant de technques très dverses ont été roosées et l est ossble de les classer selon certans crtères [Tsa87, Zhang98]. Par exemle, Zhengyou Zhang classe ces technques en deux catégores : «calbrage tradtonnel» et «auto-calbrage» Le calbrage tradtonnel : Les méthodes classques de calbrage sont basées sur l observaton d un objet dont la géométre est connue. On ossède ans les coordonnées 3D P [ ] T = x y z de quelques onts de référence sur l objet, dans un système de coordonnées rore à celu-c. Les rojectons de ces onts sont mesurées dans le reère des mages et on obtent des coordonnées de xels [ u v ] T =. C est avec ces corresondances de onts qu l est ossble d estmer les aramètres de chacune des caméras. Les objets de référence sont de tyes 3D, 2D ou 1D et ermettent de défnr des onts d ntérêts dont les coordonnées mages euvent être mesurées faclement et avec une grande récson. On aelle ces objets des «mres de calbrage». L auto-calbrage : Dans cette catégore, les aramètres des caméras sont, en général, retrouvés à artr de corresondances de onts entres les mages. Ces corresondances euvent être détermnées manuellement ou automatquement. La dffculté étant d automatser au meux le rocessus, ce tye de méthode est alors beaucou lus ntéressant du ont de vue de la flexblté. Malheureusement, ces technques sont beaucou lus dffcles à mettre en œuvre. Elles ont ben lus de aramètres nconnus à détermner, our des résultats tro souvent sans garante. C est ourtant dans cette catégore que se classe l aroche que l on roose 1.3 Notre aroche La modélsaton de scène 3D est un domane en lene exanson. Les technques récentes ermettent d obtenr des modèles 3D de bonne qualté. La reconstructon de forme à artr de slhouettes en fat arte. Cette méthode est artculèrement ntéressante deus que l on arvent à rerodure de bons modèles, ouvant servr de base de déart à d autre rocessus de reconstructon 3D ou de reconnassance. Ce tye de rocédé est très effcace our des alcatons destnées au tems réel. Le calbrage est une étae rélmnare ndsensable à la reconstructon 3D. La dfférence essentelle entre les méthodes de calbrage usuelles et celle que nous tentons de valder, est que nous ne voulons en aucuns cas utlser des mages d objet 3D arfatement connus (lus de mre de calbrage), mas drectement les mages ssues de l alcaton elle-même. Dans notre cas, ce seront les slhouettes. On arle alors d auto-calbrage ou de calbrage en lgne. 7

8 Chatre 1 - Introducton Etant donné un ensemble de slhouettes ssues d un ensemble de caméras (vor la fgure 1.2), à chaque slhouette est assocée une caméra fxe de la late-forme ans que des caractérstques ntales. On suose que les slhouettes sont ben extrates et que les aramètres ntaux des caméras sont assez roches de la réalté. L dée que l on va utlser est basée sur le fat que les slhouettes observées sont celles d une seule et même scène 3D. Les cônes de vue (vor la défnton en secton 3.1) assocés à ces slhouettes dovent donc arfatement s ntersecter dans l esace. Nous allons mesurer la qualté de cette ntersecton, c'est-à-dre la roorton de chaque slhouette qu aartent ben à l ntersecton. Ce crtère déendra à la fos des slhouettes et des caractérstques des caméras. Ans, les aramètres ntrnsèques et les aramètres extrnsèques de chacune des caméras ourront être otmsés, our la modélsaton d une scène 3D, en maxmsant cette cohérence (ou lutôt en mnmsant l ncohérence). Il est donc nécessare d avor de bons aramètres ntaux. Un scénaro ossble our utlser cette méthode de calbrage serat de calbrer une remère fos et de manère effcace, la late-forme à l ade d une mre 1D, 2D ou 3D. Par la sute, on eut suoser que les aramètres ne changent as beaucou entre les acqustons. Ans, une mse à jour de ces aramètres est envsageable avec notre système en utlsant les aramètres courants. FIG. 1.2 Exemle de caméras observant un objet 3D. 1.4 Le contenu de ce raort Ce raort de Master Recherche 2éme année est organsé comme sut : Dans la 2 ème secton nous allons résenter les travaux déjà exstants sur le calbrage des système mult-caméras. Dans la 3 ème secton nous ntrodurons luseurs crtères ossbles our la cohérence. Dans la secton 4, nous roosons une nterface smle our tester ces algorthmes. Enfn, nous dscuterons, dans la secton 5, du traval à suvre avant de conclure dans la secton 6. 8

9 Chatre 2 - Etat de l art 2 Etat de l art Comme ntrodut récédemment, le calbrage est une étae rélmnare ndsensable en vson ar ordnateur 3D. Beaucou de travaux ont déjà été raortés. Ceux-c euvent être classés en dfférentes catégores en foncton de l nformaton dsonble our effectuer le calbrage. Nous commencerons cette secton ar quelques raels sur les caractérstques des caméras. Ensute, nous évoquerons radement les dfférentes méthodes de calbrage tradtonnelles exstantes. Enfn, nous dscuterons lus en détals des méthodes d autocalbrage les lus courantes. 2.1 Rael : les caractérstques d une caméras Les aramètres d une caméras se dvsent en deux catégores : les aramètres ntrnsèques (la caméra rorement dte), et les aramètres extrnsèques (la oston et l orentaton de la caméra dans l esace). Lgne de vue Pont de la scène (x, y, z) Centre de rojecton Dstance focale f Pont mage (u, v) Centre otque (u, v) Axe otque Plan mage FIG. 2.1 Projecton ersectve (modèle sténoé). Un ont de l esace se rojette sur le lan mage selon une drote assant ar le centre de rojecton, lacé à une dstance f erendcularement au lan mage (vor la fgure 2.1). C est une rojecton ersectve et ce tye de transformaton eut s écrre sous forme matrcelle dans un système de coordonnées homogènes : x u = y v M z 1 M = K [ R T ] K u = s v u v 1 9

10 Chatre 2 - Etat de l art (u, v) sont les coordonnées mages du ont (sur le lan mage). (x, y, z) sont les coordonnées du ont dans l esace. est un facteur arbtrare. M est la matrce de rojecton. K est la matrce ntrnsèque de la caméra. R est la matrce de rotaton et T le vecteur de translaton entre le reère de référence et le reère de la caméra. R et T consttuent les aramètres extrnsèques de la caméra. Ans, détermner les aramètres extrnsèques revent à retrouver les matrces R et T. De même, détermner les aramètres ntrnsèques revent à retrouver la matrce K. Celle-c défnt en quelque sorte la géométre des cateurs CCD de la caméra : = u / v. C est le raort entre la largeur et la hauteur d un xel. Avec les caméras récentes, cette valeur est souvent 1. u = u fk et v = v fk, où u (en xels ar mllmètre) est la densté de xels selon l axe des u et kv selon celu des v. f est la dstance focale (en mllmètre). C est la dstance entre le centre de rojecton et le lan mage, ( u v ), est le centre otque de la caméra, s est le facteur d oblquté. En général on le suose égal à. S s alors les cateurs CCD ne sont as rectangulares. 2.2 Les mres de calbrage 3D Le calbrage des caméras se fat en observant une mre 3D. C est un objet dont la géométre est connue avec une très bonne récson. Les résultats obtenus sont alors très bons (vor [Faugeras93] ar exemle). L objet usuel est en général consttué de deux ou tros lans orthogonaux entre eux (vor la fgure 2.4), chaque lan content des onts de référence [Tsa87]. Le roblème de cette méthode vent du fat que la mse en oeuvre devent dffcle lorsqu l y a beaucou de caméras. Elles dovent effectvement toutes être calbrées extrnsèquement dans le même reère, l faut donc que la mre sot vsble ar toutes les caméras. Cette oératon eut s avérer dffcle dans la ratque. 2.3 Les mres de calbrage 2D Dans cette catégore, le calbrage de caméras consste à observer une mre lanare sous dfférentes orentatons [Sturm99, Zhang]. La mre de calbrage étant tyquement un damer (vor la fgure 2.5), elle est très smle à mettre en lace ar so même. Comme c est une mre lane qu est utlsée c et non une mre 3D, le rocessus de calbrage est un eu lus flexble que le récèdent. Malheureusement, our les mêmes rasons que récédemment, la mse en oeuvre devent dffcle lorsqu l y a beaucou de caméras 1

11 Chatre 2 - Etat de l art 2.4 Les mres de calbrage 1D Ic, la mre de calbrage est un bâton mun de marqueur ar exemle (vor la fgure 2.6). Ce tye de méthode est très effcace en ratque et notamment lorsqu l y a beaucou de caméras autour de la scène [Zhang2, Raort3]. En effet, our calbrer la géométre relatve entre les caméras, l est nécessare d obtenr une mage smultanée de la mre our toutes ces caméras. C est une étae qu n est as toujours facle ou fasable our une mre 3D ou 2D, mas c est facle our une mre 1D. Le roblème de cette méthode est dû à l extracton des marqueurs et au suv de la mre. En effet, ces rocessus ne sont as toujours robustes. 2.5 L auto-calbrage Il exste luseurs alcatons our lesquelles une mre de calbrage n est as dsonble et où l on ne dsose d aucune nformaton sur les aramètres de la caméra. On se trouve alors en résence d mages non calbrées. Certanes méthodes ermettent de résoudre le roblème du calcul du mouvement d une caméra, en suosant que seuls les aramètres ntrnsèques sont connus. De telles méthodes exstent et sont fondées sur des onts, notamment la méthode de Longuet-Hggns [Hggns81]. Lorsque les aramètres ntrnsèques sont nconnus, l est néanmons ossble de calbrer les caméras en utlsant des outls de géométre rojectve. Ce sont le lus souvent des contrantes géométrques dentfées dans les mages. L auto-calbrage ne nécesste donc aucun aarellage et un nombre mnmal de connassances a ror sur le système d magere ou sur la scène, en lus des rmtves 2D mses en corresondance entre dfférentes vues. La luart des méthodes d auto-calbrage actuelles utlsent des corresondances étables automatquement ou manuellement entre rmtves [Faugeras92]. Lu et al. [Lu9] retrouvent la oston des caméras à l ade de corresondances entre sx onts ou hut lgnes (algorthme lnéare), ou entre tros onts ou tros lgnes (algorthme nonlnéare). De même, Faugeras et son éque [Faugeras92, Faugeras93] démontrent qu l est ossble de reconstrure une scène 3D à artr de corresondances entre onts seulement, mas une telle reconstructon est défne à un facteur d échelle rès. En se basant sur la théore de la géométre éolare, ls démontrent que le calbrage comlet des caméras n est as nécessare our obtenr une reconstructon utle d une scène vue ar un système stéréo. La contrante éolare, trée de la géométre rojectve qu rele deux caméras, se retrouve faclement à artr de smles corresondances entre onts. Elle rovent de l exstence de deux onts de vue d une même scène. Pour un ont dans une mage, la géométre éolare nous donne une lgne 1D dans l autre mage. Cela ermet de rédure la dmensonnalté du roblème de corresondance 2D ntal à une recherche sur une lgne lutôt que dans toute l mage. Elle est très utlsée dans le domane de la vson (vor la fgure 2.2). 11

12 Chatre 2 - Etat de l art lgne de vue drote éolare F e e 1 2 FIG. 2.2 Géométre éolare. Luong et Faugeras [Luong93] calbrent automatquement des systèmes stéréoscoques à deux ou tros caméras en se basant sur des contrantes exstantes trlnéares. Ils n utlsent aucune mre de calbrage. Tous leurs calculs se font dans le système de coordonnées des caméras, la remère caméra fasant offce de référence. La détermnaton de l ensemble des aramètres est alors ossble. Etant récsé qu ls ne dsosent d aucune nformaton métrque sur la scène, le délacement est calculé à un facteur d échelle rès. Des rmtves sont aarées au cours de délacements nconnus, sans aucune connassance a ror des scènes observées. Cette méthode ne donne des résultats comarables à ceux des méthodes tradtonnelles que s les rmtves aarées le sont avec une très haute récson. En ratque, la mse en corresondance automatque ose encore de séreux roblèmes aux algorthmes de vson. En effet, les algorthmes de calbrage qu se basent sur ces corresondances sont encore souvent assstés ar l utlsateur our obtenr de bons résultats. Celu-c ndque manuellement les aarements de rmtves à travers les mages. C est ans, ar exemle, que le système TotalCalb [TotalCalb] fonctonne : l utlsateur ndque des corresondances our le calcul des matrces de rojecton et le système lu fournt luseurs outls our rendre sa tâche mons fastdeuse. Malheureusement, la luart des technques d auto-calbrage à artr de corresondances suosent que la segmentaton, la détecton des contours et la mse en corresondance de rmtves soent de bonne qualté. Mas ces étaes consttuent des sources de dffcultés mortantes our un algorthme de reconstructon automatque. En effet, celu-c se trouve confronté à des roblèmes tels que le brut dans les mages ou les ambguïtés d aarements. Afn d llustrer les résultats tyques des technques actuelles, la fgure 2.3 montre le résultat d une détecton de contour : les segments sont souvent ncomlets et non drots. Les olygones ne sont as fermés et les dfférences entre les dscontnutés géométrques, de texture et d llumnaton sont dffclement dscernables. FIG. 2.3 Résultat de la segmentaton d une mage [Szelsk93]. 12

13 Chatre 2 - Etat de l art On constate que les méthodes d auto-calbrage exstantes ne sont as totalement satsfasantes en termes de robustesse, de flexblté et d automatsaton. FIG. 2.4 Exemles de mre de calbrage 3D. FIG. 2.5 Exemles de mre de calbrage 2D : un damer vue ar dfférentes caméras. FIG. 2.6 Exemles de mre de calbrage 1D. 13

14 Chatre 3 - L aroche roosée 3 L aroche roosée Comme nous l avons déjà ntrodut, le calbrage est une étae rélmnare ndsensable à la reconstructon 3D. La dfférence essentelle entre les méthodes de calbrage usuelles et celle que nous tentons de valder est que nous ne voulons en aucun cas utlser des mages d objets 3D arfatement connus, mas drectement les mages ssues de l alcaton elle-même. Dans notre cas, ce seront les slhouettes. Les technques d auto-calbrage exstantes sont basées sur la segmentaton et la mse en corresondance de rmtves. Comme cela a été ndqué dans la secton récédente, ces méthodes sont eu robustes et eu flexbles. La reconstructon de forme à artr de slhouette est une technque récente et ermet d obtenr des modèles 3D de bonne qualté. Le but va être de détermner une mesure de cohérence selon des crtères ratques our la modélsaton d une scène 3D. Ces crtères déendront à la fos des slhouettes, des aramètres ntrnsèques et des aramètres extrnsèques. Ans, les caractérstques de chacune des caméras ourront être estmées ar otmsaton, en maxmsant cette mesure de cohérence. 3.1 Défntons Nous ntrodusons c les notons utles à la comréhenson de la méthode. Nous rerenons our cela les défntons de E. Boyer et J. S. Franco [Boyer2] Les slhouettes On suose que la scène eut être comosée de luseurs objets quelconques, observés ar un ensemble de caméras ersectves. On aelle «contours d occultaton» l ensemble des onts de l objet où la lgne de vue est tangente à la surface de l objet. Les rojectons des contours d occultaton dans l mage sont aelées les contours occultants [Martn83]. On note O j le ème contour occultant de l mage j. Une slhouette est alors l ensemble des contours occultants assocés à un objet. Cet ensemble est consttué de deux tyes de contours : les contours ntéreurs et les contours extéreurs, qu l est commode de dfférencer ar leurs orentatons. Par exemle, les contours extéreurs sont ceux orentés dans le sens nverse des agulles d une montre et nversement our les contours ntéreurs (vor la fgure 3.1). FIG. 3.1 Les contours d une slhouette. 14

15 Chatre 3 - L aroche roosée Les cônes de vue Intutvement, un cône de vue est un cône généralsé : son sommet est le centre de rojecton de la caméra assocée ; sa base est le contour occultant de l mage assocée. Plus formellement, on note V j le cône de vue assocé au contour d occultaton O j. Il rerésente la fermeture de l ensemble des lgnes de vue, allant du centre de rojecton de l mage aux onts de O j (vor la fgure 3.2). Selon l orentaton de O j, V j est : sot un cône obtus our un contour extéreur, sot un cône agu our un contour ntéreur. Cônes de vson Slhouettes Enveloe vsuelle FIG. 3.2 Les slhouettes et les cônes de vue assocés L enveloe vsuelle L enveloe vsuelle est habtuellement défne comme étant l ntersecton de tous les cônes de vson ssus des caméras. On défnt ans une régon close de l esace où tous les onts se rojètent dans les slhouettes mages (vor la fgure 3.2, à drote). Soent I l ensemble des mages consdérées et C l ensemble des contours. La défnton «naïve» corresondante de l enveloe vsuelle serat alors : VH ( I, C) = I I, jc V j (1) Cette défnton est correcte s et seulement s un seul objet est observé ar l ensemble des caméras. Cela n est lus le cas s l y a luseurs objets non connexes dans la scène. Une aroche smle our aler ce roblème est d étendre la défnton récédente à l unon des dfférentes enveloes vsuelles ndvduelles. On défnt alors K l ensemble des objets et Ck l ensemble des contours de l objet k. On défnt auss I k le sous-ensemble des mages I où l objet k aaraît : II = I, O,Ø j C. k, k { j k } 15

16 Chatre 3 - L aroche roosée On note alors : VH( I, K) = U VH ( I, C ) = ( IU V ) kk k k kk I k, jc k j Cette dernère défnton réglerat en effet le roblème our luseurs objets non connexes. Hélas, l est dffcle d dentfer automatquement les dfférents objets dans les mages et donc on ne eut as avor les ensembles C k et I k our tous les objets K. Ceendant, une autre soluton consste à défnr l enveloe vsuelle comme un ensemble de onts de l esace 3D se rojetant dans une slhouette et ce our toutes les mages où ces onts sont vsbles. On ose alors S l ensemble des slhouettes de l mage et l ensemble des contours de l objet k dans l mage. On consdère alors : C k VH( I, K) = I( ( IU V )) I ks jc k j Cette exresson est équvalente à la récédente que l on alque à l ensemble K des objets vrtuels. Le roblème qu reste à résoudre est que les objets ne sont as nécessarement vsbles dans toutes les mages. En effet, ça ne marche as s l exste et k tel que I V = Ø (vor la fgure 3.3.a). S on note D le domane de vsblté de l mage k jc 3 j dans R, une aroche smle est de consdérer le comlément de l enveloe vsuelle. 3 C est la régon ouverte de R défne ar : VH I, K) = U( ( UI D )) (2) I V c ( ks jc k j D V j est donc le comlément relatf au domane de vsblté. L ntérêt est que l on eut consdérer l enveloe vsuelle et son comlément de manère équvalente. On eut vor un exemle d enveloe vsuelle ssue de la défnton (1) sur la fgure 3.3.b, et un exemle d enveloe vsuelle ssue de la défnton (2) sur la fgure 3.3.c. Caméras 1 VH c (, KI ) défnton (2) 1 D, ) VH ( KI défnton (1) FIG. 3.3 Stuaton à 4 onts de vues. 16

17 Chatre 3 - L aroche roosée 3.2 Une remère mesure de cohérence Cola utlse une mesure de cohérence our les slhouettes, our détermner le délacement entre deux caméras [Cola95]. Bottno et Laurentn [Laurentn] ont étudé le même roblème, mas d un ont de vue dfférent. Ils ont ntrodut une noton de «comatbltés de slhouettes» our savor s un ensemble de slhouettes donné état comatble ou non et ce, seulement our le cas de caméras orthograhques. Par la sute, nous allons décrre des crtères our la cohérence de slhouettes. Cela va nous ermettre de mesurer un degré de cohérence, nous offrant ans la ossblté d utlser des méthodes d otmsaton our retrouver les aramètres des caméras. Soent un ensemble de slhouettes d un même objet 3D ssues de dfférents onts de vue, ans que l ensemble des matrces de rojectons des caméras corresondantes. Nous amerons mesurer la cohérence entre la segmentaton des slhouettes et les matrces de rojectons des caméras. La seule nformaton contenue dans les slhouettes eut être vue comme une classfcaton en deux catégores de tous les rayons otques de chaque mage : l y a ceux qu couent l enveloe vsuelle reconstrute, our un jeu donné de aramètres de caméras, et ceux qu ne la couent as. S on consdère un rayon otque ssu d une mage et couant cet enveloe vsuelle reconstrute, la rojecton de l ntersecton dans toutes les autres vues dot évdemment aartenr aux slhouettes. De la même manère, la rojecton nverse des slhouettes sur ce rayon de rojecton défnt un ou luseurs ntervalles 3D. Chacun de ces ntervalles aartent donc à l objet observé (vor la fgure 3.4). Projectons du rayon otque dans les mages Projectons nverses Objet observé Rayon otque couant l objet Un ntervalle de l objet FIG. 3.4 Projecton et rojecton nverse our un rayon otque. Dans le cas de deux vues, on eut dre qu l y a une ncohérence lorsqu l exste au mons un rayon otque ssu d une slhouette qu se rojette à l extéreur de l autre slhouette. Dans la cas de N vues, l ncohérence est défn ar l exstence d au mons un rayon otque qu se rojette à l extéreur d au mons une des N-1 autres slhouettes. Le manque de cohérence eut alors être mesuré smlement en comtant le nombre de rayons otques dans chaque slhouette que l on eut classer «ncohérents» (vor la fgure 3.5). 17

18 Chatre 3 - L aroche roosée Enveloe vsuelle Tous les rayons otques sont arfatement cohérents. Rayons otques ncohérents. FIG. 3.5 Un exemle 2D de dfférentes cohérences de slhouettes. 3.3 Une améloraton de cette méthode Le crtère de cohérence défn récédemment est basé sur la seule nformaton contenue dans les slhouettes. C'est-à-dre une classfcaton en deux catégores de tous les rayons otques de chaque mage : ls y a ceux qu couent l objet et ceux qu ne le couent as (vor la fgure 3.4). On a alors dt qu un rayon otque état cohérent s et seulement s la rojecton de ces rayons dans les autres mages couent tous au mons une slhouette. Il est ourtant smle de fare meux que ça : ntutvement, s l n y a qu une seule mage où la slhouette n est as couée ar la rojecton de ce rayon, alors c est toujours meux que s l n y en avat as du tout (vor la fgure 3.6). Pods = 5 Pods = 4 Toutes les slhouettes sont couées Seulement une slhouette n est as couée. FIG. 3.6 Exemles d un rayon +/- cohérent. Une soluton otentellement melleure serat donc d affecter un «ods» à chaque rayon otque. Jusqu c, on avat un ods de «un» s toutes les slhouettes étaent couées, snon on avat un ods de «zéro». Pour amélorer la mesure de cohérence, le ods serat égal au nombre de slhouettes couées. 18

19 Chatre 4 -_L mlémentaton 4 L mlémentaton 4.1 Les données du roblème Les données du roblème sont rassemblées sous la forme de fchers. Un fcher de séquence (.seq) contenant toutes les slhouettes et un fcher de calbrage (.calb) contenant les aramètres ntaux de chacune des caméras Les fchers de séquence En se basant sur la défnton des slhouettes vues dans le aragrahe , les slhouettes sont consttuées de contours ntéreurs et de contours extéreurs. Pour les dfférencer faclement, nous avons chos de leur donner une orentaton dfférente. Les slhouettes d un fcher de séquence sont donc défnes ar leurs contours orentés (vor la fgure 4.1). Bonhomme.sed : etc etc. (u, v) Numéro de caméras. Nombre de onts du contour. Lste «orentée» des onts du contour. FIG. 4.1 Exemle d un fcher de séquence. Pour détermner l orentaton d un contour à artr de ces onts, nous calculons l are orentée du olygone défnssant ce contour. L orentaton est alors donnée ar le sgne de cette are Les fchers de calbrage Les fchers de calbrage contennent tout smlement les matrces de rojectons de chacune des caméras. Elles sont écrtes les unes à la sutes des autres (vor la fgure 4.2). L extracton des aramètres ntrnsèques et des aramètres extrnsèques à artr des matrces P de chacune des caméras se fat avec la décomoston de Cholesky : 1. Extrare K de P à l ade de la décomoston de Cholesky. 2. Extrare R de P connassant K. 3. En dédure T avec P, K et T. 19

20 Chatre 4 -_L mlémentaton Bonhomme.calb etc. n n 4 n 8 n 1 n 5 n n 2 n 6 n n 3 n 7 n 11 } Matrce } Matrce de rojecton P de la caméra.... de rojecton P de la caméra n. FIG. 4.2 Exemle d un fcher de calbrage. 4.2 Mesure de cohérence Comter les xels Le crtère de cohérence entre les slhouettes, comme ntrodut dans le aragrahe 3, est assez smle à mettre en œuvre. Voc donc une aroche our un algorthme ermettant de mesurer la cohérence d un ensemble de slhouettes, connassant les matrces de rojectons P : 1. Calculer l enveloe vsuelle à artr des slhouettes [Boyer2]. 2. Projeter nversement l enveloe vsuelle sur les mages [OenGL]. 3. Comarer les slhouettes rojetées aux slhouettes orgnales. Dans la stuaton où l on aurat des données déales, c'est-à-dre une segmentaton arfate et des matrces de rojectons arfates, les slhouettes de l enveloe vsuelle reconstrute et les slhouettes orgnales devraent être exactement dentques (vor la fgure 3.5.a). Dans la réalté, cette stuaton n est as ossble car les données ne sont jamas arfates. En conséquence, les slhouettes de l enveloe vsuelle reconstrute et les slhouettes orgnales ne sont as dentques. XOR = S S S xor S FIG. 4.3 Exemle de slhouettes orgnales S et reconstrutes S. 2

21 Chatre 4 -_L mlémentaton Notons S k la slhouette orgnale de l objet k dans l mage et Sk la slhouette de l enveloe vsuelle reconstrute de l objet k dans l mage. Pour des données déales on aurat donc : S k = Sk snon S k S k. Comme la segmentaton donne leu à des mages bnares, une soluton très smle our mesurer l ncohérence est de comter les xels qu dffèrent en effectuant un XOR des deux mages (vor la fgure 4.3). Sot NB la foncton qu comte le nombre de xel blanc dans une mage, alors l ncohérence entre deux mages se note : C ( S, S) = NB( S or Sx ). Et donc, la mesure de l ncohérence totale serat : C = I, kk C( S k, S k ) = I, kk NB( S k xor S k )) Etant donnés l ensemble des slhouettes orgnales S { S k } 1.. n], [1.. ] P { P = K R I t } [ 1.. n] l ensemble des aramètres ntaux [ ] ermettant de calculer la cohérence totale : = et [ mk =, voc le seudo-code Foncton Incohérence totale C Données : S, P Résultats : Res { Calculer reconstructon (S, P) ; Res <= ; Pour chaque caméra Rendre la scène du ont de vue de => Calculer S xor S => tm ; } S ; Comter le nombre de xels blancs dans tm => nbn ; Res += nbn ; Retourner Res ; Otmsaton Nous cherchons mantenant à otmser les aramètres des caméras, à artr de la foncton de coût récédemment défn C. Trouver le melleur vecteur de aramètres revent à mnmser la foncton de coût en fasant varer ces aramètres. C étant une foncton non lnéare des aramètres, le mnmum ne eut être trouvé que ar des méthodes tératves : l faut artr avec une estmaton ntale des aramètres, que l'on affne à chaque étae jusqu'à ce que ceux-c ne varent lus. Ce roblème eut, en rnce, être résolu ar n'morte lequel des nombreux algorthmes de mnmsaton dsonbles dans la lbrare VXL [VXLnet]. Notons que, our la luart des méthodes d'otmsaton non lnéare, le mnmum obtenu est un mnmum local, stué au vosnage de l'estmaton ntale. 21

22 Chatre 4 -_L mlémentaton La foncton de coût C n est que le nombre de xels blancs ssus du crtère d ncohérence défn c-dessus. Cette foncton n est alors as contnue, ce qu ne nous ermet as d utlser les méthodes utlsant des dérvées comme le «gradent conjugué». Nous ne ouvons que nous tourner vers de smles méthodes de relaxaton comme «Powell». S l on magne un esace de recherche à n dmensons, dont les axes corresondent aux aramètres à otmser, Powell recherche le mnmum de C selon chaque axe, les uns arès les autres. La foncton de coût ne eut ans que dmnuer, mas le grand nconvénent de cette méthode est qu elle ne rend as du tout en comte la «forme» de la foncton de coût. Elle a donc d assez mauvases rorétés de convergence. Etant donnés l ensemble des slhouettes orgnales S { S k } 1.. n], [1.. ] P { P = K R I t } [ 1.. n] des aramètres ntaux [ ] =, l ensemble [ mk = et la foncton de coût C1 défns récédemment, voc le seudo-code ermettant de calculer la cohérence totale : Procédure d otmsaton Ot1 Données : S Données -Résultats : P { Powell(C1(S, P), P) ; } Tests et résultats Nous avons effectué nos tests sur des données synthétques. Les fchers «.seq» et «.calb» ont été générés à artr d une séquence construt à l ade du logcel «Poser». Cette séquence rerésente un homme en lene course, flmé ar 7 caméras : Intalement : Voc un aerçu des données synthétques ntales : fgures 4.4 et 4.5. On eut vor la reconstructon ntale, ans que le lacement des caméras. Caméra Caméra 2 Caméra 5 Caméra 4 Caméra 1 Caméra 6 Caméra 3 Reconstructon ntale FIG. 4.4 Reconstructon et lacement des caméras. 22

23 Chatre 4 -_L mlémentaton Caméra Caméra 1 Caméra 2 Caméra 3 NB = 25 NB = 243 NB = 194 NB = 189 Caméra 4 Caméra 5 Caméra 6 NB = 22 NB = 312 NB = 256 FIG. 4.5 Cohérences ntales en nombre de xels blancs (NB). Modfcatons : Arès quelques modfcatons aortées manuellement grâce à notre nterface en vue d une otmsaton, vola ce que ça donne fgure 4.6. L ordnateur sur lequel nous avons effectué nos tests n est as très ussant, our obtenr des résultats assez radement nous n avons modfé qu un ou deux aramètres ar caméra. Caméra Caméra 1 Caméra 2 RECONSTRUCTION NB = 447 NB = 416 NB = 1789 Caméra 3 Caméra 4 Caméra 5 Caméra 6 NB = 1817 NB = 2939 NB = 544 NB = 3358 FIG. 4.6 Le «XOR» our les données brutées. 23

24 Chatre 4 -_L mlémentaton Evoluton de l otmsaton avec Powell : A artr du fcher de calbrage «bruté» généré récédemment, nous avons alqué la méthode de Powell our vérfer la convergence et valder la méthode d auto-calbrage (vor la fgure 4.7). Evoluton de l'otmsaton nombre de xels blancs etc nombres d'tèratons FIG. 4.7 Evoluton de la méthode de Powell sur 25 tératons. Résultats arès otmsaton : Les résultats sont assez satsfasants ben que longs à obtenr. Nous n avons modfé que quelques aramètres et l a ourtant fallu 25 tératons à Powell our donner des résultats convenables (vor la fgure 4.8). Caméra Caméra 1 Caméra 2 RECONSTRUCTION NB = 852 NB = 1147 NB = 71 NB = 39 NB = 82 NB = 1374 NB = 61 FIG. 4.8 Le «XOR» our les données otmsées. 24

25 Chatre 4 -_L mlémentaton 4.3 Améloraton de la méthode Un ods à chaque xel Malgré les dffcultés de la méthode de Powell our converger, nous avons u constater que les résultats récédents étaent déjà relatvement satsfasants. Pourtant, nous ouvons en esérer de melleurs. En amélorant la foncton de coût, nous allons tenter de faclter la recherche du mnmum avec Powell. La soluton envsagée est d affecter un «ods» à chaque rayon otque. Jusqu c, on avat un ods de «un» s toutes les slhouettes étaent couées, snon on avat un ods de «zéro». Pour meux fare, le ods serat égal au nombre de slhouettes couées. Ans, la foncton de coût serat «un eu mons dscrète» et cela facltera le traval de Powell. Ce crtère de cohérence est un eu lus comlqué à mettre en œuvre que le récédent. L aroche que nous roosons se base sur un algorthme our reconstrure et rendre les enveloes vsuelles [Mng2]. Cet algorthme exlote les caactés des cartes grahques our à la fos reconstrure et rendre des enveloes vsuelles olyédrques de manère robuste et sans artefacts. Sot T la texture assocée à la slhouette S de l mage. Le rnce de l algorthme de Mng et al. consste à calculer le rendu d enveloe vsuelle en texturant les cône de vson avant de les affcher. Procédure de rendu des enveloes vsuelles our un ont de vue donnée Données : S, P, { } Mse Actver en lace le Alha-Buffer : ; j 1. Charger Calcul env les vsuelle n+1 textures selon Talgo en [] mémore ; j 2. Pour modfcatons chaque cône our de comter vson Vles xels 3. foncton Projeter de coût et combner toutes les textures T k j tq kj sur V => Rendre l enveloe vsuelle : V and V 1 and L and V n ; j V ; La combnason des textures est fate dans le Alha-Buffer, Les textures étant en mode RGBA, la couleur de la slhouette est (1,1,1,1) et celle du fond est (,,,). Comme exlqué dans l artcle, s chaque xel de la slhouette est à 1 et que l envronnement de texture d oengl est en «GL_MODULATE», le rendu de l enveloe vsuelle reconstrute est donné dans le Alha-Buffer. Pour obtenr le résultat que nous attendons, à savor un ods our chaque xel, la dfférence se stue lors de la combnason des textures. En effet, au leu de «multler» les textures (GL_MODULATE) nous devons comter le nombre de xels blancs que l on «suerose» (vor la fgure 4.9). 25

26 Chatre 4 -_L mlémentaton Pods = 1 Pods = 1 Pods = 2 Cône de vue où les textures sont rojetées. Projecton texture caméra 2. Projecton texture caméra 1. FIG. 4.9 Combnason de textures Otmsaton Comme our la méthode récédente, étant donnés l ensemble des slhouettes S =, l ensemble des aramètres ntaux orgnales { S k } 1.. n], [1.. ] P { P = K R [ I t] } [ 1.. n] [ mk = et la foncton de coût C2 défns récédemment, voc le seudo-code ermettant de calculer la cohérence totale : Procédure d otmsaton Ot2 Données : S Données -Résultats : P { Powell(C2(S, P), P) ; } Tests et résultats Cette méthode nécesste l mlémentaton d une rocédure de reconstructon et de rendu 3D accéléré qu n est as évdente à mettre en œuvre. L mlémentaton étant en cours de mse au ont et ar manque de tems, nous n avons as de résultats à rooser our cette méthode. Néanmons, nous ourrons comaré les résultats de la remère méthode avec une méthode dte «contnue». Ces tests sont réalsés dans la secton suvante 26

27 Chatre 4 -_L mlémentaton 4.4 Une méthode contnue Introducton Le but de cette secton est unquement de comarer nos résultats avec une autre mesure de cohérence our l auto-calbrage. Nous voulons mettre en évdence les lacunes des méthodes dtes «dscrètes». Pour cela, nous avons chose de tester une méthode dte «contnue». Le rnce d auto-calbrage our les méthodes contnue est à eu rés le même que celu des méthodes dscrètes. La dfférence est que la foncton servant à mesurer la cohérence du système n est lus dscrète mas contnue. Cette foncton est donc dérvable et cela ermet d utlser d autres méthodes d otmsatons avec de melleures rorétés de convergences. L algorthme utlsé c a été mlémenté ar mon maître de stage M. Edmond BOYER. Le rnce est de mesurer drectement la rofondeur des ntervalles défnt en secton 3.2 (vor auss la fgure 3.3). Il est ensute ossble d extrare de cette mesure une foncton de cohérence contnue. Cette foncton ermet d utlser une méthode d otmsaton de mondre carré : «Levenberg Marquardt». Les méthodes de mondres carrées font artes des melleures méthodes d otmsaton en termes de rorétés de convergences Tests et résultats Voc un aerçu de l évoluton de la méthode sur la reconstructon. On vot ben que l on se raroche de lus en lus de la vrae forme our l enveloe vsuelle. Ces reconstructons (vor la fgure 4.1) sont effectué toutes les 15 tératons envron. Image Image 1 Image 2 Image 3 Image 4 Image 5 Image 1 Image 15 Image 2 FIG. 4.1 Aerçu des effets de l otmsaton sur la reconstructon. 27

28 Chatre 4 -_L mlémentaton Nous allons mantenant vor les effets de cette méthode sur notre crtère de cohérence (vor les fgures 4.11 et 4.12). Nous avons donc récuéré c les données brutées ntales et les données arès otmsaton. L observaton du «XOR» sur ces données nous ermet de meux évaluer les rorétés de la méthode. Caméra Caméra 1 Caméra 2 RECONSTRUCTION NB = 284 NB = 1648 NB = 1956 Caméra 3 Caméra 4 Caméra 5 Caméra 6 NB = 1237 NB = 2718 NB = 229 NB = 284 FIG Le «XOR» our les données brutées. Caméra Caméra 1 Caméra 2 RECONSTRUCTION NB = 85 NB = 631 NB = 948 Caméra 3 Caméra 4 Caméra 5 Caméra 6 NB = 375 NB = 615 NB = 867 NB = 465 FIG Le «XOR» our les données otmsées. En résumé, la méthode contnue et ben lus erformante que la méthode dscrète. Le test effectué c ne se base que sur une seule séquence. L utlsaton de luseurs séquences augmente consdérablement la qualtés des résultats. L nconvénent des méthodes contnues est qu elles sont beaucou lus comlquées à mettre en œuvre que les méthodes dscrètes, mas les résultats sont nettement melleurs. 28

29 Chatre 4 -_L mlémentaton 4.5 L nterface L nterface est une arte mortante our ce stage. Calbrer un réseau de caméras n est as une chose facle. Il est mortant d avor un retour vsuel de la scène et des aramètres our vérfer les résultats La lecture des fchers L nterface ermet de lre et d enregstrer des fchers «.seq» et «.calb». Une fos un fcher ouvert, la reconstructon ans que le lacement des caméras se font automatquement et une fenêtre ermet de les vsualser. Une autre fenêtre content les slhouettes de chacune des caméras. L nterface donne auss des nformatons comme le nombre total de caméras (vor la fgure ). Reconstructon Caméras ostonnées Quelques nformatons Nom de fcher à ouvrr ou à sauver. Aerçu de la slhouette de la caméra. FIG. 4. L nterface de l alcaton La vsualsaton et la modfcaton L nterface ermet de vsualser les aramètres d une caméra en la sélectonnant. Ces aramètres euvent être modfés ndvduellement et à la man, en vue de créer des fchers de tests. Nous ouvons ans modfer certans aramètres d un ensemble de caméras et vsualser la reconstructon corresondante dans la fenêtre rncale (vor la fgure ). 29

30 Chatre 4 -_L mlémentaton La caméra sélectonnée est la n 2 Les aramètres ntrnsèques Les aramètres extrnsèques La reconstructon arès quelques modfcatons sur les aramètres. Actons manuelles FIG. 4. L nterface de vsualsatons et de modfcatons Otmsaton Une fos que l on a ouvert un fcher à otmser, l nterface roose les dfférentes méthodes ntrodutes dans ce raort. L utlsateur eut sélectonner les aramètres qu l souhate otmser (vor la fgure ). Cette oton est artculèrement ntéressante lorsque l on est sûr d un ou luseurs aramètres. Par exemle, le aramètre «= u / v», qu défnt le raort d échelle des cateurs CCD, eut très souvent être fxé à 1. Une fos que les aramètres à otmser sont sélectonnés, l utlsateur chost une des méthodes our l otmsaton. Un suv de l algorthme se fat, au fur et à mesure, dans la console (vor la fgure ). 3

31 Chatre 4 -_L mlémentaton Nombre de xels blancs relevés dans chaque mage. Nombres de xels blancs totaux. Ce nombre dmnue au court des tératons. FIG. 4. Suv d une otmsaton sur la console. Tous les aramètres sont sélectonnés our l otmsaton. Premère méthode : comter les xels Seconde méthode : un ods à chaque xels Méthode à venr FIG. 4. L nterface d otmsaton. 31

32 Chatre 5 - Traval à suvre 5 Traval à suvre Il reste beaucou de traval autour de ce roblème. Ces tros mos de stage n étaent as suffsants our réalser tous les objectfs, c est ourquo nos travaux se oursuvront cet été et jusqu en setembre, au cours de mon stage de 3 ème année de magstère en nformatque. Voc un aerçu de ce qu l reste à réalser : 5.1 Les mesures de cohérences Dans un remer tems, davantage de tests seront effectués our fxer les lmtes de notre aroche. Etant donnée que nos mesures de cohérence se basent sur des xels, on obtent des valeurs dscrètes our l otmsaton. Cela ne nous ermet donc as d utlser de «bonnes méthodes» d otmsatons. Nous sommes dans l oblgaton d utlser des méthodes de relaxaton, comme «Powell» qu ne rend as du tout en comte la «forme» de la foncton. Cette méthode d otmsaton a donc de très mauvases rorétés de convergence. La soluton que nous avons envsageons our dmnuer ce roblème est d affecter un ods à chaque xel (vor secton 3 et 4). Malheureusement ar manque de tems, nous n avons as u effectuer de tests. La remère chose à fare est donc de fnr d mlémenter cette méthode our ensute la comarer avec la récédente. Plus généralement, l objectf sera d mlémenter et de comarer luseurs crtères, dscrets ou contnue, our la cohérence de slhouettes. 5.2 L nterface Le lus gros du traval qu reste à fare est sur l nterface. Une des remères choses ntéressantes à nterfacer serat de ouvor rendre en comte non lus un fcher de séquence our un fcher de calbrage donné, mas une lste de fchers de séquences. Cela ermettra d avor lus d nformatons our l otmsaton, ce qu est suscetble d amélorer les résultats de façon consdérable. Tyquement, au leu de se baser sur une scène statque, on ourra, ar exemle, avor un mouvement d une seconde contenu dans 24 fchers de séquences, our un même jeu donné de aramètres à otmser. Par la sute, l nterface devra suorter luseurs méthodes d auto-calbrage, qu elles soent dscrètes ou contnues, dans le but de les comarer. J effectuera se traval au sen de l éque MOVI cet été, our mon stage de magstère. Le but sera donc d évaluer chacun des algorthmes et eser le our et le contre de chaque méthode. L nterface devra ar exemles fare des reconstructon en arallèle à l otmsatons, généré des grahques sur les tests effectué, etc. 32

33 Chatre 6 - Concluson 6 Concluson Nous avons résenté une nouvelle aroche our l estmaton des aramètres d un système mult-caméras. Cette aroche est basée sur une mesure de cohérence entre un ensemble de slhouettes ntales et les slhouettes de leur enveloe vsuelle re-rojetée. Cela ermet de mesurer un degré de cohérence, nous offrant ans la ossblté d utlser des méthodes d otmsaton our retrouver les aramètres des caméras. Cette aroche a été testée avec succès sur dfférents roblèmes d estmatons. Le calbrage s effectue de manère entèrement automatque et avec une grande flexblté. Les résultats sont assez satsfasants our un système facle à mettre en œuvre. Nous ouvons classer nos mesures comme étant des mesures de «cohérences dscrètes». Elles ne valent as les mesures de «cohérences contnues», que ce sot en terme d effcacté ou en terme de qualté des résultats. En effet, les mesures de cohérences contnues sont dérvables, contrarement aux mesures de cohérences dscrètes. Cela nous ermet donc d utlser des méthodes d otmsatons basées sur les «gradents» ou sur les «mondres carrés». Ces méthodes d otmsaton ont de melleures rorétés de très bonnes rorétés de convergences. Les ersectves sont, dans un remer tems, d effectuer des comarasons entre un maxmum de méthodes. Cela nous ermettra de fare le ont en esant le our et le contre de chacune d entre elles. A la sute de ce traval nous ourrons éventuellement envsager de nouvelles méthodes. 33

34 Index Index A Alha-Buffer 25 Aarement 12 C Calbrage 3, 6, 7, 8, 9, 1, 11, 12, 13, 14, 19, 2, 24, 27, 32 Caractérstques 3, 6, 8, 9, 14 Centre otque 1 Cohérence 3, 8, 14, 17, 18, 2, 21, 22, 25, 26, 27, 28, 32, 33 Combnason de textures 26 Comatbltés de slhouettes 17 Cône de vue 3, 8, 15 Contour d occultaton 14 Contour extéreurs 14, 19 Contour ntéreurs 14, 19 Corresondances 7, 11, 12 D Dstance focale 6, 1 Domane de vsblté 16 Données synthétques 22 E Enveloe vsuelle 3, 15, 16, 2, 21, 25, 27, 33 F Facteur d oblquté 1 Fchers de calbrage 19 Fchers de séquence 3, 19 Foncton de coût 21, 22, 25, 26 G Géométre éolare 12 Géométre rojectve 11 Gradent 22 I Incohérence 17, 21, 22 Intervalle 3D 17 L Levenberg Marquardt 27 M Matrce de rojecton 1 Matrce ntrnsèque 1 Mre de calbrage 7 O Otmsaton 3, 4, 21, 26, 3 Orentaton 9, 15, 19 P Paramètres extrnsèques 8, 9, 1, 19 Paramètres ntrnsèques 8, 9, 1, 11, 14, 19 Photogrammétre 7 Powell 22, 24, 25, 32 R Rayons otques 17, 18 Reconstructon 6, 7, 11, 12, 14, 26, 27, 29, 32 Relaxaton 22, 32 S Segmentaton 12, 14, 17, 2, 21 Slhouette 3, 7, 8, 14, 15, 16, 17, 18, 19, 2, 21, 22, 25, 26, 29, 33 Stéréoscoques 12 V Vson 6, 7, 9, 11, 12, 15, 25, 36 34

35 Bblograhe Bblograhe [Boyer2] Edmond Boyer et Jean Sébasten Franco. A Hybrd Aroach for Comutng Vsual Hulls of Comlex Objects. GRAVIR-INRIA Rhône-Ales. 655, Avenue de l Euroe, 3833 Monbonnot, France. 22. [Colla95] R. Colla, K. Aström et P. J. Gbln. Moton from the fronter of curved surfaces. In Proc. IEEE 5th Int. Conf. on Comuter Vson, ages , Boston, (June) [Faugeras92] Olver Faugeras, Quang-Tuan Luong et S. Maybank. Camera Self-Calbraton : Theory and Exerments. In Gulo Sandn, édteur. Proceedngs of Comuter Vson, volume 588 de LNCS, ages , Berln, Germany, ma Srnger. [Faugeras93] Olver Faugeras. Three-Dmensonal Comuter Vson : A Geometrc Vewont. MIT Press, [Hggns81] H. C. Longuet-Hggns. A Comuter Algorthm for Reconstructng a Scene from Two Projectons. Nature, volume 293, age , [Laurentn] A. Bottno and A. Laurentn. Introducng a new roblem: Shae-from-slhouette when the relatve ostons of the vewonts s unknown. Acceted for ublcaton n IEEE Transactons on Pattern Analyss and Machne Intellgence. [Lu9] Y.Lu, T.S. Hunag et Olver Faugeras. Determnaton of Camera Locaton from 2D to 3D Lne and Pont Corresondances. Acceted for ublcaton n IEEE Transactons on Pattern Analyss and Machne Intellgence, volume 12, numéro 1, ages 28-37, janver 199. [Luong93] Quang-Tuan Luong et Olver Faugeras. Self-Calbraton of a Stereo Rg from Unknown Camera Motons and Pont Corresondences. Raort technque 214, INRIA Soha-Antols, France, Jullet [Martn83] W.N. Martn and J.K. Aggarwal. Volumetrc descrton of objects from multle vews. Acceted for ublcaton n IEEE Transactons on Pattern Analyss and Machne Intellgence, 5(2):15.158, [Mng2] Mng L, Marcus Magnor et Hans-Peter Sedel. Hardware-Accelerated Vsual Hull Reconstructon and Renderng. Comuter Grahcs Grou, 22. [Zsserman] Rchard Hartley and Andrew Zsserman. Multle vew geometry n comuter vson. Cambrdge Unversty Press, 2. [OenGL] Mason Woo, Jacke Neder et Tom Davs. Programmng Gude Second Edton. The offcal Gude to Learnng OenGL, Verson 1.1. OenGL Archtecture Revew Board

36 Bblograhe [OenGLnet] OenGL lbrary reference manual, htt:// [Raort3] Notarangelo Salvatore. Système de calbrage flexble our une late-forme d acquston vdeo. Raort de magstère, Setembre 23. [Sturm99] P.Sturm and S. Maybank. On lane-based camera calbraton : A general algorthm, sngulartes, alcatons. In Proceedngs of the IEEE Conference on Comuter Vson and Pattern Recognton., ages , Fort Collns, Colorado, June IEEE Comuter Socety Press. [Szelsk93] R. Szelsk. Robust shae recovery from occludng contours usng a lnear smoother. In Image Understandng Worksho, ages Defense Advanced Research Projects Agency, Software and Intellgent Systems Offce, avrl [TotalCalb] Sylvan Bougnoux et Luc Robert. TotalCalb : a Fast and Relable System for Offlne Calbraton of Images Sequences. In Proceedngs of the Internatonal Conference on Comuter Vson and Pattern Recognton, [Tsa87] Roger Y. Tsaï. A Versatle Camera Calbraton Technque for Hgh Accuracy 3D Machne Vson Metreology Usng Off-the-Shel TV Camera and Lenses. IEEE Journal of Robot and Automaton, RA-3(4) : , August [VXLnet] VXL lbrary reference manual, htt://vxl.sourceforge.net/. [Zhang98] Zhengyou Zhang. A Flexble New Technque for Camera Calbraton. Techncal Reort MSR-TR-98-71, Mcrosoft Cororaton, [Zhang] Zhengyou Zhang. A Flexble New Technque for Camera Calbraton. Acceted for ublcaton n IEEE Transactons on Pattern Analyss and Machne Intellgence, 22(11) : , 2. [Zhang2] Zhengyou Zhang. Camera Calbraton Wth One-Dmensonal Objects. Techncal Reort MSR-TR-21-12, Mcrosoft Cororaton, August