Estimation conjointe de sources lumineuses

Transcription

1 Estmaton conjonte de sources lumneuses et de proprétés photométrques à partr d mages Bruno Mercer, Danel Meneveaux Laboratore SIC, Unversté de Poters, BP Futuroscope Chasseneul Cedex Résumé : Depus quelques années, les méthodes de rendu basé-mage connassent un succès crossant car elles permettent de vsualser une scène réelle ou vrtuelle presque unquement à partr d mages Grˆace à un comproms entre smplcté de stockage et rchesse de représentaton, le lumgraphe est probablement aujourd hu la structure de données basée-mage la plus utlsée dans la communauté graphque Dans cet artcle, notre objectf est de trater le problème de la recherche de sources de lumère à partr d mages Notre étude porte essentellement sur les lumgraphes et nécesste dfférents tratements prélmnares : reconstructon géométrque et estmaton des normales Une étape de classfcaton permet d dentfer des régons de l objet ayant une mḙme réflectance bdrectonnelle Pour chaque régon, la recherche d une source lumneuse est réalsée à l ade de lobes spéculares (s ls exstent) ou en supposant que la surface est parfatement dffuse La méthode de recherche proposée dans cet artcle repose sur l estmaton conjonte des sources ponctuelles et des sources drectonnelles Un mécansme d dentfcaton nous permet de () décder quel éclarage est le plus pertnent et () estmer les coeffcents de réflexon spéculare et dffus par rapport aux mages d orgne Nous présentons les résultats de notre étude pour des cas de tests générés aléatorement et pour des lumgraphes Mots-clés : Rendu basé-mage, reconstructon géométrque, détecton de sources lumneuses, estmaton de proprétés photométrques, lumgraphes 1 Introducton En synthèse d mage, la dernère décenne a vu naître de nouveaux modèles pour lesquels des photographes d objets réels ne sont plus seulement utlsées comme des textures ndépendantes du pont de vue Elles servent de support pour des méthodes nteractves de vsualsaton d envronnements ou d objets réels complexes Ces méthodes de vsualsaton, dentfées sous le nom de rendu basé-mage (ou RBI) permettent de rédure de manère drastque une descrpton géométrque généralement très complexe tout en conservant un réalsme mportant Naturellement, lorsque les mages ntales sont des photographes d objets réels, la vsualsaton est réalste, moyennant dvers problèmes d échantllonnage Mas le concept du rendu basé-mage est également ntéressant dans le cas d objets vrtuels complexes et dffcles à affcher en des temps rasonnables La créaton d un lumgraphe (par exemple) correspond alors à un précalcul permettant ensute de vsualser l objet de manère nteractve Ce traval est motvé par une étude plus large, vsant à modfer l éclarage ntal d un objet de type lumgraphe A plus long terme, nous souhatons nsérer des objets basés-mage à l ntéreur d envronnements vrtuels, et les ré-éclarer de manère réalste (ombres portées, lumnance des objets réels et vrtuels, etc) La recherche de sources lumneuses à partr d mages est une étape nécessare pour permettre de ré-éclarer les objets basés-mage Notre traval repose sur une estmaton géométrque précse des objets (forme et normale) décrte dans [MMF03] Dans cet artcle, notre contrbuton concerne : 1 une méthode de classfcaton permettant d soler les régons d une surface ayant les mêmes caractérstques photométrques ; 2 une estmaton des caractérstques géométrques de sources lumneuses ponctuelles (poston) ou drectonnelles (drecton) ; 3 une estmaton des caractérstques photométrques de la surface de l objet à un facteur près (correspondant à la pussance de la source lumneuse) Ce document est organsé de la manère suvante : nous présentons dans un premer temps les travaux concernant le rendu basé-mage, les dernères études relatves aux lumgraphes et à l estmaton de sources lumneuses Dans la secton 3, nous défnssons le cadre et les hypothèses de traval Nous détallons ensute nos algorthmes de classfcaton, d estmaton de sources lumneuses et de caractérstques photométrques (secton 4) Nous présentons

2 également une sére de résultats reposant sur des données générées de manère aléatore et sur des lumgraphes (secton 5) La secton 6 présente nos conclusons et les perspectves à ce traval 2 État de l art 21 Rendu Basé-Image En général, les méthodes de vsualsaton d envronnement s appuent sur des mages d objets réels ou vrtuels pour accroître le réalsme et rédure les temps de calcul Ces méthodes permettent de vsualser nteractvement des objets complexes en rédusant le nombre de prmtves géométrques, la remplaçant par les détals présents sur des mages Les utlsatons les plus connues sont probablement le plaquage de textures et les cartes d envronnement, mas d autres applcatons telles que les cartes anmées (move-maps) [Lp80], qucktme VR [Che95], ou le musée vrtuel (the vrtual museum) [MOC 92] assocent également une descrpton géométrque à des séquences vdéo ou des séres d mages Les méthodes de Rendu Basé-Image (RBI) ont réellement émergé au début des années 1990, avec la défnton de la foncton plénoptque coordonnées proposée par Adelson et Bergen en 1991 [AB91] angles Elle permet d exprmer les flux lumneux éms en chaque pont de l espace et dans chaque drecton (fgure 1a) Elle est usuellement défne dans un espace de dmenson 6 : 3 représentent la poston, 2 défnssent une drecton, le derner paramètre étant la longueur d onde a b FIG 1 a La foncton plénoptque exprme le flux lumneux éms par un pont et dans toutes les drectons ; b Cette foncton peut ḙtre utlsée pour représenter les flux lumneux éms par la surface d un objet Naturellement l est llusore de trouver une formulaton analytque à cette foncton pour prendre en compte tous les transferts lumneux dans un envronnement En revanche, un échantllonnage judceux de l espace permet de représenter une parte explotable de cette foncton En 1995, L McMllan et G Bshop ont proposé la méthode de modélsaton plénoptque [MB95] pour représenter les flux lumneux selon un échantllonnage cylndrque Les lumgraphes et le rendu des champs de lumère (lghtfeld renderng) ont fat leur apparton l année suvante [GGSC96, LH96] 22 Détecton de sources lumneuses La recherche de sources lumneuses est étudée en vson par ordnateur dès les années 80 Beaucoup de travaux reposent sur ceux de Pentland [Pen82] Son objectf est d estmer la drecton d une source lumneuse en fasant l hypothèse que l mage utlsée représente un objet convexe dont on peut faclement extrare les contours des ombres Depus, pluseurs algorthmes sont développés à partr des contours d un objet [YY91, VY94] Dans [SSI99], la drecton d une source est estmée en dérvant la dstrbuton d llumnaton et en étudant les ombres autour d un objet de géométre connue Dans [NE01], la drecton et l ntensté d une source lumneuse sont estmées à partr d une mage en détectant les contours de l objet et des ombres projetées Pour cette méthode, les auteurs font l hypothèse que la surface proche de ces contours est lambertenne Parallèlement, pour de multples sources lumneuses drectonnelles [HA93], Hougen et al résolvent un système de contrantes par la méthode des mondres carrés Mas l estmaton de sources lumneuses reste un problème dffcle à résoudre à partr d une seule mage Pluseurs travaux récents reposent sur un postonnement précs de sphères à l ntéreur de la scène Par exemple dans [DM97], Debevec et al proposent une méthode d estmaton de cartes d envronnement lumnances Dans [ZY00], la drecton de multples sources lumneuses est estmée à

3 ' 2 lumnance ' ' 2 partr de l mage d une sphère lambertenne de talle connue Dans [ZK02], la drecton et la pussance de pluseurs sources lumneuses sont estmées à partr d une pare d mages stéréo En 2001, [PSG01] Powell et al proposent une méthode permettant d estmer la poston de pluseurs sources lumneuses ponctuelles à partr d une séquence d mages et à l ade de tros sphères spéculares E Gullou a développé, en 2000, une méthode permettant d extrare des sources lumneuses ponctuelles et drectonnelles à partr d un seul pont de vue, avec une carte de profondeur et des cartes de réflectance [Gu00] L mage est découpée en régons de manère manuelle et le type de source est connu à pror Seuls les objets parfatement dffus sont prs en compte L utlsaton d une seule mage rend l extracton dffcle et mplque de poser des hypothèses contragnantes Notre étude porte sur un objet représenté par pluseurs mages permettant par conséquent de dédure des nformatons plus précses 3 Prncpe général 31 Notatons Lorsqu l s agt de sources lumneuses réelles, les caractérstques des ampoules ou des émetteurs sont très dfférentes (géométre, plages de longueur d ondes émses, énerge lumneuse émse, ponts d émsson, drectons d émsson, etc) Malgré l exstence d études partculères concernant la modélsaton précse de sources réelles, dans la plupart des cas, seules quelques types de sources sont utlsés pour la synthèse d mage : sources ponctuelles, drectonnelles, surfacques ou spots (cf fgure 2) Objet Objet Objet Objet Légende : lumnance émse par la source source ponctuelle source surfacque a b c d cône de drectons d émsson PSfrag replacements FIG 2 a Source ponctuelle, dffuse unformément la lumère dans toutes les drectons autour de sa poston (pour une ampoule par exemple) ; b Source drectonnelle, représentant une source très élognée telle que le solel ; c Spot, servant à représenter un projecteur ; d Source surfacque, où toute une surface émet de la lumère La lumnance (flux lumneux réfléch par unté de surface et d angle solde projeté dans une drecton) d une surface vare en foncton de son éclarement, de son orentaton mas également des proprétés ntrnsèques du matérau composant l objet (foncton de dstrbuton de réflectance bdrectonnelle ou BRDF) Dvers types de surfaces sont représentés sur la fgure '/'( () () '/'( +,+ (* + + ' "!"!"!"!"!"!"!"!"!" (!!!!!!!! #!#!#!#!#!#!#!#!#!#!#!#!# $!$!$!$!$!$!$!$!$!$!$!$!$ ( + - ' - %!%!%!%!%!%!%!%!%!%!%!%!%!% &!&!&!&!&!&!&!&!&!&!&!&!&!& ( - ' a b c Légende : PSfrag replacements lumnance émse par la source réfléche par la surface source ponctuelle FIG 3 a Flux lumneux réfléch par une surface purement spéculare, le lobe spéculare apparaˆıt en grsé ; b Flux lumneux réfléch par une surface parfatement dffuse ; c Flux lumneux réfléch par une surface mxte (dffuse et spéculare) La lttérature offre une panople très vaste de modèles de réflectances bdrectonnelles Chaque modèle, physquement correct ou non, permet de représenter dvers types de surfaces (spéculares, ansotropes, à base de mcrofacettes, etc) Pour cette étude, nous avons chos d utlser le modèle de Phong [Pho75] car même s l n est

4 6U de est correspondent pas physquement correct, l est défn par un nombre rédut de paramètres et permet de représenter des surfaces sotropes ayant un caractère dffus et/ou spéculare D après ce modèle, la lumnance réfléche par une surface éclarée par une source3, en un pont4, vers une drecton5 67 (fgure 3c) vérfe l équaton suvante :8:9<;=8:>? A@CBEDFHGI H1JK@L> DIFMGONP QEJR@CS? Dans cette équaton,8 9 la lumnance réfléche par4 et vers5 67 ;8 > correspond à la lumnance émse par la source3, arrvant sur la surface au pont4 ;@ B,@ > et@ ;T S ; respectvement aux coeffcents de réflexon dffuse, spéculare et ambant (comprs entre 0 et 1) défnt la talle du lobe spéculare est l angle la normale5 la surface et la drecton5 6V ; de la source lumneuse (drecton d ncdence) est l angle entre56 7XW (la drecton de réflexon mror) et Prétratements Notre algorthme d estmaton de sources lumneuses nécesste pluseurs mages Pour chaque mage, nous supposons que la poston de l apparel-photo et son orentaton sont précsément connues En pratque, nous utlsons auss ben des mages de synthèse que des photographes obtenues va un système d acquston [MMF03] Nous utlsons plutôt des mages représentant un lumgraphe, mas la méthode proposée c fonctonne quelle que sot l organsaton des mages Notre méthode d estmaton repose sur la connassance du vecteur normal en chaque pont de la surface Pour estmer ce vecteur, une premère phase de reconstructon géométrque produt la forme de l objet Pour cela, nous utlsons un algorthme de sculpture proposé par R Szelsk en 1993 [Sze93] Ce tratement fonctonne par raffnements successfs et produt un ensemble de voxels correspondant à la surface de l objet (fgure 4) La normale peut être estmée sot selon une méthode dscrète sot à l ade d une verson adaptée de l algorthme des marchng cubes [LC87] (vor [MMF03]) FIG 4 Vues des voxels de l objet à pluseurs nveaux de raffnement Chaque pxel d une mage défnt une drecton de laquelle la lumère de l objet (lumnance) arrve vers l apparel photo Chaque drecton peut être représentée sous la forme d un rayon passant par un voxel Par conséquent, l est possble de représenter l ensemble des lumnances partant d un voxel et arrvant à une mage 33 Hypothèses de traval et prncpe de l estmaton La précson de notre algorthme d estmaton de sources lumneuses repose sur la précson de cette reconstructon géométrque (surface dscrète et normales) Pour chaque voxel, nous dsposons des paramètres suvants : () ses coordonnées 3D, () la drecton de sa normale, () un ensemble de lumnances (au mons 60 par voxel) Nous dstnguons deux types de sources (ponctuelles et drectonnelles) et deux types de surfaces (dffuses et dffuses/spéculares) L algorthme proposé correspond aux étapes suvantes : classfcaton des voxels en régons selon leur apparence et leur orentaton (cela permet d soler les voxels pertnents pour la détecton) ; pour chaque régon, estmaton du type de surface (purement dffuse ou avec une composante spéculare) ; pour chaque régon, recherche d une source de type ponctuelle ; B chaque régon recherche d une source de type drectonnelle ; pour chaque régon, dentfcaton fnale du type et de la poston des sources conjontement avec les coeffcents et@ > produts8y><z[@cb et8\>]z^@c> par réducton d erreur (de type descente de gradent) Cette méthode produt fnalement une estmaton des (ans qu une estmaton de la valeur det )

5 pcorrespond cccb 4 Détecton de sources de lumère 41 Classfcaton des voxels Deux classfcatons successves permettent de retrouver les sources de lumère La premère classfcaton produt des régons de voxels ayant les mêmes proprétés de réflectance Cela permet de consdérer des voxels ayant tous les mêmes paramètres@ B,@ > ett La seconde classfcaton est réalsée à l ntéreur des régons en foncton de l orentaton des normales afn de regrouper les voxels éclarés par une même source Les mages sont défnes dans le repère usuel RGB, nadapté à l estmaton des lumnances et chromnances C est pourquo nous avons chos d utlser deux espaces de couleurs : HSV ( Hue, Saturaton, Value ou tente, saturaton, lumnosté ) et xyz Nous avons chos les valeurs de tente/saturaton de l espace HSV pour la chromnance et la valeur y pour la lumnance Note : la tente d une surface reste constante quelle que sot l énerge lumneuse reçue et la valeur de saturaton est un ndcateur de fablté de la tente Classfcaton en voxels de même réflectance Avant de commencer l étape de classfcaton, nous avons chos d écarter les voxel sur-éclarés ou sous-éclarés sur les mages car leur tente n est pas fable (la saturaton est trop fable) De plus ces voxels sont généralement sot non éclarés sot éclarés par pluseurs sources Sute à ce fltrage, la classfcaton est réalsée en foncton de la tente des objets Nous avons chos une classfcaton classque consstant à trater les voxels de manère successve : pour chaque voxel, la tente est comparée avec la tente des classes exstantes S la dfférence de tente est supéreure à un seul donné pour toutes les classes, alors une nouvelle classe est créée avec ce voxel Snon, l est nséré dans la classe de plus proche tente Pluseurs passes sont réalsées pour amélorer les résultats de cet algorthme Estmaton du type de surface Pour savor s la surface d une classe est dffuse ou mxte (à la fos dffuse et spéculare), nous évaluons l écart-type normalsé des lumnances dont nous dsposons (lumnances des voxels) : _a` U ; d egfyhj1k?lnmo> prqes W etfuh vw {OqEs pnsnyxlz> v~} I Q nƒ v 1 ˆ A Š e fyhj1k ljmo> prqes U Œ8!Ž nt MT I? H p v 1 ˆ au l voxel,8 { p le l l _a` est échantllon de lumnance dans ce voxel et8 W k Q p L _a` U U est la moyenne des lumnances pour ce voxel Pour une surface parfatement dffuse, est nul pusque n mporte :@ B,@C> quel voxel de cette surface réflécht la même lumnance dans toutes les drectons augmente en foncton de spécularté de la surface S l on fat l hypothèse que la surface est décrte par les 3 coeffcents de Phong ett l _ ` U, vare fortement en foncton du rapport@ revanche, l vare peu en foncton de l exposant spécularet s_a` de_a` U En rapport@[>š@cb œ sz s Ans, s_a` l évaluaton U œÿžr, U ž de la valeur donne une ndcaton sur la spécularté de la surface : la surface est estmée parfatement dffuse avec un quelles que soent les valeurs prses pour8:> ett sžr ª _a` U«ž yž,, la surface est estmée mxte (spéculare et dffuse) avec un que soent les valeurs prses pour8u> ett Mž,, aucune décson n est prse sur la spécularté de la surface (une décson est prse plus tard dans l algorthme, en utlsant des crtères d erreur décrts dans la secton 44) s quelles Classfcaton en foncton de l orentaton des normales L objectf de cette classfcaton est de regrouper les voxels éclarés par une même source Pour cela, nous avons chos d exclure les voxels comportant pluseurs lobes spéculares : à l ntéreur de chaque voxel nous consdérons la drecton correspondant à la lumnance la plus mportante8 pw ; s l exste une lumnance8 dans une drecton supéreure à 30 de celle de8 pw! et telle que8 ž Z 8 pw, alors nous consdérons qu au mons deux lobes spéculares apparassent dans le voxel De la même manère, nous ne tenons pas compte des voxels comportant mons de 10 échantllons de lumnance et des voxels dont un lobe spéculare est orenté à plus de 80 de la normale Enfn, la seconde étape de classfcaton défnt des sous-classes (ou sous-régons) de l objet à l ntéreur desquelles les normales sont smlares, selon le même algorthme de classfcaton que dans la parte précédente

6 5 sont 6U de est 42 Détecton d une source ponctuelle Rappelons que nous souhatons retrouver la poston d une seule source pour chaque sous-classe de voxels défne au cours des étapes de classfcaton La poston d une source ponctuelle est détermnée après avor estmé la drecton de lumère ncdente pour chaque voxel d une sous-classe S la source est suffsamment proche de la surface, l ensemble de ces drectons ncdentes se rejont au pont correspondant à la source lumneuse (fgure 5) ÁRÁRÁ ÂRÂR Légende : voxel ± ± ² ² ³ ³ µ µ ¹ ¹ º º»» ¼ ¼ ½ ½ ¾ ¾ À À drecton d ncdence source ponctuelle estmée FIG 5 L ntersecton de toutes les drectons d ncdence défnt la poston de la source ponctuelle Pour les surfaces dffuses Pour une surface dffuse, la lumnance8 9 _ > ÄÃ\ réfléche par un élément de surface dffus_ > constante quelle que sot la drecton de réflexonã Nous posons8 9 Q Å ;Æ e prqpçf 8 9 Q! zã poošu,u étant le nombre d échantllons à l ntéreur d un voxel Cette lumnance correspond au produt8 >@ B DFMG pour le modèle de Phong8 6V > B des constantes ndépendantes du voxel chos dans une même classe La lumnance émse par un voxel dépend unquement de, l angle entre la normale5 ce voxel et la drecton de lumère ncdente La valeur de mas8u9 È ne peut être estmée drectement, est maxmale lorsque ÉÊ; ž Le voxel 9lzË posons9lzë ayant chos ; ž comme référence car sa normale ndque une drecton d ncdence pour la source lumneuse Nous et8 9lzË ;Ì8\>@LB Cette drecton d ncdence est notée556 Par conséquent, pour tous les autres voxels ;ÎÍyÏD DFMGI A8 de ne sufft pas pour estmer la drecton ncdente, mas correspond à un cône de drectons (fgure 6a) l angle Pour chaque voxel, la drecton d ncdence se trouve dans le plan passant par le centre des 2 voxels et 9lzË et contenant la drecton d ncdence5o56 6b) Il peut y avor 0, 1 ou 2 solutons sur la drecton d ncdence du voxel PSfrag replacements PSfrag Ø OØ fƒƒùø replacements PSfrag replacements fƒƒùø àyàyà áyáyá äyäyä åyåyå ây⃠ƒiƒrù : ÓÑÓÑÓ ÔÑÔ ÐÑÐ ÒÑÒ ÕÑÕ ÖÑÖ ÚYÚYÚ ÛYÛYÛ ÞYÞYÞ ßYßYß Iæjçnè en arrère plan ÜYÜ dans le plan en avant plan a b la plus grande lumnance8 9lzË est V9lzË (fgure š8 9lÄË L évaluaton ÜYÜÝÝ FIG 6 a Cˆone correspondant aux drectons d ncdences pour fxé ; b Intersecton entre le cˆone et le plan contenant la source ponctuelle U5 556 mosn Ces solutons sont obtenues par résoluton d un système de 3 équatons à 3 nconnues : ; ž éré56 V éré; yê V56 U56 âyâãã f Øæjçnè Légende ;t8 š8 9lzË ê V56 Pour Œí une premère estmaton, les voxels ayant deux drectons d ncdence valdes ne sont pas prs en compte Un chox JK îïjkðå; défntf de la drecton est fxé dans la sute de l algorthme Pour tous les voxels ayant une unque drecton d ncdence, chaque drote est stockée sous la forme de l ntersecton de deux plans orthogonaux d équaton MëìJ ž L ensemble de ces équatons est représentée de manère matrcelle : V9lÄË

7 pétant Ùfƒ h x S òòòñ ó s Œs Œ s N Œ N N ôiõõõ ö forme ùøæ;ûú Ce système de la, permet d nclureø, le pont d ntersecton de toutes les drectons d ncdence Pour résoudre ce système et trouver la postonø la source, nous calculons une soluton approchée deø ; ƒ sú à l ade d une matrce pseudo-nverse de, notée ppour plus de détals concernant la constructon de cette matrce, le lecteur peut se référer à [PTVF99] àø Pour affner cette premère estmaton, nous prenons en compte les voxels ayant deux drectons valdes gnorés précédemment L une de ces deux drectons (la plus cohérente par rapport ) est ajoutée au système matrcel Une nouvelle estmaton de pet deø est calculée La qualté du résultat est cependant très dépendante du chox de 9lzË dont la normale n est pas nécessarement parfatement algnée avec la drecton de la source lumneuse Pour amélorer encore le tratement, nous avons ms en place un algorthme tératf permettant de converger vers une soluton beaucoup plus précse : nous supposons que la drecton estmée est correcte par rapport au barycentre des voxels de la classe, mas la dstance avec la source _ est presque toujours sous-estmée et de manère mportante En consdérant un voxel de la classe stué sur cette drote, la valeur de sa lumnance8 est parfatement connue avec B de8y>@cb :8 ;ü8ý>@cb þ H M, connu Il est donc possble de détermner plus précsément la valeur et de répéter ce tratement tant que la valeur d erreur dmnue : la l lgne ñóëí î ôö; _ W B]; ÿpoq s Q pø 5 ú p de la matrce etø ;, la poston estmée de la source correspond au nombre de drectons d ncdence utlsées (donc équatons de plans) Ce crtère donne également une bonne estmaton de la valdté du résultat fnal obtenu D après tous les résultats que nous avons obtenus, cette dernère étape permet d obtenr une poston précse au centmètre près jusqu à neuf mètres de dstance pour un objet d un mètre de damètre Pour les surfaces mxtes (à la fos dffuses et spéculares) de56 7XW Pour une surface ayant un coeffcent de spécularté non nul, le flux lumneux ncdent8ý> est réfléch en chaque pont de la surface dans une drecton prvlégée56 7XW (la drecton mror) défnssant un lobe spéculare En chaque voxel, l estmaton permet donc de dédure la drecton d ncdence Autour de la drecton mror56 7XW, nous approchons les valeurs de lumnances stuées dans le lobe spéculare par une surface parabolque (en coordonnées polares) d équaton8 Ê;t 5 J Œ 5 J La lumnance est maxmale pour la drecton à56 7ïW correspondant (vor fgure 7b) ƒ ƒƒù PSfrag replacements Ù ƒqƒiƒù v PSfrag replacements òòòñ ó 5 ðs 5 ð 5 ð N ôiõõõ ö a b spéculare ; b Lumnances émses selon les angles et (coordonnées polares de la drecton de réflexon) etœ FIG 7 a Lste des échantllons à l ntéreur d un voxel, la zone grse content les échantllons du lobe sont des coeffcents négatfs, représentant la courbure de chaque parabole 2D de A partr des lumnances d un voxel, l s agt d estmer les coeffcents,œ,, et de l équaton Pour cela, nous consdérons la lumnance la plus mportante8 pw! pw dans une drecton pw L algorthme sélectonne toutes les drectons de lumnance autour (avec un maxmum de 20, vor fgure 7a) et réalse une estmaton

8 est UU U (constante) des coeffcents selon une méthode de descente de gradent pour une courbe d erreur correspondant à la dfférence au carré entre : () chaque lumnance du voxel et () la lumnance estmée pour la drecton de réflexon correspondante Ce tratement, réalsé pour chaque voxel, ndque une drecton d ncdence pour la source lumneuse Comme pour le cas des surfaces dffuses, ces drectons sont stockées dans un système matrcel et la poston de la source ponctuelle est détermnée en calculant les coeffcents d une matrce pseudo-nverse 43 Détecton d une source drectonnelle Nous dstnguons également les surfaces dffuses et les surfaces mxtes pour cette analyse, en fasant l hypothèse que la drecton d ncdence est dentque pour tous les voxels d une même sous-classe U56 Pour les surfaces dffuses Pour cas dffus, la lumnance8 pour un voxel vaut8 ; 8 >@ B DIFMG ª; 8 >@ B 5 6VÅ U56 ), et5 6V étant respectvement la normale du voxel et la drecton d ncdence recherchée Dans cette équaton, les valeurs8 >,@ B, et5 6V ñòòò sont les mêmes pour tous les voxels d une classe Le système peut être écrt sous la forme matrcelle suvante : ó U U U U ôõõõ ñó ôö; òòòñ 8 ôõõõ U U ö ó 8 8 ö ;tú,ø représentant8 >@ By5 6V : ùø Ce système est à nouveau sous la forme pseudo-nverse comme précédemment Pour les surfaces mxtes (dffuses et spéculares) Il est résolu à l ade d une matrce La méthode permettant d estmer une drecton d ncdence dentque pour tous les voxels découle drectement de la recherche d un lobe spéculare pour chaque voxel La drecton d ncdence chose est la moyenne de toutes les drectons estmées 44 Identfcaton Notre objectf pour cette parte est de détermner à la fos les caractérstques des sources et les coeffcents@ B, ett pour le modèle de Phong Rappelons que pour chaque sous-classe de voxels, les deux algorthmes d estmaton de sources sont ndépendamment applqués : recherche d une source ponctuelle et recherche d une source drectonnelle Cela peut mplquer au maxmum quatre analyses dans le cas où la caractérstque spéculare n est pas suffsamment mportante (vor secton 41, parte estmaton du type de surface) Pour chaque analyse, nous estmons une erreur_ S : _ Sï; fyhnek lnmr> ÿpoqes fyhqvw W pnsnyxlä>ˆ {OqEs ÿ A8:>@CB DIFMG~ Q pejk8:>@c> DFMGN { po 5 8 { Q p Où8 { Q p correspond à l échantllon de lumnance du voxel p;8\>@cb,8:>@c> ett sont nconnus Nous réapplquons un algorthme d dentfcaton de type descente de gradent pour amélorer l estmaton de ces paramètres tout en rédusant l erreur_ S L analyse correspondant à la plus pette erreur défnt fnalement le type de source (ponctuel ou drectonnel), la poston ou drecton de cette source, le type de surface (dffus ou mxte) et ses coeffcents de réflexon (coeffcents dffus et spéculare dépendants de la pussance de la source, et l exposant de réflexon spéculare) Il exste par conséquent une source pour chaque régon de l objet, nous les regroupons en foncton de leurs caractérstques lorsque l erreur_ S suffsamment fable 5 Résultats 51 Producton aléatore d échantllons Pour valder nos méthodes, nous avons dans un premer temps produt de manère aléatore un ensemble d échantllons de voxels et de lumnances Dans ce cadre, l envronnement est parfatement connu et calbré, cela permet de

9 valder les algorthmes de manère précse Les voxels sont défns avec une poston et une normale aléatores, éclarés par une source lumneuse, et regroupés sur un dsque d un mètre de damètre Pour chaque voxel p,la lumnance8 { Q p réfléche est calculée pour un certan nombre de drectons choses aléatorement,8y>,@cb,@c> ett étant défns par l utlsateur Dans le cas d une surface parfatement dffuse éclarée par une source ponctuelle, la détecton est correcte jusqu à une dstance de 9 mètres (entre le barycentre de l objet et le centre de la source), avec une très forte précson sur l estmaton de la poston de cette source (au cm près) Au delà de 9 mètres, l analyse estme que la source est de type drectonnel avec une estmaton adéquate de la drecton de la source Pour une surface mxte éclarée par une source ponctuelle, la poston de la source est détectée mons précsément que dans le cas d une surface dffuse La source est détectée de type drectonnel dès 6 mètres avec une bonne précson de la drecton de la source (au degré près) En dessous de 6 mètres, la source est ben détectée comme une source ponctuelle mas l mprécson crot avec la dstance séparant la source de l objet Par exemple, pour une source placée à 2 mètres de l objet, l erreur est de 15 cm sur la poston Pour une source entre 4 et 6 mètres, la poston détectée n est plus assez précse (mprécson d un mètre) Notre estmaton d erreur_ B permet néanmons de savor que ce résultat n est pas valde (vor secton 42, surfaces dffuses) La drecton d une source drectonnelle est toujours estmée au degré près pour une surface dffuse pour8<>@lb comme pour une surface mxte Dans tous les cas, l évaluaton des coeffcents de la surface sont toujours ben évalués (à 1% près et 8:>@C>, et à 5 % près pourt ), quelles que soent les valeurs données à la pussance de la source 52 Lumgraphes Nous avons également applqué ces algorthmes à pluseurs lumgraphes composés d mages synthétques ou de photographes (vor fgure 8) a b FIG 8 a Images d un lumgraphe synthétque ; b Images d un lumgraphe réel Les objets utlsés sont composés d une pette dzane de surfaces aux proprétés de réflectance dfférentes, éclarés par deux ou tros sources lumneuses Notre méthode d analyse détecte le bon nombre de sources lumneuses, toujours drectonnelles avec une précson de 15 sur la drecton de chaque source pour les mages synthétques et 40 degrés pour les photographes Dans le cas des photographes, l étape d étalonnage condtonne tous les algorthmes dès l étape de reconstructon géométrque (permettant de détermner la forme de l objet et la normale des surfaces) 6 Concluson Cet artcle présente une méthode d estmaton conjonte de sources lumneuses et de caractérstques photométrques pour des objets basés-mage Notre algorthme repose sur une estmaton précse de la géométre des objets et permet de retrouver des sources ponctuelles et des sources drectonnelles sur la base du modèle photométrque de Phong Les résultats produts montrent que la méthode est très effcace dans le cas de surfaces dffuses et permet une estmaton acceptable pour des objets réels en matère plastque Pluseurs voes restent néanmons à explorer D une part, cette méthode d analyse peut être amélorée en tenant compte des halos spéculares vus sur les mages D autre part, nous souhatons utlser cette estmaton pour ntégrer des objets réels (à base d mages) dans des envronnements vrtuels avec des calculs d éclarage réalstes

10 Références [AB91] E H Adelson and J R Bergen The Plenoptc Functon and the Elements of Early Vson, chapter 1 Computatonal Models of Vsual Processng, MIT Press, 1991 [Che95] [DM97] [GGSC96] [Gu00] [HA93] [LC87] [LH96] [Lp80] [MB95] Shengang Erc Chen Qucktme vr - an mage-based approach to vrtual envronment navgaton Computer Graphcs, 29(Annual Conference Seres) :29 38, August 1995 Paul E Debevec and Jtendra Malk Recoverng hgh dynamc range radance maps from photographs ACM Computer Graphcs, 31(Annual Conference Seres) : , August 1997 Steven J Gortler, Radek Grzeszczuk, Rchard Szelsk, and Mchael F Cohen The lumgraph ACM Computer Graphcs, 30(Annual Conference Seres) :43 54, August 1996 Erwan Gullou Smulaton d envronnements complexes non lambertens à partr d mages : applcaton à la réalté augmentée PhD thess, Unversté de Rennes 1, 2000 DR Hougen and N Ahuja Estmaton of the lght source dstrbuton and ts use n ntegrated shape recovery from stereo and shadng In Proc 4th IEEE ICCV, pages , 1993 Wllam E Lorensen and Harvey E Clne Marchng cubes : A hgh resoluton 3d surface constructon algorthm ACM Computer Graphcs, 21(Annual Conference Seres) : , July 1987 Marc Levoy and Pat Hanrahan Lghtfeld renderng Computer Graphcs, 30(Annual Conference Seres) :31 42, August 1996 Andrew Lppman Move-maps : An applcaton of the optcal vdeodsc to computer graphcs In ACM, edtor, SIGGRAPH, August 1980 L McMllan and G Bshop Plenoptc modelng : An mage-based renderng system Computer Graphcs, 29(Annual Conference Seres) :39 46, 1995 [MMF03] B Mercer, D Meneveaux, and A Fourner Lumgraphe et reconstructon géométrque In AFIG 2003, 2003 [MOC 92] G E Mller, S E Offert, E Chen, D Patterson, S Blacketter, S A Rubn, J Ym, and J Hanan The vrtual museum : Interactve 3d navgaton of a multmeda database The Journal of Vsualzaton and Computer Anmaton, 3(3) : , 1992 [NE01] Peter Nllus and Jan-Olof Eklundh Automatc estmaton of the projected lght source drecton In CVPR, pages I : , 2001 [Pen82] AP Pentland Fndng the llumnant drecton JOSA, 72 : , 1982 [Pho75] Bu-T Phong Illumnaton for computer generated pctures Communcatons of the ACM, 18(6) : , June 1975 [PSG01] [PTVF99] MW Powell, S Sarkar, and D Goldgof A smple strategy for calbratng the geometry of lght sources PAMI, 23(9) : , September 2001 Wllam H Press, Saul A Teukolsky, Wllam T Vetterlng, and Bran P Flannery Numercal Recpes n C, The Art of Scentfc Computng ed Cambrdge, 1999 [SSI99] I Sato, Y Sato, and K Ikeuch Illumnaton dstrbuton from shadows In CVPR99, pages I : , 1999 [Sze93] [VY94] Rchard Szelsk Rapd octree constructon from mage sequences In 58, edtor, CVGIP : Image Understandng, volume 1, pages 23 32, July 1993 OE Vega and YH Yang Default shape theory : Wth applcaton to the computaton of the drecton of the lght source CVGIP, 60(3) : , November 1994 [YY91] Y Yang and A Yulle Source from shadng In IEEE CVPR, pages , 1991 [ZK02] [ZY00] W Zhou and C Kambhamettu Estmaton of llumnant drecton and ntensty of multple lght sources In ECCV02, page IV : 206 ff, 2002 Y Zhang and YH Yang Illumnant drecton determnaton for multple lght sources In CVPR00, pages I : , 2000