Vision Humaine et Réalité Virtuelle

Rencontres de la réalité virtuelle (2002), pp. 1 5 Vision Humaine et Réalité Virtuelle Jean Philippe Farrugia LISSE, Centre SIMMO, Ecole des Mines de Saint Etienne 158 Cours Fauriel, 42023 Saint Etienne, France email: jpfarrug@emse.fr Résumé Dans cet article, nous expliquerons pourquoi la connaissance du systême visuel humain est importante en synthèse d images ainsi qu en réalité virtuelle. Nous evoquerons certains problèmes presents en réalité virtuelle qui peuvent, grâce à un modele de vision simplifié, trouver une solution efficace et élegante. 1. Introduction La réalité virtuelle est un domaine florissant, proposant sans cesse de nouvelles applications. Avec la puissance toujours grandissante des matériels informatique, l immersion de l utilisateur dans un univers virtuel a aujourd hui fait des progrès considérables : les dispositifs sont de plus en plus sophistiqués, et la capacité de traitement des informations ne cesse d augmenter. Toutefois, il est un aspect qui est systématiquement oublié dans le rendu d images : l observateur. En effet, dans le domaine de la réalité virtuelle, les images sont visualisées par un être humain, doté de certaines capacités et certaines limites. Cet état de fait impose deux constatations. Premièrement, les caractéristiques lumineuses de environnement simulé sont souvent très différentes de celles du dispositif de reproduction, rendant du coup la simulation moins crédible. Deuxièmement, il serait intéressant d utiliser, en contrepartie, les limites du systême visuel pour opitmiser et accélérer le rendu des images. Cet article sera partagé en quatre sections, cette introdution étant la première. Dans la deuxième, nous développerons l aspect fidèlité entre la simulation et la scène réelle. La troisième section montrera que la connaissance de certaines caractéristiques visuelles permettent d obtenir des images plus rapidement. Nous terminerons par les conclusions et perspectives. 2. Fidelité en réalité virtuelle? Comme nous l avons précisé dans l introduction, un des problèmes auquels un utilisateur de technologies de réalité virtuelle se retrouve confronté est le fait que les caractéristiques lumineuses de la scène simulée sont très éloignées des capacités réelles des dispositifs de reproduction. Nous allons, dans cette section, partager ces problèmes en deux catégories. Premièrement, nous parlerons des problèmes de dynamiques des luminance présente dans la scène. Deuxièmement, nous évoquerons les problèmes de couleur qui peuvent se présenter. 2.1. Dynamique des luminances 2.1.1. Le problème En réalité virtuelle, comme en synthèse d images, une scène simulée peut contenir des écarts de luminances considérables. Prenons l exemple d un simulateur de conduite automobile de nuit. Il est aisé d imaginer que la luminance au niveau des phares est très supérieure à celle présente au niveau de la route. Pourtant, la scène entière est parfaitement visible. Ce phénomène est dû aux surprenantes capacités d adaptation de l oeil humain, capable de s adapter localement au contexte d une image pour couvrir jusqu a 3 ordres de grandeurs en luminance dans la même scène. Malheureusement, les capacités des dispositifs de reproduction comunéments utilisé, comme les écrans (CRT ou LCD), les imprimantes ou encore les projecteurs sont loins de telles

2 J.P Farrugia / Vision Humaine et Réalité Virtuelle prouesses. Typiquement, un moniteur CRT peut retranscrire des luminance entre 0 (ou presque) et 100 candelas par metre carré. De plus, cette dynamique est différente pour chaque canal chromatique. La figure 1 montre une photo prise lors d une conduite de nuit. Cette image paraît bien éloignée de la perception que l on s attend à avoir dans cette situation. En particulier, le fond de la scène, une ville, ne serait sans doute pas perçu de manière aussi sombre. 2.1.2. Les solutions (éventuelles...) La solution peut se présenter sous la forme d un opérateur de reproduction de tons, ou Tone Mapping en anglais. Cet opérateur doit transformer de manière correcte les contrastes perçus en contrastes affichables. Selon Tumblin et Rushmeier ( TR93 ), le problème peut se conceptualiser comme indiqué sur la figure 2. Sur cette figure, nous avons deux observateurs. Le premier regarde la scène rélle ; Il transforme donc une carte de luminance en sensation visuelle. Le second observe la représentation de cette carte sur un dispositif de reproduction, comme par exemple un moniteur. Il perçoit donc la carte de luminance issue du moniteur, qui est la composition de l algorithme de reproduction de tons et de la fonction de transfer du moniteur. Le principe est de se dire qu on ne veut pas égaliser les luminances (ce qui est, de toutes façons, physiquement impossible), mais les sensations visuelles. Ces quantités sont appelées Brillance en anglais, et mesurées en Bril. Pour obtenir un tel résultat, il faut, toujours d après TR93, prendre un modèle d observateur du monde réel et lui ajouter l inverse de l observateur de l écran et l inverse de l écran. Un bon opérateur de reproduction sera donc celui qui minimisera les différences entre les deux sensations issues des deux observateurs. Il faut pour cela être capable de modéliser par une fonction mathématique ou un processus chacune des caractéristiques des élements de la figure 2. Celles du moniteur sont relativement bien connues. La modélisation de celles de l observateur prend quant à elle la forme d un Modèle de vision, sorte d assemblage de fonctions psychovisuelles représentant chacune une étape du cheminement de l information lumineuse dans le systême visuel. Il existe de très nombreux articles sur la reproduction de tons. Nous avons déjà cité la méthode de Tumblin et Rushmeier( TR93 ), mais il y a d autres approches comme celle de Ward( War94 ), qui calcule un seul facteur simple de conversion pour toute l image, ou encore celle de Ward, Piatko et Rushmeier LRP97, qui utilise une égalisation d histogramme basée sur des critères psychovisuels. Ces méthodes traditionnelles fonctionnent bien, dans la Elle est par exemple très inférieure à la valeur sus-citée pour le canal rouge plupart des cas, en synthèse d images mais le domaine de la réalité virtuelle impose une contrainte supplémentaire : cette opération doit être effectuée au moins 25 fois par seconde. Son éxécution doit donc être très courte. Dans ces conditions, il est impensable d appliquer un modèle de vision complexe. De nouveaux algorithmes ont donc été conçus pour obtenir un résultat similaire, mais en temps réel. Nous pouvons citer, entre autres, la méthode de Sheelet al ( SSS00 ) ainsi que la méthode de Durand et Dorsey ( DD00 ). Les deux sont basés sur la simplification d une méthode existante, couplée à une tabulation judicieuse des fonctions complexes et à une utilisation efficace des accélérateurs graphiques. 2.2. Problèmes de couleur et aspects spectraux 2.2.1. Les problèmes Les luminances ne sont pas les seules à poser des problèmes de fidélité envers la scène simulée. Les couleurs peuvent elles aussi être une source de nombreuses difficultés. En effet, la couleur est un aspect à la fois physique, car elle résulte de l interaction de la lumière avec la matière, mais aussi physiologique car sa perception est le résultat d un processus complexe au niveau de la rétine et du cortex supérieur. Il existe donc toute une gamme de phénomènes visuels qui sont difficilement simulables en temps réel à l heure actuelle. Nous pouvons citer par exemple la constance couleur, qui maintient la perception d une couleur malgré les changements d illuminants, ou encore tous les phénomènes d origine spectrale, trop nombreux pour être cités ici, mais dont quelques exemples peuvent etre trouvés sur la figure 3. 2.2.2. Les solutions envisageables La solution pour ces aspects couleur vient généralement d un opérateur de reproduction de tons performant couplé à un traitement spectral, et non plus RGB, des données. La méthode présentée par Pattanaik et al dans ( PFFG98 ) montre un opérateur de reproduction de tons, basé sur un modèle de vision très puissant, capable de simuler, entre autres, la constance couleur. Toutefois, cette méthode n est pas utilisable en temps réel, les temps de calculs étant assez longs. De plus, pour être suffisemment efficace, ce modèle a toutefois besoin de données spectrales en entrée. Or, obtenir de telles données nécessite d utiliser un stockage intensif des caractéristiques spectrales de tous les matériaux présents dans la scène simulée, ainsi qu un algorithme de rendu évolué, de type lancer de rayons par exemple. Il paraît donc très difficile d appliquer telles quelles ces techniques à la réalité virtuelle, pour l instant. Une solution adaptative pourrait être envisagée, pour le modèle de vision au moins : ce dernier pourrait être évalué de manière partielle seulement, les valeurs manquantes étant alors interpolées. Artusi et Wilkie ont présenté, dans AW02, un algorithme qui suit cette démarche.

J.P Farrugia / Vision Humaine et Réalité Virtuelle 3 Figure 1: Photo prise lors d une conduite de nuit Lmr Observateur Monde reel Monde reel Bmr Carte de luminances Lmr Tone mapping n Moniteur Ld Observateur Display Bd Display D apres Tumblin-Rushmeier(92) Figure 2: Schéma de principe de la reproduction de tons 3. Optimisation en utilisant les caractéristiques de la perception visuelle Dans la première section, nous avons présenté des aspects perceptuels qui n étaient pas ou peu pris en compte dans le rendu d image de synthèse à l heure actuelle. Nous allons maintenant expliquer comment au contraire nous pouvons utiliser les limites du système visuel pour économiser les ressources machines. Deux point de vue peuvent être abordés : la définition des objets de la scène, et le rendu de l image. 3.1. Optimisation de la définition des objets Plus un objet est détaillé, plus le nombre de facettes nécessaires à sa modélisation est élevé. Mais ces détails ne sont pas nécessairement tous visibles : par exemple, si l objet est loin de l observateur, il ne percevra que grossièrement la forme de l objet. Il peut donc être interessant d adapter le niveau de détail de l objet en fonction de l observateur. Luebke présente dans LE97 un algorithme perceptuel de décimation de facettes prenant en compte la distance de l observateur (voir figure 4). Les aspects dynamiques d un objet altèrent également sa perception : si un objet passe très vite Notons que d autres facteurs que la distance de visualisation peuvent intervenir, comme par exemple le niveau d éclairement, ou le contexte de l objet visualisé dans le champs de vision de l utilisateur, il sera perçu comme une ombre floue. Là encore, les détails sont inutiles. Yee a travaillé, dans YPG01, sur un modèle permettant de prévoir ces phénomènes. Ces méthodes devraient pouvoir s adapter sans trop de problèmes à la réalité virtuelle. Elles nécessiteront sans doute une légere adaptation et un calibrage différent car les périphériques de visualisation ne sont pas les mêmes qu en synthèse d image classique. 3.2. Optimisation du rendu Le niveau de détail des objets n est pas le seul critère influant sur les temps de calcul : la scène elle même peut être éclairée de manière complexe, générant des ombres douces (pénombres), de l éclairement indirect ou encore des caustiques. Dans tous ces cas de figure, simplifier les objets est inutile car la complexité de la simulation n est ici pas inhérente à sa géom trie. La démarche généralement adoptée dans ce cas est d inclure un modèle de vision dans un algorithme de rendu adaptatif ou progressif. Ce modèle de vision effectuera un contrôle d erreur sur la simulation obtenue, le but étant d obtenir le meilleur rapport qualité-temps de calcul. En bref, une image de qualité médiocre est générée en premier lieu. Sa perception est évaluée en tout point par la modèle de vision, et le calcul ne se poursuivra que dans les zones où

4 J.P Farrugia / Vision Humaine et Réalité Virtuelle Figure 3: Exemples de phénomènes spectraux. A gauche, dispersion de la lumière par un diamant (issu de SFDC01 ). Au centre, scène illuminée par une lampe à vapeur de sodium, le calcul est effectué avec un traitement spectral des données. A droite, la même scène avec un traitement RGB (issu de Ieh00 Figure 4: Décimation perceptuelle de facettes. Les lapins de gauche et de droite devraient paraître identique en admettant que l observateur fixe le haut de la page à une distance de 29cm la perceptibilité des détails est élevée. Les travaux dans ce domaine commencent à être relaitvement nombreux. Nous pouvons citer Mys98, RPG99, MTAS01 ou encore Far02. L application de ces méthodes au temps réel est du domaine du possible : les travaux récents de Myszkowski( MTAS01 ) produisent des résultats en temps interactif, à une fréquence de quelques images par seconde. Il est donc raisonnable de penser que le temps réel sera bientot atteint. 4. Conclusion et perspectives Dans cet article, nous avons montré que la prise en compte de la vision humaine était un aspect important lors de la géneration d images virtuelles. Elle permet de renforcer l aspect réaliste d une part, et de réduire les temps de calcul d autre part. Toutefois, l utilisation de modèles évolués demande des ressources mémoire et CPU importantes. Il reste maintenant à exploiter les carcactéristiques visuelles spécifiques à la réalité virtuelle. Dans ce domaine par exemple, les images sont stéréoscopique, ce qui n est pas le cas en synthèse d image classique. Le point de focalisation joue également une grande importance, car l attention y est plus importante que partout ailleurs dans la scène. Enfin, il est aussi sans doute possible d exploiter certaines caractéristiques visuelles en adéquation avec une application bien précise. Par exemple, dans le cas d une simulation architecturale, il sera important de correctement simuler les phénomènes d adaptation en luminance, alors que l aspect couleur pourra être un peu delaissé. Ce serait différent si l application considérée était une application de conception assistée par ordinateur. References AW02.A. Artusi and A. Wilkie. A new real time tone mapping model. Technical Report TR-186-2-02-02, Institute of Computer Graphics and Algorithms, Vienna University of Technology,A-1040 Karlsplatz 13/186/2, 2002. DD00.Fredo Durand and Julie Dorsey. Interactive tone mapping. In B. Peroche and H. Rushmeier, editors, Rendering Techniques 2000 (Proceedings of the Eleventh Eurographics Workshop on Rendering), pages 219 230, New York, NY, 2000. Springer Wien. Far02.J.P Farrugia. Modèles de vision et algorithmes de rendu. PhD thesis, École des Mines de Saint Etienne, November 2002.

J.P Farrugia / Vision Humaine et Réalité Virtuelle 5 Ieh00.J.C. Iehl. Etudes sur le lancer de rayons spectral. PhD thesis, École des Mines de Saint Etienne, November 2000. LE97.David Luebke and Carl Erikson. View-dependent simplification of arbitrary polygonal environments. Computer Graphics, 31(Annual Conference Series) :199 208, August 1997. YPG01. Hector Yee, Sumanta Pattanaik, and Donald P. Greenberg. Spatiotemporal sensistivity and visual attention for efficient rendering of dynamic environments. ACM Transactions on Graphics, 20(1), January 2001. LRP97.Gregory Ward Larson, Holly Rushmeier, and Christine Piatko. A Visibility Matching Tone Reproduction Operator for High Dynamic Range Scenes. IEEE Transactions on Visualization and Computer Graphics, 3(4) :291 306, October 1997. MTAS01. Karol Myszkowksi, Takehiro Tawara, Hiroyuki Akamine, and Hans-Peter Seidel. Perception-guided global illumination solution for animation. In Computer Graphics (SIGGRAPH 2001 Conference Proceedings), volume 35, pages 221 230, August 2001. Mys98.Karol Myszkowski. The visible differences predictor : Applications to global illumination problems. In G. Drettakis and N. Max, editors, Rendering Techniques 98 (Proceedings of Eurographics Rendering Workshop 98), pages 233 236, New York, NY, 1998. Springer Wien. PFFG98. Sumanta N. Pattanaik, James A. Ferwerda, Mark D. Fairchild, and Donald P. Greenberg. A multiscale model of adaptation and spatial vision for realistic image display. In Computer Graphics (SIGGRAPH 98 Conference Proceedings), volume 32, pages 287 298, July 1998. RPG99. Mahesh Ramasubramanian, Sumanta N. Pattanaik, and Donald P. Greenberg. A perceptually based physical error metric for realistic image synthesis. In Computer Graphics (SIGGRAPH 99 Conference Proceedings), volume 33, pages 73 82, 1999. SFDC01. Yinlong Sun, David Fracchia, Mark S. Drew, and Thomas W. Calvert. A spectrally based framework for realistic image synthesis. The Visual Computer, 17(7) :429 444, 2001. SSS00.A. Scheel, M. Stamminger, and H.-P. Seidel. Tone reproduction for interactive walkthroughs. Computer Graphics Forum, 19(3) :????, August 2000. TR93.Jack Tumblin and Holly E. Rushmeier. Tone reproduction for realistic images. IEEE Computer Graphics and Applications, 13(6) :42 48, November 1993. also appeared as Tech. Report GIT-GVU-91-13, Graphics, Visualization & Usability Center, Coll. of Computing, Georgia Institute of Tech. War94.Greg Ward. A contrast-based scalefactor for luminance display. In Paul Heckbert, editor, Graphics Gems IV, pages 415 421. Academic Press, Boston, 1994.