Informatique S9 Module REV Réalité Virtuelle : IHM immersifs Vision 3D, stéréovision Alexis NEDELEC LISYC EA 3883 UBO-ENIB-ENSIETA Centre Européen de Réalité Virtuelle Ecole Nationale d Ingénieurs de Brest enib c 2010 nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 1 / 54
Introduction Vision 3D, stéréovision et IHM immersifs Vision 3D et Réalité Virtuelle Distribuée perception visuelle, degré d immersion 3D interaction, collaboration, coopération avec des entités 3D animation temps réel des entités de l environnement nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 2 / 54
Introduction Vision 3D, stéréovision et IHM immersifs CERV : Activités de recherches (www.cerv.fr) immersion dans un environnement de simulation interaction avec des entités artificielles modèles comportementaux d entités autonomes nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 3 / 54
Introduction Vision 3D, stéréovision et IHM immersifs Objectifs visualisation de dimensions naturelles (échelle 1) suivant différents angles d observations en fonction de divers centres d intérêts (focalisation) sans support (lunettes, casques, capteurs de localisation...) avec immersion multi-utilisateurs possibilité d interaction avec les entités de l environnement dans un contexte de travail collaboratif et coopératif nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 4 / 54
Vision 3D Vision 3D : perception du relief Vision monoculaire : perception globale du relief effets d ombres et lumières dimensions relatives d objets projection, perspective occlusion, recouvrement d objets gradient de texture de surface parallaxe de mouvement Vision binoculaire : perception locale du relief convergence : rotation des yeux, fixer une position spatiale accommodation : changement de focale du système optique stéréovision : disparité binoculaire œil droit/œil gauche nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 5 / 54
Vision monoculaire Vision 3D Vision monoculaire Effets d ombres et lumières Dimensions relatives, perspective nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 6 / 54
Vision monoculaire Vision 3D Vision monoculaire Effets d ombres et lumières Dimensions relatives, perspective nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 7 / 54
Vision monoculaire Vision 3D Vision monoculaire Occlusion, gradient de texture Parallaxe de mouvement nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 8 / 54
Illusions d optique Vision 3D Illusions d optique Phénomènes interprétés par le cerveau ce que l on voit (ne voit pas) n existe pas (existe) facteurs de perception monoculaire/binoculaire Exemple naturel : le point aveugle nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 9 / 54
Illusions d optique Vision 3D Illusions d optique Exemple naturel : regroupement de formes Exemple naturel : regroupements de lettres nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 10 / 54
Illusions d optique Vision 3D Illusions d optique Interprétations Modèles impossibles nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 11 / 54
Illusions d optique Vision 3D Illusions d optique Ombres et lumières nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 12 / 54
Illusions d optique Vision 3D Illusions d optique Ombres et lumières nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 13 / 54
Illusions d optique Vision 3D Illusions d optique Perception des contrastes nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 14 / 54
Illusions d optique Vision 3D Illusions d optique etc... etc... nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 15 / 54
Vision binoculaire Vision 3D Vision binoculaire Neurophysiologie : de la rétine aux aires visuelles Psychophysique : horoptère, aire de Panum, diplopie nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 16 / 54
Vision binoculaire Vision 3D Vision binoculaire Convergence, accommodation, disparité binoculaire Disparité binoculaire : calcul de profondeur déplacement relatif d objets entre les deux images rétiniennes relatif à la taille et à la direction de la disparité nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 17 / 54
Stéréovision Vision et stéréoscopie Principes Disparité binoculaire : Parallaxe linéaire Stéréoscopes : Wheatstone, Holmes et View-Master nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 18 / 54
Stéréovision Vision et stéréoscopie Principes Environnement réel : acquisition, restitution Profondeur et Parallaxe linéaire nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 19 / 54
Stéréovision Vision et stéréoscopie Principes Parallaxe linéaire (longitudinale, en X...) : lié à l altitude Angle et parallaxe linéaire : variations proportionnelles nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 20 / 54
Stéréovision Vision et stéréoscopie Principes Parallaxes: positive, zéro, négative nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 21 / 54
Stéréovision Caméras et stéréoscopie Caméras virtuelles Environnement virtuel : caméra réelle / caméra virtuelle Centre de visée : Toe-In, Off-Axis et plans de projection nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 22 / 54
Stéréovision Caméras et stéréoscopie Caméras virtuelles Parallaxes: positive, zéro, négative Disparité binoculaire, DIP et parallaxe croissante parallaxe négative : la profondeur diminue parallaxe positive : la profondeur augmente nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 23 / 54
Stéréovision Caméras et stéréoscopie Caméras virtuelles Calculs d images stéréoscopiques Volume de visualisation en perspective sous OpenGL glfrustum(left,right,bottom,top,near,far) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 24 / 54
Stéréovision Caméras et stéréoscopie Caméras virtuelles Calcul des paramètres de visualisation : left,right,bottom,top Ouverture de caméra en degré Θ = camera.aperture Conversion en radians du demi-champ de visualisation radians = Θ 2 Π 180 Rapport largeur/hauteur du plan proche = camera.screenwidth camera.screenheight; Rapport distances plan proche/plan de projection Ω = near d nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 25 / 54
Stéréovision Caméras et stéréoscopie Caméras virtuelles Calcul des paramètres de visualisation : top,bottom top = near tan(radians) bottom = near tan(radians) Calcul des paramètres de visualisation : left,right Caméra de gauche left = top + camera.eyesep 2 Ω right = top + camera.eyesep 2 Ω Caméra de droite left = top camera.eyesep 2 Ω right = top camera.eyesep 2 Ω nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 26 / 54
Stéréovision Systèmes d affichage 3D Caméras virtuelles Exemple : calcul es paramètres de visualisation... /* Misc stuff */ ratio = camera.screenwidth/camera.screenheight; radians = DTOR*camera.aperture/2; wd2 = near*tan(radians); ndfl = near/camera.focallength; gldrawbuffer(gl_back_left); glclear(gl_color_buffer_bit GL_DEPTH_BUFFER_BIT); if (stereo) { gldrawbuffer(gl_back_right); glclear(gl_color_buffer_bit GL_DEPTH_BUFFER_BIT);... nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 27 / 54
Stéréovision Systèmes d affichage 3D Caméras virtuelles Exemple : volume de visualisation oeil droit... CROSSPROD(camera.vd,camera.vu,r); Normalise(&r); r.x *= camera.eyesep / 2.0; r.y *= camera.eyesep / 2.0; r.z *= camera.eyesep / 2.0; glmatrixmode(gl_projection); glloadidentity(); left = -ratio*wd2-0.5*camera.eyesep*ndfl; right = ratio*wd2-0.5*camera.eyesep*ndfl; top = wd2; bottom = -wd2; // right eye frustum glfrustum(left,right,bottom,top,near,far); nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 28 / 54
Stéréovision Systèmes d affichage 3D Caméras virtuelles Exemple : caméra virtuelle oeil droit glmatrixmode(gl_modelview); gldrawbuffer(gl_back_right); glloadidentity(); glulookat(camera.vp.x + r.x, camera.vp.y + r.y,camera.vp.z + r.z, camera.vp.x + r.x + camera.vd.x, camera.vp.y + r.y + camera.vd.y, camera.vp.z + r.z + camera.vd.z, camera.vu.x,camera.vu.y,camera.vu.z); MakeLighting(); MakeGeometry();... nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 29 / 54
Stéréovision Systèmes d affichage 3D Caméras virtuelles Exemple : volume de visualisation oeil gauche... glmatrixmode(gl_projection); glloadidentity(); left = -ratio*wd2+0.5*camera.eyesep*ndfl; right = ratio*wd2+0.5*camera.eyesep*ndfl; top = wd2; bottom = -wd2; // left eye frustum glfrustum(left,right,bottom,top,near,far); nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 30 / 54
Stéréovision Systèmes d affichage 3D Caméras virtuelles Exemple : caméra virtuelle oeil gauche glmatrixmode(gl_modelview); gldrawbuffer(gl_back_left); glloadidentity(); glulookat(camera.vp.x - r.x, camera.vp.y - r.y,camera.vp.z - r.z, camera.vp.x - r.x + camera.vd.x, camera.vp.y - r.y + camera.vd.y, camera.vp.z - r.z + camera.vd.z, camera.vu.x,camera.vu.y,camera.vu.z); MakeLighting(); MakeGeometry(); } else // no stereo... nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 31 / 54
Stéréovision Systèmes d affichage 3D Caméras virtuelles Exemple complet : cf Paul Bourke nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 32 / 54
Stéréovision Systèmes d affichage 3D Caméras virtuelles Affichage stéréoscopique, volumique lunettes stéréoscopiques casques stéréoscopiques (visiocasques) écrans autostéréoscopiques affichage volumique nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 33 / 54
Systèmes d affichage 3D Systèmes d affichage 3D Affichage stéréoscopique, volumique lunettes stéréoscopiques casques stéréoscopiques (visiocasques) écrans autostéréoscopiques affichage volumique nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 34 / 54
Systèmes d affichage 3D Caractéristiques fondamentales liées aux utilisateurs champ visuel : 180 o en horiz., 45 o (haut)+ 70 o (bas) en vert. port de lunettes, casques, capteurs de localisation degré d immersion, d interaction suivi de regard, durée d utilisation... liées au système d affichage filtrage œil gauche/droit, angle de vue images fantômes, scintillement absorption de signal, variations de couleurs mono, multi-utilisateur, coût du système d immersion... nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 35 / 54
Systèmes d affichage 3D Classification des systèmes Affichage avec support lunettes stéréoscopiques (2 images/1 écran d affichage) multiplexage temporel, spatial port de lunettes, plusieurs utilisateurs visiocasque (2 images/2 écrans d affichage) port du casque, un seul utilisateur, fatigue visuelle Affichage sans support écrans auto-stéréoscopiques (2 images/1 écran d affichage) multiplexage directionnel nombre limité d utilisateurs affichage volumique (plusieurs images/1 volume d affichage) nombre d images non-limité volume de visualisation limité nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 36 / 54
Systèmes d affichage 3D Lunettes Affichage avec support : vision sur un écran Lunettes stéréoscopiques Lunettes actives : affichage alterné lunettes à obturateur électronique lunettes polarisantes linéaire ou circulaire doubler la fréquence d affichage du système Lunettes passives : multiplexage spatial lunettes anaglyphes ({ rouge,cyan }, { vert, magenta }...) écrans et lunettes à polarisation linéaire ou circulaire lunettes à filtres optiques nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 37 / 54
Systèmes d affichage 3D Lunettes Affichage avec support : vision sur un écran Lunettes actives : obturateur électronique ou polarisation d écran doubler la fréquence d affichage synchronisation obturation/système d affichage câblage, infra rouge, ultra sons nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 38 / 54
Systèmes d affichage 3D Lunettes Affichage avec support : vision sur un écran Obturateur électronique : Eyes3Shut (Télécom Brest) Polarisation active : Z-screen RealD nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 39 / 54
Systèmes d affichage 3D Lunettes Affichage avec support : vision sur un écran Polarisation passive : multiplexage spatial Polarisation passive : multiplexage de longueur d onde nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 40 / 54
Systèmes d affichage 3D Lunettes Affichage avec support : vision sur un écran Tables de projection (Stanford RW, Fakespace Desk T M ) Salles immersives (Mechdyne curve screen, VRLAB Cave) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 41 / 54
Systèmes d affichage 3D Visiocasques Affichage avec support : vision sur deux écrans Binocular Omni-Orientation Monitor (BOOM) Head, Helmet, Mounted Display (HMD), accomodation (3DDAC) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 42 / 54
Systèmes d affichage 3D Auto-stéréoscopique Affichage sans support : vision sur un écran Technique d illumination, lenticulaire Ecrans auto-stéréoscopiques : technique d illumination nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 43 / 54
Systèmes d affichage 3D Auto-stéréoscopique Affichage sans support : vision sur un écran Ecrans auto-stéréoscopiques (Alioscopy) dispositif lenticulaire placé devant le système d affichage Ecrans auto-stéréoscopiques (David Trayner, HDS) Element Optique Holographique (HOE) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 44 / 54
Systèmes d affichage 3D Auto-stéréoscopique Affichage sans support : vision sur un écran Chromostéréoscopie réfraction de la lumière par la cornée et le cristallin axe visuel différent de l axe optique la lumière bleue converge plus vers le nez la lumière rouge converge plus vers les tempes un objet rouge semblera être plus près qu un objet bleu nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 45 / 54
Systèmes d affichage 3D Auto-stéréoscopique Affichage sans support : vision sur un écran Chromostéréoscopie nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 46 / 54
Systèmes d affichage 3D Auto-stéréoscopique Affichage sans support : vision sur un écran Chromostéréoscopie codage de la profondeur en couleurs décodage des couleurs en profondeur par le système de lunettes Richard Steenblik (1986): lunettes 3-D ChromaDepthTM(1992) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 47 / 54
Systèmes d affichage 3D Affichage volumique Affichage sans support : affichage volumique Holographie : enregistrement et restitution MIT Spatial Imaging Group: holovideo (Marc Lucente) Perception stéréoscopique naturelle image volumique : (40 80 150)mm 3 ) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 48 / 54
Systèmes d affichage 3D Affichage volumique Affichage sans support : affichage volumique Perspecta 3D System: Perception stéréoscopique naturelle 768 pixels x 768 pixels x 198 slices ( 100 million voxels) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 49 / 54
Conclusion Conclusion Systèmes d affichage stéréoscopique : classification (Paul Bourke) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 50 / 54
Conclusion Systèmes d affichage stéréoscopique Classification (Paul Bourke) effets de scintillement (actif,passif) images fantômes (actif) basse résolution (auto-stéréoscopie) dispositifs spécifiques (passif, Infitec, auto-stéréoscopie) prix élevés (Infitec) exhibitions publiques (passif) domaine de recherche (HMD, Infitec et Eyes3Shut) adapté au cinéma, télé (Zscreen, Eyes3Shut, Infitec) adapté aux jeux vidéos (actif, Eyes3Shut) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 51 / 54
Conclusion Au delà de l affichage Immersion et Interaction AVIE : Advanced Visualisation and Interaction Environment visualisation 3D, sons spatialisés suivi de mouvement détection de formes nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 52 / 54
Références Références Bibliographie G. Burdea P. Coiffet: Virtual Reality Technology, Ed., Wiley-Interscience, 2003 P. Fuchs, G.Moreau et.al : Traité de la Réalité Virtuelle Ed., Les Presses des Mines, 2006 B. Mendiburu: 3D Movie Making : Sterosopic Digital Cinema from Script to Screen, Ed.,Elsevier focal Press, 2009 nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 53 / 54
Références Références Adresses Au Net : Affichage 3D perception visuelle : http://www.yorku.ca/eye/thejoy.htm Paul Bourke : http://local.wasp.uwa.edu.au/~pbourke histoire de la stéréoscopie: http://www.stereographer.com radar et Stéréoscopie : http://www.ccrs.nrcan.gc.ca Adresses Au Net : Laboratoires, Produits graphics.stanford.edu, um3d.dc.umich.edu www.stereo3d.com, www.vrex.com www.virtualresearch.com, www.actuality-systems.com www.fakespace.co, www.mechdyne.com nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c 2010 54 / 54