Réalité Virtuelle : IHM immersifs

Transcription

1 Informatique S9 Module REV Réalité Virtuelle : IHM immersifs Vision 3D, stéréovision Alexis NEDELEC LISYC EA 3883 UBO-ENIB-ENSIETA Centre Européen de Réalité Virtuelle Ecole Nationale d Ingénieurs de Brest enib c 2010 nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

2 Introduction Vision 3D, stéréovision et IHM immersifs Vision 3D et Réalité Virtuelle Distribuée perception visuelle, degré d immersion 3D interaction, collaboration, coopération avec des entités 3D animation temps réel des entités de l environnement nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

3 Introduction Vision 3D, stéréovision et IHM immersifs CERV : Activités de recherches ( immersion dans un environnement de simulation interaction avec des entités artificielles modèles comportementaux d entités autonomes nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

4 Introduction Vision 3D, stéréovision et IHM immersifs Objectifs visualisation de dimensions naturelles (échelle 1) suivant différents angles d observations en fonction de divers centres d intérêts (focalisation) sans support (lunettes, casques, capteurs de localisation...) avec immersion multi-utilisateurs possibilité d interaction avec les entités de l environnement dans un contexte de travail collaboratif et coopératif nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

5 Vision 3D Vision 3D : perception du relief Vision monoculaire : perception globale du relief effets d ombres et lumières dimensions relatives d objets projection, perspective occlusion, recouvrement d objets gradient de texture de surface parallaxe de mouvement Vision binoculaire : perception locale du relief convergence : rotation des yeux, fixer une position spatiale accommodation : changement de focale du système optique stéréovision : disparité binoculaire œil droit/œil gauche nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

6 Vision monoculaire Vision 3D Vision monoculaire Effets d ombres et lumières Dimensions relatives, perspective nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

7 Vision monoculaire Vision 3D Vision monoculaire Effets d ombres et lumières Dimensions relatives, perspective nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

8 Vision monoculaire Vision 3D Vision monoculaire Occlusion, gradient de texture Parallaxe de mouvement (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

9 Illusions d optique Vision 3D Illusions d optique Phénomènes interprétés par le cerveau ce que l on voit (ne voit pas) n existe pas (existe) facteurs de perception monoculaire/binoculaire Exemple naturel : le point aveugle nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

10 Illusions d optique Vision 3D Illusions d optique Exemple naturel : regroupement de formes Exemple naturel : regroupements de lettres nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

11 Illusions d optique Vision 3D Illusions d optique Interprétations Modèles impossibles nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

12 Illusions d optique Vision 3D Illusions d optique Ombres et lumières nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

13 Illusions d optique Vision 3D Illusions d optique Ombres et lumières nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

14 Illusions d optique Vision 3D Illusions d optique Perception des contrastes nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

15 Illusions d optique Vision 3D Illusions d optique etc... etc... nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

16 Vision binoculaire Vision 3D Vision binoculaire Neurophysiologie : de la rétine aux aires visuelles Psychophysique : horoptère, aire de Panum, diplopie nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

17 Vision binoculaire Vision 3D Vision binoculaire Convergence, accommodation, disparité binoculaire Disparité binoculaire : calcul de profondeur déplacement relatif d objets entre les deux images rétiniennes relatif à la taille et à la direction de la disparité nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

18 Stéréovision Vision et stéréoscopie Principes Disparité binoculaire : Parallaxe linéaire Stéréoscopes : Wheatstone, Holmes et View-Master nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

19 Stéréovision Vision et stéréoscopie Principes Environnement réel : acquisition, restitution Profondeur et Parallaxe linéaire nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

20 Stéréovision Vision et stéréoscopie Principes Parallaxe linéaire (longitudinale, en X...) : lié à l altitude Angle et parallaxe linéaire : variations proportionnelles nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

21 Stéréovision Vision et stéréoscopie Principes Parallaxes: positive, zéro, négative (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

22 Stéréovision Caméras et stéréoscopie Caméras virtuelles Environnement virtuel : caméra réelle / caméra virtuelle Centre de visée : Toe-In, Off-Axis et plans de projection nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

23 Stéréovision Caméras et stéréoscopie Caméras virtuelles Parallaxes: positive, zéro, négative Disparité binoculaire, DIP et parallaxe croissante parallaxe négative : la profondeur diminue parallaxe positive : la profondeur augmente nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

24 Stéréovision Caméras et stéréoscopie Caméras virtuelles Calculs d images stéréoscopiques Volume de visualisation en perspective sous OpenGL glfrustum(left,right,bottom,top,near,far) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

25 Stéréovision Caméras et stéréoscopie Caméras virtuelles Calcul des paramètres de visualisation : left,right,bottom,top Ouverture de caméra en degré Θ = camera.aperture Conversion en radians du demi-champ de visualisation radians = Θ 2 Π 180 Rapport largeur/hauteur du plan proche = camera.screenwidth camera.screenheight; Rapport distances plan proche/plan de projection Ω = near d nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

26 Stéréovision Caméras et stéréoscopie Caméras virtuelles Calcul des paramètres de visualisation : top,bottom top = near tan(radians) bottom = near tan(radians) Calcul des paramètres de visualisation : left,right Caméra de gauche left = top + camera.eyesep 2 Ω right = top + camera.eyesep 2 Ω Caméra de droite left = top camera.eyesep 2 Ω right = top camera.eyesep 2 Ω nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

27 Stéréovision Systèmes d affichage 3D Caméras virtuelles Exemple : calcul es paramètres de visualisation... /* Misc stuff */ ratio = camera.screenwidth/camera.screenheight; radians = DTOR*camera.aperture/2; wd2 = near*tan(radians); ndfl = near/camera.focallength; gldrawbuffer(gl_back_left); glclear(gl_color_buffer_bit GL_DEPTH_BUFFER_BIT); if (stereo) { gldrawbuffer(gl_back_right); glclear(gl_color_buffer_bit GL_DEPTH_BUFFER_BIT);... nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

28 Stéréovision Systèmes d affichage 3D Caméras virtuelles Exemple : volume de visualisation oeil droit... CROSSPROD(camera.vd,camera.vu,r); Normalise(&r); r.x *= camera.eyesep / 2.0; r.y *= camera.eyesep / 2.0; r.z *= camera.eyesep / 2.0; glmatrixmode(gl_projection); glloadidentity(); left = -ratio*wd2-0.5*camera.eyesep*ndfl; right = ratio*wd2-0.5*camera.eyesep*ndfl; top = wd2; bottom = -wd2; // right eye frustum glfrustum(left,right,bottom,top,near,far); nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

29 Stéréovision Systèmes d affichage 3D Caméras virtuelles Exemple : caméra virtuelle oeil droit glmatrixmode(gl_modelview); gldrawbuffer(gl_back_right); glloadidentity(); glulookat(camera.vp.x + r.x, camera.vp.y + r.y,camera.vp.z + r.z, camera.vp.x + r.x + camera.vd.x, camera.vp.y + r.y + camera.vd.y, camera.vp.z + r.z + camera.vd.z, camera.vu.x,camera.vu.y,camera.vu.z); MakeLighting(); MakeGeometry();... nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

30 Stéréovision Systèmes d affichage 3D Caméras virtuelles Exemple : volume de visualisation oeil gauche... glmatrixmode(gl_projection); glloadidentity(); left = -ratio*wd2+0.5*camera.eyesep*ndfl; right = ratio*wd2+0.5*camera.eyesep*ndfl; top = wd2; bottom = -wd2; // left eye frustum glfrustum(left,right,bottom,top,near,far); nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

31 Stéréovision Systèmes d affichage 3D Caméras virtuelles Exemple : caméra virtuelle oeil gauche glmatrixmode(gl_modelview); gldrawbuffer(gl_back_left); glloadidentity(); glulookat(camera.vp.x - r.x, camera.vp.y - r.y,camera.vp.z - r.z, camera.vp.x - r.x + camera.vd.x, camera.vp.y - r.y + camera.vd.y, camera.vp.z - r.z + camera.vd.z, camera.vu.x,camera.vu.y,camera.vu.z); MakeLighting(); MakeGeometry(); } else // no stereo... nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

32 Stéréovision Systèmes d affichage 3D Caméras virtuelles Exemple complet : cf Paul Bourke nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

33 Stéréovision Systèmes d affichage 3D Caméras virtuelles Affichage stéréoscopique, volumique lunettes stéréoscopiques casques stéréoscopiques (visiocasques) écrans autostéréoscopiques affichage volumique nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

34 Systèmes d affichage 3D Systèmes d affichage 3D Affichage stéréoscopique, volumique lunettes stéréoscopiques casques stéréoscopiques (visiocasques) écrans autostéréoscopiques affichage volumique nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

35 Systèmes d affichage 3D Caractéristiques fondamentales liées aux utilisateurs champ visuel : 180 o en horiz., 45 o (haut)+ 70 o (bas) en vert. port de lunettes, casques, capteurs de localisation degré d immersion, d interaction suivi de regard, durée d utilisation... liées au système d affichage filtrage œil gauche/droit, angle de vue images fantômes, scintillement absorption de signal, variations de couleurs mono, multi-utilisateur, coût du système d immersion... nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

36 Systèmes d affichage 3D Classification des systèmes Affichage avec support lunettes stéréoscopiques (2 images/1 écran d affichage) multiplexage temporel, spatial port de lunettes, plusieurs utilisateurs visiocasque (2 images/2 écrans d affichage) port du casque, un seul utilisateur, fatigue visuelle Affichage sans support écrans auto-stéréoscopiques (2 images/1 écran d affichage) multiplexage directionnel nombre limité d utilisateurs affichage volumique (plusieurs images/1 volume d affichage) nombre d images non-limité volume de visualisation limité nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

37 Systèmes d affichage 3D Lunettes Affichage avec support : vision sur un écran Lunettes stéréoscopiques Lunettes actives : affichage alterné lunettes à obturateur électronique lunettes polarisantes linéaire ou circulaire doubler la fréquence d affichage du système Lunettes passives : multiplexage spatial lunettes anaglyphes ({ rouge,cyan }, { vert, magenta }...) écrans et lunettes à polarisation linéaire ou circulaire lunettes à filtres optiques nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

38 Systèmes d affichage 3D Lunettes Affichage avec support : vision sur un écran Lunettes actives : obturateur électronique ou polarisation d écran doubler la fréquence d affichage synchronisation obturation/système d affichage câblage, infra rouge, ultra sons nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

39 Systèmes d affichage 3D Lunettes Affichage avec support : vision sur un écran Obturateur électronique : Eyes3Shut (Télécom Brest) Polarisation active : Z-screen RealD nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

40 Systèmes d affichage 3D Lunettes Affichage avec support : vision sur un écran Polarisation passive : multiplexage spatial Polarisation passive : multiplexage de longueur d onde nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

41 Systèmes d affichage 3D Lunettes Affichage avec support : vision sur un écran Tables de projection (Stanford RW, Fakespace Desk T M ) Salles immersives (Mechdyne curve screen, VRLAB Cave) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

42 Systèmes d affichage 3D Visiocasques Affichage avec support : vision sur deux écrans Binocular Omni-Orientation Monitor (BOOM) Head, Helmet, Mounted Display (HMD), accomodation (3DDAC) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

43 Systèmes d affichage 3D Auto-stéréoscopique Affichage sans support : vision sur un écran Technique d illumination, lenticulaire Ecrans auto-stéréoscopiques : technique d illumination nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

44 Systèmes d affichage 3D Auto-stéréoscopique Affichage sans support : vision sur un écran Ecrans auto-stéréoscopiques (Alioscopy) dispositif lenticulaire placé devant le système d affichage Ecrans auto-stéréoscopiques (David Trayner, HDS) Element Optique Holographique (HOE) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

45 Systèmes d affichage 3D Auto-stéréoscopique Affichage sans support : vision sur un écran Chromostéréoscopie réfraction de la lumière par la cornée et le cristallin axe visuel différent de l axe optique la lumière bleue converge plus vers le nez la lumière rouge converge plus vers les tempes un objet rouge semblera être plus près qu un objet bleu nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

46 Systèmes d affichage 3D Auto-stéréoscopique Affichage sans support : vision sur un écran Chromostéréoscopie nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

47 Systèmes d affichage 3D Auto-stéréoscopique Affichage sans support : vision sur un écran Chromostéréoscopie codage de la profondeur en couleurs décodage des couleurs en profondeur par le système de lunettes Richard Steenblik (1986): lunettes 3-D ChromaDepthTM(1992) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

48 Systèmes d affichage 3D Affichage volumique Affichage sans support : affichage volumique Holographie : enregistrement et restitution MIT Spatial Imaging Group: holovideo (Marc Lucente) Perception stéréoscopique naturelle image volumique : ( )mm 3 ) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

49 Systèmes d affichage 3D Affichage volumique Affichage sans support : affichage volumique Perspecta 3D System: Perception stéréoscopique naturelle 768 pixels x 768 pixels x 198 slices ( 100 million voxels) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

50 Conclusion Conclusion Systèmes d affichage stéréoscopique : classification (Paul Bourke) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

51 Conclusion Systèmes d affichage stéréoscopique Classification (Paul Bourke) effets de scintillement (actif,passif) images fantômes (actif) basse résolution (auto-stéréoscopie) dispositifs spécifiques (passif, Infitec, auto-stéréoscopie) prix élevés (Infitec) exhibitions publiques (passif) domaine de recherche (HMD, Infitec et Eyes3Shut) adapté au cinéma, télé (Zscreen, Eyes3Shut, Infitec) adapté aux jeux vidéos (actif, Eyes3Shut) nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

52 Conclusion Au delà de l affichage Immersion et Interaction AVIE : Advanced Visualisation and Interaction Environment visualisation 3D, sons spatialisés suivi de mouvement détection de formes nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

53 Références Références Bibliographie G. Burdea P. Coiffet: Virtual Reality Technology, Ed., Wiley-Interscience, 2003 P. Fuchs, G.Moreau et.al : Traité de la Réalité Virtuelle Ed., Les Presses des Mines, 2006 B. Mendiburu: 3D Movie Making : Sterosopic Digital Cinema from Script to Screen, Ed.,Elsevier focal Press, 2009 nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54

54 Références Références Adresses Au Net : Affichage 3D perception visuelle : Paul Bourke : histoire de la stéréoscopie: radar et Stéréoscopie : Adresses Au Net : Laboratoires, Produits graphics.stanford.edu, um3d.dc.umich.edu nedelec@enib.fr (ENIB-CERV) Réalité Virtuelle : IHM immersifs enib c / 54