Introduction! Réalité virtuelle «Technologie qui permet à un utilisateur d interagir avec un environnement simulé par l ordinateur, qu il soit réel ou imaginaire!» But: immerger tous les sens de l utilisateur pour qu il ne puisse plus faire la différence entre le réel et le virtuel INTRODUCTION À LA RÉALITÉ VIRTUELLE ET AU RETOUR HAPTIQUE Géry Casiez Introduction http://www.lifl.fr/~casiez Introduction
Vision Dassault System Vision Dassault System 5 6 Vision Dassault System Introduction 7! Solliciter les 5 sens + permettre à l utilisateur d interagir! Périphériques de sortie : rendre intelligible des données de l ordinateur! Périphérique d entrée : entrée ou modification des données de l ordinateur
Introduction Introduction 3D Périphériques de sortie Périphériques d entrée discret 2D ouie Périphériques d entrée Périphériques de sortie vue ordinateur Chaque périphérique d entrée est adapté à une tâche bien précise Souris : aucune résistance = périphérique isotonique Joystick : résistance variable = périphérique élastique Trackpoint : résistance infinie = périphérique isométrique continus ordinateur odorat, goût toucher???????!##$%&'()*++'(),-&.'(/01--23(34()-&&4(5(!&41.&6-&!#!$%&$'%() *+%&,-!)./) 0'1-*$'.&2) 3-/.1-) #-,'&&'&,) $+-) $%!45) 6%1$'*'6%&$!) 7-1-) /%8'('%1'9-0) 7'$+) $+-) :;) -<'68-&$) %&0) 61%*$'*-0)7%(4'&,)'&)6(%*-2) Introduction Redirected walking Classification des périphériques d entrée continus 12 2D ) 3D isotonique contrôle en position élastique isométrique (*+',&-.$%& =+-).>-1%((),.%()7%!)$.)$ $+%$)$'8-5)1-! #%*4)7%(()$+% -?6-1'-&*-0),.%() 7%!) $.) &.$'*-0)7+-$ %&0) 8.!$) +',.&)$+-)!-&!-) F($+.,+) $+'.&(D)-?6-1'*.&$1.()!$0D %#.$) -%*+) >%1'%$'.&)./ '&0-6-&0-&$) '&*(0-0),,1%0%$-5) %* -?$-&$)./)*.8 7'$+) >'1$%() M-!$'.&&%'1 7-1-) $%4-&) -?6-1'8-&$%( =+-)-?6-1'8 contrôle en vitesse ).-/01-230/!-!!'.&)$+-). $+-)6%1$'*'6% /'-(0!@./@>'-7 6.!'$'>-(D) *. 7-) '&*(0-0 6-.6(-) %*$%.10-1)&.$)$.)./)7+-$+-1)$
Marche sur place Périphériques de simulation de la marche 13 14 Les utilisateurs bougent les pieds comme s ils marchaient mais sans se déplacer Tapis roulant!+!+ Périphériques de simulation de la marche 15 Périphériques de simulation de la marche 16 Omnidirectionnel Tore joystick tracking tête et pieds
CirculaFloor 17 Simulation de la marche 18 GaitMaster2 locomotion device (Iwata 2001) Simulation de la marche 19 Vélo 20 Utilisation de pédales Hodgins, Georgia Tech Sarcos Uniport
Navidget Navidget 21 22 StyleCam Sélection, manipulation 23 24 Techniques isomorphiques Techniques non isomorphiques
!#$%&'(% )*#+#,%-#.,#/% #$%&'(&)*+),*'#-&%)./0(/),*1-'20$)3(04%50&6) 78)9*%:;)79)<==>?) 18$1;+0(%AB/5C/*1-'20$CD-) 25 85)$)-5%)0()$) 16) *%) #$%&0$116) *) *&G%) -5%5) D-/)&G)(D) +*%)&G)-5%)&*) )80&G)F05&0(K) Ray-casting à deux mains Technique World-in-Miniature (1995) Réduire l échelle du monde pour le rendre à portée de main! L utilisateur interagit de manière indirecte avec les objets du monde en interagissant avec les copies du WIM (&D) %$10&6;) 1/&0*()0()0'M $550+6)0(&%$/M /C) 0123#,*/.3% 550/$1) 40%&-$1) &%) QCKC;) %$6M D)$(D)0'$KM (0L-5)0(/1-D) %$/&0*()&/GM ;) $5) D05/-55D) $&) &G) 40%&-$1) 16)(D)5*') 5%)05)#*0(&0(K) ;) *%) 8G() &G) *+) &G5) &/GM /() 80&G) &G) -KK5&)&G)-5) *)$DD%55)&G05) M&G%*-KG)$-KM MY(MZ0(0$&-%) ') Q50(/) &G) $50%) &*) 51/&) ()'*%)#%*2M )5/(C)_#%M D)0(&%$/&0*() )&*)*&G%)-5%5) #$%&'!()!*+'!,-'.#/-'!01#23'&!4'-'53#2$!6!06&3#6--7!1/45%&'8! 1/9'53:!;#3+1%3!<#4%6--7!#23'&,'$!;#3+!3+'!155-%8#2$!1/9'53)! *+'!01#23'&!6-41!$6#24!655'44!31!6!-6&$'&!4'-'536/-'!6&'6! 3+62!#4!<#4#/-'!31!3+'!%4'&) Le retour haptique I$!JA$%KAL1>KA$*D1G!A<$ Périphériques d entrée-sortie J*)$DD%55)&G5)#%*21'5;)8)G$4)D41*#D)$()0(&%$/M &0*() &/G(0L-) &G$&) F&(D5) F05&0(K) %$6M/$5&0(K) 51/&0*()! &/G(0L-5)O>;V;X;TPC)JG)+1F021)#*0(&%)$11*85)&G)-5%)&*) Toucher = sens bidirectionnel! #*0(&)$%*-(D)*2I/&5)80&G)$)/-%4D)$%%*8;)&*)51/&)+-116)*%) Haptique vient du grec haptein = toucher #$%&0$116)*25/-%D)*2I/&5;)$(D)&*)#*0(&)*-&)*2I/&5)*+)0(&%M! Périphérique haptique = périphérique d entréesortiejg) +1F021) #*0(&%) %D-/5) $'20K-0&6) 26) $4*0D0(K) 5&) '*%) /1$%16) &*) *&G%) -5%5) 0() $) /*11$2*%$&04) (40%*(M '(&C) *25/-%0(K) *2I/&5;) 8G0/G) /*-1D) G$4) 2() 51/&D) 80&G) &%$D0&0*($1) %$6M/$5&0(K) &/G(0L-5;) $5) 5G*8() 0() `0K-%) <C) JG)+1F021)#*0(&%)$15*)G$5)$)405-$1)$D4$(&$K)*+)(*&)*2M 5&%-/&0(K)*&G%)*2I/&5)*+)0(&%5&;)5-/G)$5)&G)1$%K)5&%-/&-%) 0() &G) +*%K%*-(D) *+) `0K-%) <;) 8G01) 5&011) #%*40D0(K) $) /*(&0(-*-5)10()+%*')&G)-5%)&*)&G)&$%K&C) JG) $D4$(&$K5) #%*40DD) 26) &G) +1F021) #*0(&%) /$() 2) 5-''$%0aD)$5b)!! \F#$(D5)&G)5&)*+)*2I/&5)&*)8G0/G)$)-5%)/$()#*0(&C)!! Z$:5) 0&) $50%) &*) #*0(&) &*) 5*') *2I/&5) 26) F#1*0&0(K) Définition du retour haptique! Le sens du toucher Représentation des différentes parties du corps déformées selon la place qu ils occupent dans les cortex sensitif (gauche) et moteur (droite)
Définition du retour haptique! Détecter : états de surface, texture température forces/déplacements! Fréquences de quelques Hz à 10Khz Retour kinesthésique / retour cutané! Types de retour Retour kinesthésique (retour d effort) forces de contact, dureté, poids, inertie Sollicite muscles, tendons, articulations Retour cutané (retour tactile) états de surface, température, glissements, arêtes Sollicite les capteurs de la peau! Globalement, on parle de retour haptique Retour kinesthésique Applications du retour haptique 2D 3D! Applications Médecine! jeux! enseignement industrie! art isotonique contrôle en position
Partie Matérielle Le retour d effort! Électromagnétique!! Hydraulique!! pneumatique!! piézo-électrique! Frottements! moteurs (courant continu, piézo-électrique, brushless)!! fluides électro-rhéologiques! fluides magnéto-réhologiques! alliages à mémoire de forme! polymères électroactifs Partie Matérielle Le retour tactile! vibro-tactiles! pneumatiques! matrice à aiguilles!! Piézo-électrique!! électro-tactiles! impulsions neuro-musculaires! pompes à chaleur à effet Peltier Partie logicielle Architecture Partie logicielle Architecture! Contrôle en impédance: positions en entrée, forces en sorties! Contrôle en admittance: forces en entrée, positions en sortie! Interaction à 1000Hz
Partie logicielle Modélisation et Simulation Partie logicielle Ex: Les collisions! Modélisation mécanique de l environnement virtuel gravitation collisions frottements secs et visqueux! Calcul temps-réel du comportement à 1KHz extérieur mur intérieur Partie logicielle Ex: Les collisions 1000 Hz Partie logicielle La boucle de contrôle! Stabilité Problème du mur! Transparence Compensation des inerties du dispositif
Les réalisations Comparaison! Il n y a pas de périphérique haptique idéal. Chacun est adapté à un type d application.! Comparaison des dispositifs architecture cinématique du dispositif forces maximales en régime instantané et continu frottement, raideur capteurs et actionneurs utilisés bande passante du contrôle Les réalisations Classification! Dispositifs à base non-fixe (problème du poids du périphérique) gants, exosquelettes! Dispositifs à base fixe (problème espace de travail) interfaces de bureau, joysticks, souris, volants périphériques à stylo dispositifs à câbles Interfaces tactiles instruments médicaux Les gants Les Rudgers Master I et II Les gants Le Cybertouch
Les gants Exos Destrous Hand Master 46 CyberGlove 47 CyberTouch Les gants Le cybergrasp
49 CyberGrasp Les exosquelettes Le bras de Southern Methodist U. Cyberforce Cyberforce 52
Les dispositifs de bureau Le HapticMaster Les dispositifs de bureau Les Maglev I et II Les dispositifs de bureau Plate-forme delta Les dispositifs de bureau! Novint Falcon
57 Novint Falcon Les joysticks Impulse Stick et Impulse Engine Les joysticks Les offres grand public Les souris Microsoft Side Winder Thrustmaster Simulateurs de vol Le Pantographe Feel-it Mouse
Les souris Le PenCat/Pro Les volants Microsoft side Winder ThrustMaster Les périphériques stylo Le stylo de l univ. du Colorado Les périphériques stylo Le PHANToM
65 Phantom - Freeform Les périphériques stylo Le Virtuose 3D Les périphériques stylo Le HapticMASTER Les périphériques stylo Le FreedomS6
Automobile Et aussi Le clavier rétroactif modulaire! BMW idrive (Immersion) Dispositifs à câbles Le SPIDAR Les interfaces tactiles i-feel de Logitech
Les interfaces tactiles Wiimote de Nintendo Les interfaces tactiles Le Fingpad Les interfaces tactiles Le FEELEX2 Les interfaces tactiles Le STReSS
Les interfaces tactiles Piézoélectriques - STIMTAC (Lille) Écrans tactiles! Touchscreen (Immersion) Les instruments médicaux Les pinces d Immersion Quelle utilisation pratique?!!! Intégrer le retour d effort dans une application? Substitution? Quels avantages pour quel coût? Utilisation des périphériques du commerce
API de programmation! Programmer le retour d effort API génériques (DirectX) (souris, joysticks,volants) Utilisation des API fournies avec les périphériques (ex: 3D Touch SDK pour le Phantom) API de programmation! API open source SOFA (Lille) www.sofa-framework.org API de programmation! API open source CHAI 3D www.chai3d.org H3D www.h3d.org Et sans périphérique à retour d effort?! Le pseudo haptique! http://www.irisa.fr/tactiles/index-eng.html
85 http://www.lifl.fr/~casiez/centrale