Réalité Virtuelle et Interaction Homme/Machine Part. I

Transcription

1 Réalité Virtuelle et Interaction Homme/Machine Part. I De la Boucle Perception/Action dans un monde réel puis virtuel Samir OTMANE (PR UEVE), Frédéric DAVESNE (IGR UEVE) samir.otmane@ibisc.univ-evry.fr, frederic.davesne@ibisc.univ-evry.fr 1

2 Matériel de cours et de TPs Voir Cours: Cours n disponible sur le site au cours n+1; Articles de recherche et vidéos disponibles sur le site en lien avec le cours. TPs (sous la forme d un projet sous Unity 3d): Sujet, matériel (Unity 3d, objets 3ds, etc.) disponibles sur le site le jour du TP. Examen: Le corrigé de l examen disponible sur le site 3 semaines après l examen. 2

3 Séances prévues (cours et TPs) Cours 1: Lundi 20 octobre 2014, 13h30-16h45 Cours 2: Lundi 3 novembre 2014, 13h30-16h45 Cours 3: Mercredi 5 novembre 2014, 13h30-16h45 Cours 4: Lundi 10 novembre 2014, 13h30-16h45 TP 1: Lundi 17 novembre 2014, 13h00-17h00 TP 2: Mardi 3 décembre 2014, 13h30-17h30 TP 3: Mardi 10 décembre 2014, 13h30-17h30 3

4 Bibliographie pour commencer Traité de la réalité virtuelle F. Fuchs, Guillaume Moreau, volumes: - L homme et l environnement virtuel (Vol. 1) - L interfaçage, l immersion et l interaction en réalité virtuelle (Vol. 2) - Outils et modèles informatiques des environnements virtuels (Vol. 3) - Les applications de la réalité virtuelle (Vol. 4) - Les humains virtuels (Vol. 5) Les volumes sont récupérables gratuitement au format électronique pour les étudiants: 4

5 Bibliographie pour commencer 3D User Interfaces, Theory and Practice D. Bowman, E. Kruijff, J. Laviola, I. Poupyrev Addison-Wesley, Boston, 2005 Interaction 3D en réalité virtuelle. Etat de l'art. N. Ouramdane, S. Otmane, Malik Mallem Technique et Science Informatiques, 2009: 1017~1049 Fichier PDF récupérable ici 5

6 Introduction: la Réalité Virtuelle en France Association française de Réalité Virtuelle (AFRV) née en novembre 2005 Regroupe les acteurs de la RV en France (Laboratoires, Entreprises, Associations) ; Site WEB: ; Environ 80 plateformes de RV en France, dont EVR@ UEVE/Genopole (voir sur Google Maps) Investissements importants (environ 0,6M pour EVR@, plusieurs M pour d autres). [Vidéo] 6

7 Introduction: la Réalité Virtuelle en quelques mots et images Immersion dans un environnement généré par ordinateur. Interaction en temps réel. Nécessite: Capteurs Effecteurs 6 sens: Liant entre réel et virtuel Vue ; Ouïe ; = techniques Toucher ; d interaction 3D Odorat ; Goût ; Proprioception/kinesthésie. ENSMP/Peugeot 7

8 Introduction: la Réalité Virtuelle en quelques applications Aide à l apprentissage de gestes (conduite, chirurgie, préparation à un théâtre d opération militaire, production automobile, etc.) Visualisation scientifique (structure 3D de l ADN, etc.) Simulateur de conduite Renault Mise en situation dans des troubles de la santé Visites virtuelles (musées, lieux historiques) Télé-travail collaboratif Modélisation d urbanisme Acte chirurgical scoliose/polytechnique Montréal [Vidéo] 8 Musée virtuel,

9 Aperçu de la plateforme UEVE/Genopole, Evry 9

10 Problématique traitée dans ce cours Comment créer efficacement de l interactivité dans un monde virtuel? 1. Bien différencier les concepts de monde virtuel et d interaction avec le monde virtuel; L humain est au cœur du problème d interaction. 1. Connaître les différents concepts d interaction; 2. Justifier l utilisation de périphériques de réalité virtuelle au travers de la mise en œuvre de concepts d interaction et de l acceptation par l homme des périphériques; 3. Avoir les éléments pour coder efficacement l interactivité. 10

11 Problématique traitée dans ce cours Problème de l ingénieur Connaissant une tâche à traiter et des contraintes Liées à la tâche; Liées à l environnement (coût, espace de travail, mobilité). Comment sélectionner Les périphériques de RV adéquats; Les concepts d interaction adéquats. Afin d optimiser l interactivité du système construit? 11

12 Plan du Cours I. De la Boucle Perception/Action dans un monde réel puis virtuel II. Techniques d interaction mono-utilisateur en Réalité Virtuelle III. Techniques d interaction multi-utilisateurs en Réalité Virtuelle 12

13 Plan du Cours I. De la Boucle Perception/Action dans un monde réel puis virtuel 1. Boucle perception/action chez l homme, premier exemple 2. Caractérisation des éléments clés de la boucle perception/action en rapport avec la Réalité Virtuelle 13

14 Plan du Cours I. De la Boucle Perception/Action dans un monde réel puis virtuel 1. Boucle perception/action chez l homme, premier exemple 2. Caractérisation des éléments clés de la boucle perception/action en rapport avec la Réalité Virtuelle et Augmentée 14

15 Fondement de la notion d interaction: Boucle perception/action chez l homme intention Personne action perception Environnement interaction I.1 15

16 Dans la vie de tous les jours L homme utilise de nombreuses actions réflexes dans sa vie de tous les jours Utilisation des sens pour contrôler le bon fonctionnement des actions ; Utilisation des actions pour mobiliser les sens. C est la signification du terme boucle perception/action! I.1 Voir [Berthoz, 1997] 16

17 Exemple 1: la saisie d objets Remarques initiales: La construction de l espace proche est compliquée en RV Conséquence: La préhension en RV n est pas facile a priori I.1 [Vidéo] 17

18 Exemple 1: la saisie d objets C est un réflexe sensorimoteur complexe appris Nécessite une coordination entre: Les muscles du bras (organe moteur) Les yeux pour le contrôle en phase d approche et de saisie Des retours sensoriels de la main en phase de saisie Caractérisée par une vitesse d approche rapide (loin de l objet), puis plus lente (à l approche de l objet) I.1 18

19 Exemple 1: la saisie d objets en réalité virtuelle Lunettes stéréoscopiques Marqueur de tête [Vidéo] Marqueurs pour la main Exosquelette Gants de données Nécessite: Capteurs Effecteurs Liant entre réel et virtuel = techniques d interaction 3D I.1 19

20 Exemple 2: la marche C est un réflexe sensorimoteur complexe appris Nécessite une coordination: des muscles des jambes, des bras, de la colonne et du cou (organes moteurs) Des yeux, de l oreille interne, des sensations tactiles des pieds et des muscles (organes sensoriels) I.1 20

21 Exemple 2: la marche en réalité virtuelle [Vidéo] Gyroscope Casque HMD stéréoscopique Sphère Liaison Rotule I.1 3DVIA Virtools Nécessite: Capteurs Effecteurs Liant entre réel et virtuel = techniques d interaction 3D 21

22 Dans les deux cas, coté réel Dans le monde réel Apprentissage très tôt dans l enfance Mécanisme robuste et fiable (si pas de problèmes de santé ) Aucun besoin de concentration après apprentissage I.1 22

23 Dans les deux cas, coté virtuel Dans le monde virtuel, coté système Besoin d instrumentation Périphériques adaptés à la restitution sensorielle et motrice. Besoin d une couche logicielle spécifique Construction d une relation entre les mouvements de l homme et la réaction du système dans le monde virtuel. Dans le monde réel, coté homme Besoin d une adaptation à l interaction avec le monde virtuel ; Besoin de concentration? Besoin d apprentissage? ; Etudes cognitives à mener pour appréhender l adéquation humain/système. I.1 23

24 Et la relation entre l homme et la machine? Complexité de l action réflexe Nombre d indices sensoriels utilisés/organes moteurs Kinect,Move Motion capture+ Retour d effort, WiiLeap Motion Joystick à Environnement retour d effort Environnement graphique+souris graphique+souris souris clavier I joystick clavier Tablette tactile GRiPAD Stade industriel

25 Donc Des interactions de plus en plus naturelles entre l homme et la machine sont possibles. I.1 Combat de boxe avec la Kinect (photo 25

26 Cependant, attention!!! Beaucoup de périphériques ne sont pas sur le schéma car prototypes ou trop onéreux donc confidentiels. Ex: SPIDAR, Tracking optique ART, VICON, Systèmes de visualisation immersifs. I.1 26

27 Pourquoi utiliser une interaction «naturelle» avec l environnement? The Natural History Museum, London Plusieurs méthodes d interaction avec l environnement réel (physique) Interagir avec des objets est une action courante réalisée par l Homme dans son environnement réel (physique) L Homme peut réaliser des manipulations très complexes (la zone motrice du cerveau humain est très bien développée pour la manipulation) Samir Otmane This model shows what a man's body would look like if each part grew in proportion to the area of the cortex of the brain concerned with its sensory perception. On espère une meilleure acceptation de la machine par l homme I.1 UEVE/LSC 27

28 Mais, attention!!! La possibilité d utiliser des gestes libres et non contraints est souvent synonyme de mauvaise précision ou d erreurs de l interprétation du geste par la machine. I.1 28

29 Un premier exemple complet d interaction homme/machine afin de poser le problème Interaction entre un homme et un robot distant via une liaison internet I.1 29

30 Premier exemple: projet ARITI [Otmane et al., 2000], Site esclave Site maître Internet Un PC portable standard Robot FANUC LRMate 200i, 6ddl I.1 Plateforme IBISC 30

31 Projet ARITI [Otmane et al., 2000], [Vidéo du projet ARITI] I.1 31

32 Projet ARITI [Otmane et al, 2000], Intention (tâche):téléopération de robots distants via Internet pour réaliser des tâches de saisie/dépose d objets avec contraintes de précision et sécurité sur la tâche Environnement (site maître): un simple PC connecté à Internet une plateforme de Réalité Virtuelle transformation logicielle de l action de la personne en commandes du robot Action: Clavier,souris Gestes de la main Perception (du site esclave): Vision monoscopique ou stéréoscopique du site esclave (robot) Retour d effort Incrustations vidéos I.1 32

33 Site esclave robotisé I.1 - Robot FANUC LRMate 200i, 6ddl - Pièces géométriques colorées à déplacer d un socle à l autre - Deux Webcams (permet la vision stéréoscopique) surploimbant le robot - PC serveur d images relié aux Webcams, délivrant un flux stéréoscopique - PC serveur de commandes pilotant le robot axe par axe 33

34 Plateforme de RV/RA Caractéristiques de Gestes naturels et peu contraints I.1 Système semi-immersif Stéréoscopie active Tracking de gestes - caméras IR ARTTrack1 - système SPIDAR Système à retour d effort SPIDAR 3 PCs serveurs - Tracking ART, SPIDAR, Graphique 34

35 Environnement logiciel de 3DVIA Virtools I.1 Gère l interactivité - Communication avec les 3 serveurs de EVR@35 - Relation entre les actions de la Personne et leur conséquence

36 Relation entre geste de la personne et mouvement du robot I.1 [Vidéo de la manip avec un robot 4ddl] Geste naturel de la personne et garantie de précision et de sécurité sur le site esclave, grâce aux assistances visuelles et à la commande du robot dues à la méthode d interaction 36

37 En quoi a résidé la conception «utile» d ARITI? 1. Spécifier les actions élémentaires de la personne pour réaliser la mission. 2. Définir les canaux perceptifs utiles. 3. Formaliser et coder sous Virtools la méthode d interaction, i.e. la relation entre le geste (ou l ordre symbolique) de la personne et sa conséquence dans le monde virtuel. 4. Valider expérimentalement l utilisabilité du système obtenu et corriger les points 1,2 ou 3 si besoin. I.1 37

38 Un test de la validation expérimentale d ARITI [Ouramdane, 2008] [Vidéo] I.1 38

39 Que nous apprend ce premier exemple sur l interaction homme/machine? Diversité des actions et modes perceptifs pour réaliser un même objectif Choix de la méthode (technique) d interaction très important La mise en œuvre technique est rapidement complexe si des outils adéquats ne sont pas utilisés Beaucoup de questions relevant des sciences cognitives I.1 39

40 Plan du Cours I. De la Boucle Perception/Action dans un monde réel puis virtuel 1. Boucle perception/action chez l homme, premiers exemples 2. Caractérisation des éléments clés de la boucle perception/action en rapport avec la Réalité Virtuelle 40

41 Fondement de la notion d interaction: Boucle perception/action chez l homme intention Personne action perception Machine interaction L homme perçoit la réalité à travers l action coordonnée de ses organes sensori-moteurs. 41

42 Lorsque cette boucle perception-action s intègre dans un monde virtuel: Naissance d une «autre» réalité Une «autre» réalité naît de l action coordonnée des périphériques d entrée (Transfert de l action des organes moteurs de l homme vers la machine) et des périphériques de sortie (Transfert de l activité de la machine vers les organes sensoriels de l homme) 42

43 Une définition de la Réalité Virtuelle [Fuch et al., 2006] La finalité de la réalité virtuelle est de permettre à une personne (ou plusieurs) une activité sensori-motrice et cognitive dans un monde artificiel, créé numériquement, qui peut être imaginaire, symbolique ou une simulation de certains aspects du monde réel. 43

44 Une autre définition de la Réalité Virtuelle [Tisseau, 2001] La RV est un univers de modèles au sein duquel tout se passe comme si les modèles étaient réels parce qu ils proposent simultanément la triple médiation des sens, de l action et de l esprit. 44

45 Conséquence: lien entre RV et interaction Ces définitions de la RV intègrent très fortement le fait que l homme puisse interagir avec le monde virtuel. Cela est très différent, par exemple, de la notion de simulation mathématique. 45

46 Exemple en biologie moléculaire: interaction Homme/Chromosome [Essabbah et al., 2009] La configuration spatiale des molécules est soumise à des contraintes. La simulation permet de visualiser quelques résultats à partir des équations MAIS l homme est hors-jeu dans ce processus. 46

47 Exemple en biologie moléculaire: interaction Homme/Chromosome [Essabbah et al., 2009] [Vidéo] L interaction redonne sa place à l homme dans le choix des conformations correctes pour lui. 47

48 Schéma générique de communication Homme/Machine adapté de [Bowman et al., 2005] rendu physique information perceptive Périphériques de sortie analyse rendu physique Personne intention intention action Périphériques IMMERSION d entrée Machine Réaction programmée action 48 signaux

49 Notion d immersion [Burkhardt et al., 2003] L immersion est l exposition d un utilisateur à un environnement virtuel au moyen de dispositifs occultant tout ou partie du monde réel, pour afficher en lieu et place un monde simulé numériquement. 49

50 Notion d immersion [Burkhardt et al., 2003] Objectif: Recréer les sensations du monde réel dans un monde virtuel à partir des dispositifs dédiés. Stéréoscopie Retour d effort Son 3D Etc. 50

51 Effets indésirables de l immersion Le cerveau anticipe au niveau de la boucle perception/action interne à la personne [Berthoz, 1997] S il existe un petit décalage entre ce que le cerveau anticipe et ce qui se passe (incohérence), possibilité de mal du simulateur. Exemple classique: navigation dans un monde virtuel. 51

52 Notion d autonomie L autonomie de la personne réside dans sa capacité à coordonner ses perceptions et ses actions au cours du processus de l interaction avec les autres entités. [Ouramdane et al, 2009]. 52

53 Présence et autonomie en réalité virtuelle [Tisseau, 2001] Extrait de [Ouramdane, 2009] 53

54 Conséquence La personne doit être capable de comprendre intuitivement et d anticiper l action qu elle produit sur le monde virtuel. Sinon, problèmes: la personne n accepte pas le système. 54

55 Résumé La création d une méthode d interaction (I3D) en RV doit tenir compte de tous ces facteurs: Besoin d immersion Besoin de Présence Besoin d autonomie (Co-)Influence des actions, de la perception et de l environnement afin de réaliser une tâche en RV/RA le mieux possible. 55

56 Sens : passage du réel au virtuel 1- Stéréoscopie 2- Suivi de mouvements (tracking) 3- Retour d effort (haptique) 56

57 1- Stéréoscopie et vision humaine dans un environnement réel et virtuel Accommodation et disparité rétinienne comme principe de la vision stéréoscopique Différents modes de stéréoscopie pour générer des environnements virtuels 3D Stéréoscopie active Stéréoscopie passive anaglyphe Stéréoscopie passive par polarisation 57

58 Point de fixation et dédoublement des images réelles 58

59 Convergence sur une scène réelle 59

60 Accommodation sur un objet réel Le mécanisme d accommodation se fait grâce à la variation de convergence du cristallin. Accommodation à l infini Accommodation à courte distance 60

61 Disparité rétinienne La perception de la profondeur à partir de la disparité rétinienne s appelle la stéréoscopie. 61

62 La stéréoscopie est issue d un processus neurologique autonome. La construction d une image en relief n est pas liée à la perception d un contenu en monoculaire [Julesz, 1971]: Possibilité de perception du relief sans Information monoculaire. Impression de profondeur 62

63 Environnements virtuels Deux images à générer Deux imager à créer, une pour chaque œil, puis affichées sur un écran par projection. Parallaxe: distance entre deux points homologues sur les deux images Disparité rétinienne perception de la profondeur Chaque œil perçoit une image similaire à une image réelle. 63

64 Environnements virtuels stéréoscopiques Sensibilité au point de vue P Objet derrière l écran P Pg Pd Pg Pd Og Og Od Od Pd Pg P Objet devant l écran Og Od La position P d un objet dans le monde virtuel varie suivant la position de l utilisateur et l ordre de Pg et Pd. 64

65 Environnements virtuels stéréoscopiques Rectification suivant le point de vue P P Pg Pd Pg Pd Modification temps réel de Pg et Pd Og Og P Pg Pd Od Od Pour garder une position fixe de l objet virtuel, il faut que la position et l orientation de la tête doivent être trackées! 65 Og Od

66 Environnements virtuels stéréoscopiques Rectification suivant le point de vue En règle générale, une unique personne peut avoir un rendu 3d «parfait». 66

67 Dispositif de la visualisation stéréoscopique active Émetteur IR Station de travail Carte graphique 3D type NVIDIA Quadro Lunette 1 Coût environ 50 Lunette n 67

68 Principe de la visualisation stéréoscopique active A l instant t: La station de travail envoie l image gauche et un signal à l émetteur pour obturer l œil droit des lunettes (cristaux liquides) Les lunettes reçoivent l information et l interprètent via un circuit électronique interne et une source d énergie. A l instant t+1/2: La station de travail envoie l image droite et un signal à l émetteur pour obturer l œil gauche des lunettes (cristaux liquides) A chaque instant, le cerveau ne perçoit qu une image Comme les images gauche et droite sont légèrement décalées horizontalement et persistance rétinienne, le cerveau reconstruit une image 3D nette. 68

69 Dispositif de visualisation stéréoscopique passive anaglyphe Projecteur monoscopique PC standard Lunette 1 Coût 1 à 5 Lunette n Pas besoin de source d énergie. 69

70 Principe de visualisation stéréoscopique passive anaglyphe Utilisation de deux couleurs complémentaires (ici rouge et cyan=vert+bleu). Deux images légèrement décalées. Distance inter images Images RGB: extraction de la composante R d une part, de la composante G+B d autre part. Lunette filtre R (œil gauche) et G+B (œil droit) 70

71 Dispositif de visualisation stéréoscopique passive par polarisation +Filtre polarisant horizontal +Filtre polarisant vertical Projecteurs monoscopiques PC standard + synchronisation des 2 flux vidéo Lunette polarisée (horizontal/vertical) Coût environ 15 + écran de projection métallisé Lunette n Pas besoin de source d énergie. 71

72 Principe de visualisation stéréoscopique passive par polarisation Polarisation circulaire [Vidéo polarisation horizontale/verticale] 72

73 mono-plan avec stéréoscopie active - Projecteur stéréoscopique 108 Hz -Rétroprojection sur toile Semi-transparente - Stéréoscopie active Dispositif semi-immersif. 73

74 Mur d images stéréoscopique Images stéréoscopiques polarisées 74

75 Dispositif CAVE Totalement immersif. Tracking du point de vue de l utilisateur 75

76 Star Cave UC San Diego Totalement immersif. Tracking du point de vue de l utilisateur Lunettes polarisées [Vidéo] 76

77 Ecran auto-stéréoscopique Plusieurs vues disponibles sur l écran (28 vues sur dalle 4K auto stéréoscopique) réseaux lenticulaires. [Vidéo] 77

78 Impression de 3D par suivi de point de vue, Wiimote + TV (John Lee, 2007) [Vidéo] 78

79 Impression de 3D par suivi de point de vue, Kinect + 3DTV [Vidéo] 79

80 2- Périphériques de tracking - Kinect 80

81 Périphériques de tracking - Kinect Capteurs profondeur (laser) image RGB microphone Effecteurs moteur (rotation 1D) IR (bas niveau) grille 2D profondeurs image 2D RGB signal sonore IR (haut niveau) suivi de mouvement (24 points et positions angulaires) sur le corps humain 81

82 82

83 FAAST: Squelettisation d une à quatre personnes 83

84 Navigation grâce à FAAST+Kinect (Lab. IBISC, Projet DIGITAL OCEAN) [Vidéo]

85 Utilisation de FAAST + Kinect pour téléopérer un robot NAO [Vidéo]

86

87 Périphériques de tracking Système ARTTrack 2 caméras infrarouge ARTTrack1 munies d un OS Linux temps réel, rafraichies à 60 Hz; Un serveur de tracking; Objets rigides réfléchissants dont la forme géométrique est mise en mémoire du serveur Flysticks (jusqu à 2) Capteur de tête Autres objets Tous les objets sont identifiés par leur forme géométrique. 87

88 3- Rendu haptique, bras à retour d effort Bras Virtuose 6d [Vidéo] 88

89 Rendu haptique, systèmes à câble SPIDAR 6d SPIDAR 2*3d, desktop 89

90 Rendu haptique, systèmes à câble Moteur/encodeur + poulie pour chacun des coins du cube. SPIDAR 6d 90

91 Références bibliographiques [Berthoz, 1997] Berthoz, A. «Le sens du mouvement», 345p, Odile Jacob. [Bowman et al., 2005] Bowman, D., Kruijff, E., LaViola, J. et Poupyrev, I. «3D User Interfaces: Theory and Practice», AddisonWesley, Boston, [Burkhardt, 2003] Burkhardt, J.-M., Bardy, B., Lourdeaux, D., «Immersion, réalisme et présence dans la conception et l evaluation des Environnements Virtuels», Psychologie Française, p , [Essabbah et al., 2009] Essabbah, M., Otmane, S., Hérisson, J. et Mallem, M. «A New Approach to Design an Interactive System for Molecular Analysis», 13th International Conference on Human-Computer Interaction (HCI International 2009), États-Unis d'amérique (2009). [Fuchs et al., 2006] Fuchs, P., «Le traité de la réalité virtuelle», Vol. 1, 380p, Presse de l Ecole des Mines, [Julesz, 1971] Jules, B. Julesz, B. «Foundations of Cyclopean Perception». Chicago: The University of Chicago Press, 1971 [Ouramdane, 2008] Ouramdane, N. «Vers un système d assistance à l interaction 3D pour le travail et le télétravail collaboratif dans les environnements de réalité virtuelle et augmentée», thèse de doctorat de l Université d Evry-Vald Essonne, [Ouramdane et al., 2009] Ouramdane, N., Otmane, S. et Mallem, M. «Interaction 3D en Réalité Virtuelle - Etat de l'art», Technique et Science Informatiques (TSI) 28, 8 (2009) p [Otmane et al., 2000] Otmane, S., Mallem, M., Kheddar, A. et Chavand, F. «ARITI : an Augmented Reality Interface for Teleoperation on the Internet», in Advanced Simulation Technologies Conference 2000, High Performance Computing HPC 2000, Pages , April 16-20, Wyndham City Center Hotel, Washington, D.C., USA. [Tisseau, 2001] Tisseau, J. «Réalité virtuelle : autonomie in virtuo.» Habilitation à Diriger des Recherches - Université de Rennes I. Décembre