Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 1

Réalité Virtuelle & Augmentée : Techniques d interaction 3D en réalité virtuelle et augmentée. Pr. Samir OTMANE UEVE / IUT Laboratoire IBISC Samir.Otmane@ibisc.univ-evry.fr Plan du Cours Introduction Interaction 3D en Réalité Virtuelle Navigation Sélection Manipulation Contrôle d applications 1 2 Bibliographie S. Otmane, Interaction et collaboration en Réalité Virtuelle et Augmentée : Modèles d assistance pour la conception des interfaces-hommemachine du futur. Éditions Universitaires Européennes, ISBN : 978-3-8417-8484-1. 2011 Bowman, D., Kruijff, E., LaViola, J., and Poupyrev, I «3D User Interfaces: Theory and Practice», Addison-Wesley, Boston, 2005. Bowman, D. Basic 3D Interaction Techniques, SIGGRAPH 2001 (Advanced Topics in 3D User Design) LaViola, J. Non-Isomorphic Interaction in 3D User Interfaces, SIGGRAPH 2001(Advanced Topics in 3D User Design) Poupyrev, I. 3D Manipulation Techniques, SIGGRAPH 2000 (3D User Interface Design fundamental techniques, theory and practice) Kruijff, E. System Control, SIGGRAPH 2000 (3D User Interface Design fundamental techniques, theory and practice) Poupyrev, I., Tan, D.S., Billinghurst, M., Kato, H., Regenbrecht, H., Tetsutani, N. (2002). Developing a Generic Augmented-Reality Interface. IEEE Computer 35(3). Poupyrev, I., Tan, D.S., Billinghurst, M., Kato, H., Regenbrecht, H., Tetsutani, N. (2001). Tiles: A Mixed Reality Authoring Interface. INTERACT 2001. Tan, D.S., Poupyrev, I., Billinghurst, M., Kato, H., Regenbrecht, H., Tetsutani, N. (2001). On-demand, In-place Help for Augmented Reality Environments. Georgia Institute of Technology Technical Report GIT-GVU-TR-01-17. Tan, D.S., Poupyrev, I., Billinghurst, M., Kato, H., Regenbrecht, H., Tetsutani, N. (2001). On-demand, In-place Help for Augmented Reality Environments. Presented as poster at Ubicomp 2001. Poupyrev, I., Billinghurst, M., Kato, H., Tan, D.S., Regenbrecht, H. (2000). A Tangible Augmented Reality Interface for Prototyping Aircraft Instrument Panels. Public Demonstration at ISAR 2000. Coquillart, S., Fuchs, P., Grosjean, J. et Paljic, A. Techniques d immersion et d interaction : Les primitives comportementales virtuelles. Le traité de la réalité virtuelle, 2ème édition volume 1: Fondements et interfaces comportementales, chapitre 13, pages 431-463, Edition Les Presses de l Ecole des Mines de Paris, 2003. 3 Introduction Pourquoi l interaction? Plusieurs méthodes d interaction avec l environnement réel (physique) Interagir avec des objets est une action courante réalisée par l Homme dans son environnement réel (physique) L Homme peut réaliser des manipulations très complexes (la zone moteur du cerveau humain est très bien développée pour la manipulation) The Natural History Museum, London Samir Otmane UEVE/LSC This model shows what a man's body would look like if each part grew in proportion to the area of the cortex of the brain concerned with its sensory perception. 4 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 1

GEORGE WEBB / MMT Medical GEORGE WEBB / MMT Medical Introduction www.nofrag.com/2005 Introduction Plusieurs méthodes d interaction avec l environnement virtuel/augmenté L interaction directe par la main est également la méthode la plus naturelle et efficace utilisée pour l interaction dans les environnements virtuels/ augmentés. Ne pas pouvoir interagir efficacement avec un objet dans un environnement virtuel réduit les performances des utilisateurs et des tâches à réaliser (de la même façon que dans le monde réel) Peter Menzel Photography! Les techniques d interaction 3D ont un impact important sur la qualité des interfaces 3D GEORGE WEBB / MMT Medical Samir Otmane UEVE/LSC Jean-Bernard Martens Eindhoven University / Netherlands Comprendre les techniques d interaction 3D dans les environnements virtuels et augmentés est une étape importante et nécessaire pour le développement d applications de RV/RA. Samir Otmane Martin Hachet LaBRI INRIA Futurs, UEVE/LSC Samir Otmane UEVE/LSC 5 6 Interaction 3D en Réalité Virtuelle Les quatre tâches d interaction 3D de base Nous présenterons quatre tâches d interaction 3D que nous trouvons dans des applications 3D les plus complexes. Il y a bien entendu d'autres tâches d interaction qui sont spécifiques à un domaine d'application. Ces quatre tâches représentent les tâches élémentaires et fondamentales qui peuvent souvent être combinées pour créer une tâche d interaction plus complexe. 7 1 Navigation 2 Sélection 3 Manipulation Travel et Wayfinding Sélectionner un objet ou un ensemble d objets Interaction 3D Modifier les propriétés de l objet (position/orientation, etc.) 4 Système de commande Changer l état du système ou du mode d interaction 8 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 2

1 Navigation Sélection et Manipulation Une tâche commune dans les Environnements Virtuels (EV) et elle est composée de deux tâches. Travel (déplacement) : est la partie mobile de la navigation et fait juste allusion au déplacement physique d'un endroit à l'autre (déplacement du point de vue). Wayfinding : est la composante cognitive ou la composante de prise de décision de navigation. On se pose des questions : "ou suis-je?", "ou dois-je aller?", "comment arriver là?", etc. 2 3 Sélection : Désignation d'un objet ou d'un ensemble d'objets pour un objectif donné. Manipulation : Fait allusion à la spécification/modification des propriétés des objets (le plus souvent la position et l'orientation, mais aussi d'autres attributs). La sélection et la manipulation sont souvent utilisés ensemble, mais la sélection peut être utilisée toute seule. Par exemple, l'utilisateur peut choisir un objet pour provoquer directement une action comme supprimer un objet. 9 10 4 Contrôle d applications Une tâche qui permet de changer l'état du système ou le mode d interaction. Il s agit généralement de l envoi des ordres (explicite ou implicite) au système. Exemples : Utilisation des interfaces de ligne de commandes et des menus. Une technique de contrôle d application est souvent composée des trois autres tâches (par exemple, un ordre dans un menu implique la sélection). Explorer Techniques de navigation Les tâches de Navigation Environnement virtuel Rechercher La séparation de la tâche contrôle d application des trois autres est utile puisqu il existe d autres techniques de contrôle spécifiques à certaines applications. Manœuvrer 11 12 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 3

Les tâches de navigation Les tâches de navigation Explorer Rechercher Navigation sans but explicite L utilisateur explore et navigue dans l environnement virtuel Souvent pour découvrir et connaître l environnement Naïve : Naviguer pour trouver une cible dont la position n est pas connue Ciblée : Naviguer pour trouver une cible dont la position est connue l utilisateur se déplace sans restrictions 13 Construire la connaissance des positions des objets en se déplaçant vers eux. 14 Les tâches de navigation Manœuvrer Cette tâche nécessite souvent des mouvements courts et précis. Le but est de changer le point de vue (légèrement) pour réaliser une tâche particulière. En raison des problèmes liés aux limitations du tracking et à l encombrement des câbles, il est préférable que cette tâche se face d une manière explicite 15 Techniques de navigation Introduction Présentation des techniques de navigation! Simple déplacement (mouvement du point de vue) Problèmes de contrôle de la vitesse et/ou de l accélération! plusieurs méthodes en incluant le geste, les commandes vocales, etc. La rotation est-elle nécessaire?!oui avec les mono et multi-plans de projection (CAVE, un seul écran, etc.)!non avec les HMDs 16 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 4

Techniques de navigation Introduction Contraindre les mouvements :! Maintenir une hauteur constante ou suivre le terrain Les conditions d entrée doivent être considérées! quand et comment le mouvement commence/finit?! un click pour commencer/arrêter,! appuyer pour commencer, libérer pour s'arrêter,! s'arrêter automatiquement à l'endroit prévu, etc.? Techniques de navigation Résumé Direction du regard (Gaze-directed steering) Direction de la main (Pointing) Déplacement en utilisant une carte (Map-based travel) Déplacement en utilisant les gestes de la main (Grabbing the air) 17 18 Techniques de navigation (Gaze- Navigation par la direction du regard directed steering technique) Déplacer le point de vue dans la direction du regard La direction du regard est déterminée par les mouvements de la tête (tracking de la tête) Cognitivement simple Ne permet pas à l'utilisateur de voir sur le côté en se déplaçant La technique de déplacement par la direction du regard est probablement la technique 3D la plus utilisée, bien que le terme "regard" induit en erreur. Il s agit bien entendu du suivi de la tête de l utilisateur. 19 Techniques de navigation Navigation par la direction de la main technique) (Pointing l'utilisateur spécifie constamment la direction du mouvement en utilisant sa main (l'orientation de la main est utilisée pour déterminer la direction) Tracking de la main à la place de la tête Légèrement plus complexe cognitivement Permet de ce déplacer et de regarder dans différentes directions Bonne pour les mouvements relatifs La technique de déplacement par la direction de la main est un peu plus dure à apprendre pour certains utilisateurs, mais elle est plus flexible que la technique de la direction du regard. 20 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 5

Techniques de navigation (Map- Navigation en utilisant une carte based travel) l'utilisateur est représenté par une icône dans une carte 2D Déplacer l icône par la pointe du stylet jusqu au nouvel endroit de la carte Libérer l icône afin de mettre à jour le nouveau point de vue Doug Bowman Techniques de navigation Navigation en utilisant les gestes de la main air) Utilise les gestes de la main pour se déplacer dans le monde virtuel Métaphore de tirer sur une corde (Grabbing the Quand l'icône est relâchée, le système anime lentement le déplacement de l'utilisateur de l'endroit actuel au nouvel endroit indiqué par l'icône. Cette technique peut être utilisée avec une ou deux mains et elle est souvent réalisée en utilisant des Gants de Pincement (Pinch Gloves ) 21 22 Techniques de navigation Techniques de navigation 1ère classification 2ème classification Navigation Début du mouvement Spécifier la cible Choix de la direction / cible Choix de la vitesse / accélération. Direction du regard (Gaze-directed ). Direction de la main (Pointing). Choisir une cible depuis une liste. Gestes. Moins vite / plus vite. Supports physique Choix des Conditions d entrée. Boutons marche/arrêt. Marche/arrêt automatique. Mouvement constant Navigation Indiquer la position Indiquer l orientation Fin du mouvement Position Vitesse Accélération Spécifier le chemin Spécifier en continue 23 24 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 6

Techniques de sélection Introduction La sélection et la manipulation sont très liées! La plupart des techniques de sélection peuvent être utilisées pour la manipulation Comment indiquer au système qu un événement de sélection a eu lieu?! Presser un bouton, utiliser les gestes, commande vocale, etc. Il faut avoir des algorithmes d intersection d objets très efficace Fournir un retour d information pendant la sélection de l objet est aussi important! Graphique, Auditif, Tactile, etc. La plupart des techniques ont besoin d utiliser un avatar (représentation virtuelle de la main de l utilisateur) Techniques de sélection Résumé Main virtuel simple (Simple virtual hand) Rayon laser virtuel (Ray-casting) Occlusion (Sticky finger/occlusion) Go-go (arm-extension) 25 26 Techniques de sélection Main virtuel simple (Simple virtual hand) Techniques de sélection Rayon laser virtuel (Ray-casting) Très utilisée comme dans le monde réel pour sélectionner des objets. L objet peut être sélectionner soit En le touchant (retour haptique) En détectant l intersection de la main virtuelle avec l objet virtuel (sans retour haptique). Main virtuelle Objet virtuel Utilise la métaphore du pointeur laser Attaché à la main virtuelle. Le premier objet qui se trouve en intersection avec le rayon peut être sélectionné L utilisateur a seulement besoin de 2 ddl Pointeur laser virtuel Main virtuelle Objet virtuel sélectionné Bonne correspondance entre la main virtuelle et la main réelle 27 28 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 7

Techniques de sélection Rayon laser virtuel (Ray-casting) Pointeur 3D + ray casting pour sélectionner un objet Techniques de sélection Occlusion (Sticky finger/occlusion) Travail sur le plan image (2D) Couvrir l objet désiré avec l objet sélectionneur (par exemple le doigt) L objet le plus proche du rayon visuel en passant par le doigt peut être sélectionné Géométriquement, cela signifie qu'un rayon émane de votre oeil, en passant par votre doigt et croise ensuite un objet. Objet virtuel Main virtuelle 2002 Advanced Virtual Prototyping Group N.Murray, UK 2002 Advanced Virtual Prototyping Group N.Murray, UK 29 30 Techniques de sélection Go-go (arm-extension) Techniques de manipulation Introduction Technique d extension du bras Comme dans la technique de la main virtuelle simple, il faut toucher les objets pour les sélectionner Une relation non linéaire entre la main réelle et la main virtuelle Après le seuil D la main virtuelle part en direction de l objet (extension du bras) Positions des mains virtuelle et réelle Ivan Poupyrev,IS Lab, Hiroshima University, japan 31 La manipulation est liée avec la sélection! Un objet doit être sélectionné avant de le manipuler Comment une technique de manipulation s intègre avec une technique de sélection choisie? Désactiver la technique de sélection ainsi que les retours d information correspondants, pendant la manipulation d objets. Que se passe-t-il lorsque l objet est relâché?! La réponse dépend des applications 32 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 8

Techniques de manipulation Techniques de manipulation Résumé Main virtuel simple (Simple virtual hand) Main virtuel simple (Simple virtual hand) HOMER Changement d échelle (Scaled-world grab) Facile à implémenter! Réaliser des modification dans le graphe Objet de scène! Attacher un objet à la main pour manipuler (l objet hérite des mouvements de la main).! Re-attacher l objet au monde après la manipulation Manipuler / Tête / Tête Main Relâcher Main Monde en miniature (World-in-miniature) Même principe pour les techniques Gogo, ray-casting Objet 33 34 Techniques de manipulation Techniques de manipulation HOMER Changement d échelle (Scaled-world grab) Hand-Centered Object Manipulation Extending Ray-Casting Temps Utilise le Ray-casting pour sélectionner l objet Déplace la main virtuelle jusqu à l objet! l objet est attaché à la main Relâcher l objet! la main virtuelle reprend sa position initiale 35 Souvent utilisée avec la technique de sélection par occlusion Lorsque l objet est sélectionné dans le plan image! Agrandir l utilisateur ou réduire l objet pour que la main virtuelle touche vraiment l objet occulté. Si l utilisateur ne bouge pas et que la visualisation n est pas stéréo, on ne verra pas la différence entre avant et après le changement d échelle. d2 d1 d2/d1 36 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 9

Techniques de manipulation Monde en miniature (World-In-Miniature: WIM) Techniques de manipulation Monde en miniature (World-In-Miniature: WIM) Le monde virtuel est tenu dans la main de l'utilisateur (comme une maison de poupées) / /! Utilisation d une version miniature de l environnement pour réaliser des manipulations indirectement. R. Stoakley,! La technique de la main virtuelle simple est Univ. of Virginia utilisée pour sélectionner les objets! Le déplacement des objets du monde miniature provoque le déplacement de l objet correspondant dans le monde virtuel initial. La technique WIM peut être utilisée pour la navigation en représentant un 37 utilisateur à l intérieur. Chambre chaise Tête Main Chambre chaise Tête Main Chambre en WIM (Ch. échelle) Copie de la chaise 38 Techniques de Contrôle d applications Introduction Définition : Une action qui permet d exécuter une commande dans le but de changer le mode d interaction ou l état du système. Pourquoi des Techniques pour le contrôle d applications 3D?! Le système de commande en 3D diffère de beaucoup du système de commande 2D! L utilisateur doit considérer beaucoup de ddl pour la sélection! Les dispositifs d entrée/sortie sont nombreux et différents! La 3ème dimension supplémentaire pose de nouvelles difficultés sur la représentation d'interfaces homme machine. 39 Types de CA Menus graphiques Techniques de Contrôle d Applications (CA) Commande vocale Interaction gestuelle Outils Techniques Classification. Menus 3D orientés par la main. Menus 2D transformés. Widgets 3D. Reconnaissance de la parole. Gestes de la main. Outils physiques. Outils virtuels 40 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 10

! Les Menus à 1 ddl : Menus graphiques Menus 3D orientés par la main. Objet circulaire contenant des éléments à sélectionner. Après initialisation l utilisateur tourne sa main autour d un seul axe jusqu à ce que l élément désiré tombe dans une zone de sélection.. Plusieurs formes (anneau, spirale, cadrant solaire, etc.) [Liang] [Shaw et Green] L efficacité de cette technique dépend du mouvement de la main et du poignet. L'axe de rotation principal doit être bien choisi. 41! Via un widget Menus graphiques Menus 3D orientés par la main Un widget est un élément graphique d'interface (bouton, combo box, barre de menu, etc.). Le menu est fixé à une position donnée Mark R. Mine L utilisateur manipule virtuellement un autre objet attaché à sa main pour sélectionner dans le menu. Michael Hinz, Dresden Germany 42 Menus graphiques Menus 2D transformés! Même fonctionnement que dans les bureaux 2D.! Avec plus de ddl pour sélectionner un élément du menu George G. Robertson Mark R. Mine Matthias M. Wloka Menus graphiques Widgets 3D Un widget est un élément graphique d'interface (bouton, combo box, barre de menu, etc.). Dans les EVs les widgets 3D sont utilisés pour changer les fonctionnalités du système de commande dans l environnement ou sur l objet sélectionné.!le choix d un bon emplacement des widgets 3D dans l espace est très important.!les Widgets 3D différent des deux autres techniques, Généralement on les utilise près des objets que l on désire manipuler (pour former ainsi un menu extrêmement sensible au contexte) Robert Chin 43 44 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 11

Sliders Menus graphiques Widgets 3D Boutons et switch Menus graphiques Widgets 3D 2002 Advanced Virtual Prototyping Group N.Murray, UK 45 46 Utilisée pour : Commande vocale!initialiser, Sélectionner, Commander etc.! Activer ou désactiver la prise en compte de la commande vocale. L utilisation de la commande vocale comme système de commande est très utile dans certains domaines lorsque les mains sont déjà occupées pour autre chose. 47 Limitations : Commande vocale!ne peut pas être utilisée dans chaque environnement.! Le moteur de reconnaissance vocale a souvent un vocabulaire limité.! l'utilisateur doit d'abord apprendre les commandes vocales avant de les utiliser.! Difficile de se rappeler de toutes les commandes.! Souvent pas de représentation visuelle couplée avec la commande vocale pour visualiser la liste des commandes existantes. 48 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 12

Interaction gestuelle Interaction gestuelle Utilise directement la main comme outil d interaction Comme dans la commande vocale, le geste peut être également utilisé pour :! Initialiser, sélectionner, commander etc. C est une interaction très intéressante, bien que les gants peuvent être inconfortables et que la calibration n'est pas toujours très précise. Exemple : Le langage des signes 49 Problèmes :! L utilisateur doit connaître tous les gestes! Les applications complexes nécessitent beaucoup de gestes! Difficile pour les utilisateurs non expérimentés! Les utilisateurs ne peuvent pas utiliser un menu graphique en utilisant une interaction gestuelle Pour faciliter l interaction gestuelle, certains retours d information sont nécessaires (exemple : un retour visuel lorsqu une commande est exécutée) 50 Outils physique (supports): Outils! Des supports réels dupliqués dans l environnement virtuel! Un outil pour réaliser une ou plusieurs fonctions! Le CA est intégré dans le dispositif! Augmentation tactile (retour tactile)! La forme du support ainsi que les catalogues indiquent l utilisation du support! Le menu peut être directement raccordé au dispositif d'entrée 51 Outils virtuels (Caisse à outils) Outils! L'usage de signaux proprioceptifs pour placer le système de CA autour du corps (la ceinture par exemple)! permettre l'approche rapide de système de commande! La sélection est rapide en stéréovision et lente en monovision! Ordonnés sous forme de menu ou comme dans le monde réel sous forme d une boîte à outils.! L utilisation d une caisse à outils détourne l attention de la tâche en cours. Toolchest [Toralf Sontag et Hartmut Seichter] Gorilla Exhibit menu Bowman et Hodges 52 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 13

Introduction : Interaction dans un monde 3D réel Utilisation de nos capacités sensorielles naturelles (la vue, l audition, le toucher, etc.) Création et utilisation des interfaces 3D dans le monde réel! En augmentant le monde réel par des dispositifs physiques interactifs dont les stimulus sensoriels sont gérés et contrôlés par l ordinateur.! Ubiquitous/pervasive computing (Informatique omniprésente/diffuse),! Wearable computers (Ordinateur Porté) Gorilla Exhibit menu! Réalité Mixte/Augmentée Bowman et Hodges 53 Ubiquitous/pervasive computing (Informatique omniprésente/diffuse) Tendance vers l'informatisation, la connexion en réseau, la miniaturisation des dispositifs électroniques et leur intégration à n'importe quel objet du quotidien, favorisant ainsi l'accès aux informations dont on a besoin partout et à tout moment. L'informatique omniprésente /diffuse, fait référence à l'utilisation de plus en plus répandue de processeurs minuscules communiquant spontanément les uns avec les autres et de capteurs qui, grâce à leurs dimensions très réduites, seront intégrés dans les objets de la vie quotidienne, jusqu à devenir presque invisibles pour les utilisateurs. Gorilla Exhibit menu Bowman et Hodges 54 Ubiquitous/pervasive computing (Informatique omniprésente/diffuse) Wearable computers (Ordinateur Porté) Ordinateur dont le matériel prend des formes s'apparentant à des bijoux ou à des accessoires vestimentaires : bandeaux, bracelets, etc. Gorilla Exhibit menu Bowman et Hodges Gorilla Exhibit menu Bowman et Hodges http://www.ntt.com/release_e/letters/bk_is/03_apr/i1.html 55 56 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 14

Réalité Mixte Continuum de Réalité Mixte [Milgram 94] Réalité Réalité Mixte (MR) Réalité Augmentée (RA) Virtualité Augmentée (VA) Virtualité Gorilla Exhibit menu Bowman et Hodges 57 Selon la définition de Azuma 1997! Combiner les objets réels avec les objets virtuels! Interaction temps réelle! Objets virtuels sont superposés sur des objets réels Interfaces de Réalité Mixte Nous présenterons que les Interfaces de RA interactives KARMA, Feiner, et all 1993 58 Interfaces de Réalité Mixte et Augmentée Défis des Interfaces de RA Techniques de Tracking du point de vue de l utilisateur! Magnétique, Optique, Traitement d images Techniques de superposition des objets virtuels sur les objets réels Technologies d affichage :! HMD See-through, écran de projection. 59 Obtenir le meilleur des deux mondes (réel, virtuel) en les réunissant. La conception d'interfaces de RA est limité par les propriétés des solutions technologiques et des techniques de recalage et de tracking (temps réel).! Limitation des dispositifs de visualisation! Limitation des dispositifs de contrôle (contrôleurs) 60 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 15

Défis des Interfaces de RA Interfaces de RA pour l interaction avec des données 3D De façon optimale :! Les technologies de RA devraient permettre des interactions simples des utilisateurs avec les objets virtuels superposés sur des objets 3D physiques et ceci partout (interface de RA mobile) Problème :! Existence de plusieurs styles d interaction à cause des propriétés et des limitations des technologies utilisées. Conçus pour superposer le monde virtuel au monde réel. But principal :! Superposer correctement des objets virtuels 3D sur des objets du monde réel par rapport à la position/orientation du point de vue de l'utilisateur. Exemple : Domaine médical Aider les médecins à prendre des décisions (des données physiologiques superposées en temps réel sur le patient (Bajura, 1993) permettant de guider les médecins en affichant des chemins possibles d'aiguille (State '96). State, et al 96 61 62 Interfaces de RA pour l interaction avec des données 3D Interfaces de RA pour L affichage des données contextuelles Autres applications :! Visualisation, installation, maintenance, formation, etc.! Ces systèmes de RA sont basés sur :! HMDs see-through et! Tracking optique et magnétique à 6 DDL.! L interaction est limitée au contrôle de point de vue virtuel en temps réel pour afficher correctement des objets virtuels wwwnavab.in.tum.de/main/mariongantner. Affichage des informations non 3D sur les objets réels en fonction du contexte du monde réel! Notes de texte, voix, annotations vidéo, etc. Technologie :! Vidéo see-through, ou non see-through! Tracking magnétique, optique ou par traitement d images Interaction :! Manipulation de la fenêtre dans l espace Rekimoto et al 97 63 64 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 16

Interfaces de RA pour L affichage des données contextuelles Interfaces de RA 3D Projet AMRA 2002-2004 (Assistance à la Maintenance en Réalité Augmentée) projet RNTL, qui regroupe cinq partenaires (LSC, ALSTOM, CEA-SRSI, CEA- LCEI, ActiCM). Les objets virtuels sont visualisés en 3D et manipulés en 3D! HMDs see-through avec! Tracking à 6 DDL.! La tête! La main, etc. Studierstube (Vidéo) Interaction :! Contrôle du point de vue! Interaction 3D (sélection, manipulation, etc.) (Vidéo) 65 66 Interfaces de RA 3D Interfaces de RA 3D Interaction gestuelle par le tracking du doigt de l utilisateur.! Tracking optique du doigt! Les objets sont attachés au doigt de l utilisateur et manipulés (prendre, déposer, etc.) Studierstube Augmented Reality Project (Vidéo) Autres exemples :! Construction 3D (Vidéo) 67 68 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 17

Interfaces de RA 3D Interfaces Tangibles et Surfaces Augmentées SenseShapes : Des formes géométriques sont attachées à l utilisateur! Deux cônes virtuels attachés à la tête (un pour chaque oeil)! Un cône attaché à la main pour la désignation.! Une sphère virtuelle attachée à la main pour la manipulation. Alex Olwal, Hrvoje Benko et Steven Feiner (Vidéo) Principe :! Des objets virtuels sont projetés sur un surface! Projection devant ou derrière la surface.! Des objets réels (physiques) sont utilisés pour contrôler les objets virtuels.! Tracking des objets sur la surface 69! Objets virtuels superposés sur les objets réels Digital Desk, Wellner, et al 1993 70 Interfaces Tangibles et Surfaces Augmentées Interfaces Tangibles et Surfaces Augmentées Principe : Interaction :! Image est rétro-projetée sur la table! la surface de la table est illuminée avec des lampes infrarouges. Différents objets peuvent être distingués sur la table et utilisés pour contrôler les différentes fonctionnalités.! Les objets physique sur la table reflète la lumière infrarouge! La position /l orientation des objets est détectée grâce une caméra infrarouge placée sous la table. Digital MetaDesk Desk, 1993 :Ullmer, et al. 1997 71 MetaDesk :Ullmer, et al. 1997 Digital Desk, 1993 72 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 18

Interfaces Tangibles et Surfaces Augmentées Rekimoto, et al. 1998! Projection par dessus! Tracking basé sur des marqueurs! Plusieurs surfaces de projection! Interface physique, tangible + Interaction en RA Avantages : Interfaces Tangibles et Surfaces Augmentées Interaction simple :! Les mains de l'utilisateur sont utilisées pour interagir avec des objets virtuels et physiques.! Pas besoin de dispositif d'entrée spécial Inconvénients : Interaction limitée :! Seulement aux surfaces 2D Digital Desk, 1993 73! Manipulation 3D très difficile Digital Desk, 1993 74 Interfaces de RA Tangibles Interfaces de RA Tangibles! Objets virtuels superposés au marqueur réel Shared Space : Billinghurst, et al. 2000, Kato, et al. 2000, Poupyrev, et al. 2001! Tracking de vidéo-see-through! Superposition par traitement d image! Des objets (carreaux) sémantiques! Objets pour les données! Objets pour les opérations! Interaction virtuelle en utilisant un objet réel! Tangible, interaction réelle! Interaction 3D! Menu! Bloc-notes! Poubelle Tiles : Poupyrev, et al. 2001! Aide! Collaborative! Collaborative Digital Desk, 1993 75 Digital Desk, 1993 76 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 19

Interfaces de RA Tangibles Interfaces de RA Tangibles! Les opérations :! Sur le menu! Suppression! Copier, etc. (Poupyrev, et al. 2001). Digital Desk, 1993 77 A gauche la vue du système et à droite celle des participants Digital Desk, 1993 78 Interfaces de RA Tangibles Interfaces de RA Tangibles Interfaces Transitoire (RA"!RV) Avantages :! Le livre magique (Magic book : Billinghurst, et al 2001)! Interface RA!Interaction simple avec les objets réels et virtuels!représentation et manipulation 3D des objets virtuels partout.! Portable vers la RV! Expériences en immersion en RV Inconvénients :! Collaborative! Besoin de HMD! Les marqueurs doivent être visibles pour le tracking Digital Desk, 1993 79 Digital Desk, 1993 80 Pr. Samir OTMANE, M2 RVSI - UEVE - IBISC 20