Interface Homme-Machine Cours 5

Transcription

1 Interface Homme-Machine Cours 5 4 Réalité virtuelle, réalité augmentée Philippe Gaussier Alexandre Pitti

2 Plan du cours 1 Introduction à l'ihm, historique et ergonomie psychologie, handicap et théorie, méthodes de conception et d évaluation 2 Éléments d'une IHM Interfaces et Infrastructures, prototypage 3 Extraction et Traitement de l'information GUI Visualisation de l'information, Méthodes statistiques 4 & 5 Techniques d'interactions avancées Réalité Augmentée, Interface Tangible, projection 3D, Analyse du mouvement

3 Réalité virtuelle immersion sensori-motrice de l utilisateur dans le système «...l interaction temps réel multi-modale qui implique l utilisateur à travers tous ses sens, et permet son immersion complète» (Burdéa) «...une application qui donne l illusion de participer à l activité d un environnement virtuel plutôt que d en être le simple observateur extérieur» (Gigante)

4 Réalité virtuelle Exemple : les jeux vidéos

5 Plan de la situation Environnement réel Réalité augmentée Environnement virtuel Réalité virtuelle Définition de la virtualité augmentée : «systèmes dont l objet de la tâche réside dans le monde informatique. Les systèmes considérés visent à rendre l interaction plus réaliste.(...) L interaction repose sur la manipulation d objets du monde réel, comme des cubes, pour modifier des objets informatiques tels que des fichiers» (Dubois, et al., 2000).

6 ex. the eye of judgment n o i t c a r e t n I Ca m In te er a q r a M r u ue g a /T n a r c É ra c t io n

7 Réalité Augmentée Réalité Augmentée [Feiner, Azuma, Mackay] Système qui permet de superposer l'image d'un modèle virtuel 3D ou 2D sur une image de la réalité et ceci en temps réel. 1. Combine the virtual and the real 2. are interactive in real time 3. registered in 3D Accroître l'utilité d'une image réelle

8 Essai de définition Caudell & Mizell, 1992 Lie le réel et le virtuel, Est interactive et en temps réel, Facilite l interface homme machine. Le but final est de supprimer les interfaces de manipulation informatiques comme la souris ou le clavier

9 Réalité Augmentée Réalité Augmentée [Feiner, Azuma, Mackay] Système qui permet de superposer l'image d'un modèle virtuel 3D ou 2D sur une image de la réalité et ceci en temps réel. 1. Combine the virtual and the real 2. are interactive in real time 3. registered in 3D Accroître l'utilité d'une image réelle

10 Réalité Augmentée Wendy Mackay distingue trois façons d'aborder la réalité augmentée : Augmenter l'utilisateur Augmenter l'objet Augmenter l'environnement

11 Augmenter l'utilisateur [Ultraseven]

12 Augmenter l'environnement [Total Immersion]

13 Augmenter l'objet un livre [Livre Augmenté]

14 Les différentes formes d'applications actuelles La publicité - Forme la plus attractive en terme de capitaux. - Beaucoup d entreprises travaillent sur ce thème. - Evolutivité énorme du secteur publicitaire grâce à la RA Le jeu - Marché du jeu en pleine expansion - Acheteurs friands d ergonomie développée (Wii) et de nouvelles technologies futuristes

15 Publicité IKEA Réalité Augmentée [Ikea]

16 Apprentissage RA

17 COMMENT CRÉER DE LA RÉALITÉ AUGMENTÉE? ARToolkit -Propose le plugin Virtools de Dassault (logiciel leader en entreprise) Papervision 3D -librairie flash donc populaire et partageable facilement sur le web LinceoVR 3.0 (publié par Rhinoceros) Logiciel avec interface graphique Utilisation facilité produit exclusivement windows prix élevé ( ou pour les étudiants)

18 COMMENT CRÉER DE LA RÉALITÉ AUGMENTÉE? Google Sketchup, pluggin

19 Les problèmes de la réalité augmentée Lien imparfait : lorsque le lien ne permet pas de synchroniser les deux réalisations pour certaines opérations. Modification de la nature du lien : lorsqu'une des entités qui forment le lien est remplacée par une autre. Lien brisé : lorsque le lien n'existe plus. Ceci peut être dû à une panne ou à des limitations du dispositif d'augmentation. tout système augmenté doit aussi pouvoir être utilisé comme un système non augmenté.

20 Virtualité augmentée Virtualité augmentée [Rose, Milgram] Incruster des images réelles dans des images virtuelles Améliorer la qualité d'une image de synthèse par l'incrustation d'éléments de la réalité

21 V.A. et R.A. Virtualité Augmentée Entités Physiques Interaction Utilisateur Réalité Augmentée Entités Physiques Augmentation Entités Numériques Entités Numériques Utilisateur

22 La réalité mixte Exemple connu avec l application métroparis Pas d analyse d image, seulement de position (GPS) et d orientation (boussole). Des données virtuelles (les emplacements de station) sont appliquées sur un flux réel (film de la scène) La réalité mixte n'interagit pas avec le flux d informations visible par l utilisateur, même si la position GPS pourrait faire figure de données réelles, ces informations ne tiennent pas compte de l environnement direct. Lors des derniers mètres, cette différence peut s avérer embêtante pour l utilisateur qui pourrait tourner autour de la bouche de métro sans la voir (en imaginant qu il ne voit réellement pas l entrée)

23 La réalité mixte [metroparis]

24 Google Glasses

25 Système mixte? Pas de consensus quant à une définition Groupement de plusieurs termes utilisés dans la littérature Réalité Augmentée [Feiner, Azuma, Mackay] Virtualité augmentée [Rose, Milgram] Tangible User Interface / Ambient interface [Ishii] Réalité mixte [Milgram] Environnements augmentés [Xerox Euro Parc] Vidéo augmentée Etc.

26 Objectifs des systèmes mixtes Exploiter les capacités de traitements / stockage / transformations / etc. des "systèmes informatiques" (complète les capacités de l'utilisateur) S'appuyer sur la manipulation d'objets du monde physique (facilite l'interaction de l'utilisateur avec le système) Laisser l'utilisateur au contact de son environnement physique habituel (rend l'ordinateur accessible partout)

27 Rôle des systèmes mixtes Ajouter de l'information : enrichir la perception de l'utilisateur des services : faciliter l'exécution de tâches Lors d'une interaction entre l'utilisateur et Monde physique : Réalité augmentée Monde numérique : Virtualité Augmentée

28 Constat Tendance à la démocratisation des systèmes mixtes Utilisation dans de nombreux domaines Nécessité de mettre en œuvre un processus de développement Conception Taxonomie Méthode / éléments de conception Techniques de développement

29 Taxonomies en Réalité Virtuelle M.K.D. Coomans Philippe Fuchs

30 Développement d interfaces 3D

31 Technologies Localisation Caméra : Tag based Segmentation, suivi, (différence d'image, gradient, etc.) Infra-rouge : polaris Ultra-son : FreeD mouse Détection magnétique : FOB Ondes radio : RF-ID Mécaniques (bras, robots) Rendu PDA, casque, projecteurs, HP Graphique, texte, son, etc.

32 Geolocalisation

33 Reconnaissance de tag

34 Reconnaissance de tag : QR code

35 Reconnaissance de tag : QR code a. Row scanning b. Column scanning c. Adjusting to center position Transformation affine Chen

36 Reconnaissance de tag

37 Reconnaissance de tag

38 Problème de projection

39 Problème de projection

40 Problème de projection

41 Affichage Affichage via un dispositif semi-transparent Affichage par projection c.f. Parnav Mistry et son projet 6thsense Affichage sur le flux vidéo ARToolkit

42 Interaction Dispositifs «portables» Gestes Mains «nues» Mains «équipées» Déplacements d objets reconnus Objets communicants

43 Toolkits existantes Context-toolkit : support au développement des parties logicielles gérant la capture de données du contexte Bus Ivy : middleware AR-toolkit : fonctionnalités liées à la localisation

44 ARToolKit HIT Lab, University of Washington, USA Mark Billinghurst,

45 l'ar-toolkit Objectif Superposer des informations numériques à un flux vidéo du monde physique Moyen Librairie écrite en C (version Java existante) Gratuit, open-source Réservé à un usage non commercial Exécutable de calibration de la caméra

46 L'AR-Toolkit 1

47 L'AR-Toolkit 2

48 L'AR-Toolkit 3

49 Fonctionnement (1) 1. Acquisition : acquisition numérique d'un flux vidéo et seuillage 2. Détection : Recherche dans cette image de régions carrées. Pour chaque carré, identification du "pattern" situé à l'intérieur et mise en relation avec un des "patterns" prédéfinis 3. Localisation spatiale : Calcul de la position de la caméra réelle dans le repère associé au pattern (matrice 3x4 de passage de la caméra au pattern). 4. Traitement : Affichage du rendu graphique ou textuel, facilement "alignable" sur le monde réel.

50 Fonctionnement (2)

51 AR toolkit "patterns" Exemples de "pattern" détectables par l'ar toolkit.

52 Principe de mise en oeuvre 6 étapes 1. Initialisation de l'application 2. Capture d'une image vidéo 3. Identification des marqueurs (situés dans les patterns) 4. Calcul de la matrice de passage pattern caméra 5. Affichage du rendu 6. Fermeture du canal d'acquisition vidéo Code C / C++ Code Java

53 Utilisation de l'ar-toolkit en C (1) Init() Ouvre le canal vidéo et initialise les paramètres par défaut de l'ar toolkit (fichier de calibrage de la caméra, fichiers de description des patterns) Détermine la taille de la fenêtre d'affichage.

54 Utilisation de l'ar-toolkit en C (2) À utiliser dans la "mainloop" arvideogetimage() : capture une frame du flux vidéo argdispimage() : affiche la frame vidéo capturée ardetectmarker() : construit un tableau (en C) d'identifiant des marqueurs détectés argettransmat() : calcule la matrice de passage entre le repère du pattern et la caméra (réelle) draw() : affiche le rendu graphique, textuel, etc.

55 1. Code pour initialisation main( ) { // INITIALISATION if (arvideoopen( ) < 0 ) exit(0); //open the video path if (arvideoinqsize(&xsize, &ysize) <0) exit(0); // find the size of window if (arparamload(cparaname, 1, &wparam) < 0) // set the initial camera param { exit(0); } // DEMARRAGE arparamchangesize(&wparam, xsize, ysize, &cparam); arinitcparam ( &cparam); arparamdisp( &cparam ); arginit( &cparam, 1.0, 0, 0, 0, 0 ); // ouvre la fenetre graphique arvideocapstart( ); //start video image capture bool m_localiserstarted = true; // cf. next slide

56 2. Detecter les marqueurs // "MAIN LOOP" while (m_localiserstarted) { // CAPTURE D'UNE FRAME arvideocapnext(); if ( (dataptr = (ARUint8 *) arvideogetimage( )) == NULL) { arutilsleep(2);return; } // DETECTION DES PATTERNS PRESENTS if( ardetectmarker(dataptr, thresh, &marker_info, &marker_num) < 0 ) { cleanup(); exit(0); } // IDENTIFICATION DES PATTERNS PRE-CHARGE VISIBLE for( i = 0; i < objectnum; i++ ) // objectnum = nombre de pattern préchargés { k = -1; for( j = 0; j < marker_num; j++ ) { // object[ ] = tableau de descripteurs des if ( object[i].id == marker_info[j].id ) // pattern pré-chargés { if( k == -1 ) k = j; else { if ( marker_info[k].cf < marker_info[j].cf ) k = j; } } } if( k == -1 ) { object[i].visible = 0; continue; } // CALCUL DE LA MATRICE DE PASSAGE if ( argettransmat(&marker_info[k], object[i].marker_coord, object[i].trans) < 0 ) { object[i].visible = 0; } else { object[i].visible = 1; } }

57 3. Dessiner sur un marqueur // AFFICHAGE DE LA VIDEO argdrawmode2d(); argdispimage( dataptr, 0, 0); // CALCUL ET AFFICHAGE DU GRAPHIQUE POUR CHAQUE PATTERN DETECTE for( i = 0; i < objectnum; i++ ) { if( object[i].visible == 0 ) continue; argconvglpara(trans, gl_para); argdrawmode3d(); argdraw3dcamera(0, 0); glmatrixmode(gl_modelview); glscalef(1,-1,1); glmultmatrix(gl_para); // INSTRUCTIONS DE DESSIN } // AFFICHAGE DU BACK BUFFER argswapbuffers( );

58 4. Terminer la boucle d'événements while (PeekMessage( &WmMsg, NULL, 0, 0,PM_REMOVE)) { int t; if ( (WmMsg.message == 257) && (WmMsg.wParam == 89) ) { t = increasethresh(); TRACE("THRESH++ = %d\n",t); } /* else */ DispatchMessage(&WmMsg); } }

59 Utilisation de l'ar-toolkit en Java (1) Différentes versions GL4Java JOGL En baisse A voir (sensiblement similaire à la suivante) Java 3D Illustrée ici

60 Utilisation de l'ar-toolkit en Java (2) Déclaration private JARToolKit3D m_jartoolkit3d = null; Initialisation (dans le constructeur par exemple) Création de l'instance unique (framegrabber) m_jartoolkit3d = JARToolKit3D.create(); Initialisation des paramètres de calibrage de la caméra m_jartoolkit3d.initialize( JARToolKit3D.getAbsolutePath("data/camera_para.dat")); (remplace les / par \\ ) Insertion dans le graphe de scène locale.addbranchgraph( m_jartoolkit3d.createviewingbranch(canvas));

61 Utilisation de l'ar-toolkit en Java (3) Initialisation (suite ) Création du BackGround Java3D (et ajout) contentstransgr.addchild(m_jartoolkit3d.createbackground( )); Création du behavior gérant la détection des patterns de la jartoolkit (et ajout) m_arbehavior=jartoolkit3d.createrecognition(); contentstransgr.addchild(m_arbehavior); Création d'un TransformGroup par pattern à localiser objtrans = m_jartoolkit3d.createpatterntransform( JARToolKit3D.getAbsolutePath("data/pattern/hiroPatt"), true); Association de ce transformgroup au behavior de tracking (patterndriven-transformgroup) m_arbehavior.registerobject(objtrans); Ajout des objets Java3D attachés au patterndriven-transformgroup

62 Configuration de la machine Classpath Dll ARToolkit (JNI) Copiées dans le répertoire d'exécution Path Contient le java3d-utils-src.jar Ajouter le jartoolkit\bin NOTE : c'est du java pour PC

63 Extensions de l'ar toolkit Version Java Version Pocket-PC developer/artoolkit.php

64 Sur Android Magic Lens Bier, Stone, Pier, Buxton, DeRose. Toolglass and Magic Lenses: The See-Through Interface. In Conference Proceedings of Siggraph 93, Anaheim, Computer Graphics Annual Conference Series, ACM (1993) Géolocalisation Limitée par la précision du GPS Tag Limitée par la robustesse de reconnaissance

65 Geolocalisation: Layar (Android) Développement de «couche» Ex: Layar : Application dédiée et unique compte développeur nouveau calque sur le site Layar Web Service (et BD) pour les POIs (techno JSON) Publication du calque

66 Geoloc.: Wikitude (Android) l API Wikitude

67 Reconnaissance de Tags Différentes implémentation de l ARToolkit NyaARToolkit AndAR : Difficulté de l OpenGL sous android Possible de retrouver des implémentations de GLUT..

68 Exemple avec Andar Personnalisation de AndARSampleProject Reconnaissance de tags et affichage d un cube vert OpenGL «masqué» Changement de repère Objet reconnu «indépendant» Ajout d une interaction simple : Quand le tag est proche de cube associé à change de couleur., le

69 FIN