Mise en œuvre d'une application immersive dans un visio-cube de grande taille : Mise en place des concepts de la CVII. Rapport de stage de 4ème année

Transcription

1 Mise en œuvre d'une application immersive dans un visio-cube de grande taille : Mise en place des concepts de la CVII Rapport de stage de 4ème année Thibaud Guilpain 09/2011

2 2

3 Remerciements Je voudrais remercier les personnes suivantes : Mme. Valerie Gouranton et M. Bruno Arnaldi pour m avoir présenté ce stage ainsi que pour leur support, M. Ronan Gaugne et M. Alain Chauffaut pour nous avoir accueillis avec eux à la salle Immersia, pour leurs conseils et leur aide tout au long du stage, M. Baptiste Uzel, M. Cyril Savary et M. Morgan Le Chenechal à savoir mes collègues de travail lors de ces deux mois. Enfin, j aimerais remercier les membres de l IRISA et de l INRIA dans leur ensemble et en particulier ceux de l équipe VR4i pour leur accueil et leur disponibilité. 3

4 Sommaire Remerciements... 3 Introduction... 5 Le lieu et l équipe de travail... 5 L INRIA... 5 VR4i... 5 Salle Immersia... 6 Le stage : précisions... 7 Le stage : mes activités... 7 Découverte d OpenMask et de la CVII... 7 Le système de suivis des mouvements : ARTtrack... 8 L application L3g0 originale en 3D... 9 Création de plusieurs scènes 3D... 9 L implémentation du model de la CVII Conclusion Les résultats Les enseignements retirés Planning du stage Bibliographie

5 Introduction Etudiant en 4 ème année, c est dans le cadre du projet L3g0, sous la tutelle de Bruno Arnaldi et Valérie Gouranton, qu a eu lieu ma première approche des moteurs 3D et de leur utilisation. En effet, notre objectif était de développer une application qui permettrait la manipulation de pièces de LEGO, c'est-à-dire de les assembler, les déplacer en translation ou rotation et tout cela en 3 dimensions via la souris et le clavier dans une interface graphique simple et efficace. On m a alors donné l opportunité de participer au portage de ce projet avec d autres étudiants sous forme d une démonstration pour la salle Immersia de L INRIA. Cette salle comportant des équipements de dernière génération en matière de visualisation 3D, de suivi des mouvements et de son pour une immersion complète. C est donc dans le but de mettre en œuvre une application 3D et de découvrir le monde de la recherche que j ai commencé ce stage. Le lieu et l équipe de travail L INRIA L'Institut national de recherche en informatique et en automatique (INRIA) est un établissement public de recherche établit depuis 1967 et est composé de 8 centres dont celui de Rennes qui est associé à l Institut de recherche en informatique et systèmes aléatoires (IRISA). Les domaines de recherche y sont très variés allant des mathématiques appliqué à la perception et interaction avec les mondes virtuels en passant par les réseaux et le calcul distribué. C est au sein de cet institut que mon immersion dans le monde de la recherche s est produite. VR4i L équipe VR4i pour Virtual Reality for Improved Innovative Immersive Interaction est basée à Rennes et son thème de recherche est l'interaction collaborative entre humains réels dans des environnements virtuels partagés. C est cette équipe qui travaille actuellement dans la salle Immersia et 5

6 c est avec pour eux que nous avons travaillé pour ce stage. Salle Immersia La salle Immersia située à l Espace des Technologies Innovantes (ETI) est composée d un système immersif de très haute technologie : la plateforme Immersia. Elle est composée de grands écrans, l écran principal mesurant environ 9,60 m de large pour 3 m de haut, de 11 projecteurs haute-définition et stéréoscopie active (au moment du stage mais avec un projet d achat de 4 projecteurs supplémentaires) et cela accompagné d un système de sonorisation spatialisée et d un système de localisation par caméras infrarouges permettant de suivre des mouvements d utilisateurs ou d objets apprêtés de boules réfléchissant l infrarouge. Comme on peut le voir sur l image suivante (Figure 1), les écrans des côtés de sont pas encore fonctionnels au moment du stage mais l immersion visuelle est cependant déjà très importante. Figure 1 : Les écrans disposés de manière à être en grande immersion visuelle. 6

7 Le stage : précisions Avant d entrer dans le vif du sujet il convient de préciser que le contexte de ce stage est assez singulier. En effet, la salle Immersia était toujours en cours d achèvement lors du stage. Etant les premiers à développer une application sur ce matériel, une partie non négligeable du temps à été passée à découvrir ses particularités et s y adapter. Nous avons également décidé de faire une seconde application, permettant de montrer des fonctionnalités ne pouvant être développée dans le projet L3g0 car il est arrivé que l ont ne puisse plus avancer sur L3g0 faute d accès à la salle pour cause de réglages et maintenances sur les projecteurs. Aussi, il est a noté que très peut de tâches ont été réalisée complètement de manière individuelle et que seules celles dans lesquelles mon implication a été importante et qui composent l essence du projet sont décrites ci-après. Le stage : mes activités Découverte d OpenMask et de la CVII La première partie de ce stage a été passée à comprendre puis à se familiariser avec l environnement logiciel disponible pour la création d applications pouvant tourner dans la salle Immersia. En effet, sa configuration matérielle est bien spécifique. Lors du stage (de fin mai à fin juillet), la configuration la salle était la suivante. Seul l écrans frontal et celui du sol sont disponibles. Sur l écran frontal l image est affichée à l aide de 8 projecteurs haute définition tous gérés par un ordinateur tandis qu un autre ordinateur s occupe des 3 projecteurs nécessaires à l affichage de l image sur le sol. Il est donc nécessaire qu une application destinée à cette salle soit distribuable sur ces deux machines tant du point de vue des calculs qu au niveau de l affichage. De plus il est prévu d ajouter un cluster de 7 machines plus tard dans la salle, une machine ne s occupant plus que de 2 projecteurs au maximum. On nous a alors présenté OpenMask (Mask pour : Modular Animation and Simulation Kit). Il s agit d une plateforme qui permet le développement d applications modulaires et leur exécution pour des applications dans les domaines de l animation, de la réalité virtuelle et de la simulation. Mise en place par l équipe Bunraku de l IRISA (maintenant séparée en plusieurs équipes dont VR4i), cette plateforme permet de créer des modules en C++ de haut niveau en suivant des contraintes spécifiques à OpenMask puis de les agencer et utiliser grâce à un fichier texte modélisant l architecture entre les modules, leurs liaisons et leurs paramètres pour l exécution. 7

8 Lors de cette période d introduction, nos encadrants nous ont également présenté le model de la CVII (cabine virtuelle interactive et immersive) qui permet de modéliser et d agencer les uns par rapports aux autres les différents concepts nécessaire à une application immersive. Il s agit, de plus, de réflexions sur la manière de gérer le déplacement dans le monde virtuel, la façon de lui présenter les limites de ses déplacements (pour éviter les écrans) ou encore comment présenter son espace de travail à l utilisateur. C est donc fort de ces informations que nous avons commencé à tester les possibilités offertes par les différents modules d OpenMask déjà développés lors d anciens projets. Le but étant d essayer de réaliser toutes les actions de bases dont on allait avoir besoin pour notre application L3g0. Pour cela, nous avons récupérer l application de base disponible dans nos dossiers d installation d OpenMask. Il s agit d une simple trottinette qui se déplace plus ou moins vite en fonctions d appuis sur les touches du clavier. Après l avoir analysée, nous avons commencé à modifier cette application de manière à ajouter des objets 3D dans la scène puis y ajouter des modèles que nous avions nous même créer et les déplacés grâce au clavier. L étape suivante étant d avoir plusieurs vues se juxtaposant sans problème de manière à ce que la scène soit bien affichée en continue sur les différentes vues. Le système de suivis des mouvements : ARTtrack Une autre des spécificités de la salle Immersia est la présence du système ARTtrack qui permet de suivre les mouvements d objets via un ensemble de caméra infrarouges. Les objets suivis devant posséder des boules réfléchissantes. Nous disposions de deux types d objet suivable par le système ART : des ensembles de boules accrochables sur les utilisateurs et leur matériels et deux flysticks considérés différemment par le système dus aux boutons et joysticks qu ils comportent. Les boutons du flystick ont pour but de nous permettre de déclancher des actions dans nos applications sans necessairement faire de reconnaissance de mouvement. Par exemple : allumer une lampe via un bouton que plutôt que part un mouvement. Figure 2 : Flystick composé de 6 boutons et un joystick 8

9 Notre première action concernant le suivi de mouvements fut donc de réussir à récupérer les données de position envoyées par l émulateur de l ART dont nous disposions pour nos tests vers un objet de la scène et ensuite plus particulièrement vers les caméras virtuelles qui nous donnent les différentes vues. En effet, à terme le but étant de lier les caméras aux mouvements de la tête de l utilisateur pour pouvoir modifier les vues en conséquence de manière à garder la vison en 3 dimensions de l utilisateur cohérente. La suite de cette étape concernait le flystick et ses boutons. N étant testable que sur le vrai système dans la salle Immersia dont l accès ne nous était pas toujours garanti le développement du lien entre le flystick et notre application a été relativement long. En effet, la récupération de ses données de positions et celle des données des états des boutons s est réalisée avec quelques problèmes et fut complexe. L application L3g0 originale en 3D Une autre étape intermédiaire de ce stage fut la recompilation de l application L3g0 originale sur les machines dont nous disposions pour le stage, de manière à y remplacer le moteur graphique Ogre3D par une version modifiée par un de mes collègues permettant l affichage d images en 3D stéréoscopiques (la technique de 3D des deux images légèrement décalés comme actuellement visible aux cinémas). J ai donc réussi à recompiler l application originale dans notre nouvel environnement de travail avec cette version de Ogre3D améliorée et y ait ajouté un module permettant son paramétrage. En effet, pour un meilleur effet il faut régler la 3D en fonction de l écartement des yeux de l utilisateur et de sa distance à l écran par exemple. Création de plusieurs scènes 3D Pendant ce stage, est également apparu le besoin de créer plusieurs scènes de tests et une scène de démonstration pour montrer d autres possibilités de nos modules OpenMask que celle visibles dans notre application L3g0. Nous avons donc créé plusieurs scènes de tests (figure 3) pour valider le bon alignement de nos vues dans la salle Immersia et également pour valider le bon alignement des images des projecteurs. Ces scènes permettent aussi de vérifier le bon fonctionnement de la visualisation en 3D grâce à des cubes positionnés devant, sur, dessous et derrière les écrans du sol et de devant. 9

10 Figure 3 : scène de test d'alignements et réglages du matériel (image issue de Blender) Pour la scène Nature, nous voulions montrer une immersion dans un monde plus réaliste que celui de L3g0. Ainsi, j ai modélisé une partie des modèles 3D de cette scène sous le logiciel de modélisation 3D Blender tels que des rochers, plantes vertes et une partie du ponton en bois. L implémentation du model de la CVII Pour la création des structures générales de nos deux applications, L3g0 et Nature, nous avons implémentés le model de la CVII. C'est-à-dire que nous avons mis en place une structure dans nos applications qui respecte la CVII. Cela permet de bien distinguer les espaces de travails (ou workspaces) de visualisation de celui de l ART et du son par exemple. Ce model permet aussi la gestion de la position des espaces de travails de l utilisateur dans le monde virtuel et sa cohabitation avec d autres utilisateur dans ce monde même si cette dernière partie n a malheureusement pas été mise en place. La figure 4 schématise la façon dont les différents éléments de la CVII sont liés. On y voit bien comment tout ce qui se rapporte à un utilisateur en particulier est lié hiérarchiquement en dessous de son conveyor qui lui permet de se déplacer avec ses espaces de travails dans le monde virtuel. Figure 4 : Modèle simplifié de la CVII 10

11 J ai également mis en place un autre concept de la CVII permettant à l utilisateur de prendre conscience de son environnement. En effet, lors de l immersion, l utilisateur peut perdre notion des distances et ne plus savoir où il est par rapport aux limites physiques de son environnement de travail. Ainsi, pour des raisons de sécurité de l utilisateur autant que pour protéger les écrans très couteux de la salle Immersia un système d avertissement de l utilisateur à été mis en place. Le principe est simple : dès que l utilisateur se rapproche trop près d un des écrans ou du sol, on le prévient en affichant un objet 3D. L objet en question, ici un crâne, doit apparaître devant les yeux de l utilisateur pour qu il ne puisse pas rater l avertissement. Dès qu il reprend ses distances, l objet disparait. Cet avertissement permet donc d éviter un choc sans avoir à sortir l utilisateur de son immersion. La difficulté majeur de l implémentation de ce model fut la récupération nécessaire des informations de positions de l utilisateur et des écrans ainsi que la retransmission de l information d affichage sur tout les écrans d un objet lié à la tête de l utilisateur. En effet, l architecture de la CVII combinée à OpenMask donne une répartition de ces informations dans plusieurs objets et OpenMask ne permet pas l envoi facile d informations du fait de la parallélisassions imposée lors de son exécution. Une implémentation permettant un nombre quelconque d écran a cependant fini par être mise en place (figure 5). Figure 5 : Apparition de l'avertissement lorsque trop près de l'écran 11

12 Conclusion Les résultats Au final, notre groupe de quatre étudiants a terminé ce stage en fournissant deux démonstrations pour la salle Immersia. La démonstration L3g0 dans laquelle il est possible de déplacer des pièces que l on attrape virtuellement avec les mains. On peut également interagir avec cette application avec le flystick qui permet de déplacer l espace de travail de l utilisateur dans le monde virtuel. Cette démonstration met donc en avant les interactions avec le monde virtuel. On dispose aussi de la démonstration Nature 1 qui permet de montrer l immersion que l on peut obtenir dans un monde virtuel. On peut y passer du jour à la nuit et y utiliser le flystick comme une torche pour éclairer la scène. Bien entendu, tout cela est en 3 dimensions et les vues s adaptent pour afficher les bonnes images en fonction de la position de la tête de l utilisateur. Un module de son a également été ajouté pour avertir l utilisateur de manière sonore en même temps que visuel de la présence des écrans. Enfin, une documentation est disponible pour permettre d installer notre travail, le comprendre et le réutiliser afin de créer de nouvelles scènes. Les enseignements retirés Ce stage m a permis d approfondir mes connaissances dans le domaine de la réalité virtuelle et notamment j ai découvert comment implémenter la 3D stéréoscopique. De même ce stage m a permis d affuter mes capacités de modélisation 3d. L utilisation de Cmake et la découverte d OpenMask sont également des connaissances en plus que j ai acquis. J ai également pu améliorer mes capacités de travail en équipe lors de ce projet. Le découpage des tâches et la répartition dynamique du travail dans le groupe nous ont d ailleurs permis de terminer notre projet dans les temps malgré les imprévus. Enfin, j ai découvert le monde de la recherche et plus particulièrement de la recherche pratique sur du matériel de pointe au travers de ce stage. Ce fût très enrichissant et cela confirme mon envie de m orienter vers la réalité virtuelle. 1 Le lien suivant comporte des vidéos de la démonstration Nature, cela peut donner une meilleure idée du rendu finale : 12

13 Planning du stage Le planning suivant comporte une estimation des tâches effectuées chaque semaine. Les phases de tests ne sont pas indiquées car chacune des fonctionnalités et chacun des modules ont été testé au fur et à mesure. En effet, comme nos applications sont des imbrications de nombre de module, il est important de les tester dès leur finalisation pour éviter les problèmes complexes de débogage ultérieure. Semaine 1 Semaine 2 Semaine 3 Semaine 4 Semaine 5 Semaine 6 Semaine 7 Semaine 8 Semaine 9 Prise en main d'openmask, présentation CVII Divers expérimentations sous OpenMask Accueil Morgan, Projet cameraman Expérimentations ART, Expérimentations stéréoscopie, Mise en place model CVII Plugin Ogre3d, recompilation OMK, Débogage ART, Recompilation L3g0 originale Tracking de la tête, déformation des projections Modélisation scènes (Nature et tests), Nettoyage cœur L3g0 Démo (Nature), Intégration audio, développe L3g0 Démo L3g0, Module Avertissement, Documentation Bibliographie INRIA : VR4i : Page du projet L3g0 de 4 ème année : Exécutable du projet L3g0 de 4 ème année : OpenMask : ART Gmbh : Blender : Site contenant les vidéos de la démonstration Nature : 13

14 Résumé Ce rapport présente mon stage effectué au sein de l équipe VR4i (Virtual Reality for Improved Innovative Immersive Interaction) à l IRISA (Institut de recherche en informatique et systèmes aléatoires) de Rennes en juillet-août C est avec trois autres stagiaires que nous avons développés une application qui permet de manipuler des pièces de LEGO avec les mains dans un environnement en trois dimensions immersif. Summary This report presents my internship that I did among the VR4i (Virtual Reality for Improved Innovative Immersive Interaction) team at the IRISA (Institute of research in computer science and random system) of Rennes in France during July and August other interns and I built a software allowing you to move around and pile up LEGO bricks with your hands in a three dimensional immersive environment. 14