Résumé. Ce projet fait suite à un mini-projet d'ihm (ESSI3 2004) et un stage ERASMUS.

Transcription

1 !" #"$""%!" Résumé Ce projet fait suite à un mini-projet d'ihm (ESSI3 2004) et un stage ERASMUS. Notre produit doit permettre l'élaboration d'une interface ergonomique de déformation d'une surface 3D (modélisée sous forme d un maillage). Le projet comporte deux aspects: d'un côté la gestion de la déformation du maillage et l élaboration d un univers virtuel à l aide d un graphe de scène, de l'autre la mise en place d'une interface homme machine originale basée sur l'interaction à l'aide de gants. En effet, dans certains domaines d'applications, comme en imagerie médicale, il peut être nécessaire de manipuler facilement des volumes sans la contrainte actuelle liée aux standards de l informatique 3D.

2 . Présentation du contexte du projet N ous réalisons ce projet en collaboration avec le Centre Scientifique et Technique du Bâtiment (CSTB) qui nous accueillera dans ses locaux lors de la finalisation de notre prototype, afin de le tester en conditions d utilisation optimales dans la salle immersive Le Corbusier. Avec pour finalité, l amélioration du bien-être et de la sécurité dans les bâtiment, le CSTB exerce quatre métiers complémentaires : recherche, ingénierie de pointe, évaluation de la qualité et diffusion du savoir. Associé à ses domaines d expertise, ils lui permettent une approche globale du bâtiment, élargie à son environnement urbain, aux services et aux nouvelles technologies de l information et de la communication. Le département Technologies de l Information et Diffusion du Savoir TECHNOLOGIES DE L'INFORMATION Systèmes d'information Avancés Patrick Morand - Tél. : Fax. : Mail : joelle.lucas@cstb.fr La salle immersive, première salle en France dédiée au secteur de la construction, permet d immerger une quinzaine de spectateurs dans une scène virtuelle générée, en temps réel, par un super calculateur graphique. L impression d immersion est produite par la restitution en stéréo des images de haute définition sur un écran courbe (portion de cylindre) grâce à plusieurs vidéo projecteurs et par la restitution du son 3D associé. La première forme d exploitation de la salle concerne la consolidation de la position du CSTB en tant que centre d excellence en matière de R&D dans le domaine des Environnements Virtuels (EV). Concrètement, cela permet à l établissement de se positionner dans les projets européens (projets intégrés du programme IST du 6 PCRD) et les projets nationaux (RNTL, Predit, etc.) comme un interlocuteur privilégié pour les applications des EV dans le domaine de la construction. Dans une seconde phase, la salle devrait permettre de réaliser des revues de projets avec une grande exigence de qualité regroupant maîtrise d ouvrage, maîtrise d œuvre technique et architecturale afin de favoriser les interactions entre les acteurs du projet et d améliorer le processus séquentiel utilisé communément (et qui induit des pertes de temps et d information). Nous reprenons également le travail effectué l année dernière lors d un projet ESSI 3 se déroulant également au CSTB. Leur rapport est disponible ici : Projet ESSI Soula - Cuisinaud

3 2. Sommaire. Présentation du contexte du projet Sommaire Cahier des charges Rappel de la contribution attendue du produit, du contexte et des enjeux Publics visés Objectifs généraux, thèmes principaux, objectifs spécifiques Bénéfices attendus : pour les utilisateurs, pour les concepteurs Contraintes à prendre en compte Conditions de réussite d'une utilisation de ce produit Ressources nécessaires au développement (personnes, matériel et logiciel, budget) Méthodologie d'évaluation du produit Délais de réalisation Maintenance du produit Avancement du projet Planning prévisionnel Conclusion A propos de la bibliographie... Projet ESSI Soula - Cuisinaud

4 3. Cahier des charges Il est difficile d'établir à ce stade du projet un cahier des charges digne de ce nom: en effet, le sujet exact du projet a subi quelques évolutions au cours des premiers mois, et les objectifs, sans être totalement transformés, ont subi quelques modifications. De plus, les exigences de notre projet dépendront grandement des résultats obtenus lors de nos essais sur le matériel : notamment au niveau de la capacité de reconnaissance des mouvements. Nous allons donc brièvement présenter les aspects les plus importants de notre projet dans ce cahier des charges. 3.. Rappel de la contribution attendue du produit, du contexte et des enjeux Notre produit doit donc permettre l'élaboration d'une interface ergonomique de déformation d'une surface 3D (modélisée sous forme de maillage). Le projet comporte donc deux aspects: d'un côté la gestion de la déformation du maillage, de l'autre la mise en place d'une interface homme machine originale basée sur de l'interaction à l'aide de gants Publics visés Le public visé par notre produit est essentiellement composé d'utilisateurs habitués de la 3D, notamment dans le cadre de la conception, et dans le cadre d'applications en réalité virtuelle. Notre étude de projet «IHM» explicite un modèle utilisateur (voir le site: Objectifs généraux, thèmes principaux, objectifs spécifiques Tâche globale : être capable de déformer un maillage 3D de manière interactive à l'aide de gants - se renseigner sur la librairie CGAL - être capable de réaliser un maillage 3D partir de formes de base en 3D (sphères, cubes, formes prédéfinies ) en déduire des formes plus complexes Elaboration de fonctions prédéfinies facilitant la manipulation du maillage Création d une librairie personnalisée adaptée au projet - être capable de déformer le maillage modifier la position point par point du maillage influencer la position des points voisins lors de cette modification avoir un rendu dynamique de cette modification - être capable d utiliser les capacités d un graphe de scène pour pouvoir créer une scène et interagir avec ses composants réaliser une bibliographie sur les graphes de scènes existants ( voir ) choisir le meilleur et acquérir les notions nécessaires à son utilisation créer une scène de base (ex en java3d : voir Parallèlement à cela : - être capable d'assurer la reconnaissance du (des) mouvement(s) à l'aide de deux webcams. Concevoir et fabriquer les interfaces physiques de notre projet (gants, diodes, ) localiser les diodes situées sur les gants (en 2D puis en 3D) avec les Webcams Utiliser des techniques d appariement des Webcams afin de retrouver les coordonnées 3D interpréter les positions successives des diodes en termes de mouvements simples exploitables (rotation, translation) Projet ESSI Soula - Cuisinaud

5 - être capable de relier les mouvements des gants à des actions spécifiques à l'écran. - être capable d'effectuer un rendu 3D de notre scène à l'aide d'une visualisation stéréo (lunettes et écran immersif) exploiter les possibilités des graphes de scène pour des rendus classiques et stéréoscopiques ajuster les paramètres du dispositif pour optimiser le réalisme de l application finale. - être capable de réaliser un prototype fonctionnel dans le temps imparti (voir diagramme de Gantt)! 3.4. Bénéfices attendus : pour les utilisateurs, pour les concepteurs Globalement : - rapidité d exécution des mouvements avec les doigts et les mains - universalité du langage corporel, donc facilité d apprentissage par le mime - interface peu coûteuse - technologie vitrine pour l entreprise Domaine médical: les médecins peuvent être à même de manipuler directement des représentations virtuelles 3D d'organes, par exemple. Réalité virtuelle: l'équipe EVE (environnements virtuels enrichis) du CSTB pourra par exemple modeler directement des formes «à la main» sans devoir passer par un logiciel quelconque... De plus des fonctions secondaires pourraient être associées aux gants pour d'autres applications. Concepteurs (ESSI): immersion dans les technologies actuelles des graphes de scène. Apport de connaissances global dans le domaine de la vision et de l imagerie. Valorisation de l ESSI à travers la création d un prototype novateur et le partenariat avec des entreprises extérieures (CSTB) Contraintes à prendre en compte Principalement des contraintes d'ordre technique, avec deux aspects distincts: - reconnaissance effective des gestes : détection plus ou moins approximative des diodes pouvant entraîner des erreurs d interprétation et d acquisition des mouvements. D où une certaine limitation non quantifiable actuellement. - compatibilité avec le matériel du CSTB d un côté (possibilité pour l'équipe EVE de réutiliser notre travail), et un matériel standard de l autre (utilisation grand public) et. - nécessité d une faible luminosité dans le cadre du repérage de diodes de différentes couleurs et absence de distinction des doigts pour une utilisation de diodes infrarouge en lumière ambiante Conditions de réussite d'une utilisation de ce produit - Il est nécessaire que l'interface soit la plus intuitive possible, et qu'elle surpasse rapidement en efficacité l'habituel couplage 3D clavier souris (voir site IHM) et même de périphériques actuels tels que les souris 3D Ressources nécessaires au développement (personnes, matériel et logiciel, budget) - Nous travaillons au sein d une équipe de spécialistes dans le domaine de la visualisation 3D qui seront des personnes ressources privilégiées en cas de problèmes. Projet ESSI Soula - Cuisinaud

6 - L élaboration du prototype de gant se fera à l aide de diodes de couleurs pour pouvoir facilement distinguer les doigts dans le cas d une luminosité faible et de diodes infrarouges pour le travail en luminosité accrue. - La salle immersive du CSTB sera à notre disposition pour tous les tests de nos prototypes dans la phase finale du projet. - Une grande partie de notre travail se déroulera malgré tout dans l enceinte de l ESSI. - Des logiciels et libraires en libre accès (OpenSource et non commercial) seront utilisés pour minimiser au maximum le coût de fonctionnement. Seul le matériel nécessaire à l élaboration de notre prototype engendrera un faible coût (assumé par l ESSI). Description précise du matériel nécessaire pour le développement : Logiciels à installer sur les postes de travail : OpenSG, compilateur g++, xemacs. Librairies de travail : CGAL, MSDN, 3.8. Méthodologie d'évaluation du produit Pour évaluer notre prototype, on pourra créer un scénario, qu un utilisateur sera à même de tester. On notera l efficacité et la pertinence des tâches. Cela rejoint les scénarios d évaluation utilisateurs définis dans le projet IHM (voir site). On réalisera ensuite un recueil réunissant les comparaisons entre le nouveau système et les interfaces actuelles, d un point de vue «nouvel utilisateur». On pourrait également laisser l utilisateur libre face à cette nouvelle interface, et analyser ses réactions en lui demandant de nous décrire ses initiatives Délais de réalisation Voir diagramme de Gantt Maintenance du produit A voir avec le CSTB à l issue de la soutenance finale. Projet ESSI Soula - Cuisinaud

7 4. Avancement du projet Le sujet de notre projet étant lié à la mise en oeuvre d'un nouveau périphérique d'entrée, le langage C++ s'impose de lui même pour la programmation de cette interface. Le problème étant que les interfaces graphiques en C++ nous étaient inconnues. Il a donc fallut apprendre à coder une interface en QT. Une fois cette première phase d'apprentissage acquise, nous avons pu concevoir une petite interface pour modéliser un maillage simple. La première structure de donnée choisie a été fortement inspirée du cours de «Calcul Algorithmique et Algorithmes Géométriques». Maillage Nb_T Nb_V Triangle 3 Vertex Point Figure : structure de donnée du maillage (uml) Grâce à la structure explicitée ci-dessus, des maillages peuvent être créés à la main dans un premier temps, puis chargés directement à partir de fichiers du type : <n> <x0> <y0> <z0> <x> <y> <z>... <xn> <yn> <zn> <T0_P0> <T0_P> <T0_P3> <T0_V0> <T0_V> <T0_V2>... <Tk_P0> <Tk_P> <Tk_P3> <Tk_V0> <Tk_V> <Tk_V2> Ici, les points sont numérotés de 0 à n, le nombre n est présent en début de fichier. Il s'en suit les coordonnées des points dans l'ordre de leur numéro. Ensuite vient la représentation du maillage proprement dit avec les triangles. Chaque triangle contenant 3 points, les numéros des points sont indiqués en premier, suivi des triangles voisins. Les voisins sont présents uniquement pour se repérer dans la triangulation Figure 2: Numérotation des triangles voisins Projet ESSI Soula - Cuisinaud

8 En plus de pouvoir charger et sauvegarder un maillage dans un format spécifique, nous avons trouvé utile de pouvoir générer des maillages automatiquement. La sphère s'est imposée directement car c'est une forme de base idéale pour faire du modelage. Bien évidemment, l'étape suivante était de pouvoir générer des maillages selon les exigences de l utilisateur en indiquant, par exemple, une formule de surface en coordonnées sphériques (avec une résolution souhaitée en latitudes et longitudes). Figure 3 : représentation d'un maillage l'aide de la formule : θ f ( ϕ, θ) = 2.cos 2 Une fois les exercices de maillages assimilés, nous nous sommes demandés comment intégrer un maillage dans un programme. Le problème étant que de très nombreuses librairies basées sur les graphes de scènes existent. Chacun ayant leurs propres spécificités, il fallait donc étudier précisément ces librairies pour choisir celle qui était le plus adaptée à nos exigences. Deux semaines ont été nécessaires à l'élaboration d'une bibliographie complète sur les graphes de scènes existants. OpenGl, Inventor, Performer, OpenSG, OpenSceneGraph, Java3D sont autant de librairies à étudier. Les conclusions de cette étude sont les suivantes: a) OpenGL est de trop bas niveau pour être utile. b) Inventor est trop ancien et ses performances sont moyennes. c) Performer serait parfait pour notre projet, mais reste beaucoup trop complexe pour une programmation efficace en l absence de bases solides. d) OpenSceneGraph est optimisé pour des visualisations temps réel, ce qui ne nous intéresse pas pour notre projet. e) OpenSG obtient de bonnes performances et pourra être réutilisé par le CSTB dans le cadre de projets futurs (il est déjà utilisé en partie). Le choix final de notre étude est donc la librairie OpenSG. Il va de soit que l'apprentissage de cette librairie sera nécessaire avant de commencer à concevoir notre programme. Dans le même temps, le projet IHM ( nous a permis de dégager les attentes et souhaits des utilisateurs quant à l'utilisation de gants pour la manipulation et la navigation 3D. Pour ce projet, un questionnaire a été envoyé aux principaux intéressés qui sont les chercheurs et ingénieurs du CSTB, et les étudiants et futurs ingénieurs de l'essi. De ce questionnaire, nous avons pu extraire un modèle d'utilisateur et concevoir un premier prototype pour la manipulation et la navigation dans un espace virtuel entièrement 3D. Les fonctionnalités de bases sont le déplacement de la caméra dans le monde (comme certains jeux) et la manipulation d'objets (déplacement, rotation,...). Il est évident que nous pourrons adapter ce prototype pour notre projet. A ces modes, il faudra bien évidement un mode d'édition de maillage (déformation de l objet) qui nous permettra de modifier ou créer de nouveaux artefacts dans la scène. Projet ESSI Soula - Cuisinaud

9 Figure 4: Prototype IHM (manipulation d'un cube) : voir site : Ce prototype est codé en Java3D (seul graphe de scène que nous maîtrisons à l'heure actuelle). Il faudra donc adapter le projet IHM et le traduire en OpenSG. A ce stade du projet, tous les outils sont entre nos mains pour amorcer la phase de développement réelle : les gants sont en cours d assemblage et les cours de StreamF4 nous permettront de développer la partie reconnaissance des gestes. Une interface standardisée (type VRPN) pourra être envisagée pour régler le problème de compatibilité du nouveau périphérique. Une fois la détection et la reconnaissance des mouvements effectués, il serait intéressant de trouver une combinaison de mouvements afin de manipuler facilement le maillage. On pourra utiliser une «pâte à modeler virtuelle» déformable en fonction des contraintes appliquées par le gant. A terme on pourra envisager la création d une scène complète à l aide de gestes simples et pourquoi pas de créer un jeu simpliste utilisant ce nouveau périphérique comme interface avec le joueur. Ceci pourrait être l objet d un futur projet ESSI2! 5. Planning prévisionnel Voir diagramme en page suivante Projet ESSI Soula - Cuisinaud

10 &%'(")""* Définitions du sujet Réflexions autour des structures de maillage Réalisation des premiers specimens de maillage Bibliographie des graphes de scènes Questionnaire et model utilisateur Projet IHM Création d'un Prototype IHM (Java3D) Evaluation du premier Prototype IHM Familiarisation avec l'environnement QT Familiarisation avec l'environnement CGAL Vacances de Noël +!, Familiarisation avec l'environnement OPEN SG Calibration des caméras Localisation 2D des diodes sur la caméra Appariement des caméras et localisation 3D des diodes Etude et capture du mouvement des diodes PARTIELS Adaptation du projet IHM Intégration de la librairie CGAL au projet Création des intéractions sur le maillage Connexion des mouvements aux actions Tests, évaluation, débuggage Elaboration de la version finale Rédaction du rapport final Préparation de la soutenance Projet ESSI Soula - Cuisinaud 30/9 7/0 4/0 2/0 28/0 4/ / 8/ 25/ 2/2 9/2 6/2 23/2 30/2 6/ 3/ 20/ 27/ 3/2 0/2 7/2 24/2 3/3 "-. #

11 6. Conclusion Nous avons vu au cours de cette étude le contexte dans lequel nous allions être amenés à travailler. Puis nous avons centré notre réflexion sur l élaboration d un cahier des charges le plus fonctionnel possible, avec des renseignements susceptibles de nous servir durant toute la durée de notre ambitieux projet. Nous avons ensuite rappelé au lecteur le travail déjà effectué lors de la première étape de conception : celleci fut plutôt axée sur l acquisition des connaissances nécessaires aux futurs développements techniques du projet. Néanmoins, un prototype a pu voir le jour dans le cadre du travail parallèle effectué lors du projet IHM. On comprend alors toute la signification du planning prévisionnel (sous la forme du diagramme de Gantt précédent) qui va nous permettre d organiser et de structurer notre travail pour les mois à venir. Il s agira d élaborer à proprement parler les programmes gérant nos interfaces et périphériques, pour espérer aboutir à un prototype fini. Nous pourrons ainsi passer à une phase ultime de test et d évaluation auprès des utilisateurs. 7. A propos de la bibliographie Nous invitons le lecteur à se référer à la bibliographie déjà effectuée sur Projet ESSI Soula - Cuisinaud