Figure 1 : Interaction et visualisation immersive à l INRIA Rennes Unité de Recherche INRIA de Rocquencourt

Transcription

1 PERF-RV : Plate-forme française de réalité virtuelle Coordinateur du projet : B. Arnaldi INRIA CEA-LIST Ecole des Mines de Paris Institut Image / Ensam LABRI Laboratoire de Robotique de Paris LIMSI-CNRS ADEPA EADS CCR IFP CLARTE Dassault Aviation EDF Giat Industrie PSA Renault 1 Objectifs du projet 1.1 Introduction PERF-RV est un projet de plate-forme RNTL labellisé en juin Ce projet est financé par le Ministère de la Recherche. Ce document présente les objectifs et motivations du projet, les différents partenaires, les règles d ouverture à d autres partenaires et les actions concrètes menées dans le cadre de PERF-RV. 1.2 Motivations La nécessaire réactivité des entreprises sur un marché de plus en plus concurrentiel conduit à réduire le temp s de développement (Time to market), le coût de l industrialisation des produits à commercialiser, ainsi que les coûts de formation et de maintenance associés (cost effectiveness). Cette réactivité ne peut se développer qu au moyen de systèmes informatiques connectés en réseau et intégrant, de façon incrémentale, le monde sur lequel ces entreprises veulent agir. L évolution des outils informatiques, en matière de rapidité de traitement et de capacité de mémorisation, permet d envisager la création d environnements virtuels de plus en plus réalistes, représentant des systèmes manufacturés, anthropomorphes ou naturels, dont le comportement se rapprochera de celui du monde réel. Cette demande de réalité virtuelle s exprime de façon de plus en plus forte dans les secteurs industriels porteurs que sont l automobile, l aéronautique, le transport, l énergie mais aussi dans l architecture, la culture et le médical par exemple. Il est apparu nécessaire dans ces conditions de mettre en place une activité de recherche et de développement procurant les nouvelles technologies capables de répondre aux besoins industriels mentionnés plus haut et donc de permettre de faire évoluer les méthodes de travail des utilisateurs finaux grâce à des interfaces plus naturelles et plus avancées. Nous avons donc proposé de créer une structure de centre d expérimentation en réalité virtuelle sur la thématique du «Bureau d Etude du Futur». Cette plate-forme est destinée à soutenir un programme scientifique sur les trois thèmes suivants : Modélisations et Simulations Numériques, Interfaces et Communications Homme-Machine, Méthodes, Usages et Perceptions. Ces trois thèmes concourent à définir des méthodes, outils et interfaces communs aux différents domaines d application mentionnés précédemment. Les défis scientifiques qui sont liés au développement de systèmes de prototypage virtuel sont nombreux et l on peut citer parmi les plus importants : La simulation réaliste en temps réel, qui doit s appuyer sur de nouvelles méthodes de modélisation numérique ; L interaction physique (geste et retour d effort), imposant l étude de périphériques innovants ; Le travail coopératif : interaction multi-utilisateurs en environnement immersif dans un contexte multimétiers et sur des systèmes immersifs dis tants ; L ergonomie des interfaces. Les dispositifs de visualisation haut de gamme permettant de réaliser des expérimentations en réalité virtuelle sont en forte progression en France, tant dans la communauté de recherche que chez les industriels. Cette progression se fait avec un certain retard sur nos voisins européens et sur les Etats-Unis qui développent ces techniques depuis une dizaine d années. Cependant, l usage dans un contexte industriel de ce type de dispositif pose encore de nombreux problèmes et sans que cette liste soit exhaustive, nous pouvons citer les points suivants : Sur quel type de système de visualisation l application industrielle est-elle la plus pertinente du point de vue de l utilisateur? Quelle est la bonne métaphore de présentation des données? Avec quel mode d interaction l utilisateur va-t-il devoir dialoguer avec ses données/résultats? Avec quel dispositif d interaction va-t-il agir sur ses données? Dans quelle mesure le travail coopératif va-t-il permettre d optimiser et de rationaliser la tâche de l utilisateur? Compte tenu de la diversité des solutions possibles, seule l expérimentation permet aujourd hui de répondre à ces questions. Ces expérimentations concernent des problèmes industriels concrets qui, dans le cadre de ce réseau, sont confrontées aux utilisateurs des applications industrielles à des fins de validation. 1.3 Objectifs du projet L objectif de ce projet de Plate-forme RNTL est d offrir un cadre permettant d apporter des réponses aux questions 1

2 évoquées précédemment. Les principaux points mis en avant par ce réseau sont : Mettre en commun les ressources humaines et expérimentales de différents laboratoires et partenaires industriels ; Offrir différentes plates-formes matérielles (Reality Center, Workbench, ) ainsi que de nombreux dispositifs d interaction permettant réellement de mener des expérimentations concrètes en réalité virtuelle ; Fournir un site d évaluation technologique concernant l exploitation d applications interactives et de réalité virtuelle et réalité augmentée ; Offrir les moyen humains permettant de tester les solutions innovantes issues de la coopération des partenaires ; Etre ouvert en cours de fonctionnement à des partenaires académiques et industriels souhaitant rejoindre le réseau ; Factoriser et partager sur les différents sites l expérience acquise à travers le réseau. Ce partage sera mis en œuvre par des développements coordonnés et partageables permettant de capitaliser les ressources temporellement et géographiquement. Ce projet présente un lien fort avec VTHD projet de plate-forme RNRT concernant les réseaux à très haut débit, en particulier à travers le lien Rennes Rocquencourt à 2,5 Gb/s. Ce lien qui pourra s étendre à d autres partenaires permettra le développement et l expérimentation de matériels, logiciels et méthodes adaptés aux enjeux de l ingénierie distribuée du futur (cf action A3 du sous projet 2). 2 Organisation du projet PERF-RV est porté par un ensemble de partenaires représentant des acteurs du secteur industriel et des laboratoires de recherche. La complémentarité de ce consortium est un des éléments déterminant dans la capacité du projet à atteindre ses objectifs. 2.1 INRIA L INRIA intervient dans PERF-RV à travers deux de ses Unités de Recherche : Rennes et Rocquencourt. Unité de Recherche INRIA de Rennes Le projet Siames de l Unité de Recherche de Rennes développe depuis de nombreuses années un environnement logiciel pour la réalité virtuelle. Cet environnement OpenMASK (Open Modular Animation and Simulation Kernel) est une plate-forme logicielle pour l animation et la simulation. OpenMASK est «orienté objet» et permet la simulation et la visualisation temps-réel d entités, autonomes ou pilotées par un utilisateur, évoluant au sein d univers complexes. Des techniques d extension d objets de simulation ont été développées pour rendre interactifs ces objets afin qu un utilisateur puisse les diriger, et ce de façon transparente pour les développeurs des objets initiaux. Des expérimentations d interactions collectives ont ainsi pu être menées avec OpenMASK. Ces interactions sont basées sur les notions d entrées et de sorties de objets de simulation, ainsi que sur les possibilités d envoi de messages et d événements. De plus, OpenMASK est actuellement disponible en Open Source ( Par ailleurs, l INRIA Rennes possède une longue expérience dans le domaine de la Téléopération Assistée par Ordinateur (incluant par le passé plusieurs projets en collaboration avec le CEA), et a mis en évidence dans ce contexte les rôles essentiels joués par deux sous-systèmes : les systèmes d imagerie numérique/synthétique d une part, et l ensemble des fonctions de pilotage à «retour d effort» d autre part. Basé sur cette expérience et selon une approche pluridisciplinaire, un axe de recherche mené actuellement à l INRIA Rennes vise à promouvoir le rôle des systèmes d interactions à «retour d effort» (interfaces haptiques) comme extension innovante et justifiée dans le cadre des systèmes de Réalité Virtuelle. Les concepts et architectures génériques sont destinés à plusieurs domaines d applications actuellement très porteurs (montage virtuel en IAO, simulateurs, téléchirurgie, multimédia). Figure 1 : Interaction et visualisation immersive à l INRIA Rennes Unité de Recherche INRIA de Rocquencourt Les activités autour de l interaction 3D et des environnements virtuels ont démarré à l INRIA de Rocquencourt en 1997 avec le détachement d une personne au sein du laboratoire VISWIZ du GMD, laboratoire pionnier dans le domaine des environnement virtuels : le premier Plan de travail virtuel a été conçu dans ce laboratoire qui depuis s est équipé de plusieurs autres configurations. De cette collaboration qui se poursuit depuis lors, est issu un nouveau périphérique : la Palette Virtuelle ainsi que plusieurs nouveaux paradigmes d interaction dédiés à des applications sur le plan de travail virtuel. Figure 2 : Workbench de l Inria Rocquencourt 2

3 Parmi les activités plus récentes du groupe i3d, en relation directe avec le projet proposé, on peut citer les résultats obtenus récemment sur le retour pseudo-haptique. En collaboration avec EADS CCR et le LRP, le groupe i3d a montré qu il était possible de discriminer deux ressorts : un réel et un virtuel, le virtuel étant simulé sans périphérique à retour d effort mais simplement grâce à un périphérique isométrique couplé à un retour visuel. Le groupe i3d a aussi proposé récemment, avec l université d Evry, une méthode continue de détection de collisions et réfléchit en collaboration avec EADS CCR et le LRP à une plateforme d expérimentation pour le prototypage virtuel. 2.2 CEA-LIST Dès 1985 le CEA -LIST a introduit, en collaboration avec l INRIA-Rennes, le concept d anticollision sur modèle. Cette fonction d abord basée sur l utilisation de potentiels répulsifs, puis en 1987 sur la voxelisation du modèle, a suivi le développement des capacités de calcul pour aboutir en 1994 aux algorithmes qui servent de base aux fonctions utilisées aujourd hui et reposant sur une modélisation physique des contacts. En parallèle le concept de Langage Graphique de supervision pour la téléopération a été mis au point (1996). La fiabilisation et des tests intensifs dans des environnements complexes ont permis d introduire ces fonctions sur des robots nucléaires (1997), offshore (projet Otarie d IFREMER) et médicaux (1998). Depuis 1993, le CEA -LIST s intéresse aux organes haptiques faibles coût et a déposé de nombreux brevets concernant des Poignées Haptiques et des bras maîtres. Il a réalisé en 1999 un bras maître «VIRTUOSE 3D», comportant 3 axes à retour d effort pour les applications de l haptique en environnement virtuel et le Bureau d Etude du futur. les partenaires pour réaliser des prototypes fonctionnels innovants, ceci dans le respect des règles de la Qualité (management de projet) et en assurant un niveau de propriété industrielle et de confidentialité contractualisé. 2.3 Ecole des Mines de Paris L équipe RV&RA a acquis ses compétences dans le domaine de la réalité virtuelle depuis 1992, grâce à des projets de recherche menés en collaboration avec des partenaires comme le CEA, EDF, la SNCF, Renault, PSA, etc. Les domaines de recherche portent sur les points suivants : La vision en relief et la réalité augmentée (notamment avec EDF) ; Les interfaces comportementales entre l utilisateur et l environnement virtuel. Il s agit d une approche centrée sur l homme plutôt que sur la technique. Les questions à se poser lors de la conception portent plus sur les schèmes comportementaux que sur les métaphores qu on cherchera autant que possible à éviter puisque par essence elles représentent une image d un comportement plus que le comportement luimême ; la méthodologie de conception des systèmes virtuels, centrée sur l immersion naturelle. Dans la mesure où on ne pourra pas reproduire exactement l environnement réel, il faut identifier les schèmes fondamentaux représentatifs de l application considérée. Figure 3 : Bras maître VIRTUOSE 3D Dans PERF-RV le CEA-LIST développe de nouveaux outils et des méthodes d interaction homme-machine : Interfaces Haptiques, Rendus Haptiques, Téléprésence et Présence. Les domaines d applications visés concernent la maintenance téléopérée, le prototypage virtuel pour la simulation de montage /démontage et la maintenance, ainsi que la formation aux gestes techniques. Des retombées sur les domaines grand public (parc à thème, jeu et culture), sont aussi attendues. Le rôle du CEA-LIST dans le consortium, en parallèle de l activité de recherche ci-dessus mentionnée, est de constituer un pôle de transfert industriel. en assurant le lien entre les laboratoires de recherche et les applications industrielles. En particulier le CEA-LIST prendra en charge l'intégration des différentes technologies développées par Figure 4 : In Virtuo, premier magasin virtuel d expérimentation commerciale C est grâce à ces recherches que le Centre de Robotique a pu présenter récemment, en collaboration avec In Vivo et SIM Team, le premier magasin virtuel d expérimentation commerciale. Il s agit pour In Vivo, dont le métier est les études de marketing de pouvoir tester le comportement d achat des consommateurs dans un supermarché entièrement virtuel. Le bien-fondé de l approche a été validé lors des tests effectués. 2.4 Institut de l Image de Chalon sur Saône La compétence en relation avec le projet PERF-RV s identifie à travers les différents travaux de transferts technologiques et les nombreux contacts industriels en cours. Quelques exemples de réalisation situent nos centres d intérêts par rapport à la réalité virtuelle : 3

4 «Réalisation d un logiciel de conception de planche de bord, permettant de modéliser celle-ci de façon simple et rapide, en plaçant différents instruments. Partenaire : PSA ; «Étude pour évaluer un outil de prototypage virtuel afin de définir les composants logiciels à mettre en œuvre pour intégrer des périphériques de Réalité virtuelle, partenaire : EADS SURESNES. 2.5 LABRI Figure 5 : Simulateur d abattage ARVESTER Le LABRI travaille sur la construction d environnements 3D : il s agit de produire, le plus simplement possible, des modèles 3D que l on utilise par la suite dans des applications de réalité virtuelle. En effet, de façon complémentaire aux méthodes classiques basées sur une description quasi exhaustive des objets à l aide d un modeleur (modèles précis mais coûteux), nous avons développé une technologie produis ant une description 3D à partir de plusieurs vues planaires (photos, croquis) et de quelques interventions simples de l opérateur. Naturellement, le contexte d utilisation (rendu interactif) fournit des contraintes de construction de ces modèles. Figure 6 : Simulation d'endoscope Dans le domaine médical, afin de réduire les inconvénients des examens de type endoscopie, des chercheurs ont proposé de simuler cet acte en utilisant des techniques de réalité virtuelle. Premièrement, il est nécessaire de construire un modèle tridimensionnel de la partie du corps étudiée à partir de données anatomiques fournies par exemple par une IRM ou un scanner. Ensuite, l utilisateur visualise interactivement ce modèle par l intermédiaire d un casque ou de lunettes et s y déplace en utilisant des capteurs de mouvement. Nous travaillons sur ce thème, d abord en optimisant des algorithmes de reconstruction de modèles 3D pour augmenter la qualité des maillages produits (taille, homogénéité), ensuite en mettant au point des interfaces qui soient réellement exploitables par les praticiens dans leur pratique courante. Nous avons ainsi développé un simulateur offrant une navigation de type vol aérien et une détection de collision par l intermédiaire d un joystick à retour d effort. Nous menons un projet mettant en oeuvre des techniques de réalité virtuelle dans le domaine du géomarketing (utilisation de supports géographiques pour présenter des informations stratégiques). Il s agit tout d abord de reconstruire des modèles 3D géographiques (villes) puis de naviguer dans cet environnement en y superposant des données économiques, financières, démographiques que l utilisateur a sélectionnées au préalable. 2.6 Laboratoire de Robotique de Paris Le laboratoire de Robotique de Paris, développe un savoirfaire en réalité virtuelle en abordant particulièrement les points suivants : La téléopération longue distance de robots (PICS CNRS : Téléprésence World Experiment avec le MITI au Japon) ; Le prototypage virtuel de mécanismes ; Les interfaces haptiques pour l endoscopie poste d assemblage manuel dans le monde virtuel (programme Franco-Israélien : usine du futur) ; L évaluation d interfaces haptiques (avec British Aerospace) ; La conception d interfaces haptiques (avec le CEA) ; La problématique de l assemblage virtuel (avec Aérospatiale et l INRIA). 2.7 LIMSI-CNRS L équipe «Geste et Image» a pour problématique fédératrice : l Interaction 3d pour la Réalité Virtuelle ou Augmentée. Dans le cadre du projet PERF-RV, l activité de cette équipe porte principalement sur l interaction multi-modale dans le contexte de dispositifs de Réalité Virtuelle potentiellement distribués voire coopératifs. Sur l expérience acquise au travers de la réalisation d une des premières interfaces multi-modales graphiques et vocales pour modeleurs géométriques (MIX3D : Multimodal Interactions in a X environment with a 3D virtual world), notre équipe a mis au point depuis Octobre 98 un serveur d évènements (EVserveur) pour la gestion distribuée de multiples périphériques utilisables en Réalité Virtuelle ou Augmentée. Outre une implication de fait naturellement forte dans les problématiques relatives aux interactions multi-modales ou coopératives, notre équipe se propose aussi de contribuer aux actions relatives à la capture, à l analyse et au traitement des mouvements et des gestes de l utilisateur. Nous avons par exemple à notre actif le système CapRe (pour la Capture et le suivi du Regard), le projet européen Chameleon (pour l interprétation de gestes de désignation), le système ARGo (pour l Analyse et la Reconnaissance de Gestes), ou encore le système HCnav (pour le contrôle des navigations virtuelles). Dans le cadre des recherches que nous menons actuellement, nous nous proposons aussi de 4

5 participer aux actions relatives aux dispositifs interactifs non intrusifs. La validation informatique de l activité de recherche de l équipe «Geste et Image» converge depuis Octobre 98 sur EVI3d (plate-forme expérimentale développée au LIMSI-CNRS pour la conception d Environnements Virtuels et l étude des Interactions 3d associées). Cette plate-forme peut accueillir divers types d applications sur lesquelles nous avons validé l EVserveur et poursuivons l étude de différents paradigmes d interaction 3d. A ce jour, deux applications pilotes tournent déjà sur la plateforme EVI3d, à savoir les applications «Mécanique des Fluides» et «ADN-viewer» (Figure 7). 2.8 ADEPA Figure 7 : Application «ADN-Viewer» L ADEPA jouera le rôle d animateur du groupe industriel d utilisateurs. Dans ce cadre elle aura pour activité : D identifier les besoins des industriels, notamment des entreprises médianes, et les nouvelles applications à travers des enquêtes ; ces enquêtes permettront d orienter la R&D dans le projet ; De participer à l étude du marché sur les prototypes en cours de développement dans le cadre du projet De définir les expérimentations avec les industriels et valider les résultats ; De Communiquer, promouvoir et disséminer les résultats du projet à travers des présentations, des expositions, des démonstrations, des conférences etc.. ainsi que l organisation des séminaires du groupe d industriels utilisateurs ; D ouvrir le groupe d industriels du projet en intégrant des PME françaises voire européennes ; D accompagner les partenaires dans le développement de projet dans le 5ème Programme Cadre de Recherche et Développement, (5 PCRD), EUREKA, LEONARDO, FSE,... En tant que partenaire en R&D l ADEPA interviendra pour : Mettre en œuvre l expérience industrielle acquise à travers ses activités de conseils dans le processus de conception tels que le Concurrent Engineering, le Design for Manufacturing, la CFAO,... Identifier comment les techniques et outil de RV développées s intègrent et améliorent les différentes étapes du processus de conception et d industrialisation de produit / procédés. 2.9 EADS CCR Plusieurs recherches ont abouti à des applications (à base de réalité virtuelle ou de graphique 3D interactif) mises en exploitation dans le cadre des programmes Airbus ou des programmes spatiaux (Ariane 5, ATV) : Visualisation temps réel de missions spatiales ; Navigation interactive dans les données produit multimédia, à base de technologies Internet ; Conception rapide interactive de configurations système (ex : routage de tuyauteries). Ces travaux permettent d apporter au projet PERF-RV une base solide en terme de compétences et d éléments matériels et logiciel. Ils permettront également d apporter au projet des besoins industriels complémentaires. Une thèse a été engagée début 99 avec l INRIA et le LRP sur l utilisation d interfaces haptiques pour le montage/démontage (thèse Anatole Lecuyer, soutenue fin 2001). Un certain nombre de résultats sont disponibles (état de l art, étude sur les interfaces pseudo-haptiques) et sont apportés au projet IFP Depuis maintenant un an et demi, l'institut Français du Pétrole s'est équipé, à Rueil Malmaison, d'un espace de visualisation 3D, à l'image de la majorité des compagnies pétrolières. Cet outil, baptisé Explorium a été conçu pour répondre à un nombre croissant de besoins dans l'industrie, la recherche et l'enseignement. Dans ces trois domaines, l' IFP est confronté à la complexité et au volume des données à analyser et à diffuser. Figure 8 : Explorium de l IFP L'Explorium, opérationnel depuis Avril 2001, est équipé d'un écran courbe de onze mètres de large sur trois mètres de haut, de trois vidéoprojecteurs hautes-performances et de moyens de calcul et de rendu graphique avancés. Cette configuration sera amenée à évoluer au fur et à mesure de l'accroissement des besoins. La surface de projection des images en temps réel a une résolution exceptionnelle de 3250 par 1000 pixels (130 d'ouverture), ce qui en fait un mur d'image bien adapté à la revue de projet et aux prises de décision en équipe. L'Explorium peut être utilisé pour des séances de travail impliquant 4 à 5 personnes (experts et managers) d'une équipe multi-disciplinaire ou pour des présentations de cas d'études ou de technologies avec une audience d'une vingtaine de personnes. Les logiciels temps-réel peuvent être manipulés à un pupitre à droite de l'amphithéatre ou directement à la table de travail en face de l'écran géant cylindrique. 5

6 Les domaines d'application possibles sont l'explorationproduction pétrolière et gazière, l'automobile, l'offshore pétrolier, l'industrie pharmaceutique, la chimie, la chirurgie, la médecine, la biologie, l'aménagement du territoire, le prototypage virtuel et la CAO au sens large, le design, le bâtiment, l'architecture, les projets liés au tourisme, la valorisation et la préservation du patrimoine, la formation, la plasturgie. L'outil IFP permet le développement d' échanges fructueux entre les communautés d'utilisateurs et l'équipe de recherche, initiatrice de ce projet d'équipement, dont l'un des rôles est d'étendre les possibilités de cet espace de travail collaboratif et convivial. L'une des pistes explorées est l'utilisation d'assistants numériques personnels (PDA) pour que plusieurs utilisateurs puissent piloter simultanément les applications dans la totalité de l'espace de travail disponible dans l'explorium. Les autres axes de recherche intéressant l'ifp, au même titre que les centres de recherche des compagnies pétrolières avec lesquelles l'ifp travaille, sont les suivants: La manipulations 3D directes plus naturelles avec les données d'une étude (étude de menu 3D) ; La visioconférence immersive (travail collaboratif distant entre équipements immersifs) ; La sonification des données CLARTE Dans le cadre de la mise en place d une technopole à vocation haute technologie, l agglomération Lavalloise, après avoir décidé l implantation d une école d ingénieur en informatique-électronique-automatisme en 1994 (l ESIEA), a décidé la création d un pôle réalité virtuelle. Volontairement tourné vers le développement économique par la haute technologie, ce pôle «réalité virtuelle» est le fruit d une réflexion combinant différentes stratégies de développement d un territoire désireux de valoriser son patrimoine culturel, d améliorer son attractivité auprès des différents acteurs de la vie économique, en particulier entreprises et étudiants, et d être reconnu pour son expertise dans un domaine innovant. Les différentes approches prises en considération dans l analyse prospective qui a été menée en associant l ensemble des partenaires institutionnels peuvent se décliner comme suit : Une recherche d identité scientifique et technologique par le développement de compétences ; Une volonté d ouverture à la communauté culturelle, éducative et scientifique par la mise en place de partenariats associant laboratoires de recherche, entreprises publiques et privées et établissements de cultures scientifiques et techniques. Le concept de Plate-Forme Technologique (PFT) repose sur la mise en place d équipements et de services dans un domaine technologique innovant. L ensemble de ces ressources techniques et humaines est mis à disposition des différents acteurs concernés par la technologie impliquée, en l occurrence la réalité virtuelle. Les missions de notre PFT sont déclinées sur trois axes principaux : R&D : participer aux actions de recherche et de développement menées autour de la réalité virtuelle. Mise en place de formations et enseignements liés à la réalité virtuelle ( Licences professionnelles, DESS et essaimage d écoles spécialisées). Mutualisation des équipements et services issus des actions de R&D pour les entreprises partenaires de la PFT. CLARTE met également en place différentes conférences, sessions de sensibilisation et cycles de formation concernant les déclinaisons de la réalité virtuelle Dassault Aviation Figure 9: SAS Cube Le service Méthodes et Outils au sein de DGT/DTA/STA a en charge les outils et les méthodes pour le Bureau d Etudes. A ce titre, il mène des activités de prospection sur la simulation d activité humaine au sein d une maquette entièrement numérique. Il a participé dans ce domaine au projet européen CEDIX (avec une démo de VR) et a effectué pour le DGA/SPA des recherches sur le sujet de la simulation d activité humaine. Ce nouveau projet s inscrit dans la continuité des précédents. Récemment, Dassault Aviation s'est équipé d'un Virtual Reality Center permettant la visualisation stéréoscopique sur grand écran de modèles informatiques (revues d'aménagement, démonstrations ). Le couplage de cet outil avec d'autres moyens de simulation (interface haptique, Motion Capture) est en cours d'analyse EDF L'équipe d'ingénieurs-chercheurs en Réalité Virtuelle du département SINETICS (Simulation Numérique, Technologie de l'information et Calcul Scientifique) de la division R&D d'edf se concentre sur les applicationscoeur de la Réalité Virtuelle dans le domaine de l'énergie. En favorisant l'émergence et le développement des technologies de Scanning 3D d'installations industrielles, EDF s'est montré un acteur innovant de la recherche dans ce domaine ; son parti pris d'installations mobiles et de plates-formes de développement issues du monde du jeu vidéo 3D font d'edf un des premiers industriels à démocratiser cette technologie auprès du grand public : visite virtuelle de centrale nucléaire, auprès de ses agents, pour la formation et la préparation des interventions à risques (en centrale ou sur le réseau électrique) assurant ainsi la mission d'information et l'effort constant de transmission du savoir-faire du groupe EDF. 6

7 Figure 10 : Visite virtuelle de centrale nucléaire 2.14 Giat Industrie Afin de répondre à de nouveaux besoins et à de nouvelles exigences, étant donné la diversité des clients et leurs besoins spécifiques, des études utilisant les technologies de la RV sont menées, par l équipe Recherche et Développement du Département de Soutien Logistique, depuis 1995 visant à faire évoluer l offre de produits nouveaux et services associés. Figure 11 : Image relative au projet CIM Giat Industries a participé à un projet innovant, le projet TRAIMWE (TRAining in Industry Multiple sites and multiple users Without Equipment frame) est un projet européen subventionné par la Commission Européenne et dont les participants sont : Giat Industries (France), Institut Fraunhofer - IFF (Allemagne), Eurocopter (France), MAN Roland (Allemagne), Robotiker (Espagne), Université Technique de Crete, TUC (Grèce). Ce projet a pour objectif principal de développer un nouvel outil pédagogique dédié à la formation à la maintenance (celle-ci prend en compte l inspection, le diagnostic, l échange, la réparation, le réglage et la vérification de la remise en état du système) de systèmes industriels complexes et de définir une nouvelle méthodologie et une pédagogie d apprentissage. D autres projets sont envisagés dans l avenir dans les domaines de la conception, la production, le soutien, la robotique, le marketing, PSA PSA PEUGEOT CITROEN, comme tous ses confrères de l industrie automobile doit faire face aux exigences du marché qui réclame un renouvellement plus rapide de la gamme, l intégration de nouveaux services et de nouvelles innovations, dans un contexte économique compétitif. La mondialisation et l implication de partenaires (autres constructeurs et équipementiers) très tôt dans le cycle de développement induisent de nouveaux processus : coconception et travail en environnement d entreprise étendue. La CAO, la Maquette Numérique, le Calcul et la Simulation sont devenus les outils indispensables des bureaux d études et de méthodes. Les technologies de la Réalité Virtuelle permettent d envisager de nouvelles pistes pour la réduction des cycles de développement et la maîtrise des dépenses, en favorisant les prises de décision anticipées et en réduisant le nombre des prototypes physiques. PSA PEUGEOT CITROEN a commencé à utiliser ces technologies et développe un plan d expérimentation, de validation et d investissement important. C est ainsi que 2 initiatives majeures ont été lancées : le projet «Bureau d Etudes du Futur et Technocentre Virtuel» : projet d évaluation et d acquisition d équipements avancés ; Le projet «Centre de Design» : projet pour la construction d un nouveau bâtiment, regroupant les métiers du style et de la conception d avance de phase des véhicules ; un des lots de ce projet concerne les technologies informatiques avancées qui seront au service des métiers du design. Les processus pour lesquels PSA PEUGEOT CITROEN envisage de se doter rapidement de solutions de Réalité Virtuelle concernent : La conception des organes moteurs et des véhicules : visualis ation réaliste de pièces et ensembles, revue de projet, restitution de résultats de calcul ; La conception des moyens de production : simulation de montage et démontage, simulation de postes de travail et d implantations industrielles ; La maintenance des véhicules (SAV) ; Les interventions techniques sur les moyens de production ; L aide à la vente Renault Pour répondre aux besoins du marché et à la concurrence, Renault diminue son cycle d étude des projets véhicule tout en intégrant des innovations. RENAULT mène une politique d entreprise étendue pour intégrer ses partenaires dés l amont de l étude de nos projets, et pour répondre aux problèmes de dispersion géographique des différents sites. Le BE et les méthodes utilisent actuellement tous les outils IAO (CAO, calcul, simulation,..) qui ont apporté un gain en temps et en coût. Les outils de maquette numériques ne répondent pas à l ensemble des besoins bureau d étude et méthodes. L immersion de l opérateur permet d aller plus loin dans la levée des risques. La réalité virtuelle permet d augmenter la réactivité des décisions pour diminuer le cycle d étude et le coût en diminuant le nombre de maquettes physiques. Cette technologie couplée avec un système haptique permet de prendre en compte en amont de l étude le montage et le démontage des pièces. 7

8 Nous avons commencé une étude sur le montage virtuel pour répondre aux besoins : Des architectes pour la visualisation en contexte ; Du montage en mettant l opérateur en contexte usine ; Du démontage pour l après vente. 3. Fonctionnement du réseau La plate-forme PERF-RV fonctionne comme un réseau, tant dans le partage de ressources que dans la réalisation de recherche et de développements innovants. De ce fait elle hérite de la notion de plate-forme élaborée par le RNTL une capacité à s ouvrir à d autres acteurs français de la réalité virtuelle. 3.1 Règles d ouverture de la plate-forme Les objectifs essentiels de la plate-forme PERF-RV concernent d une part la mutualisation d'un ensemble de configurations matérielles pour la réalité virtuelle (Reality Center, Workbench, systèmes d interaction haptiques, ), et d autre part la factorisation multidisciplinaire de l'étude de problèmes génériques en réalité virtuelle dans des secteurs applicatifs différents et complémentaires (automobile, défense, recherche pétrolière). Nous devons donc envisager l'ouverture de la plate-forme à plusieurs niveaux. La notion «d auditeur libre» (partenaire rejoignant PERF-RV sans financement) va permettre de mettre en œuvre l ouverture de la plate-forme. La démarche adoptée pour l ajout au consortium d un nouvel «auditeur libre» est en deux passes : Elle est tout d abord validée au sein du consortium sur la base du montage d un dossier technique. Ce dossier technique comporte, d une part, les informations sur le nouveau partenaire telles qu elle figure dans les fiches normalisées de soumission d un projet RNTL - fiche C et, d autre part, la description des intentions du nouveau partenaire en ce qui concerne la partie technique (participation aux actions existantes) ; Ce dossier est transmis au bureau du RNTL qui décide de l intégration éventuelle de ce nouveau partenaire «auditeur libre». Un «auditeur libre» autorisé à utiliser les ressources de la plate-forme PERF-RV s engage à communiquer au consortium un rapport d utilisation tous les six mois. 3.2 Usages des ressources matérielles De part le consortium qui le compose et les objectifs de PERF-RV, l ensemble des partenaires a pour vocation, dans le cadre de cette plate-forme, de développer un parc matériel de premier plan, tant sur le plan des calculateurs que sur celui des dispositifs d interaction et de visualisation, nécessaire pour permettre de développer des applications en Réalité Virtuelle en contexte industriel. Les éléments de ce parc matériel représentent souvent des investissements très lourds effectués par les membres du consortium. L originalité et la complétude de ce parc va entraîner nécessairement une demande d accès de partenaires extérieurs au consortium PERF-RV, cette demande émanant probablement de PME/PMI ou de laboratoires de recherche qui ne peuvent financer sur leurs fonds propres les investissement nécessaires à l acquisition d un tel parc. Dans ce contexte, l ouverture de ce parc matériel sera régie par les règles suivantes : Etablissement d une liste exhaustive des configurations matérielles et localisation géographique de ces configurations (calculateurs et dispositifs d interaction et de visualisation). Pour des raisons évidentes de protection industrielle, certains sites des partenaires de PERF-RV pourront ne pas être accessibles ; Etablissement d un protocole commun stipulant les conditions d accès à l extérieur de ses dispositifs (cf. en annexe le protocole d utilisation de l environnement matériel de l INRIA-Rennes qui pourra servir de base de départ pour l établissement du protocole commun) ; Création sur la page Web de PERF-RV d une page spéciale consacrée à la diffusion de ses informations. 3.3 Usage des ressources logicielles A travers l ensemble des sous projets et des actions concrètes de recherche et développement menées dans PERF-RV, l objectif est d exploiter le couplage rechercheindustrie pour réfléchir et innover sur le plan logiciel. Cette innovation sera mise en œuvre par l étude en commun de problèmes industriels caractéristiques et par l élaboration de solutions logicielles permettant de résoudre ces problèmes. Un des objectifs de PERF-RV est la factorisation dans les développements logiciels, cette factorisation sera mise en œuvre, dans la mesure du possible, par des développements sur des plates-formes logicielles communes (permettant les échanges entre partenaires). Deux types de plates-formes communes seront utilisés : Développements spécifiques : Certains développements, à caractère confidentiel du point de vue des industriels impliqués seront effectués sur des plates-formes propriétaires déjà opérationnelles sur site industriel. Dans ce cas, l usage par l extérieur de ces développements spécifiques sera impossible. Progiciels de CAO et de réalité virtuelle : Ces progiciels (CATIA, World-Tool-Kit, Open- Inventor ), déjà largement utilisés dans le secteur industriel, seront les cibles privilégiées des actions de PERF-RV qui ont un caractère très applicatif. Les développements réalisés sur la base de ces outils pourront donner lieu à la création de bibliothèques logicielles diffusables entre les partenaires de PERF-RV et selon les cas diffusables à l extérieur. Les partenaires intéressés devront avoir acquis par ailleurs les licences nécessaires à l utilisation de ces progiciels. Plates-formes logicielles prototypes : Pour les recherches avancées proposées dans le cadre de PERF- RV, les fonctionnalités de base ne sont pas disponibles dans les outils du marché. Pour mettre en évidence les innovations logicielles proposées dans les actions de PERF-RV, l INRIA-Rennes propose une plate-forme logicielle de simulation multi plate-forme matérielle : SGI/IRIX, SGI/Linux, PC/Linux, distribuée en Open Source. Cet élément, peut devenir un des éléments de factorisation concrète des développements novateurs réalisés dans le cadre de PERF-RV. Concernant les interfaces haptiques, le CEA -LIST mettra de même à disposition des partenaires une bibliothèque ouverte de rendu haptique permettant de contrôler les interfaces haptiques utilisées sur la plate-forme. La diffusion de l information concernant la mise à disposition de bibliothèques ou outils résultants de l activité de PERF-RV sera réalisé sur le site WEB de PERF-RV ( 8

9 3.4 Diffusion des résultats L ADEPA à travers son réseau de 20 antennes régionales, diffusera les résultats du projet PERF-RV à grande échelle sur le plan national. Différents moyens seront mis en place dans la stratégie de dissémination. A des stades avancés des différents sous projets l ADEPA organisera des séminaires dans les régions, regroupant des industriels, spécialement des PME intéressées, pour présenter les expérimentations et les activités R&D et leurs résultats. Les résultats issus directement des activités de recherche dans le cadre du projet PERF-RV ne seront pas accessibles tout de suite au monde des PME. L un des premiers points de blocage pour introduire ces technologies dans les PME est l aspect très innovant, le deuxième étant inévitablement le coût. Les PME doivent être sensibilisées et préparées à l intégration de ces technologies qui seront accessibles à grande échelle sur le marché dans quelques années (4 à 8 ans). Néanmoins, concernant la dissémination de l information et des résultats de PERF-RV, plusieurs mécanismes vont être adoptés par les membres du consortium : Participation à des conférences, colloques et séminaires scientifiques sur les sujets de la réalité virtuelle et du bureau d étude du futur ; Réalisation d un site WEB exclusivement consacré à PERF-RV et la dissémination des résultats de PERF- RV ; Mise en place d actions de formation spécialisées permettant l accès aux compétences et à la technologie en particulier vers les PME ; Etc. Le consortium PERF-RV s'est fixé comme objectif de nouer des relations étroites avec les centres de recherche en Réalité Virtuelle européens, dans le but de favoriser les échanges et de fédérer les travaux scientifiques, mais aussi de travailler plus étroitement et de manière coordonnée avec les organismes de normalisation et de standardisation actifs dans les domaines techniques concernés. Des contacts ont été pris dans ce sens avec la Commission Européenne qui est prête à soutenir cette initiative, qui s inscrit dans sa stratégie de promotion et de dissémination de la Recherche Technologique en Europe, et qui pourrait apporter son soutien financier pour constituer un réseau d'excellence Européen. 4 Sous projets et actions de PERF-RV PERF-RV est organisé en quatre sous-projets thématiques qui sont eux même décomposés en actions. Chaque action est ciblée vers un objectif scientifique ou technologique et est porté par un nombre limité de partenaires. De plus, dans chaque sous-projet une action particulière vise à animer un groupe de travail dont les missions, pour les quatre sous-projets concernent : La définition des attentes techniques de chaque industriel concernant les applications du couplage des interfaces haptiques et de la visualisation immersive ; La définition des contraintes industrielles liées à la mise en place de ces applications et le savoir-faire nécessaire ; La réalisation d une synthèse de ces besoins et contraintes pour spécifier le cadre expérimental (test case) permettant la mise en œuvre des différentes solutions technologiques, leur utilisation, test et validation. Compte tenu des secteurs industriels représentés (aérospatiale, automobile, défense,...) dans ce sous-projet plusieurs cadres expérimentaux seront définis ; L accompagnement des industriels dans les expérimentations, la validation et l évaluation du potentiel d applications dans leur domaine ; L aide des industriels et des partenaires de R&D pour le montage de projets européens. La suite de cette section présente de manière synthétique le contenu et les objectifs de chacune des actions de PERF- RV. 4.1 Sous-projet 1 : Interfaces haptiques et visualisation immersive Action A1 - Groupe de Travail : (cf. début section 4). Action A2 - Démonstrateur interface haptique et visualisation immersive : Cette action du sous-projet SP1 vise à développer un cadre d'expérimentation concernant le couplage des interfaces haptiques et de la visualisation immersive en relation et support avec des applications industrielles. L'enjeu de cette action concerne essentiellement la réalisation d'un ensemble expérimental, suffisamment générique, devant démontrer l'apport des interfaces haptiques (périphériques à retour d'effort) dans le contexte de systèmes de Réalité Virtuelle (système de visualisation immersive). L'analyse d'applications de référence issues des sous projets SP3, SP4, permettra d'identifier les exigences fonctionnelles et les contraintes associées. Action A3 - couplage haptique-visuel : On sait que le but de l immersion consiste à amener l opérateur à oublier qu il se trouve dans un monde de nature virtuelle pour se convaincre qu il est dans un monde physique réel. Le succès de l immersion est en particulier relié à la capacité de générer à partir du monde virtuel les mêmes signaux sensoriels que ceux qu un homme reçoit d un monde réel. Or ce monde réel s adresse à l ensemble de nos sens et on ne sait pas bien, sinon pas du tout, comment le système perceptif global de l homme fonctionne véritablement, en particulier dans la coopération entre sens et dans la substitution de sens. Néanmoins on sait que pour toute réalisation de tâche physique par un homme, l usage de la vision et du sens haptique assurent un rôle essentiel. L objectif consiste donc à trouver quelques indications sûres sur les rapports entre ces deux sensations dans l efficacité d action et l efficacité du sentiment d immersion. Action A4 - Conception et revue de projet immersives dans un Move : PSA PEUGEOT CITROËN souhaite engager des évaluations approfondies d un Move sur des projets à dimension industrielle. Les métiers visés sont ceux du style et de l architecture véhicule en premier lieu, puis ceux des implantations industrielles et des postes de travail. Cette évaluation du Move permettra ainsi à PSA PEUGEOT CITROEN d en mesurer concrètement l intérêt technique et économique, de préparer les conditions d appropriation par les équipes de conception, d engager la courbe d apprentissage au plus tôt. Action A5 - Retour d effort pour les études d ergonomie : L objectif est de pouvoir valider l ergonomie d un poste de conduite à l aide de la seule maquette numérique. Cette action vise à développer un 9

10 cadre d'expérimentation concernant le couplage des interfaces haptiques et de la visualisation immersive, avec visiocasque ou avec rétroprojection, dans un contexte d'applications ergonomiques des postes de conduite du domaine automobile et des autres moyens de transport (train par exemple). L'enjeu de cette action concerne donc l'évaluation opérationnelle du couplage de l'interface haptique et du système de visualisation pour répondre à une immersion et une interaction fonctionnelle en ergonomie : la ou les solutions retenues devront répondre aux besoins et être confrontées aux contraintes opérationnelles des applications industrielles en ergonomie. Action A6 - Intégration des techniques de RV dans le processus de conception et de développement de produits : L objectif de cette action est d identifier l intégration des techniques de réalité Virtuelle dans le processus de conception et de développement de produits. En fait chacune des techniques traitées dans le projet PERF-RV (immersion, système haptique, coopération, ) ont plusieurs types d application possible. Dans le cadre d un développement d un produit à plusieurs étapes nous avons des besoins de simulation numérique et de validation (conceptuel, design, fonctionnel, ergonomie d utilisation, de packaging,...). Les techniques de RV peuvent contribuer dans ces différentes phases pour faciliter la validation et accélérer la pris e de décision. L intégration de la RV dans le processus de conception permettra donc de réduire le temps nécessaire à la mise sur le marché d un produit («time to market»). 4.2 Sous-projet 2 : Interface multimodale et coopérative Action A1 - Groupe de Travail : (cf. début section 4). Action A2 - Serveur distribué d'événements pour dispositifs de RV : Cette action vise à évaluer et généraliser l architecture logicielle d un serveur distribué d évènements (EVserveur) conçu et développé au LIMSI- CNRS depuis quelques années. L intérêt fondamental de l EVserveur est la gestion de diverses modalités. Au demeurant, il a par nature vocation à gérer tout type de communication, puisqu il est utilisable dans tout développement logiciel (applications graphiques ou non) qui requiert l usage d un ensemble hétéroclite de matériels et de systèmes d exploitation (Windows, Linux, Unix, ). L enjeu de cette action sera d évaluer à grande échelle l apport et la fiabilité de l architecture logicielle de ce serveur pour la Réalité Virtuelle. L évaluation à grande échelle permettra de s assurer de la fiabilité et des qualités génériques de ce serveur, vis -à-vis de nos partenaires utilisateurs des sous-projets SP3 et SP4. Action A3 - Interactions coopératives locales et distantes : Cette action vise à développer un cadre d'expérimentation concernant les interactions coopératives de plusieurs utilisateurs proches et/ou distants, immergés dans un même environnement virtuel 3D. Chaque site immersif regroupant des utilisateurs possédera son propre point de vue de sur cet environnement, qui sera alors partagé par tous les utilisateurs de ce site. L enjeu principal de cette action est d étudier de nouveaux paradigmes de coopération, pouvant être basés par exemple sur de nouveaux dispositifs physiques d interaction et d évaluer les différentes coopérations possibles entre utilisateurs selon qu ils sont sur un même site ou sur des sites distants. Plusieurs utilisateurs immergés dans un environnement virtuel 3D et partageant un même point de vue sur cet environnement vont pouvoir communiquer en parallèle avec une même application, cela va donc pouvoir être assimilé à de l interaction multimodale, d autant plus que chaque utilisateur peut avoir la possibilité d utiliser simultanément plusieurs types de dispositifs physiques d interaction. 4.3 Sous-projet 3 : Simulation d assemblage et de montage Action A1 - Groupe de Travail : (cf. début section 4). Action A2 - simulation d assemblage et montage : cette action s intéresse à l assemblage manuel et dans une phase postérieure à l assemblage dont certaines étapes peuvent profiter d outillages manuels. Avec ces hypothèses, le but de la simulation est de fournir des indications réalistes sur ce que seront assemblage et montage dans la réalité. De ces indications on devrait pouvoir déduire des techniques de montage réelles à forte efficacité et rentabilité. L assemblage ou le montage sont dépendants d un grand nombre de paramètres que la simulation virtuelle permet de faire varier en un clin d œil. Sans être exhaustif, citons : le volume de travail, la position et configuration de l homme vis à vis du poste de travail, l agencement des pièces à assembler sur le poste avant l opération, leur visibilité, leur orientation vis à vis d une saisie utile aboutissant ensuite à leur insertion dans l ensemble visé. Action A3 - Extraction d éléments issus de simulation d assemblage et de montage : Cette action vise à spécifier et prototyper des solutions techniques permettant d extraire des résultats des simulations effectuées dans un contexte de réalité virtuelle pour des opérations d assemblage et montage. Cette action vise à évaluer différentes possibilités techniques d extraction de résultats de simulation pour une opération industrielle donnée de type assemblage. L opération type, qui sera prise en compte, consiste à effectuer une revue d aménagement d une zone contenant différents équipements et pour laquelle la simulation portera sur une activité de vérification d'accessibilité pour un être humain à un équipement dans une zone et au démontage de cet équipement. Les spécifications et les évaluations porteront en particulier sur la capacité de la simulation pour juger de la faisabilité et du réalisme des actions d assemblage. Action A4 - Simulation réalité virtuelle d un assemblage aéronautique : cette action vise à évaluer différentes possibilités de simulation en réalité virtuelle d une opération industrielle donnée de type assemblage. L opération type, qui sera spécifiée en détail, consiste à intégrer un équipement dans un environnement complexe (ex : insertion d une tuyauterie hydraulique dans un mât de réacteur Airbus). L'enjeu de cette action consiste à proposer une solution optimale qui répond à un problème significatif posé par le monde de l atelier numérique aéronautique. L objectif en terme industriel est de maîtriser et d anticiper les évolutions technologiques et de préparer l introduction d une solution innovante dans le processus de conception. 10

11 Pour cela les évaluations finales seront faites sur un panel très large d opérationnels des filiales EADS et de Dassault Aviation intervenant à différentes étapes dans le cycle de développement des produits. Action A5 - Revue d'application montage virtuel dans le domaine automobile : la présente action à pour but de définir dans un premier temps les applications typiques concernant le montage virtuel dans le domaine automobile, puis dans un deuxième temps d évaluer les besoins nécessaires pour réaliser une revue de montage virtuel. Ces besoins concernent différents domaines : Le domaine d application : déterminer les cas et les limites d utilisation ; Le domaine matériel : quel type de matériels peut-on utiliser pour réaliser une revue de virtuel en ayant soin de minimiser le coût des équipements ; Le domaine logiciel : identifier les logiciels utiles à partir des principales fonctionnalités que nous aurons déterminées ; Le domaine utilisateur : ce domaine est important pour l appropriation de l outil par l utilisateur et la formation ; Le domaine intégration dans le système IAO : pour la récupération des données et le transfert pour d autres applications y compris robots et outils d assistance. 4.4 Sous-projet 4 : Formation au geste technique Action A1 - Groupe de Travail : (cf. début section 4). Action A2 - Forum des métiers : cette action se propose d étudier et de tester le concept de didacticiel «métier» en mettant l Homme (l élève, le candidat) au centre de la réflexion. L objectif est essentiellement constitué par l étude de l interaction humaine en environnement immersif. Le réalisme du modèle sera préféré à l exactitude de la simulation des différents objets constitutifs de la maquette virtuelle, le problème nous concernant étant essentiellement de mettre l individu en situation en supprimant les perturbations environnementales qui modifient son comportement et ses réactions face à une situation donnée. Les interactions temps réel et l utilisation de systèmes à retour d effort favorisant le réalisme et la mise en situation réelle seront étudiées et évaluées, là encore avec un objectif d amélioration du réalisme de la situation plutôt que par souci d exactitude avec le contexte réel. 5 PERF-RV : principaux résultats Depuis son lancement la plate-forme PERF-RV a produit de nombreux résultats, tant par l organisation de réunions régulières des groupes de travail que par l activité de chacune de ses actions. En particulier, les groupes de travail des quatre sous-projets ont contribués : Présenter les actions respectives des partenaires industriels et chercheurs afin de définir les conditions initiales du projet ; Etablir la liste des points clés qui conditionnent la réussite ou l échec d une application de réalité virtuelle: définir les caractéristiques fonctionnelles des applications RV ciblées et éclairer les axes de recherche où un effort particulier devra être réalisé ; Structurer l état de l art, de l offre et de la demande (voir le livrable T0+6) ; Détecter les actions factorisables dans le sous projet, et finalement entre les sous projets tant au niveau recherche qu au niveau des synergies industrielles ; Ouvrir le projet à de nouveaux partenaires qui ont activement participé au groupe en tant qu auditeur et contributeur libre. De plus, l expression du besoin et des contraintes, matérialisé par un volumineux rapport sur l analyse des besoins et l état de l art a mis en exergue : La continuité du champ applicatif de la RV tout au long du cycle de vie du produit (bien ou service), depuis l étude la plus amont des biens et services jusqu à la formation en aval des différents utilisateurs. Un travail de classification et de hiérarchisation des spécifications des systèmes RV est en cours ; La continuité de la chaîne numérique est une condition sine qua non à la viabilité et à l inter-opérabilité des applications RV avec leur environnement logiciel (standards des formats, bande passante, etc ) ; La nécessité d une personnalisation des applications RV au public ciblé (expert, décideur, opérateur, grand public, etc ) fait ressentir le besoin d un langage de scénarisation de haut niveau. Ceci mérite d être cité (même si le projet actuel ne couvre pas cet axe). 5.1 Sous-projet 1 : Interfaces haptiques et visualisation immersive Action A1 - Groupe de Travail : (cf. début section 5). Action A2 - Démonstrateur interface haptique et visualisation immersive : Le développement de cette action a suivi une phase de formalisation et de spécification dans un premier temps et une phase de prototypage dans un deuxième temps. Nous avons renforcé et synthétisé les acquis des partenaires Inria et Cea dans le domaine des systèmes haptiques. A ce titre, les activités principales ont porté sur la préparation d un état de l art et la coordination avec la revue des applications. Ce rapport, conçu comme un état de l exis tant et une synthèse comparative, est basé sur une documentation très étendue. Les systèmes haptiques sont abordés dans leur globalité, à la fois sous l aspect matériel et logiciel. L état de l art présente le panorama complet et détaillé des périphériques de commande à retour d effort, leur principe, leur architecture, leur classification, leurs caractéristiques. Les interactions haptiques quant à elles, orientent vers un état de l art de modules logiciels tels que : logiciels de détection de collision et de simulation physique, adaptés pour les calculs en temps réel. 11

12 de manière réaliste. Les travaux d intégration et de couplage au Virtuose ont été fortement factorisés avec ceux de l action SP3A2 et SP3A4. Des ajustements ont été ensuite réalisés pour adapter le retour haptique au scénario de montage complexe proposé (réglage de la profondeur de pénétration tolérée, ajustement des gains en effort, valeurs min et max des couples, etc). Au final la simulation propose des fonctionnalités telles que : détection de collision temps réel, simulation dynamique réaliste, sélection de pièce par critère de proximité, possibilité de manipulation avec décalage, recalage du bras, manipulation d une pièce de géométrie quelconque avec retour d effort 6 axes, blocage de degrés de liberté, etc. Figure 12: Simulation de montage sur la plate-forme du CEA/LIST Les activités de spécification ont été menées sous forme d identification des besoins et de vérification de faisabilité, devant conduirent à la préparation des spécifications d un prototype de périphérique haptique à retour d effort, destiné aux salles immersives. Ces travaux intègrent les analyses menées en commun avec l action SP3/A5 sur le thème montage virtuel dans le domaine automobile, comprenant : sélection de cas dimensionnants, identification des exigences fonctionnelles, estimation des performances, prise en compte des contraintes. Parallèlement, nous avons établi les spécifications de l architecture logicielle, modulaire et distribuée nécessaire à l intégration du dispositif haptique dans les applications évoluées de Réalité Virtuelle liées aux objectifs de PERF- RV. L IRISA développe le logiciel OpenMASK qui sera le support des nos applications car il favorise la modularité et dispose des couches nécessaires au calcul distribué pour la Réalité Virtuelle. Sur ce support nous avons implémenté plusieurs prototypes des modules indispensables au aux applications «haptiques». Ainsi, nous disposons des algorithmes de détection de collision et de modélisation du contact, nous disposons aussi des modules de calcul de trajectoires des mécanismes articulés complexes. Action A3 - couplage haptique-visuel : Le CEA/LIST a mis en place une plate-forme logicielle et matérielle permettant de simuler le scénario de montage fourni par EADS CCR. Cette plate-forme utilise le bras à retour d effort Virtuose 6D (voir Figure 12) commercialisé par la société HAPTION ( ). Ce bras fournit des retours d effort en translation (forces) et/ou en rotation (couples). Des développements logiciels ont été réalisés par le CEA/LIST pour intégrer le bras et pour simuler le montage Figure 13 : essai de manipulation Les activités de formalisation concernent la modélisation de scènes graphiques pour la perception de tâches de manipulation virtuelle. Cette perception s accompagne d un retour d effort sur les bouts des doigts. Le poids et de l inertie des pièces sont aussi simulées et permettent une sensation plus complète des objets manipulés. L opérateur immergé dans les scènes graphiques doit avoir la possibilité de reconnaître les formes géométriques des pièces par simple retour d effort, sans faire appel aux autres sens. Mais la reconnaissance des objets manipulés peut aussi se faire par combinaison du retour d efforts et de la sensation du poids, ou par combinaison du retour haptique et du retour visuel (cf. Figure 13). Les activités de spécification ont consisté à évaluer l exosquelette CyberGrasp et le bras à retour d effort CyberForce. Cette évaluation a été faite sur la base de la restitution du retour sensoriel lors de l exécution d une tâche d assemblage. La participation aux expériences de manipulation et de perception de formes géométriques et de pièces mécaniques avec retour d effort ont permis d apprécier l ergonomie du matériel, de recueillir les impressions des utilisateurs et de faire connaître les nouvelles technologies en matière d interaction homme-machine. Action A4 - Conception et revue de projet immersives dans un Move : les activités de cette action, concernant la réalisation d un nouveau dispositif de visualisation immersive, ont conduit à effectuer plusieurs étapes de travail : 12

13 Fin d aménagement du bâtiment d accueil sur le site de PSA à Carrières-sous-Poissy ; Recette technique du système chez BARCO Belgique le 26 octobre ; Installation du Move à partir du 12 novembre à Carrières (cf. Figure 14); Prononciation de la recette technique le 20 décembre. Fin des réglages et formation des utilisateurs jusqu au 18 janvier 2002 ; Arrêt technique du système pour évolution de la face sol du 8 au 28 février 2002 ; Portage de l application PICASSO virtuelle (casque) sous environnement Move ; période, le matériel étant commandé. Les tests se dérouleront alors et les résultats seront analysés et discutés entre les trois partenaires durant la deuxième année. Voici quelques ordres de grandeur concernant la physiologie des doigts humains : Force maximale applicable avec l index pour un homme : 60 N pour une femme : 45 N Bande passante maximale avec laquelle on peut exercer une force confortablement : 10 Hz Bande passante de perception des efforts appliqués sur l index : 50 à 100 Hz Bande passante de perception tactile : 0 à 400 Hz Raideur maximale perceptible : N/m Les paramètres déterminants pour le dimensionnement de l interface haptique ont déjà été évalués. Et on a déduit de l étude précédente les spécifications de l interface haptique à retour d effort, qui détermine principalement le choix du moteur linéaire : idéalement, l actionneur doit être tel qu il n oppose aucune résistance au déplacement lorsqu il est à l arrêt (transparence). Pour atteindre cet objectif, il faut minimiser les frottements secs du moteur et l inertie de sa masse mobile. Considérant notre application, il semble plus adapté de choisir un moteur linéaire, qui offre une meilleure précision et répétabilité à basse vitesse.. Figure 14 : Move en position de L Réalisation des modèles virtuels des nouveaux monospaces PEUGEOT et CITROEN à partir de leur Maquette Numérique ; Début de portage de l application simulation de conduite PSA vers l environnement Move (cf. Figure 15 ). Figure 15 : Application dans le Move Action A5 - Retour d effort pour les études d ergonomie : Deux principaux travaux de spécification ont été menés : le simulateur d effort d un bouton de commande (cf. Figure 16) et l interface haptique anthropomorphique. Simulateur d effort d un bouton de commande PSA a fourni 6 types de boutons de commande de la planche de bord que le futur démonstrateur devra pouvoir simuler. Ce travail est en cours de réalisation durant la Figure 16 : Simulation d un bouton virtuel avec une interface à retour d effort Interface haptique anthropomorphique Parallèlement aux travaux sur le «simulateur d effort d un bouton de commande», nous nous sommes intéressés à la réalisation d une interface haptique anthropomorphique. Cette interface doit permettre les études ergonomiques de boutons, mis en situation avec visualisation du modèle virtuel de la planche de bord. Elle sera réalisée au cours de la deuxième année du projet PERF-RV et testée au cours de la troisième année. L'organe haptique doit pouvoir être exploité pour la manipulation d une commande ou d un accessoire avec trois conditions : Ne pas supprimer la visibilité de la commande ; Permettre l'accessibilité de la commande, tout en détectant d'éventuels obstacles sur la trajectoire ; Simuler l'action mécanique et le confort subjectif associé sur la commande. Deux solutions ont été proposées pour l interface haptique anthropomorphique: Un système complet de type exosquelette pour tout le bras et les 2 doigts de la main ; 13

14 Un système partiel utilisant 2 doigts pour la simulation de la préhension et couplée à l interface haptique Virtuose 6D du CEA (6 ddl pour le Virtuose + les x ddl des 2 doigts à définir). Action A6 - Intégration des techniques de RV dans le processus de conception et de développement de produits : les travaux entrepris dans cette action ont conduit à proposer la démarche suivante : Etudes de cas industriels (Renault, EADS) analyse des évolutions du processus de conception dans ces industries manufacturières ; Reprise des activités du processus de conception pour la partie recherche de concept et service support, formation ; Positionnement de la Réalité Virtuelle dans le processus et apport de la RV : premières réflexions et présentation au groupe GT4 ; Consensus sur les étapes génériques du cycle de conception vis à vis des approches aéronautiques et automobiles ; Cadrage du modèle global du système d information industriel PDM/ERP/CRM dans lequel les applications RV liées à la conception produit/procédé devront s intégrer ; Document de synthèse des attentes des 4 groupes de travail pour les difficultés et attentes non satisfaites de la Réalité Virtuelle dans le cycle de conception ; Première définition des activités liées à la réalité virtuelle à chaque étape principale d un projet d étude. 5.2 Sous-projet 2 : Interface multimodale et coopérative Action A1 - Groupe de Travail : (cf. début section 5). Action A2 - Serveur distribué d'événements pour dispositifs de RV : La version initiale de l EVserveur n offrant pas une distribution robuste, une grande partie des travaux de formalisation menés par le LIMSI-CNRS portèrent sur ces problèmes. L un des axes prometteurs des recherches dans le domaine des IHM pour la RV, est de pouvoir disposer de traitements avancés sur les différentes modalités interactives (reconnaissance vocale, reconnaissance gestuelle, fusion ou fission de modalités, ). De tels traitements s appuient sur une vision événementielle de l IHM. Au demeurant, les ressources calculatoires qu impliquent ces traitements (tels que ceux à base de processus de reconnaissance), mais aussi les limitations des ports des machines (quantité insuffisante, connectivité non standard), ou encore les incompatibilités des pilotes (drivers) avec les versions de certains systèmes d exploitation (OS), sont autant de facteurs qui imposent une architecture logicielle distribuée. Cependant, la gestion multimodale de l interaction suppose une datation fiable des événements. Cette précision est d autant plus nécessaire que certains de ces événements ont une latence propre qui résulte des processus de reconnaissance qui les génèrent. De fait, pour que des événements issus de ressources distribuées possèdent une telle fiabilité temporelle, l EVserveur doit lui-même être distribué sur le réseau des machines impliquées par un dispositif de RV (pour que les datations se fassent localement sans délai), tandis que les modules qui composent l EVserveur doivent être synchronisés (pour avoir une datation homogène des événements) et multi OS (pour décharger le programmeur d application du portage des drivers sous tel ou tel système d exploitation). En conséquence, l activité de spécification du LIMSI- CNRS a tout d abord porté : Sur la distribution de l EVserveur en un réseau de nœuds ; Sur la transparence de cette distribution vis -à-vis des clients ; Sur la synchronisation temporelle des nœuds de l Evserveur ; Sur l implémentation de ces nœuds sur différents OS (Windows, Linux et IRIX) ; Elle a porté ensuite : Sur la définition d un pilote «générique» à partir duquel les pilotes de la version initiale de l EVserveur devaient pouvoir être spécialisés ; Puis de spécifier dans ce contexte la spécialisation de 7 nouveaux pilotes de périphériques. En parallèle, le LIMSI-CNRS a bien entendu mené un travail de spécification sur l extension de la hiérarchie des événements gérés par l EVserveur en fonction de l adjonction de ces différents périphériques. Enfin, dans le contexte de l action VENISE (Virtualité et Environnement Immersif pour la Simulation et l Expérimentation) transversale à l ensemble du LIMSI- CNRS ( ce laboratoire a spécifié le dispositif mse (multi-user stereoscopic environment), composé de deux plans verticaux rétro-projetés de 2 mètres de côté. Le LIMSI-CNRS a donc développé sous Windows, Linux et IRIX : Les modules utiles à la distribution multi OS de l EVserveur sur un réseau (10 base/t Ethernet) de machines (PC sous Windows ou Linux, stations O2, Indigo2, Onyx et Onyx2 sous IRIX), avec un objectif d optimisation des temps de transfert des événements ; Les modules chargés de la synchronisation temporelle des nœuds de l EVserveur pour garantir une datation fiable des événements dès leur production. Par ailleurs, divers modules ont été développés à des fins de tests ou d évaluations de cette version distribuée multi OS de l EVserveur. Sur la base de ces développements, le LIMSI-CNRS a créé le démonstrateur Nautilus. Celui-ci est aujourd'hui la preuve de faisabilité la plus avancée de la partie EVserveur notre architecture distribuée. Il montre par exemple, pour le bénéfice d'une application qui tourne sur une station SGI Onyx 2, comment l'evserveur gère de façon unifiée bien que distribuée via un réseau standard : un système de reconnaissance de la parole (situé sur un PC avec Windows), un système de reconnaissance de gestes et ses périphériques (situés sur une station Indigo2), un capteur des mouvements de la tête (lui-même situé sur une troisième station Unix). Ce dernier capteur est utilisé par le calculateur graphique pour gérer, d une part la stéréoscopie adaptative sur les deux écrans du dispositif mse, d autre part le contrôle «mains libres» des navigations virtuelles à l aide du système HCnav (voir paragraphe suivant relatif à l action A3). La version suivante du démonstrateur Nautilus intégrera un moteur «élémentaire» de fusion multimodal des événements, tandis que nos travaux porteront sur l interface de l EVserveur avec OpenMASK. 14

15 Action A3 - Interactions coopératives locales et distantes : Dans le cadre de l établissement d un état de l art relatif au sous-projet 2 : le LaBRI a fourni une introduction à cet état de l art en précisant nos définitions communes, et un aperçu des dispositifs physiques l INRIA Rocquencourt a fourni un état de l art sur l interaction en environnements virtuels 3D l INRIA Rennes a fourni un état de l art sur la coopération en environnements virtuels 3D EDF a fourni un mémorandum sur deux exemples d application de Réalité Virtuelle avec travail coopératif et collaboratif Le LIMSI-CNRS a fourni un tour d horizon sur les Environnements Virtuels, les principaux dispositifs et leurs outils logiciels. Figure 17 : Manipulation directe, le curseur virtuel, utilisé pour manipuler les objets est proche de la main contraindre de façon générique des objets interactifs à respecter des mécanismes de type liaisons mécaniques, ou encore à éviter les inter-pénétrations suite à des détections de collisions. Partant de la constatation que les systèmes basés sur des grands écrans permettent à plusieurs utilisateurs d'être immergés dans un environnement virtuel, mais qu il n'existe pas d'interacteur spécialement conçus pour que plusieurs utilisateurs puissent interagir dans un environnement virtuel généré à partir de projections sur grands écrans, le LaBRI a décidé, pour combler ce manque, d étudier le développement d un nouvel interacteur : la table d interaction. Ce périphérique sera un outil de collaboration, non contraignant et simple d'utilisation. Il permettra de réaliser de nombreuses tâches d'interaction 3D. Ainsi, la spécification de ce périphérique est achevée et la fabrication d un prototype a débuté en collaboration avec le laboratoire LMP de l Université Bordeaux I. Le développement d applications de réalité virtuelle coopératives supposent une bonne connaissance des configurations et périphériques employés et de la façon de les employer pour un résultat optimal. Dans le cadre des travaux sur les paradigmes d interaction autour de la métaphore du rayon virtuel, de nombreux tests, sur le Plan de Travail Virtuel, avec des utilisateurs novices ont montré une tendance quasiment systématique à interagir à distance (avec la main à environ 1 mètre du modèle à manipuler) alors qu une interaction en direct (avec la main très proche du modèle utilisé), voir Figure 17 et Figure 18, semble plus aisée. I3D a réalisé des tests psychophysiques pour évaluer l influence de la distance de manipulation sur les performances en terme de temps et de précision. Les résultats vont à l encontre des tendances des utilisateurs. Ils ont montré que les performances sont meilleures si la distance de manipulation est inférieure à 20cm. Ils ont aussi montré qu elles sont meilleures s il n y a pas de facteur d échelle introduit lors de la manipulation. L INRIA Rennes a développé des démonstrations coopératives (cf. Figure 19) permettant la validation des modules OpenMASK prototypés, couplant les dispositifs logiques aux drivers de périphériques physiques. Figure 18 : Manipulation a distance, le curseur est a distance de la main. EDF a fourni un document présentant ses attentes vis à vis de cette action, en présentant 2 exemples d applications pouvant mettre en œuvre des techniques d interaction coopératives en environnements virtuels 3D. Renault a également fourni un document présentant ses attentes vis à vis de la coopération dans le cadre de la simulation de montage et de vérification de la compatibilité d un poste de montage avec un nouveau véhicule. L INRIA Rennes a exploré les métaphores de navigation 3D adaptées à des dispositifs semi immersifs (comme les Reality Center et Workbench, par opposition à des dispositifs totalement immersifs comme des visiocasques), permettant d embarquer des outils d interaction 3D. L INRIA Rennes a également étudié les possibilités de Figure 19 : Travail coopératif sur la Scenic Le LaBRI a prototypé des techniques d'interaction reposant sur l'utilisation de pointeurs laser. De tels pointeurs offrent de nouvelles perspectives au travers des optimisations induites (pointage 2D, plusieurs utilisateurs simultanés) et par le traitement vidéo nécessaire (optimisation dans l'utilisation des informations, déplacements possibles). Actuellement, plusieurs pointeurs sont utilisables par plusieurs personnes de manière alternative et la fonctionnalité «clic» est réalisée à l aide d une souris sans fil. Le LaBRI a développé une application de démonstration permettant de manipuler un modèle 3D fourni par Renault 15

16 (le véhicule Scenic) à l aide de pointeurs laser (cf. Figure 20). Dans ce démonstrateur, les utilisateurs ont la possibilité de changer de point de vue, pointer/sélectionner, déplacer des objets, placer des curseurs 3D, prendre des mesures entre ces curseurs Ces fonctionnalités sont disponibles de manière coopérative par alternance. Une vidéo d une dizaine de minutes présente ce type d utilisation. «casse-tête» de l évaluation (cf. Figure 21). Cette plateforme propose de pouvoir choisir différentes pièces du casse-tête à assembler et de les manipuler avec retour d effort sur 1 ou 2 mains. Elle utilise pour cela les 2 bras à retour d effort Virtuose 6D-RV (main dominante) et Virtuose 3D-RV (main non dominante) commercialisés par la société HAPTION ( ). Les bras Virtuose proposent des retours d effort en translation (forces) et/ou en rotation (couples). Des développements logiciels ont été menés pour intégrer les deux bras et pour simuler l assemblage du casse-tête de manière réaliste. Ces travaux ont été fortement factorisés avec ceux des actions SP3A4 et SP1A3. Des travaux d ajustements ont été réalisés pour adapter le retour haptique au scénario du casse-tête : essentiellement pour s adapter à la présence de 2 bras à retour d effort, donc pour simuler des prises possibles des pièces avec les deux mains. Figure 20 : Manipulation d un modèle 3D grâce à un laser. De son côté, le LIMSI-CNRS à développé sous l EVserveur (cf. action SP2.A2) un démonstrateur du HCnav, son système de contrôle des navigations virtuelles. Basé sur l association d un paradigme de «volant 6 DoF» avec une métaphore de «véhicule», ce système est utilisable par tout dispositif matériel de RV (HMD, Bench, Reality Center, ). Dans le cadre de cette action, nous commençons à utiliser la capacité qu a le dispositif mse de permettre la perception de deux reliefs exacts (voir paragraphe précédent sur l action A2) pour étudier en particulier les paradigmes et métaphores utiles aux interactions coopératives «in situ», c est-à-dire lorsque deux utilisateurs mènent des tâches plus ou moins collaboratives au sein d un même dispositif. 5.3 Sous-projet 3 : Simulation d assemblage et de montage Action A1 - Groupe de Travail : (cf. début section 5). Figure 22 : Exécution de tâche d assemblage en utilisant une souris 3D et retour haptique par la manipulation de modèles des pièces réelles Les activités de spécification visent à déterminer les effets des facteurs inhérents à la simulation de la tâche d assemblage sur la durée de l exécution et la planification de la tâche. La démonstration mise en oeuvre dans ce cadre consiste en l assemblage d un système de transmission mécanique (cf. Figure 22 et Figure 23). Le périphérique d interaction utilisé est une souris 2D puis une souris 3D. Action A2 - simulation d assemblage et montage : Figure 23 : Manipulation de modèle géométrique complexe Figure 21 : manipulation de l environnement virtuel Le CEA/LIST a mis à disposition une plate-forme logicielle et matérielle permettant de simuler le scénario de Action A3 - Extraction d éléments issus de simulation d assemblage et de montage : Cette action a nécessité la définition d un exemple significatif en terme de dimensionnement du problème : définition d'un modèle de données (Unité de Puissance Auxiliaire sur avion d'affaire (APU)), assemblage de modèles CATIA fournis par DASSAULT AVIATION. Ce 16

17 modèle a été fourni au CEA, à l'inria Rocquencourt et CLARTÉ. Figure 24 : Modèle APU FALCON Une analyse des besoins de DASSAULT AVIATION dans le domaine du montage/démontage a été réalisée dans le cadre de l état de l art. Les scénarios mentionnés ci-après s'inscrivent dans ce cadre. Deux scénarios de manipulation ont été spécifiés : Scénario 1 - remplacement du filtre à carburant : ce scénario est effectué à travers une porte d'inspection. Il s'agit d'une action de montage/démontage du filtre avec évitements d'obstacles. La phase de montage/démontage est précédée du placement d un réceptacle de récupération de carburant sous le filtre. La simulation de cette opération de montage/démontage tiendra compte en particulier des contraintes liées au placement des opérateurs par rapport à l APU, du fait des contraintes opérationnelles. Déconnexion de contacts électriques Déplacement de structures avec évitement d'obstacle Ces différentes phases permettent de prévoir une évaluation plus exhaustive des outils de simulation de par les degrés de complexité variables qui leur sont attachées. On tiendra également compte des contraintes de positionnement des opérateurs par rapport à l APU. On visera avec l'apport des interfaces à retour d'effort VIRTUOSE et des mannequins numériques à simuler le maximum de phases de ces scénarios. Le CEA/LIST a prototypé différents modules d une plateforme logicielle permettant de simuler et d animer un mannequin virtuel réaliste dans un environnement immersif de type I-Space de la société BARCO. Le système global doit permettre d acquérir puis de suivre les mouvements de l utilisateur grâce au dispositif de suivi optique ACTIRIS de la société ActiCM qui utilise 16 caméras et 32 points de mesure sur le corps (cf. Figure 25). Le système doit ensuite animer un avatar virtuel de l utilisateur dans la simulation (le mannequin) dans un environnement doté d un comportement physique réaliste. L'analyse des scénarios d'étude (en commun avec l'action A4, voir ci-après) au Virtual Reality Center de Dassault Aviation est également à l'étude. Action A4 - Simulation réalité virtuelle d un assemblage aéronautique : Figure 25 : Suivi de mouvement dans la Salle Immersive du CEA/LIST Scénario 2 - montage / démontage de l'apu : ce scénario plus complexe comporte des phases de différentes natures : Montage/démontage de tuyaux Figure 26 : Démonstrateur INRIA/i3D : démontage d une pièce d un mât de réacteur d A340 d Airbus. Les travaux menés dans cette action ont menés à : La formalisation des besoins industriels dans le domaine de la simulation d opérations de montage en aéronautique. Présentation du processus et des outils actuels. Présentation de quelques scénarios significatifs ; Les besoins industriels ont été formalisés dans le document Perf-Rv [Perf-Rv 2001] "Etat de l'art et analyse des besoins industriels", septembre 2001 et notamment dans le chapitre 1.1 : la maquette numérique dans l'industrie et le chapitre 1.3 : "Le montage/démontage virtuels dans l aéronautique" ; La spécification de scénarios utilisateurs et des contraintes industrielles associées ; La spécification d'un outil de simulation interactif de montage/démontage en aéronautique en terme de fonctionnalité, performance et ergonomie. L étude et le développement par l INRIA/i3D d une plate-forme logicielle de montage/démontage intégrant les bibliothèques de détection de collisions et gestion des contraintes Contact développées en interne. 17

18 Le développement par INRIA/i3D d un démonstrateur basé sur la plate-forme logicielle et présentant un scénario de montage/démontage d un mât de A340 fournit par Airbus (cf. Figure 26) ; Intégration par l INRIA/i3D du bras Virtuose dans la plate-forme logicielle de montage/démontage précédente. Action A5 - Revue d'application montage virtuel dans le domaine automobile : Dans cette action, les activités de formalisation ont mené à préciser : La sélection de scénarios de montage, et activités préparatoires pour l analyse des taches opératoires ; La définition des besoins pour une revue de montage/démontage dans le domaine automobile ; Le suivi de l état de l art des systèmes haptiques, liaison avec l action SP1A2 (INRIA Rennes et CEA). Les activités de spécifications ont porté : Un document concernant les attentes de RENAULT pour SP3A5 (Revue d application de montage / démontage virtuel dans le domaine automobile ), pour répondre à ses besoins ; Un document concernant les attentes de RENAULT pour SP2A3 (Interactions coopératives locales et distantes ), pour répondre à ses besoins. Suite aux différentes réflexions sur les revues de montage virtuel dans le domaine automobile les besoins sont : La simulation d un montage/démontage sans système haptique ; La simulation d un montage/démontage avec système haptique ; La réalisation d une revue de projet locale ou distante. Console centrale et de son environnement de la CLIO2 ; Lève vitre électrique et la porte avant de la Mégane berline. La transmission des données numériques à l INRIA Rocquencourt : Console centrale et de son environnement de la CLIO2 : Lève vitre électrique et la porte avant de la Mégane berline. Le CEA/LIST et l INRIA ont testé plusieurs logiciels permettant de convertir les données CAO fournies par Renault (format IGES) en données utilisables pour le rendu visuel et l haptique. Le CEA/LIST a réalisé les 3 scénarios spécifiés par Renault Ce logiciel a pour but de visualiser en stéréoscopie et de manipuler avec rendu haptique les données fournies par Renault (cf. Figure 27). 5.4 Sous-projet 4 : Formation au geste technique Action A1 - Groupe de Travail : (cf. début section 5). Action A2 - Forum des métiers : Présenté dans le cadre du document général sur l état de l art établi par l ensemble des partenaires PERF-RV (chapitre formation et RV), ce travail de balayage méthodologique a été décomposé en deux parties complémentaires : La première propose de décrire l intérêt pédagogique de la réalité virtuelle, ainsi que les concepts spécifiques associés à la notion de formation. L impact structurant des objectifs pédagogiques dans une application basée sur la réalité virtuelle y est fortement développé. La seconde propose une amorce de typologie permettant de classer dans le contexte spécifique de la réalité virtuelle les différents concepts pédagogiques mis en œuvre, ceci afin d identifier et de situer une application par rapport à ces référents. Cette phase indispensable d état de l art nous a permis de situer les objectifs définis dans notre projet par rapport aux développements existants et d affiner les objectifs de cette action en fonction d un cadre référentiel pertinent dans ce domaine d application de la réalité virtuelle. Figure 27 : Scénario Renault sur la plate-forme PHARE du CEA/LIST Les activités de prototypage de cette action ont concerné : La transmission des données numériques du véhicule Scénic avec différents partenaires de Perf-RV. La transmission des données numériques au CEA/LIST : Colonne de direction électrique et de son environnement de la CLIO2 ; Figure 28 : Utilisation du simulmateur de formation Afin d identifier un contexte métier pertinent et réaliste au regard des technologies de la RV (et en particulier des interfaces haptiques), nous nous sommes associés les compétences d experts sur ces deux domaines (formation et systèmes haptiques) : 18

19 L Association Professionnelle de la Formation pour Adultes (AFPA) qui apporte sa connaissance de l ingénierie pédagogique liée aux formations techniques et qui, de plus, s est déjà positionnée autour du contexte de la réalité virtuelle avec une activité de développement d un dispositif de soudage utilisant cette technologie. La confrontation de ces experts à des interrogations pédagogiques réelles et quotidiennes leur permet d apporter des réponses originales et de participer à la définition d un contexte métier réaliste ; SIMTEAM, société spécialisée en développement d application mettant en œuvre des interfaces haptiques. Le secteur de l usinage est un secteur clé au niveau des métiers de la production industrielle. Par ailleurs, il s'agit aussi d'un pré requis dans divers domaines de formation et en particulier pour les techniciens ayant en charge la conception de moules dans le domaine de la plasturgie. Or un nombre non négligeable de stagiaires ne possèdent pas ce pré requis. Aujourd hui l initiation se fait par l utilisation de machines manuelles. Un environnement virtuel permettant de mettre en relation directe la sensibilité d un apprenant avec les forces engendrées par les systèmes afin de réaliser cette sensibilisation de façon directe en évitant d avoir recours à des équipements anciens «en voie de disparition» permettrait aussi de généraliser des systèmes de sensibilisation à des formations connexes où la compréhension de ces processus est important tels qu en plasturgie pour les concepteurs de moule. deux mains une pièce de tôle réelle (cf. Figure 30). L opérateur engage dans la machine la pièce à plier, déclenche physiquement les actions de pliage et doit faire face à des situations potentiellement dangereuses. De tels outils devraient permettre d évaluer le degré de complexité des opérations de pliage - certains cycles s avérant parfois techniquement impossibles à réaliser - et l adéquation des mesures de sécurité associées - ce type de machine demeurant difficile à «sécuriser». Figure 30: Simulateur de presse plieuse Figure 29 : Simulateur de formation CLARTE, l AFPA et la société SIMTEAM ont développé un prototype de simulateur de fraiseuse (cf. Figure 28 et Figure 29). Il est constitué : d une base informatique de type PC bi processeur équipé d une carte graphique wildcat 4210 d un écran sur lequel est projeté le monde virtuel constitué d un atelier reconstitué en 3D avec une fraiseuse virtuelle dont la tête est «asservie» au bras à retour d effort. d une maquette en matériau composite de la table de fraiseuse qui supporte le phantom. L ensemble est ici manipulé par un stagiaire en cours d apprentis sage à l AFPA. Par ailleurs le CEA/LIST et l Institut National de Recherche et de Sécurité (INRS) ont réalisé un prototype de simulateur de presse plieuse afin d évaluer l intérêt de tels développement dans le champ de la prévention des risques professionnels [Ciccotelli, 2002]. L application consiste à simuler le fonctionnement de la presse et à effectuer un pliage virtuel en manipulant des 6 Conclusion et perspectives Le bilan de l activité de la plate-forme PERF-RV montre une montée en puissance de travaux fondamentaux dans le domaine, une forte composante de développement innovant et une grande cohérence dans les collaborations Recherche / Industrie. Les perspectives de recherche et développement de chacune des actions à court et moyen terme constitue une liste assez longue de travaux. Synthétiser cette présentation en les regroupant par sous-projet, permet seulement de donner un éclairage partiel montrant néanmoins les grandes lignes de la suite de PERF-RV. De manière générale sur les deux sous projets 1 et 3, les travaux futurs vont conduire à suivre les pistes suivantes : Préparation de l intégration des 2 Virtuoses 6D-RV dans la salle immersive pour la manipulation des objets à deux mains : positionnement préférentiel des Virtuoses 6D-RV, définition de la structure matérielle pour les intégrer, caractéristiques des retours d effort associés ; En corollaire à l évaluation des tâches de montage/démontage, ces activités conduiront à une spécification de mannequin numérique pour les simulations de montages/démontages aéronautiques ; Affinage des simulations : formalisation des prises de pièces par la prise en compte des mains avec ou sans accessoires, puis montée en puissance des prototypes sur des bases de données de plus en plus complexes fournies par les industriels du domaine ; Formalisation d une configuration d interaction (matérielle et logicielle) en immersion totale avec retour haptique, répondant au mieux aux critères ergonomiques et permettant la meilleure association du retour haptique et du retour visuel. Formalisation des 19

20 techniques d interaction avec des couplages visuelhaptique appropriés à chaque type de tâche. Les équipes impliquées dans le sous-projet 2 envisagent la suite de leur travail sous deux aspects principaux : d une part, les architectures logicielles permettant de mettre en œuvre des schémas d interaction et d autre part la conception et l étude de nouvelles techniques d interaction. Dans le premier axe, deux environnements sont plus particulièrement appelés à se développer : OpenMask développé par l IRISA et EV Serveur proposé par le LIMSI-CNRS. Parmi les évolutions envisagées pour Open Mask figurent une adaptation automatique entre les interacteurs et les objets, la prise en compte de phénomènes haptiques et la gestion de menus 3D. Pour EV Serveur, le travail portera principalement sur les relations avec les autres applications en termes d architecture et sur une réflexion sur la multi-stéréo. Plus globalement, une réflexion sur les convergences entre les deux systèmes s impose et sera mise en place rapidement ; Dans le deuxième axe, un travail important, déjà commencé, va se poursuivre en ce qui concerne l évaluation des techniques d interaction. L IFP, va mener une analyse encore plus poussée des besoins utilisateurs et de l ergonomie des solutions proposées. I3d se concentre notamment sur la gestion des contraintes et la prise en compte de facteurs humains dans le contrôle d applications. Enfin, le LaBRI continue le développement de nouvelles interactions basées sur des rayons laser et un périphérique expérimental baptisé table d interaction et aborde l utilisation de geste pour le pilotage d applications. Les axes de développement présentés ici s inscrivent dans une réflexion globale liée au sous-projet 4, à savoir «Réalité virtuelle et formation aux gestes techniques». Il s agit en l occurrence : De la caractérisation et de la mise en place de métaoutils insérés dans un ensemble de type atelier logiciel mis à la disposition du concepteur de formations techniques. Cette approche permettra une généricité dans la démarche pédagogique replaçant l ingénierie de la formation au cœur de la démarche. De mener des pré-études techniques et des réflexions sur l approche économique des systèmes à retour d effort et de sensation. En effet, il nous apparaît indispensable de lever rapidement le verrou économique lié aux applications de formation (utilisant des outils de réalité virtuelle) qui, par leur nature même, sont amenées à être dupliquées. Une étude de nouveaux périphériques faible coût et en meilleure adéquation avec les objectifs pédagogiques sera à prévoir à la suite ou en parallèle à ce projet PERF RV. La diffusion des technologies, résultat de l activité de PERF-RV, est prévue en deux temps. Dans la phase actuelle la diffusion se fait au travers des logiciels libres, comme OpenMask. Ensuite les résultats des années 2 et 3 seront diffusés en partenariat avec les grands éditeurs de logiciels CAO. Le prototype de montage/démontage réalisé par l Inria est en train d être industrialisé dans le logiciel Mockup de PTC, par le biais d un projet privé, Samira. Celui-ci développé conjointement entre EADS et Airbus, est confié à la société Ondim. Haption, Dassault Systèmes et le CEA/LIST travaille à l intégration des bras Virtuose dans CATIA V5, sur la base d un scénario Dassault Aviation. Le CEA/LIST travaille en collaboration avec la société ACTICM au développement de nouveaux systèmes de capture de mouvement pour la commande de tout ou partie d un avatar représentant un opérateur de montage sur la base d un scénario Dassault Aviation et EADS/CCR. Le CEA, l INRIA et l Ecole des Mines de Paris développent avec Haption de nouvelles interfaces haptiques et des API standards adaptées aux besoins des industriels de Perf RV. L AFPA en collaboration avec Simteam et Clarte a développé un simulateur de fraisage avec retour d effort destiné au marché de la formation professionnelle. Enfin PERF-RV représente un outil attractif pour les laboratoires et industriels français, attesté par les demandes de participation extérieure, au titre des règles d ouverture, citons en particulier l AFPA, Haption, l INRS, l Université d Orléans et ALSTOM Transport qui viennent ainsi de rejoindre le réseau. En outre, le futur de PERF-RV passe nécessairement par l Europe et tout particlièrement par le 6 ème PCRD pour lequel nous examinons des propositions de montage de projet. References Les publications suivantes sont exclusivement issues des équipes travaillant dans le projet PERF-RV, sur la période d activité de PERF-RV et sur les sujets de PERF-RV. Elle représentent donc une part importante de l activité de la plate-forme et participent grandement à la diffusion des connaissances liées au projet. M. BENALI-KHOUDJA. «Facteurs Humains et Étude d Ergonomie pour les Planches de Bord Automobiles». Rapport de Stage de DEA Réalité Virtuelle & Maîtrise de Systèmes Complexes, P. BOURDOT AND D. TOURAINE, Polyvalent display framework to control virtual navigations by 6DOF tracking, In Proc. of the IEEE Virtual Reality Conference 2002, IEEE VR 2002, Orlando, Florida (US), March P. BOURDOT AND D. TOURAINE A Hierarchical Server to Manage Multimodal and Collaborative Interactions within Virtual Environments, In Proc. of AI'2001, International Conference on Applied Informatics, IASTED Ed.; Innsbruck (Austria), February J. CICCOTELLI,, Réalité virtuelle, une aide à la decision pour la conception de systèmes sûrs, European Safety and Reliability Conference «Decision Making and Risk Management», Palais des congrès, Lyon 19 au 21 mars P. COIFFET AND S. GARBAYA, Virtual reality bases in manufacturing, International NAISO Congress on INFORMATION SCIENCE INNOVATIONS (ISI 2001) March 17 21, 2001 at the American University in Dubai, U.A.E. P. COIFFET AND S. GARBAYA, Using VR techniques for product life-cycle evaluation in the design stage, International IFIP Conference on Feature Modelling and Advanced Design for the life cycle systems. June 12-14, 2001 Valenciennes, France. F. DEVILLERS, «Langage de scénario pour des acteurs semiautonomes», Thèse de doctorat de l université de Rennes I, septembre, G. DUMONT, G. ANDRADE, C. KÜHL, «Le prototypage virtuel comme outil de conception : Application à un prototype d'endoscope actif», quatrièmes journées du pôle microrobotique, INSA Lyon, juillet