l Université de Bretagne Occidentale

Transcription

1 THÈSE présentée devant l Université de Bretagne Occidentale pour obtenir le grade de : DOCTEUR DE L UNIVERSITÉ DE BRETAGNE OCCIDENTALE Mention INFORMATIQUE par Valéry RAULET Équipe d accueil 2215 (UBO, ENIB) Laboratoire d Ingénierie Informatique (LI2/ENIB) Titre de la thèse : Prototypage interactif et collaboratif. Vers une architecture de communication pour une interactivité coopérante dynamique dans les environnements virtuels distribués. Soutenue le 18 juin 2003 devant la commission d examen : M. : Marcel LE FLOCH Président MM. : François BOURDON Rapporteurs Jean-Pierre JESSEL MM. : Gilles BUREL Examinateurs Alexis NÉDÉLEC Jacques TISSEAU M. : Vincent RODIN Membre invité

2

3 Prototypage interactif et collaboratif. Vers une architecture de communication pour une interactivité coopérante dynamique dans les environnements virtuels distribués. Mémoire de thèse VALÉRY RAULET EA2215 (UBO, ENIB) Juin 2003

4 Mémoire de thèse Équipe d Accueil 2215 Valéry RAULET raulet@enib.fr url : raulet/ tel : +33 (0) fax : +33 (0) École Nationale d Ingénieurs de Brest Laboratoire d Ingénierie Informatique Technopôle Brest-Iroise Site de la Pointe du Diable Parvis Blaise PASCAL Plouzané, Finistère Adresse postale : C.S , Brest CEDEX 3, France ii

5 Remerciements Je tiens, par l intermédiaire de cette thèse, à remercier tous ceux qui ont, de près ou de loin, participé à la réalisation de cette thèse. Je remercie tout d abord Jacques TISSEAU, professeur à l École Nationale d Ingénieurs de Brest et responsable du Laboratoire d Ingénierie Informatique, pour m avoir accepté au sein de son équipe de recherche. Je remercie également Alexis NÉDÉLEC et Vincent RODIN pour m avoir guidé et encadré pendant la réalisation de cette thèse. Je tiens également à remercier Monsieur François BOURDON, responsable de l équipe de recherche MAD (Modèles, Agents et Décision) du laboratoire GREYC de l Université de Caen et Monsieur Jean-Pierre JESSEL de l Équipe Synthèse d Images de l Institut de Recherche en Informatique de Toulouse (IRIT), qui ont accepté d être les rapporteurs de cette thèse. Ces remerciements vont également à Messieurs Marcel LE FLOCH et Gilles BUREL qui ont bien voulu participer à mon jury de thèse. Je désire également remercier toute l équipe du Laboratoire d Ingénierie Informatique pour m avoir soutenu et conseillé tout au long de ces années de recherche, et tout particulièrement Pascal BALLET, Fabrice HARROUET, Elyes LAMINE et Ronan QUERREC qui ont croisé mon chemin dans ce laboratoire et dont je garderai un souvenir inoubliable. Enfin, je remercie ma famille et mes amis qui m ont supporté pendant tant d années. Je remercie plus particulièrement Mademoiselle Blandine LE CARLUER pour m avoir suivi dans cette dure épreuve et qui continuera, je l espère, à m apporter soutien et réconfort dans les moments difficiles. iii

6 Remerciements iv

7 Table des Matières Remerciements Table des Matières Liste des Figures iii v xi Introduction 1 Partie I Le contexte 5 Introduction 7 1 La Réalité Virtuelle Introduction Définition Tromper l utilisateur Échange naturel entre l utilisateur et l ordinateur Présence Autonomie Historique Les outils La partie matérielle La partie logicielle Les applications La simulation militaire Les jeux La formation Le prototypage Conclusion v

8 Table des Matières 2 Les Systèmes Multi-Agents Introduction Les systèmes multi-agents Historique Les objectifs Les fonctionnalités des SMA Agent intelligent Agents purement réactifs Agents cognitifs Les domaines d application La résolution de problèmes La simulation multi-agents Conclusion Conclusion 31 Partie II État de l art l architecture de communication 33 Introduction 35 1 Les réseaux : support de la communication Introduction Les données échangées dans un environnement virtuel Le réseau physique et logique La bande passante La latence La fiabilité La topologie du réseau physique Les protocoles de communication Les protocoles de l Internet La qualité de service La diffusion La diffusion restreinte La diffusion restreinte fiable Les protocoles spécialisés Conclusion Les architectures de communication Introduction La communication par messages Message Passing Interface (MPI) Parallel Virtual Machine (PVM) Communication par mémoire partagée Les espaces partagés vi

9 Table des Matières Linda JavaSpaces La plate-forme EQUIP Les services de CORBA Conclusion Le bus logiciel Remote Procedure Call (RPC) CORBA CORBA temps réel Les critères de choix Conclusion 87 Partie III État de l art Les environnements virtuels distribués 89 Introduction 91 1 Les architectures pour la simulation distribuée Introduction Historique Distributed Interactive Simulation (DIS) L architecture Protocol Data Unit (PDU) La technologie et ses limites Conclusion High Level Architecture (HLA) L architecture Les services du RTI Gestion de la fédération Gestion de la déclaration : publication/souscription Gestion des objets Comparaison entre HLA et DIS Comparaison entre HLA et CORBA Conclusion Les plates-formes de réalité virtuelle distribuée Introduction Les techniques de la réalité virtuelle distribuée Le dead reckoning Le filtrage Consistance de la base de données Gestion du temps Répartition de la charge Discussion vii

10 Table des Matières 2.3 Taxonomie des environnements virtuels collaboratifs Classification suivant des critères de fidélité Classification technique Les plates-formes existantes Conclusion Conclusion 151 Partie IV Le prototypage interactif et collaboratif 153 Introduction Le prototypage interactif et collaboratif La plate-forme oris Le prototypage Notre approche Le langage oris Simulation participative distribuée en oris L architecture Modèle réel / fantôme Modification dynamique de l environnement Protocole de gestion des instances Communication entre agents Génération automatique de code Conclusion Gestion dynamique de modèles sous HLA Le CERTI L architecture Le modèle objet du CERTI Extension de l API pour un modèle objet dynamique Description du modèle objet Modification du modèle objet par l API existante Modification de l arbre du modèle objet Modification de l espace de routage Conclusion Exemple en orisdis Existence de l agent et mise à jour de ses états Génération automatique de code Interaction sur le réel Interaction sur le fantôme Interaction sur un état dynamique Ajout dynamique de fonctionnalités à l agent viii

11 Table des Matières 3.3 Conclusion Conclusion et perspectives 213 Annexes 217 Liste des acronymes 265 Liste des sites Internet 269 Références bibliographiques 271 Résumé / Abstract 283 Index 285 ix

12 Table des Matières x

13 Liste des Figures Le contexte Traitement de l information selon [Grumbach 01] Interaction, Immersion, Imagination [Burdea et al. 93] Les trois médiations du modèle en réalité virtuelle [Tisseau 01] SécuRévi [Querrec 02] Différence entre objet et agent [Ferber 97] Caractéristiques d un agent autonome [Richard 01] Organisations et structures organisationnelles (d après [Ferber 95]) Architecture typique d un agent hybride (d après [Richard 01]) État de l art l architecture de communication Le modèle OSI Différentes topologies de réseaux Synchronisation par échange de messages NTP [Fujimoto 00] Les 4 composants vrtp : client, serveur, pair à pair et surveillance Les différents démons du protocole DWTP [Broll 98] Différentes approches de communication, évaluations [Waters et al. 97] Le partage d information avec ISTP Les différents protocoles de ISTP L architecture de Virtual Society [Honda et al. 96] L architecture de Gaia [Ko et al. 99] Architecture de ViSTA Javaspaces Le service d évènement de CORBA Les modèles de communication du service d évènement Appels et messages des RPC [Tanenbaum 94] xi

14 Liste des Figures 2.6 Étapes d exécution de RPC [Tanenbaum 94] Les différents services de CORBA Les différents services de CORBA (vue détaillée) Les composants de l échange client/serveur de CORBA Interopérabilité via IIOP L architecture de Nomad [Wilson et al. 01] État de l art Les environnements virtuels distribués 89 1 Classification des systèmes de CSCW [Ellis et al. 91] CVW, exemple d outil de travail collaboratif Les différentes parties de l architecture de DIS La liste des PDU du protocole DIS Le PDU Entity State [Hofer et al. 95] La stratégie d ensemble M&S du DMSO [Department of Defense 95] L architecture HLA Le cycle de vie d une simulation HLA Publication des objets Spécialisation des classes d objets HLA Généralisation des attributs d une classe Comparaison du cycle de vie de HLA et DIS [Calvin et al. 95] Structure EBI [Barrett et al. 96] Comparaison entre CORBA et HLA Échange d informations entre les entités sources (d après [Singhal 96]) Échange d informations entre l hôte source et l hôte distant Estimation de la trajectoire d une entité (ordre 0) Estimation de la trajectoire d une entité Algorithme PHBDR [Singhal 96] Estimation basée sur l intention [Szwarcman et al. 01] Interactions possibles Conscience suivant le nimbus et le focus Activation des objets tiers Problème simple d ordonnancement causal Relation happens-before à l aide d un vecteur temps Les types de simulateurs suivant le mécanisme de régulation temporel Utilisation du lookahead dans HLA Classification des algorithmes de répartition de la charge Granularité et performance de la répartition de la charge, d après [Jensen 96] Différentes topologies de communication pour les bases de données Modularité de Bamboo [Liles 98] interface HLA à Bamboo [Liles 98] Modèle objet utilisé dans Bamboo [Liles 98] xii

15 Liste des Figures 2.20 Architecture répliquée de DIVE Mécanisme de communication de VIPER [Torguet 98] Le prototypage interactif et collaboratif Démarche de prototypage classique (d après [Harrouet 00]) Démarche de prototypage interactif (d après [Harrouet 00]) Double infrastructure Communication entre l API oris et l API du RTI Composants du gestionnaire orisrti Interaction entre réel et fantômes Évolution d un attribut dynamique avec mise à jour du réel Exemple de l interaction de deux utilisateurs Dynamicité de l application Exemple de classe du fichier FED (syntaxe à la LISP) Exemple d instances créées après la modification de la classe Classe générique pour le transport d attributs dynamiquement ajoutés Relations entre classes, instances et attributs dans une simulation HLA Relation entre les éléments dans une simulation HLA / oris Contraintes appliquées sur les instances de classes et d attributs oris Interactions entre les agents réels et l orisrti Interactions entre l orisrti et les agents fantômes Espace de routage de réception des interactions par le fédéré Communication entre les agents Génération automatique de code Exemple de code XML pour la génération automatique de code L architecture du CERTI, d après [Bréholée et al. 02] Exemple de scénario de transfert de données (d après [Bréholée et al. 02]) La gestion du modèle objet dans le CERTI Le nouveau modèle objet du CERTI Description du modèle objet Ajout au modèle d interaction Ajout au modèle d objet Modification de l espace de routage Diagramme de classe entre les classes générées et les classes de base Fichier de description en XML Fichier FED généré automatiquement et servant à initialiser le RTI Exemple de code généré pour la classe du réel Cheminement d appels de méthodes à partir d une requête sur le réel Exemple de code généré pour la classe du fantôme Cheminement d appels de méthodes à partir d une requête sur le fantôme Blocage de la boucle à l aide d un attribut xiii

16 Liste des Figures 3.9 Ajout de fonctionnalités à la classe Code dynamiquement ajouté à la classe xiv

17 Introduction 1 La recherche perpétuelle de nouveaux produits répondant aux besoins des consommateurs a rendu leur conception beaucoup plus complexe. Cette complexification met en œuvre une profusion et une hétérogénéité de points de vue, de compétences, de disciplines et de technologies [Lamine 01]. Meinadier fait remarquer que l on peut distinguer deux principaux types de complexité dans un système [Meinadier 98] : La complexité statique qui est liée à l architecture du système, c est-à-dire le nombre de fonctions, de composantes, de relations, etc, la complexité dynamique qui est liée à la dynamique des interactions entre les soussystèmes et les composants ainsi qu à l existence de relations bouclées entre les fonctions. Faisant appel à des domaines de recherche différents, le recours à des modélisations est devenu nécessaire afin d analyser le comportement du système. Difficile à déterminer, la complexité dynamique nécessite une étape de prototypage afin de paramétrer au mieux le modèle et ainsi correspondre aux besoins des concepteurs. Les travaux menés sur oris [Harrouet 00] ont permis d offrir un outil de prototypage interactif permettant à l utilisateur de prototyper le modèle suivant son comportement dynamique sans recourir à des phases d aller/retour permanentes entre conception et simulation. 1 Même un chemin de mille lieues commence par un pas. Proverbe Japonais 1

18 Introduction Nos travaux portent sur la mise en œuvre d une architecture orisdis permettant la réalisation d applications de prototypage interactif et collaboratif. Ainsi, nous rendons possible l élaboration d un modèle de manière collaborative en permettant aux différents acteurs de préciser l objectif du modèle. De l agent à la réalité virtuelle distribuée Créer un système, c est rassembler différents éléments dotés d un comportement simple. L agent est un moyen informatique permettant de construire un objet autonome doté de son propre comportement, qui répond à un modèle défini par son concepteur. Simple à mettre en œuvre, l agent capte son environnement proche, effectue un traitement plus ou moins complexe ou plus ou moins intelligent. En réponse à cette perception et suivant son intelligence, il réagit ou agit et modifie l environnement suivant les besoins de son modèle. Complexifier le système, c est composer ou agréger différents agents. On obtient un système multi-agents qui permet de modéliser la complexité statique dans chacun de ses agents ainsi que la complexité dynamique, à travers les interactions entre ces différents agents. Difficile à prévoir, cette dynamique fait souvent l objet d un prototype afin de constater l émergence d un comportement désiré ou une auto-organisation menant vers le même but que son concepteur. Seulement, cette étape de composition de différents modèles simples nécessite souvent le recours à des modifications d un ou de l ensemble des modèles. Introduire l homme dans la boucle et lui permettre d agir directement sur le modèle offre la possibilité de réduire le temps de conception en évaluant interactivement les modifications apportées. Cette simulation participative rend l homme pleinement actif dans ce processus de mise au point. La réalité virtuelle a révolutionné la vision de l ordinateur vis à vis de l homme. Elle permet un couplage très fort entre les deux éléments et ouvre la voie à de nouvelles applications offrant un haut niveau de créativité à l utilisateur. L homme, non seulement dans la boucle, se place lui même, à travers son avatar, au même niveau conceptuel. Cette relation d égal à égal autorise une plus grande autonomie des modèles et par voie de conséquence, une plus grande autonomie de l utilisateur [Tisseau 01]. Comme la conception d un modèle complexe est de plus en plus le fruit du travail de nombreux experts, il devient nécessaire d offrir un outil permettant de confronter les différentes idées de chacun. La réalité virtuelle distribuée propose de lever les barrières des distances géographiques en permettant aux différents acteurs d être présents en un même endroit virtuel et surtout au même instant. Notre approche est basée sur l utilisation des systèmes multi-agents au sein d un environnement virtuel. Ce choix offre à l utilisateur un moyen d observer, d expérimenter et de fa conner un modèle numérique d une manière similaire aux investigations qu il peut mener autour d un système du monde réel [Harrouet 00]. 2

19 Introduction Organisation de ce mémoire Ce document est organisé en quatre parties. Le contexte présente deux des trois domaines ayant trait à notre problématique. Tout d abord, un premier chapitre qui présente la réalité virtuelle et montre comment l immersion de l utilisateur est réalisée, à travers différents capteurs et effecteurs et aussi, à travers le monde simulé. La réalité virtuelle a pour objectif de fournir une représentation réaliste et interactive de l environnement commun et partagé par tous les utilisateurs. Il est suivi d un deuxième chapitre qui offre un aperçu des systèmes multi-agents permettant de rendre un environnement virtuel beaucoup plus interactif. Les systèmes multi-agents viennent en complément de la réalité virtuelle. Ils permettent de doter les entités virtuelles de comportements réalistes qui peuvent être modifiés par les utilisateurs. Ces comportements sont plus ou moins développés en fonction de la capacité de décision de ces entités. Le reste du mémoire concerne les aspects distribués de notre problématique. La deuxième partie concerne essentiellement l étude des différentes couches intervenant dans l échange d informations entre les différents ordinateurs participant à cette immersion collective. Un premier chapitre aborde les propriétés offertes par le réseau et étudie comment ce système de transport peut gérer au mieux les données à véhiculer. Le second chapitre s intéresse aux paradigmes qui ont été élaborés dans le but de réaliser des applications coopérantes. D un niveau conceptuel supérieur, ces paradigmes offrent des facilités de programmation non négligeables et apportent tous une réponse au partage de données. La troisième partie s attache aux aspects distribués dans un contexte de réalité virtuelle. Elle présente cet aspect particulier des systèmes coopératifs qui requièrent une synchronisation temporelle. Le premier chapitre s attache à présenter les résultats des recherches menées par le ministère américain de la défense dans le but de promouvoir une architecture la mieux adaptée au développement d une telle application tout en permettant sa réutilisation. DIS 2 et HLA 3 constituent les deux principales architectures retenues. Le second chapitre s intéresse aux technologies adaptées au contexte de la réalité virtuelle distribuée. Nous présentons toutes les optimisations effectuées tant au niveau architectural qu au niveau de la transformation des données afin d améliorer la qualité du rendu, l extensibilité de l application et bien d autres aspects. Une taxonomie est réalisée afin de confronter les différentes plates-formes développées à ce jour. La dernière partie présente notre modèle destiné à créer une application de prototypage interactif, collaboratif et coopératif. Le premier chapitre présente une partie sur l intégration de l architecture de simulation militaire HLA à notre plate-forme multi-agents oris. Nous y détaillons les différentes technologies nécessaires à la réalisation d une plate-forme de prototypage distribuée et, plus précisément, certains aspects sur l évolution des modèles 2 DIS : Distributed Interactive Simulation 3 HLA : High Level Architecture 3

20 Introduction durant la simulation. La seconde partie intéresse plus particulièrement le concepteur d une application puisqu il offre un formalisme de spécification simple permettant de faciliter le développement de l application et surtout, de générer automatiquement le code nécessaire à la distribution de l application. Le second chapitre présente les modifications apportées à l interface du CERTI un RTI compatible HLA pour permettre une évolution dynamique de l application durant la simulation. Enfin, nous conclurons en présentant quels avantages nous pouvons retirer de cette architecture. Cette conclusion permet de faire le point sur la norme HLA par rapport aux applications de réalité virtuelle distribuées et de proposer des évolutions. Remarques complémentaires Le développement actuel d Internet en fait une source primordiale pour se documenter et approfondir certains sujets. Nous avons donc ajouté une annexe contenant une liste de sites Internet en relation avec les sujets traités. À chaque fois que nous parlons d un sujet et qu une référence Internet est disponible, elle est annoté par un arobase ). Par ailleurs, lorsque nous faisons référence à des méthodes relatives à certaines interfaces de programmation, nous adoptons l écriture utilisée dans les documentations de l architecture HLA. Par exemple, la méthode updateattributevalues() sera notée Update Attribute Values. Enfin, ces travaux ont fait l objet de plusieurs publications scientifiques : [Rodin et al. 00] [Raulet et al. 02a] [Raulet et al. 02b] [Raulet et al. 03b] [Raulet et al. 03a]. Les quatre dernières publications sont fournies en annexe. 4

21 Partie I Le contexte 5

22 Le contexte 6

23 Introduction À la charnière de différentes disciplines, la réalité virtuelle se propose de synthétiser les résultats de recherches en simulation, en informatique graphique, en audiovisuel et en de nombreuses autres disciplines. Chaque avancée dans l une de ces disciplines profite à la réalité virtuelle et permet à l ordinateur d être encore plus en adéquation avec les idées de l utilisateur. En effet, le résultat présenté par l ordinateur correspond aux conséquences des différentes interactions de l homme sur l ordinateur et réciproquement. Le premier chapitre de cette partie a pour objectif de montrer comment cette collaboration est effectuée et a abouti aux différentes applications que nous connaissons aujourd hui. Le second chapitre aborde les systèmes multi-agents ou SMA 1 et présente comment chaque entité l agent participe dans un processus global. L interaction entre l agent et l environnement ainsi que le processus inverse produit l émergence d un système plus complexe. Dans cette partie, nous présentons succinctement quelques aspects de la réalité virtuelle et des systèmes multi-agents afin de mieux comprendre les points forts à retenir pour notre problématique. 1 en anglais, MAS pour MultiAgent System. 7

24 Introduction 8

25 Chapitre 1 La Réalité Virtuelle...Nous pouvons modeler votre vision pour lui fournir tout ce que votre imagination peut concevoir. Nous contrôlerons tout ce que vous allez voir et entendre. Nous partagerons les angoisses et les mystères qui gisent dans les plus profonds abysses... au-delà du réel. Au-delà du réel ( ), Leslie Stevens & Joseph Stephano 1.1 Introduction Bien que le terme virtuel ait pris, aujourd hui, un autre sens que celui d origine, il est souvent utilisé pour exprimer l existence d une chose uniquement dans sa réalisation informatique. La réalité virtuelle offre cette apparence en plaçant l utilisateur au centre du système. Trois points particuliers permettent de rendre cette immersion parfaite. Tout d abord, l utilisateur est immergé dans un monde graphique en trois dimensions. Ce monde peut simuler un monde réel ou imaginaire. Ensuite, l utilisateur se trouve dans l application et navigue généralement dans cet environnement via un avatar, un représentant informatique de luimême. Enfin, cet utilisateur peut examiner, interagir et manipuler les objets virtuels composant l environnement [Wilson et al. 01]. Le rendu graphique, le retour sensoriel et les moyens d interactions offerts à l utilisateur permettent une profonde osmose entre cet utilisateur et l ordinateur. La réalité virtuelle est un domaine pluridisciplinaire tirant parti de l informatique graphique, de la simulation, de la conception assistée par ordinateur, de la téléopération, ainsi que de beaucoup d autres lui permettant de remplir son rôle. 9