WEA Un Gérant d'objets Persistants pour des environnements distribués

Transcription

1 Thèse de Doctorat de l'université P & M Curie WEA Un Gérant d'objets Persistants pour des environnements distribués Didier Donsez Université Pierre et Marie Curie Paris VI Laboratoire de Méthodologie et Architecture des Systèmes Informatiques

2 Plan de l'exposé les Objectifs de WEA le Modèle des Workspaces la Modélisation d'architectures de GO une application : le Travail Coopératif Implémentation Perspectives WEA, un Gérant d'objets Persistants pour des Environnements Distribués 2

3 Rappel Qu'est ce qu'un objet? un état une donnée simple ou complexe un comportement typage interface d'accès = un ensemble de fonctions manipulant l'état Qu'est ce que la persistance? une propriété d'objet d'exister après la terminaison du programme qui la crée WEA, un Gérant d'objets Persistants pour des Environnements Distribués 3

4 Architecture d'un Gérant d'objets Persistants (GOP) Application Cache de Données Serveurs Clients Réseau (Local) Application Cache de Données Data-Shipping = transfert de données Buffer des données Stockage Journal WEA, un Gérant d'objets Persistants pour des Environnements Distribués 4

5 Objectifs de WEA s'adapter à un système informatique hétérogéne Réseaux : débit, coût, fiabilité Machines : puissance, mémoire, stockage Réseau Local Mainframe Réseau Distant Serveurs départementaux Serveur d'accès communication céllulaire stations de travail Wireless LAN laptops laptops PDAs WEA, un Gérant d'objets Persistants pour des Environnements Distribués 5

6 Objectifs de WEA s'adapter aux besoins des applications Data-Shipping Maximise l'utilisation des ressources des clients Query-Shipping Sécurité (client non sécurisé) Déléguer les calculs sur les sites stockant les données Informatique mobile Nouvelles applications Travail Coopératif WEA, un Gérant d'objets Persistants pour des Environnements Distribués 6

7 le Modèle des Workspaces un noyau générique de Gérant d'objet fonctions du client et du serveur une mécanisme de communication basé sur les services imbrication par des services récursifs fonction Client WS fonction Serveur Traitement WS WS Données WS Traitement + Données WS Traitement WS Données Traitement + Données WEA, un Gérant d'objets Persistants pour des Environnements Distribués 7

8 Travaux les plus Voisins Gérants d'objets ObjectStore, Exodus, Ontos... Architecture Symétrique SHORE [Carey 94] WEA Transactions Imbriquées [Moss 81] Travail Coopératif ObjectStore, WEA, un Gérant d'objets Persistants pour des Environnements Distribués 8

9 le Workspace : un noyau de GOP générique un espace de données un ensemble de transactions un ensemble d'activités une propriété de validation des transactions WEA, un Gérant d'objets Persistants pour des Environnements Distribués 9

10 le Workspace un espace de données fusion d'une vue sur une base locale d'une vue sur un autre espace de données Transparence à la localisation Récursivité Workspace Espace de Données du Workspace via service de Données Archive Locale L Workspace S WEA, un Gérant d'objets Persistants pour des Environnements Distribués 10

11 le Workspace un ensemble de transactions Modèle d'exécution transactionnelle Transactions Concurrentes Propriétes ACID Réalisation des applications des services propriétés ACID Archive Locale L Workspace S WEA, un Gérant d'objets Persistants pour des Environnements Distribués 11

12 le Workspace : un ensemble d'activités activité = groupe de transactions participant à la réalisation d'une application à un service au profit d'un client Activités Application Application Service Service Archive Locale L Workspace S WEA, un Gérant d'objets Persistants pour des Environnements Distribués 12

13 le Workspace : Validations des Transactions propriété passante propriété englobante T1 modifie en T2 modifie en T1 modifie en T2 modifie en validation de T1 validation de T2 validation de T1 validation de T2 espace de données espace de données propagation propagation STOP Archive Locale L Workspace S Archive Locale L Workspace S Cache de Données WS = Transaction Englobante WEA, un Gérant d'objets Persistants pour des Environnements Distribués 13

14 Workspace et Services le modèle de communication service = offrir un accès à une ressource privée Publication - Abonnement ➁ abonnement 1 publication du service le WS devient Serveur 2 abonnement au service le WS devient Client 3 dialogue ➀ publication demande réponse 3 dialogue le Client demande le Serveur répond la ressource WEA, un Gérant d'objets Persistants pour des Environnements Distribués 14

15 Workspaces et Services service de Données service d'opérations service Mixte de Données et d'opérations service Coopératif WEA, un Gérant d'objets Persistants pour des Environnements Distribués 15

16 Service de Données Echange des Données entre le Client et le Serveur chargement des données demandées redescente des données modifiées lors de la validation WS Client WS Serveur demande d'importation de activités applicatives réponse : envoi d'une image de activité serveur WEA, un Gérant d'objets Persistants pour des Environnements Distribués 16

17 Service de Données - la Récursivité hièrarchie de clients et de serveurs WS Client B WS Client A WS Intermédiaire I (client+serveur) WS Serveur X WS Serveur Y WEA, un Gérant d'objets Persistants pour des Environnements Distribués 17

18 Service de Données hiérarchisation du Contrôle de Concurrence Callback Locking [Wang 1991] WS B T2 détient ce verrou par T2 WS C T1 demande un verrou sur WS A par C Rappel Verrou WS Intermédiaire Demande Verrou Rappel Verrou WS Serveur par I WEA, un Gérant d'objets Persistants pour des Environnements Distribués 18

19 Service de Données hiérarchisation de la Validation des Transactions 2 propriétes de Validations passante englobante WS B passant T2 modifie en WS C passant T1 modifie en WS I englobant WS A passant STOP WS S passant WEA, un Gérant d'objets Persistants pour des Environnements Distribués 19

20 Service de Données Bases Privées / Bases Partagées Workspace Publiant (passant) Workspace Abonné (passant) Activité Applicative Activité Serveur Activité Applicative DataShipping (Rouge) Archive des Couleurs Rouges (partagée) Archive des Couleurs Noires (privée) WEA, un Gérant d'objets Persistants pour des Environnements Distribués 20

21 Bases Client/Serveur Structure Directe connexion directe d'un client vers le serveur WS Client A WS Client B Avantages : souplesse pas d'intermédiaire Inconvénients : contrôle fiable des validations cas de plusieurs applications sur un même client service de Données (Rouge) Archive des Couleurs Rouges WS Serveur X service de Données (Noire) Archive des Couleurs Noires WS Serveur Y WEA, un Gérant d'objets Persistants pour des Environnements Distribués 21

22 Service de Données Bases Privées / Bases Partagées Workspace Publiant (passant) Workspace Abonné (passant) Activité Applicative Activité Serveur Activité Applicative DataShipping (Rouge) Archive des Couleurs Rouges (partagée) Archive des Couleurs Noires (privée) WEA, un Gérant d'objets Persistants pour des Environnements Distribués 22

23 Bases Client/Serveur Structure Symétrique connexion directe d'un serveur vers les autres serveurs Avantages : contrôle fort des validations WS Client A Service Données (Noire+Rouge) WS Client B Service Données (Noire+Rouge) mise en commun des données importées (SHORE serveur local ) Archive des Couleurs Rouges Service Données (Noire) Service Données (Rouge) Archive des Couleurs Noires WS Serveur X WS Serveur Y WEA, un Gérant d'objets Persistants pour des Environnements Distribués 23

24 Bases Client/Serveur - Frontal Réseau Distant Station A Client Station B Client WS A Client WS B Client Réseau local Frontal Réseau F WS F Frontal Service de Données (Rouge+Noire) F a F b Cache de Données par rapport au Réseau Distant WS F Englobant CheckIn - CheckOut Réseau Distant Service de Données (Rouge) Service de Données (Noire) Serveur X Serveur Y Archive des Archive des Couleurs Rouges Couleurs Noires WS X Serveur WS Y Serveur WEA, un Gérant d'objets Persistants pour des Environnements Distribués 24

25 Service d'opérations Client Traitement des données par le serveur sécurisation des traitements confidentialité des données ➀ requête de calcul ➂ retour de valeur WS Serveur 3 traitements WEA, un Gérant d'objets Persistants pour des Environnements Distribués 25

26 Service Mixte de Données et d'opérations bénéficie Data-Shipping utilisation des ressources du client Query-Shipping sécurité et confidentialité des traitements et des données Mise en cohérence entre le client et le serveur WEA, un Gérant d'objets Persistants pour des Environnements Distribués 26

27 Définition Utilisation du Workspace : le Travail Coopératif 1 Initialisation le superviseur demarre un groupe de travail les coopérants (autorisées) s'attachent au groupe 2 Travail les coopérants consultent, produisent et modifient des versions alternatives de la base le superviseur modère les changements 3 Conclusion les coopérants choisissent les propositions à valider le superviseur coordonne le consensus et applique celui-ci WEA, un Gérant d'objets Persistants pour des Environnements Distribués 27

28 Travail Coopératif - Exemple I 1- Soumission et Rejet 2- Soumission et Acceptation C1 cooperative activity S supervisor activity C2 cooperative activity C1 cooperative activity S supervisor activity C2 cooperative activity 2-submission 1- VA2 2-submission 1-VA2 3-rejection generation 3-acceptation 3-acceptation modification VA1 alternative version created by C1 Database VA2 alternative version created by C2 VA1 alternative` version created by C1 Database VA2 alternative version created by C2 =Initial version =Initial version WEA, un Gérant d'objets Persistants pour des Environnements Distribués 28

29 Travail Coopératif - Exemple 1- Consensus d'élaboration 2 - Validation du travail de groupe Activité Coopérative C1 Activité Superviseur S Activité Coopérative C2 Activité Coopérative C1 Activité Superviseur S Activité Coopérative C2 1-Votez! 2-OK pour 1-Votez! 2'-OK pour élaboration de la version finale Version alternative créée par C1 Base Version alternative créée par C2 = Version initiale Base = Version finale WEA, un Gérant d'objets Persistants pour des Environnements Distribués 29

30 Travail Coopératif - Besoins Versions Altenatives Notifications Communication Coopérants <-> Superviseur Service Coopératif Accès distant par des Coopérants Distants WEA, un Gérant d'objets Persistants pour des Environnements Distribués 30

31 Implémentation Workspace MultiThreading Transactions, Communications Asynchrones Memory-Mapping Accès aux données persistantes par matériel Publication-Abonnement Service générique Interface C++ Persistance et Verrouillage transparents Distribution par le service de Données en cours WEA, un Gérant d'objets Persistants pour des Environnements Distribués 31

32 Perspectives MultiMédia Flots Multiples ( synchronisation, temps réel ) Filtres Travail Coopératif Comportements (Consensus, Modération,...) Persistance du travail (verrou persistant) Bases de Données Nomades Migration du contexte d'une transaction fiabilité des connections (checkin-checkout, CC optimiste) WEA, un Gérant d'objets Persistants pour des Environnements Distribués 32

33 Implémentation du Workspace Application Application Coopérative Couche Langage Manipulation des objets en instances de classes C++ Accès aux pages persistantes locales et distantes Couche Objet Couche Page Couche Coopérative Versions Alternatives Notifications Structuration des pages persistantes en objets Contrôle de Concurrence Reprise sur Panne Workspace WEA, un Gérant d'objets Persistants pour des Environnements Distribués 33

34 Exécution des Applications et des Services utiliser les fonctionnalités des OS Threads Transactions Applicatives Transactions Serveurs Threads systèmes (communication asynchrone, journalisation) thread Communication Workspace client connecté à plusieurs Workspaces serveurs une seule connexion une seule connexion thread Serveur WEA, un Gérant d'objets Persistants pour des Environnements Distribués 34

35 Accès aux Pages Persistantes utiliser les fonctionnalités des OS Memory-Mapping Accès direct aux objets Chargement des pages implicite Demande de verrou implicite Thread Thread Thread Thread O b Image d'une Archive Distante b a a Archive Locale a 4Go Thread de Communication Log WORKSPACE vers un WS serveur WEA, un Gérant d'objets Persistants pour des Environnements Distribués 35

36 Objets Courts Accès aux Objets Persistants Slotted Pages Identifiant physique #V #S #P #O Table des mappings privés de la thread mapping (a) #P Mapping privé du segment + #P*PageSize (b) #O Slotted Page (#V,#S,#P) #slot Objet + tab[#o]*slotsize (c) Objets Longs (BLOBs) Contiguité en Mémoire Virtuelle (bibliothéque externe, objets WEA, un Gérant d'objets Persistants pour des Environnements Distribués 36

37 Interface Langage C++ Programmation OO avec persistance transparente au développeur Déclaration du schéma de la base Définition de l'application et des méthodes Interface C++= PréCompilateur élémentaire + Compilateur du Marché (GNU ou ATT) + Outils associées (Debugger, Profiler...) Ajout des méthodes d'accès,... Swizzling des Références Persistantes Acces rapide aux objets WEA, un Gérant d'objets Persistants pour des Environnements Distribués 37